DeepSeek-R1は、中国のAI企業DeepSeekが開発した大規模言語モデルです。オープンソースですが、数学やコーディングのタスクで、OpenAI-o1と同等の性能を達成しています。
DeepSeek-R1には、蒸留された小型モデルがいくつか提供されてます。サイバーエージェントやLightblue社が、それぞれ日本語でファインチューニングを行い、Hugging Faceで公開してくれています。
今回は日本語でファインチューニングされたDeepSeek-R1の蒸留モデルのうち、パラメータ数が7B・14B・32Bのモデルについて、日本語の出力を比較しました。
利用環境：Google Colab（Python3, A100 GPU）
①7Bモデル（DeepSeek-R1-Distill-Qwen-7B-Japanese）
モデル概要
- モデル提供: 株式会社Lightblue
- ライセンス: Apache 2.0 license
- モデル名: lightblue/DeepSeek-R1-Distill-Qwen-7B-Japanese
