AI News HubLIVE
サイト内リライト3 分で読了

コミュニティ開発者がOpenBMBのMiniCPM5-1BをClaude Fable 5のトレースでファインチューニングし、657MBのローカル思考モデルを公開

コミュニティ開発者がOpenBMBのMiniCPM5-1Bをベースに、Claude Fable 5の対話データでファインチューニングし、完全ローカルで動作する1Bパラメータモデルを公開。最小ビルドは657MB、128Kコンテキスト、思考表示機能を備える。本記事ではHugging Faceカードに基づき仕様を検証し、ファインチューニングが実際に継承する能力と本来の能力を区別し、ライセンス上の問題を指摘する。

ソースMarkTechPost著者: Michal Sutter

コミュニティ開発者のGnLOLotが、ローカルハードウェアで完全に動作する1Bパラメータモデルを公開しました。モデル名はMiniCPM5-1B-Claude-Opus-Fable5-Thinkingで、llama.cpp互換ランタイム向けのGGUFビルドが提供されています。APIキーは不要で、クラウド呼び出しもありません。

提案されたモデル このモデルはopenbmb/MiniCPM5-1Bをベースとしています。ベースはOpenBMBによる実際のリリースで、1.08Bパラメータの高密度モデルであり、標準的なLlamaForCausalLMアーキテクチャを採用しています。24層、グループ化クエリアテンション、131,072トークンのコンテキスト長を持ちます。OpenBMBは、同社の比較セット内で1BクラスのオープンソースSOTAであると報告しています。

ベースモデルはすでにネイティブの思考テンプレートを備えており、enable_thinkingによって思考モードと非思考モードを切り替えられます。派生モデルはこのテンプレートとMiniCPM5のツール呼び出し形式を保持しています。

その上で、開発者はファインチューニングを適用しました。モデルカードによれば、「Fable 5データでさらにファインチューニング」され、コーディングと指示追従能力が向上しています。GGUFカードも同様に「Fable 5データでポストトレーニング」と記載しています。

実際の構築方法 説明されている方法は古典的な蒸留ではありません。元のモデルを縮小するのではなく、まず教師モデルとの多数の会話を生成し、その応答と推論トレースをテキストとしてキャプチャします。次に、それらのトレースに対して小さなベースモデルを教師ありファインチューニングします。

この区別は正確性のために重要です。古典的な蒸留では教師のロジットや重みから信号を転送しますが、Claudeの重みやロジットにアクセスできる人はいません。したがって、これは生成出力に対する教師ありファインチューニングであり、重みレベルの蒸留ではありません。対照的に、OpenBMB自身のベースモデルは、独自の教師と学生チェックポイント間の文書化されたオン方針蒸留段階を使用しています。

実用的な効果として、1Bモデルは応答の形式とスタイルを模倣することを学習しますが、教師の根底にある能力を吸収するわけではありません。1Bパラメータの予算では、フロンティアレベルの推論を保持できません。

確認済みの仕様 コンテキストウィンドウは128Kトークンで、ベースモデルのconfig.json（131,072）から継承されています。GGUFリポジトリは4つの量子化バージョンを提供しています：Q4_K_Mは約657MB（最小フットプリント）、Q5_K_Mは約751MB、Q8_0は約1.1GB（推奨デフォルト）、F16は約2.1GBです。「657MBフットプリント」は最小量子化バージョンであり、デフォルトビルドではありません。モデルはllama.cpp、Ollama、LM Studio、jan、KoboldCppで直接読み込めます。

実行方法 GGUFカードにはOllamaを使用した一行の手順が記載されています：ollama run hf.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M。同じリポジトリでllama.cpp、LM Studio、jan、KoboldCppの使用方法も文書化されています。思考モードの推奨サンプリングパラメータはtemperature=0.9、top_p=0.95です。モデルは最終回答の前に推論ブロックを出力する可能性があり、ダウンストリームアプリで除去できます。

重要なポイント

  • このモデルはOpenBMBのMiniCPM5-1BをClaude Fable 5のトレースで教師ありファインチューニングしたものであり、重みレベルの蒸留ではありません。
  • 実際の仕様：128Kコンテキスト、GGUF量子化は～657MB（Q4_K_M）から～2.1GB（F16）、Q8_0が推奨デフォルト。
  • ファインチューニングはフォーマットとスタイルを伝達するものであり、フロンティア推論や広範な知識を継承しません。
  • ベンチマークやトレーニングデータセットは公開されておらず、能力主張は現在検証不可能です。
  • Apache-2.0はベースの重みのみをカバーし、Claudeの出力でトレーニングすることはライセンス上の問題を引き起こす可能性があり、モデルカードはその点を未解決のままにしています。