最新オープンアーティファクト（#23）：Laguna S2.1、Inkling、Kimi K3が示すオープンモデルのパレート最前線での有用性

業界ではモデル研究室の統合が不可避だと予測する声が多かったが、現実には、より多くの企業が強力なモデルの訓練に数十億ドル規模の投資を続け、その成果を公開する動きが広がっている。訓練コストは年々桁違いに増加しているが、トークンへの需要は非常に高く、モデルの効率化とユースケースの拡大でさらに伸びる見込みだ。統合が必要だと考えられていた研究室たちは、トークン生成マシンを作ることが価値への道であると気づき始めている。

代表例がThinking Machinesだ。2025年2月に設立されたとき、同社をオープンモデル企業と見る人はほとんどいなかったが、現在はオープンモデルのファインチューニングサービスで年間数億ドルの収益を上げ、NVIDIAのNemotronやArceeのTrilogyといった初期のリーダーを追い越し、米国製で最強のオープンウェイトモデルInklingをリリースしている。一方、中国の研究室は安定したペースで新モデルを発表し続けており、Xiaomiなどの新規参入も影響力を強めている。

今回は特に情報量の多い回となった。InklingはThinking Machines初のモデルで、975B-A41BのマルチモーダルMoE。テキスト、画像、音声を入力でき、テキストを出力する。同サイズの中国勢と比べると最強ではないが、商用サービスTinkerなどを通じたファインチューニングの基盤として優れている。小さめの276B-A12B版も競争力が高い。TencentのHy3は295B-A21BのMoEで、前モデルから全指標で向上。ライセンスは独自の制限的なものからApache 2.0に変更された。専用ハーネスとSolを判定役に使い、50年前の数学問題を証明したことでも注目された。

PoolsideのLaguna-S-2.1は118B-A8BのMoEで、DGX Spark上で動作するよう再訓練された。OpenMDWライセンスを採用し、Apache 2.0に似た自由度の高いライセンスでありながらAIモデル向けに法的な裏付けが強い。ブログで評価の軌跡を公開する透明性も評価されている。DeepSeek-V4-Flash-0731は、OpenAIが最小モデルの価格を80%引き下げた翌日に公開され、Pareto最前線でLunaを上回った。大きいモデルはまだ未更新だ。Moonshot AIのKimi K3は、しばらくぶりの大型オープンモデル公開で、非商用ライセンスの下で公開され、推論・ファインチューニング事業者は商用契約が必要になる。Kevin XuとGraham Websterは、このようなライセンスが、中国のAI企業と取引する米国企業に対する将来の政府措置を可能にする可能性があると指摘している。

その他、MeituanのLongCat-2.0は1.6TパラメータのMoEで、Ascend 910のみで訓練された初の非Huawei・非玩具モデル。PoolsideはLaguna-XS-2.1（33B-A3B）を更新。韓国MotifのMotif-3-Betaは314B-A13Bのプレビューで、GDLAやmHCといったアーキテクチャ上の革新を導入。swiss-aiは完全オープンソースのApertus 1.0を2Tトークン追加で継続事前訓練したApertus-v1.5-70Bを公開。AMDはInstinctカードで訓練したInstella-MoE-16B-A3B-Thinkを提供し、ベースからSFT、MidTrain、DPOまで各段階のチェックポイントを用意している。オープンモデルの波は衰えるどころか加速している。