Interconnectsの最新ポッドキャストで、Nathan Lambertと評価担当のFlorian Brand（最近サンフランシスコに移住）が、AI分野の忙しい一週間における様々なトレードオフと差し迫った疑問を議論した。中心はKimi K3.1 Proのリリースとその反響、さらにサイバーセキュリティの現実、オープンウェイトモデルのリスク、そしてMuseなどの軽い話題へと広がった。二人は今後もこの種のポッドキャストを続ける予定で、質問や話題の提供を呼びかけている。
Kimi K3.1 ProについてFlorianは、過去のKimiモデルは常に期待に応えてきたが、今回のリリースは他と比べて「奇妙」だと指摘する。一因はチームがよりプロフェッショナル化していることで、以前のモデル公開は「突然降って湧いた」ようなものだったが、今回は大規模なソーシャルメディアキャンペーンを展開し、報酬を支払って投稿させながらそれを開示しなかったとされる。Nathanは、多くの企業がそうしており「言及しないよう」指示するが、それは悪い慣行でどの企業もすべきでないと述べる。誰かがKimiの報道向け指示のスクリーンショットを投稿し、「これは有料プロモーションだと言うな」と書かれていたが、彼の知る限りその後裏付けは取れていない。Florianは、米国企業を含む複数のモデル公開が明らかに「やらせ」的で、有料広告と開示する場合もあればしない場合もあると補足する。過去一年でモデル公開は急速にプロ化した。一年前はモデルを公開してからvLLMを後で修正するため、しばらく誰もオープンモデルを動かせなかった。今は初日から推論フレームワークと推論プロバイダーが揃い、さらに重み公開前に数週間の独占アクセス期間を設ける例も増えており、K3.1 Proも同様で約2週間の独占期間後に重みを公開するという。Nathanは、公式が11月4日までに重みを公開すると述べたことに触れ、見出しの数字はArtificial AnalysisでGPT-6 Astraを上回ると指摘する。Kimi K3.1のブログの見出し数値は非常に強い一方、後半の数値はやや凸凹で、Terminal-Bench ScienceではGPT-6 Astraに約20ポイント劣り、ProgramBenchなども同様だという。NathanはTwitterで印象を募り、反応は賛否両論で「あまり良くない」という声もあれば「問題ない」という声もあった。K3がほぼ満場一致で高評価だったのに対し、今回は大規模モデルながらpost-trainingがやや「煮え切らない」、少しRLで「焼けすぎ」た印象だとし、最終的な評価は今後に委ねた。
ベンチマークの違いについてFlorianは、Artificial Analysisが現在使うベンチマークは時間軸が短く、ProgramBenchのようなものは長く探索的だと説明する。他のベンチマークは目標を直接示すが、ProgramBenchは多くの探索を要する。これが差異の理由かもしれず、KimiのRL訓練がまだ「活用型（exploitative）」寄りで「探索型（explorative）」ではないことを示すという。Nathanは、3兆パラメータ級のモデルなら探索において堅牢であってほしいと述べ、既知のコーディング作業ならDeepSeek-V4.1-Flash-1017のようなスコア差が小さいモデルの方がはるかに速く、実際のトークン数でのタスク当たりコストも大きくは変わらないかもしれないとする。ゆえに今回のKimiへの批判は妥当で、大モデルは遅い分だけ優れている必要があり、オープンウェイトモデルは「泥臭い」作業でより速く安くできる利点があると語る。また命名の変化（従来はK2、K2.6、K3、今回はK3.1 Pro）からFlash的なリリースへの布石ではないかと見ており、Twitterの投資・企業予測の界隈では今回がKimiにとって重要だと受け止められているという。3兆パラメータの提供は7000億パラメータより多くのリソースを要し、NVL72ラックが必要になりそうだと述べる。Florianは、モデルを収めるにはB300が必要で、モデルレプリカごとに1ノードを占めるのは厄介だと補足する。他のモデルはH100やより入手しやすいH200に収まる場合もある。モデルの分割は「1ノード1レプリカ」や既存ノードに全重みを収めるより常に厄介であり、3兆パラメータは「どうにか合理的にホストできる」範囲だが、人々が持つ既存GPUを大量に使えない点で厄介だとする。
Kimiがブログで「自らのサイバー能力を抑制する」と述べたことが自滅かどうかという話題に移る。Nathanはブログを読み上げる。「オープンウェイト原則。これらの評価が我々のオープンウェイト公開判断の枠組みとなる。第一に、サイバー能力の絶対的なフロンティアを拡張するオープンウェイトを公開しないことを目指す。K3.1 Proの攻撃的サイバー能力は設計上、我々のパイプラインが生み出せる水準を下回り、フロンティアのクローズドモデルに依然劣る」。さらに中訓練段階でデータを操作してサイバー能力の重みを下げ、その効果がpost-trainingまで続くことを確認したと述べる。Florianは、人々はこれらを十分切り分けられると考え、この公開方針は良いとする。全員に広くアクセスを提供してバグを見つけ修正させることは世界にとって純粋にプラスであり、Kimiは防御面で有能なモデルを公開しつつ攻撃面を進めないと述べている。サイバーセキュリティの専門家によれば、組織全体を破壊するのははるかに難しく、長い時間軸の能力と侵入の各段階を持続する力が必要で、そこではクローズドモデル（特にしばしば言及されるGPT-5.6 Sol）がオープンモデルよりはるかに優れている。コードをすべて安全にすることは望ましく、比較的早く実現すべきだが、それには長期的視野もCTF的な課題も不要であり、これらを訓練から外すのは合理的な判断だという。また「Mythos級のオープンモデルが公開されれば世界が終わる」という恐怖論に対する位置づけとしても有効で、実際にはそうなっておらず近い将来も起こらないと考える。オープンモデルはクローズドモデルより厳しく監視されるため、「我々は責任ある主体だ」と示すのは賢明な動きだとする。
続いて「何でもハックできる」時代の話題へ。二人はサイバー専門家ではないと断りつつ、議論する価値があるとする。Nathanは、自身が読むサイバー専門家はエコシステムの観点から語り、脆弱性検出や悪用までの時間といった指標はChatGPT以前から指数関数的に伸びており、AIモデルの登場で段階的な変化は起きていないと指摘する。一方AI界隈はオープン対クローズドやMythosを巡る議論に熱心で、中間にあるのがDaybreakプログラムやMythosなどが広く社会に与える影響だという。彼は過度に単純化せず模索していると語る。その後は軽い話題に移り、31:41の「Anthropicがジュニアを採用していない」という議論（Anthropicの雇用変化に関する記事を引用）、36:16のFlorianの「Muse中毒」、45:30のまとめへと続く。番組は複数のリンクを挙げる。NathanとDean Ballによるフロンティアラボの「オオカミ少年」談義のスレッド、Kimi K3.1 Proの発表ブログ、Artificial Analysisの知能指数と防御的サイバーベンチマークでの成績、Program Bench、「オープンウェイトのMythosでも問題なかった」という見解、PHP「まだ大災害は起きていない」アップデート、Abliteration.aiが検閲除去（abliterated）モデルのAPIを提供、Morphがabliterated DeepSeekをAPI経由で提供、Joshua SaxeのAIとサイバーセキュリティに関するSubstack、Azeem Azhar「インターネットの武漢的瞬間」、Anthropicの雇用変化記事、LiteLLMのセキュリティインシデント報告。チャプターは、00:00 Kimi K3.1の反応、08:15 Kimiのオープンウェイト・サイバー原則、11:23「何でもハックできる」時代、15:54 PHP2Shell、LiteLLM、新しいインターネット、24:00 Abliterated API、セーフガード、信頼されたアクセス、31:41 Anthropicがジュニアを採用しない件、36:16 FlorianのMuse中毒、45:30 まとめ。