LLMは次の偉大なアイデアを生み出さない理由
LLMは日常的なコーディング、研究、執筆において非常に有用だが、根本的には真に新しいアイデアを創出できない。本稿では、メカニズム（次トークン予測は既存の人間の思考の凸包内での補間に過ぎない）とスケール（数百万のLLM出力の大規模実験が外挿的な新規性を生んでいない）の両面から論じる。また、早期情報圧縮パイプライン（LLM Wikiなど）がデータ処理不等式に違反し、不可逆的な情報損失とエラーの連鎖を引き起こすと批判する。結論：LLMは既存知識のナビゲーションツールであり、アイデア生成器ではなく、全員を平均値に引き寄せ、真の新規性を抑制する。
大規模言語モデル（LLM）は、コーディング、研究、執筆において日々活用され、生産性を向上させる便利なツールです。しかし、本稿ではLLMが真に新しいアイデアを生み出せない理由を二つの観点から考察します。
第一に、メカニズムの観点です。LLMの本質は次トークン予測であり、訓練データの分布からサンプリングします。モデルはトークン系列上の高次元補間関数を保存しており、訓練セットにない入力に対しても出力を生成できますが、それはあくまで補間であり、外挿ではありません。真のブレイクスルーは既存の規則性に反するものであり、モデルの分布において低確率となります。モデルは「真実ゆえの低確率」と「誤りの低確率」を区別できず、高確率＝「既存の思考に類似」を「良い」と判断します。これは本質的に真の新規性と逆相関します。
第二に、スケールの観点です。もしLLMが異なる分野の知識を組み合わせてブレイクスルーを生み出せるなら、現在毎日数百万のLLMインスタンスが稼働する大規模実験で、そのような新規性が観測されているはずです。しかし、実際には補間的な新規性（言い換え、総合、既知手法の隣接問題への転用）は豊富に見られる一方、外挿的な新規性（根本的な断絶、真に新しいアイデア）はほとんど見られません。この二峰性のシグネチャは、メカニズムの予測と完全に一致します。
さらに、情報処理パイプラインの問題について論じます。KarpathyのLLM Wikiパターンでは、取り込み段階で生データを構造化された知識グラフにコンパイルしますが、これはあらゆる質問が行われる前に行われる不可逆的な選択であり、情報理論のデータ処理不等式に違反します。段階的な処理（エンティティ抽出、グラフ構築、矛盾解決、統合）では、各ステップの誤差が蓄積され、95%の信頼度のステップを10回繰り返すと60%まで低下します。見かけの信頼性と実際の信頼性は逆方向に乖離し、システムが複雑になるほど信頼性は低下します。
結論として、LLMは既存知識の凸包内では高い能力を発揮しますが、その外側には全く到達できません。LLMは「平均化装置」であり、平均以下の能力を底上げする一方で、平均以上の能力や型破りな思考を平準化します。LLMを活用する際は、その能力の限界を正直に認識し、真の新規性を期待すべきではありません。