現在のマルチモデル協調およびツール拡張システムは、テキスト生成を介した通信に依存しており、各インタラクションで情報を離散的な語彙に系列化する必要があります。この逐次的な手法は効率が悪く、情報伝達の帯域幅と豊かさを著しく制限します。この問題に対し、Cedric Flamantらは二院制モデル（Bicameral Model）を提案しました。これは、2つの完全に凍結された事前学習言語モデルの中間隠れ状態に、軽量な訓練可能な神経インターフェースを介して双方向結合を確立し、連続的で並行な隠れ状態レベルの情報交換を実現するものです。
二院制モデルの核心は、並行して動作する2つのモデルから構成されます。主モデルは対象タスクの実行を担当し、補助モデルは外部ツール（計算機、制約ソルバー、Pythonサンドボックスなど）の操作、制約の解決、コードの実行を担当します。各生成ステップにおいて、両モデルは厳密に同期して動作し、翻訳ネットワークと学習された抑制ゲートを介して互いの活性化を調整します。この抑制ゲートは全パラメータの約1%に過ぎませんが、タスク損失信号のみから選択的通信プロトコルを自律的に学習し、事前定義された書式を一切必要としません。
研究チームは3つの異なるツールバックエンドで本手法の有効性を実証しました。算術タスクでは、2つの0.5Bパラメータのモデルが計算機と結合することで、テスト精度がベースラインの36%から96%に大幅に向上しました。論理グリッドパズルZebraLogicでは、2つの0.6BモデルがZ3制約ソルバーと結合し、未拡張ベースラインの1.7倍の性能を達成しました。最も印象的なのは数学的推論タスクで、補助モデルが隠れ状態信号のみから問題固有のPythonコードを生成し、問題テキストに一切触れることなく正常に実行したことです。これらの結果は、隠れ状態結合がタスク関連情報を効果的に伝達できるだけでなく、補助モデルがテキスト入力なしで複雑なコード生成タスクを実行できることを示しています。
隠れ状態レベルの通信パラダイムは、マルチモデル協調の方法を根本的に変革します。従来手法では複雑な高次元情報を低次元の離散テキストに圧縮する必要があり、情報損失が避けられませんでした。一方、二院制モデルは連続的で高次元の隠れ状態を直接伝達するため、情報の完全性と豊かさが保持されます。さらに、主モデルと補助モデルは訓練中完全に凍結されており、結合パラメータのみ訓練されるため、訓練コストが極めて低く、実用的価値が高いです。
二院制モデルはまだ概念実証段階ですが、複数の挑戦的なタスクで達成された顕著な改善は、隠れ状態結合が将来のマルチモデルシステムやツール拡張AIにおける重要な実現技術となる可能性を強く示唆しています。研究チームは論文の全文とコードを公開し、学界によるさらなる探求を促しています。