本論文は、マルチモデルAIシステムによる構造化された熟議のためのConsiliumプロトコルを提示する。このプロトコルはビザンチン故障耐性（BFT）の考え方に由来するアーキテクチャを採用しており、モデル間の意見不一致を除去すべき誤りではなく、認識論的なシグナルとして扱う点に特徴がある。著者は言語モデルに工学的に設計された認知ペルソナを割り当てることで、モデルが何であるかという属性と、モデルがどのように推論するかという振る舞いを分離する。さらに定量金融から応用したイン・サンプル／アウト・オブ・サンプル検証の枠組みを導入し、訓練データに由来する合意と、経験的に裏付けられた結論とを区別しようとする。
評価は10の領域カテゴリにまたがる32のトピックについて1,478回の熟議セッションを対象に行われた。第一の発見は、認識論的行動を規定するのは基盤モデルではなく認知ペルソナであるという点である。バッチあたり0.0002米ドルという無料に近いエッジ推論モデルが、バッチあたり10.69米ドルかかるフロンティアモデルに匹敵する分析出力を生み出した。これは、適切に設計された推論の型がモデルの規模や価格以上に重要になり得ることを示唆する。
第二に、RLHFによるアラインメント訓練が、測定可能かつ領域固有の認識論的盲点を生み出すことが示された。論争のある政策トピックでは、決着済みの科学トピックに比べて敵対的挑戦が12.3パーセントポイント少なかった。またAI安全性のトピックでは、AIが危険であるという主張に対しては活発に反論する一方、AIリスクが過大評価されているという主張にはそうした反論が弱いという非対称なバイアス（差分11.6%）が観察された。
第三に、プロトコル自体には方向性バイアスが見られなかった。移民に関する差分は2.3%、再生可能エネルギーに関する差分は1.2%にとどまった。第四に、アウト・オブ・サンプルの証拠検索により239件の主張が検証され、証拠検索率は100%であった。さらに、訓練データのみに基づく熟議では見えない167件の盲点が発見された。ランダム化されたモデルとペルソナの割り当てをまたいだ実行間の再現性は、標準偏差で平均±2.2%であった。
完全な実験バッテリーの総コストは、すべてのオーバーヘッドを含めて217米ドルであった。著者は独立した検証を可能にするため、プロトコル仕様をMITライセンスの下で公開している。本論文は32ページ、図7点からなる。