OKFがAIツール内部で実行されると何が起こるか

Open Knowledge Format (OKF) は、Googleが提唱するAI知識のためのMarkdownベースの標準規格です。知識の可搬性と保守性を向上させることを目的としています。しかし、OKFバンドルが実際にAIツール内に配置され、モデルがどのファイルを読むべきかを自ら判断する必要がある場合、どのような振る舞いを見せるのでしょうか？本稿では、このランタイムパターンを実験的に検証しました。

実験設定はシンプルです。モデルは標準的なアシスタントプロンプトと2つのツール（利用可能なOKF Markdownファイルを一覧表示するツールと、特定のファイルを読み込むツール）を与えられました。カスタム検索エージェントのプロンプトは与えられません。モデルがread_fileを呼び出すと、ファイルのフロントマターを解析し、beliefIdを抽出してPrecisionMemBenchシステムに報告します。スコアは、モデルが実際に読んだ正しい信念ファイルに基づいており、最終回答の品質は評価されません。

単一ターンの結果はまずまずでした：平均精度0.47、再現率0.91、77ケース中36ケースが合格しました。しかし、実際の使用に近いセッションシナリオでは結果は芳しくありません：12ターン中2ターンのみ合格、平均再現率は0.45に低下、p95レイテンシは59.3秒に達しました。失敗したケースは、スコープ曖昧性解決（12ケース中4ケース合格）、置き換え除外（3ケース全て不合格）、タイプルーティング（精度0.20）、予算排除（精度0.13）などに集中しました。

良い面として、OKFは検索の形態を確かに改善しました。モデルはファイル名、タイトル、説明、タグ、ファイル本文を利用できるため、ブラックボックスのベクトル検索よりも多くの手がかりを得られます。エイリアス解決は特に成功し、23ケース中平均精度0.72、再現率0.92を達成しました。クエリがファイル表面と明確にマッピングされる場合、OKFは堅牢に機能します。

しかし、ファイルアクセスは記憶検索と同義ではありません。OKFは知識を記述しますが、どれだけの知識をモデルリクエストに含めるべきかは決定しません。セッション中、トピックの変化、以前のターンのノイズ、暗黙的な参照などにより、検索コストと不安定性が急増します。連続的な状態管理の欠如が最大の弱点です。

結論として、OKFは可搬性の問題を解決します。チームはベンダーのメモリデータベースに依存せず、キュレーションされた知識バンドルをツール間で移動できます。しかし、選択の問題は解決しません：どの信念が関連するか？どれが最新か？現在のユーザー、チーム、タスクにスコープされるのはどれか？これらのランタイム上の意思決定には、追加のガバナンス層が必要です。

したがって、OKFをフォーマットとして評価する一方で、それを完全な記憶システムと見なすべきではありません。次のステップは、検索、除外、タイムライン、スコープ、権限を決定するランタイム層の構築です。フォーマットは問題ではありません。状態管理が本質的な課題です。