すべてのタスクにトークンを費やすべきではない：決定論的AIのすすめ

人工知能の分野では、すべてのタスクを言語モデルで処理すべきという誤解が広がっています。しかし、このアプローチは非効率でコストがかかります。最近、あるチームがシンプルなエージェントを構築しました。毎朝APIからメトリクスを取得し、JSONを再整形してテーブルに保存するものです。初日はうまくいきましたが、その後、毎回数千トークンを消費していることに気づきました。この作業は、わずか5行のスクリプトで正確かつ無料で実行できるものです。問題の核心は、すべてのタスクに知能が必要なわけではなく、多くの作業は本質的に決定論的であり、アプリ層で処理すべきだということです。

決定論的タスクをAIモデルに任せると、非決定性、遅延、従量課金という3つの問題が発生します。例えば、定期的なデータ取得や変換は、スケジュール関数で毎回同じように無料で実行できるべきです。しかしモデルを通すと、トークン消費が増えるだけでなく、コンテキストウィンドウが生データで埋まり、実際の推論能力が低下します。支払いが増え、答えが悪くなるという状況です。

解決策は、タスクを確率的（判断が必要）と決定論的（正確で再現可能）に区別することです。確率的タスクは判断、解釈、曖昧さの処理が必要で、AIエージェントに任せます。一方、定期的なタスク、API呼び出し、データ保存やクエリはアプリ層で処理します。決定論は機能であり、制限ではありません。毎日同じように実行されるジョブは、退屈で予測可能であることが望ましいのです。重要なのは、アプリを構築するときに一度トークンを投資し、その後は実行ごとにトークンを支払わないことです。

よくある間違いは、メモリノートをデータベースとして使うことです。構造化データをノートに保存する人がいますが、ノートにはスキーマがなく、クエリもできず、データが増えるたびにすべてをコンテキストに読み込むため遅くて高コストです。ノートは、設定、トーン、意思決定ロジックなど、固定スキーマのない情報に適しています。これらはAIの判断力を形成するためのもので、SELECT文で取得するものではありません。構造化データは真のデータベースに、非構造化解釈コンテキストはノートに、という使い分けが必要です。

Vybeプラットフォームはこの考え方を体現しています。エージェントはチャットするだけでなく、実際のアプリケーションを構築・運用します。エージェントは推論と調整を行い、アプリは実行と記憶を担当します。例えば、競合トラッキングエージェントは、定期的なリフレッシュ、データ取得、保存をすべてアプリ層で行い、実際にフラグを立てる価値があるかどうかの判断にのみトークンを使います。別の例であるFalconは、競合情報分析エージェントで、監視スケジュールとメール配信は決定論的なアプリ層の処理であり、シグナルかノイズかの判断だけにトークンを使います。

このアーキテクチャは簡単には模倣できません。純粋なチャットエージェントはアプリ層を持たず、決定論的作業をオフロードできません。一方、純粋なノーコードアプリビルダーは推論層を欠いています。Vybeは両方を統合し、モデル非依存なのでベンダーロックインもありません。

最後に、著者は以下のチェックリストを提供しています。タスクに判断が必要か？繰り返し実行されるか？エージェントが直接API呼び出しをしているか？構造化データをノートに保存していないか？コンテキスト内のデータは推論用か、保存用か？これらの質問を通じて、「何をトークン化すべきでないか」を学ぶことができます。優れたAIシステムの目標は、すべてをモデルに通すことではなく、コストに見合うところにだけ知能を適用し、残りは決定論的コードで安価かつ確実に処理することです。