AI観測可能性の4つのシグナル

要点

• プロンプトをコードから分離し、バージョン管理されたストアに移動して即座にロールバック可能に。
• トレースツリーを使用してモデルの決定プロセス（ツール呼び出しの順序や引数など）を記録。
• ユーザーのいいね/わるいねフィードバックを収集し、特定のトレースに関連付け。
• 別のモデルをジャッジとして使い、出力品質を自動評価。