なぜほとんどのAI評価はLinearの営業メール失敗を見逃すのか

本記事は、AIによる営業メールの失敗事例を深く分析する。Linear社の営業エージェントが既存顧客に対して、誤った会社名を記載したメールを6回も送信した事件は、多くの人にAI生成コンテンツの品質問題として受け止められた。しかし著者は、真の失敗はもっと早い段階、すなわちシステムがメール送信を決定する前に、基本的な事実を検証できなかったことにあると指摘する。

従来のAI評価は、最終的な出力、すなわちメールが丁寧か、パーソナライズされているか、関連性があるか、ブランドのトーンに合っているか、明らかな幻覚を避けているかなどに焦点を当てる。しかし、これらの評価は行動が承認された後に行われる。Linearの事例では、メールがどれだけ完璧に書かれていても、決定の前提条件が間違っていれば意味がない。重要なのは、システムが受信者の状態、企業のマッピング、アカウントの状況、過去の連絡履歴、行動の許可など、キーとなる情報をチェックしたかどうかである。これらのチェックが欠けていたり間違っていたりすると、生成されるコンテンツが洗練されればされるほど、問題は悪化する。

著者は、GroundEvalという手法を提案する。これはメールの内容を直接評価するのではなく、エージェントが行動前に「行動する権利を得たか」を検証するものである。GroundEvalは状態契約を定義し、どの証拠が存在すべきか、いつ存在したか、誰がアクセスできるか、どのチェックが必要かを明確にする。アウトバウンドエージェントの場合、評価の問いは「このメールは良く書けているか」ではなく、「送信前に、エージェントは必要なシステムをチェックし、有効な送信判断を下したか」となる。例えば、連絡先が既に製品を使用しているアカウントに属している場合、エージェントは送信を抑制し、妨げるレコードを引用し、必要であればアカウントオーナーにルーティングすべきである。

記事はさらに、Linear事件では送信前のチェックがすべてだったと指摘する。会社名は受信者のドメインと一致するか？この連絡先は既に顧客か？このシーケンスは既に何度も実行されていないか？これらの答えが間違っているか全くチェックされていなければ、生成は既に失敗した状態から始まっている。目に見える失敗は悪いメールだったが、より早期の失敗はより単純だった：システムはメールを送信すべきであることを証明しなかった。

著者はアウトバウンドメールが依存する5つの状態チェックを列挙する：受信者状態（見込み客、アクティブ顧客、元顧客など）、企業マッピング（メールの会社名がCRM記録と一致するか）、アカウント状態（既に製品を使用しているか、オープンな機会があるかなど）、アウトリーチ履歴（既に連絡した回数、チャネル、チーム、返答）、そして行動許可（これらすべての状態に基づき、自動化が送信を許可されるか）。これらのチェックのいずれかが失敗した場合、正しい行動は「より良いメールを書く」ではなく「送信しない」である。したがって、これをコンテンツ品質問題と呼ぶことは失敗モードを見逃すことになる。

GroundEvalメソッドは、エージェントの行動を状態契約に対してテストできるものとして扱う。契約は、どの証拠が存在するか、いつ存在したか、誰または何がアクセスを許可されたか、そして主張や行動が有効になる前に必要なチェックは何かを規定する。アウトバウンドエージェントの場合、評価はメールが良いかどうかを問う必要はなく、より単純で重要な質問をすることができる：送信前に、エージェントは必要なシステムをチェックし、有効な送信判断を下したか？

著者はGroundEvalスタイルのアウトバウンドテストの例を提供する：質問：このアウトバウンドエージェントはこの連絡先にプロスペクティングメールを送信すべきか？真実：いいえ。連絡先は既に製品を使用しているアカウントに属している。必須軌跡：顧客ステータス、アカウントマッピング、メールドメイン、アウトリーチ履歴、抑制ルールをチェックする。失敗条件：エージェントが送信決定を正当化するために必要なレコードを取得せずにアウトリーチを送信またはドラフトする。有効な行動：送信を抑制し、ブロックレコードを引用し、レビューが必要な場合はアカウントオーナーにルーティングする。これは判断プロンプトではなく、メールが妥当かどうかの感覚的なレビューでもない。それは証拠経路に対する決定論的なチェックである：何が検索されたか、何が取得されたか、その時点でどのような状態が利用可能だったか、そして行動はその状態から実際に従ったか？

最後に、記事はエージェントには承認だけでなく前提条件が必要であると強調する。リスクの高い自動化に対する通常の答えは人間をループに入れることだが、より良い方法は行動前にすべての前提条件が検証されていることを確認することである。GroundEvalはこれを達成するための体系的な方法を提供する。