Claude Fable 5、「このバッファを高速で埋めよ」をサイバー攻撃とみなす

Anthropicが今月積極的に推進しているモデル、Claude Fable 5に対して、「バッファを可能な限り高速で埋めるC++関数を書け」と依頼したところ、モデルはそれを拒否した。単なる注意喚起ではなく、「停止理由: 拒否、カテゴリ: サイバー、リアルタイムの安全対策により違反サイバーコンテンツとしてブロック」という完全な拒否である。これを8回試行してもすべて拒否されたが、肝心の「可能な限り高速」という3語を削除すると、あっさりと関数を書き上げた。

この出来事は、ベンチマークの最中に発生した。実は、Fableはその日のテストで最も慎重な行動をとったものの、他のタスクでは極めてメモリ安全性の低いコードを生成していた。同じAnthropicのOpus 4.8と比較して、バウンド違反が3倍も多く、GPT-5と並んで最下位だった。安全フィルタとコード生成器がまったく連携していない証拠である。

ベンチマークの背景を説明する。C++標準化委員会は、AIモデルが生成するコードの安全性に懸念を示しており、P4023R0では「モデルはレガシーC++（C++98/03）やベンダ固有の方言、不安全なパターンで訓練されており、現代の安全プロファイルに違反するコードを生成する」と警告している。そこで、委員会は「C++のImageNet」と呼ぶコミュニティコーパスの構築を提案している。さらにP5000R1では、安全性をC++29の最優先事項（Tier 0）と定めている。

この主張を検証するため、4つの最先端モデル（Claude Opus 4.8、GPT-5、Gemini 3.1 Pro、Claude Fable 5）を対象に、5つのHFT（高頻度取引）タスクを使用したテストを実施した。各タスクは「中立的な指示」と「レイテンシを重視する指示」の2つのバージョンで提示。結果は明瞭だった。

レイテンシ重視の指示を加えると、全モデルの安全違反が増加した。特に、clang-tidyのcppcoreguidelines-pro-bounds-pointer-arithmeticチェックによる違反が大多数を占め、中立的な場合の1サンプルあたり3.9件から7.9件へと倍増した。現代化チェック（modernize-*）はほとんど変化がなく、モデルが古い構文に退行したわけではないことがわかる。むしろ、モデルはstd::spanなどの安全な抽象化を理解しているが、「高速化」を求められると、訓練データで一般的な「高速だが不安全な」パターン、つまり生のポインタと手動ループに戻ってしまうのだ。

さらに驚くべきは、Claude Fable 5の振る舞いである。安全フィルタは「バッファを高速で埋める」という要求に対して過剰に反応したが、その一方で、生成したコードは最も安全でなかった。この矛盾は、安全フィルタがコードの実際の内容を評価していないことを示している。

テストでは、cppcheckやGCCの-fanalyzerによる二次検証も行ったが、実際の未定義動作はほとんど増加しておらず、問題は主にガイドラインレベルの安全違反、特に境界チェックの欠如にあることが確認された。これは、C++29のプロファイルがまさに対象としている分野である。

結論として、AIモデルは速度を要求されると、安全な抽象化を犠牲にして不安全なコードを生成する傾向がある。これは訓練データの量の問題ではなく、モデルが「高速」という概念をどのように学習しているかに起因する。解決策としては、プロンプトエンジニアリングや出力ゲートでの境界安全プロファイルの適用が有効であろう。開発者は、AIが生成したコード、特にパフォーマンス重視のコードについては、追加のレビューと検証が必要である。