複雑なタスクを実行 – Claude FableモデルによるLangChainリポジトリ分析

Anthropic は Claude Fable をリリースしました。実際の複雑なタスクでのパフォーマンスを評価するため、CTRL NODE プラットフォーム上で実験を行いました。5つの Claude モデル（Opus 4.8、Fable 5、Sonnet 5、Sonnet 4.6、Haiku 4.5）を使用し、LangChain Python モノレポに対して同一の詳細監査タスクを実行しました。各モデルには、発見、監査、戦略、タスク計画の4フェーズからなる同じプロンプトが与えられ、すべての指摘は証拠に基づき、ファイルと行番号を引用する必要がありました。

実験設定は厳格でした。LangChain リポジトリをクローンし、CTRL NODE 内で各モデルにエージェントを作成し、すべてのエージェントが同じ作業ディレクトリを共有しました。各エージェントは独立してプロンプトを実行し、完全な Markdown レポートと対話型 HTML ダッシュボードを出力しました。

結果は印象的でした。Fable は Opus と同じ A- の総合評価を与えましたが、Haiku の A よりも正直でした。Fable の強みは戦略策定とタスク分解にありました。4つの戦略テーマ、明確な非目標、M0 から M3 までのマイルストーンを含む詳細な計画を提案し、各項目に作業量、リスク、受け入れ基準を付けました。また、他のモデルが見逃した問題（ベンダー提供の Mustache エンジンの独立したセキュリティ面、明示的に無効化された McCabe 複雑性チェックなど）も発見しました。

しかし、Fable は完璧ではありませんでした。Opus が捉えた TOCTOU/DNS リバインディング攻撃やデフォルトで有効な Shell ツールホスト実行などの脅威を見逃しました。Sonnet 5 は SSRF トランスポートの採用状況をよりよくマッピングしました。これは、異なるモデルに異なる盲点があることを示しています。

実験では、Haiku が高速な探索に優れている一方で、CI にロックファイル検証があると誤って主張する事実誤認があったことも明らかになりました。Sonnet 4.6 は運用と CI で良好なパフォーマンスを示しましたが、新しい SSRF 機能の詳細な分析は不足していました。

全体として、この実験は重要なポイントを証明しました：モデル選択はワークフローの決定であり、単なる階層選択ではありません。ベストプラクティスは、Haiku を初期探索、Sonnet を主要監査、Opus を脅威レビュー、Fable を戦略計画に使用することです。単一のモデルが完全なパイプラインを代替することはできません。CTRL NODE プラットフォームはこのようなマルチモデル調整を容易にし、ユーザーは同じプロジェクトで異なるモデルのエージェントを登録し、出力を比較できます。

読者が自身のリポジトリで実験を再現することを推奨します。リポジトリを Bridge ベースパスにクローンし、Claude プロジェクトを作成してそれを指すように設定し、異なる MODEL 値でタスクを5回複製するだけです。出力を比較すれば、各モデルの価値がわかります。詳細とすべてのレポートは記事の参考文献から入手できます。