AIはアーキテクチャルールに従うか？測定したところ、Opusでさえ60%無視
最新の測定によると、最も先進的なAIモデルでさえアーキテクチャルールをしばしば無視し、Opusモデルは60%のルールを無視した。これはAIの信頼性と安全性に懸念を引き起こす。
Hunch Blogの実験では、現在のAIモデルがアーキテクチャルールをどの程度遵守するか評価しました。研究者は、コードや設計を生成する際に特定のアーキテクチャ制約に従うようモデルに求める一連のテストを設計しました。結果は驚くべきもので、最も優れたモデルであるOpusでさえ、60%のケースでルールを無視しました。他のモデルはさらに悪い成績でした。この発見は、実際のアプリケーションにおけるAIの信頼性と安全性に重要な問題を提起しています。