Verol:AIのハルシネーションを防ぐChrome拡張
Verolは、ChatGPT、Claude、Geminiに独立した検証レイヤーを追加し、リアルタイムのWeb検索でソースを検証してAIのハルシネーションを特定するChrome拡張機能です。
Verolは、開発者のMark氏によって作成されたChrome拡張機能で、ChatGPT、Claude、Geminiといった大規模言語モデルが生成する「ハルシネーション」(事実に反するがもっともらしい出力)を検出するために設計されました。この拡張機能は、ユーザーがAIとやり取りするチャットインターフェースの上に独立した検証レイヤーを追加します。AIが回答を生成すると、Verolはその中の個々の主張を抽出し、専用のバックエンドパイプラインを通じてリアルタイムのウェブ検索を実行し、情報源を検証します。ユーザーは各主張に対する即時の判定結果(合格/不合格)、信頼度スコア、およびクリック可能なソースリンクを取得できます。すべての検証履歴はブラウザ内にローカル保存され、サーバーに送信されることはないため、プライバシーが保護されます。
Mark氏は、AIの回答を一文ずつ手動でGoogleにコピーして検証するプロセスに疲れたことがきっかけでVerolを開発しました。この方法は時間がかかり、結果の半分も信頼できない状態でした。Verolは、ユーザーがすでに使用しているAIチャットの上に直接配置され、モデルに「本当ですか?」と尋ねる代わりに(これによりさらに自信満々のハルシネーションが返されることが多い)、個々の主張を抽出してライブウェブ検索で検証します。現在、ChatGPT、Claude、Geminiに対応しており、今後対応プラットフォームは拡大予定です。
Mark氏はまた、3つのモデルでそれぞれ100個の同一プロンプトを使用した小規模なベンチマークテストを実施し、自信満々に聞こえる回答が実際のソースチェックでどれほど頻繁に崩壊するかを検証しました。これは正式な科学研究ではありませんが、結果のチャートは製品ギャラリーで公開されています。Verolは無料の5回検証を含む無料ティアを提供しており、ユーザーは自分のワークフローでテストできます。有料プランは月額4.99ドルからで、頻繁に検証が必要なユーザーに適しています。Mark氏は、研究やコーディングなど、微妙なハルシネーションが大きな問題を引き起こすシナリオでLLMを利用するユーザーからのフィードバックを歓迎しています。