オートリサーチ：自己改善エージェントの背後にあるフィードバックループ

AI Engineer World's Fairで、Introspectionの共同創業者兼CEOであるRoland Gavrilescu氏は、オートリサーチ（autoresearch）の概念について詳しく説明した。オートリサーチとは、フィードバック信号、評価、人間の入力を活用して、エージェントがメインシステムを維持・改善するための「外部ループ」を構築することを指す。Gavrilescu氏は以前xAIでエージェント基盤とクラウドエージェントの開発に従事し、共同創業者のJulian Bright氏と共にIntrospectionを設立。自己改善システムを展開するための基盤を提供している。

Gavrilescu氏は講演で三つの主要なパターンを提示した。第一に、「ループがプロダクトである」という点。モデルからハーネス、そしてループへと焦点が移り、エージェントが質の低いアウトプットを生み出さずに作業をこなせるようにする適切なフィードバックメカニズムの定義が重要となる。第二に、ループが生成するものを追跡する必要性から「エージェントレシピ」の概念を導入。レシピは、評価、判断、信号処理、そしてループにフィードバックされる情報をまとめたポータブルな形式であり、研究ラボのようにエージェントが反復できるようにする。第三に、システムは時間とともに性能向上とコスト削減の両方を目指すべきであり、フロンティアモデルの能力を自社環境に合わせたシステムへと徐々に蒸留する。

Gavrilescu氏はシステムを内部ループと外部ループに分けて説明した。内部ループはユーザーと対話し作業を実行するメインシステムであり、オートリサーチは主に外部ループ、つまりメインシステムを研究・維持する別のシステムに関わる。外部ループの設計では、適切な問題に取り組み、無駄なトークン消費を抑えることが重要となる。同氏はオープンソースのPiフレームワークをエージェントハーネスのLinuxに例え、IntrospectionはRed Hatのような役割を果たし、管理基盤と拡張機能を提供すると述べた。

プロダクション環境では信頼性とコスト管理が鍵となる。Introspectionは、セキュリティを維持しながらエージェントループを運用するための管理基盤を提供する。人間はループの中で重要な役割を担い、特に初期段階ではエージェントが「人間に質問する」ツールを通じて学習する。エージェントは時間とともに知識を蓄積し、自律性を高める。Gavrilescu氏はこれを新入社員が会社に適応する過程に例えた。

現在、Introspectionは主に垂直SaaS企業のソフトウェアエンジニアを対象としている。エージェントの作業環境はGitベースで、Gitが変更履歴の監査ログとして機能する。将来的にはプロダクトマネージャーなどの参加も視野に入れる。同氏はループの設計はソフトウェア工場の設計そのものであり、自律性は段階的に高めるべきだと指摘。人間を工場の中核と位置づけ、初期段階から完全な自動化を目指すのではなく、人間から暗黙知とワークフローを抽出するアプローチを推奨する。

オートリサーチに取り組むエンジニアへのアドバイスとして、まず信号への投資、つまりエージェントに反応させたい内容を明確にし、フィルタリングメカニズムを導入すること。次にコスト管理、そして研究の動向を追い、データレシピの考え方を自社製品に応用すること。最終的な目標は、製品組織をミニチュア研究ラボに変え、エージェントをミニチュア研究者として活用することだと述べた。