OpenAIは2026年10月30日、robots.txtにおける共通シグナルを尊重すると発表した。robots.txtはウェブサイトが自サイトのコンテンツ利用に関する意向を表明するためのファイルであり、今回のシグナルは特に基盤となる生成AIの学習にコンテンツを利用してよいかどうかを示すために用いられる。この取り組みは任意ベースのもので、出版社やウェブサイト運営者が同じ意向を複数の参加AIプロバイダーにまとめて伝えられるようにすることを目的としている。
これまで、ウェブサイト運営者は各AIプロバイダーのクローラーを個別に識別し、プロバイダーごとに異なるルールを保守する必要があった。基盤モデルの学習に参加するプロバイダーが増えるにつれて、新しいクローラー名を追跡し設定を更新し続ける負担は大きくなっている。複数のプロバイダーで共有される統一シグナルを採用すれば、こうした重複作業を大幅に削減できる。
OpenAIは今後数カ月以内にこのシグナルを実装する予定であり、実装時には具体的な内容を別途公表するとしている。同社はまた、新しいシグナルが既存のrobots.txtによる制御を置き換えるものではないと強調した。既存のクローラー制御は引き続き適用され尊重されるため、ウェブパブリッシャーはページに対する柔軟性と制御を維持できる。
この取り組みは、インターネット技術タスクフォース（IETF）のAI Preferences作業部会における継続的な議論に基づいている。OpenAIは同作業部会の他の参加者とともに今回の共通シグナルの発表に加わり、これがIETF標準化の議論への継続的な参加を強化するとの見方を示した。同社はまた、議論と業界情勢の変化に応じて、適切な制御と公平性を考慮しながら自社の慣行を適応させ続けると述べている。
OpenAIはこれを、人々が情報を公開し発見できるオープンなウェブに向けた実践的な一歩と位置づけている。ウェブサイト所有者がコンテンツの利用方法についてより明確で簡単な方法で意向を表明できるようになるという。同社は他のAIプロバイダーにもこのシグナルを尊重するよう呼びかけている。
この発表の背景には、AI学習におけるデータ利用への関心の高まりがある。ウェブサイト運営者はAIクローラーに対する意向を表明する統一的な手段を長く欠いており、プロバイダーごとに異なるクローラールールが管理コストを押し上げてきた。共通シグナルの支持により、OpenAIはコンテンツ制作者の制御ニーズとAIモデル学習のデータ需要の間に、より透明な調整の仕組みを築こうとしている。ただし、その実効性は参加し遵守するプロバイダーの数と、既存のrobots.txtエコシステムとの互換性にかかっている。