米OpenAI、米Google、米Microsoftは10月30日（現地時間）、ウェブサイト運営者がAI学習へのコンテンツ利用に関する意向を複数のAI企業にまとめて伝えられる共通の仕組みに対応する方針を、それぞれ発表しました。米Anthropicも実装を進めています。この仕組みは、Anthropicのケビン・ケリー氏が同日付で標準化団体IETFに提出したInternet-Draft（インターネット標準の草案）で提案されています。
これまで運営者は、AI企業ごとにクローラーを識別し、ルールを書き分ける必要がありました。新しい仕組みでは、クローラーのアクセスを制御するrobots.txtに共通のシグナルを記述すれば、学習への利用を拒否または許可する意向を一括して示せます。IETFのAI Preferences（AIPREF）ワーキンググループでの議論が土台で、OpenAIは各社の対応により運営者の負担を軽減できると説明しています。
ドラフト「Machine-Readable Training Preference Signal」では、robots.txtのUser-Agent行に「__usage_ai-training」というポリシートークンを指定します。この下でDisallowは拒否、Allowは許可の意向を表します。たとえばDisallow: /とAllow: /press-kit/を記述すると、/press-kit/以下を除くすべてのパスで学習に使わないよう求める意思表示になります。
この指定は従来のクロール制御とは独立しており、クロール自体を禁じるものではありません。共通トークンを指定しなければ、AI学習について特に意向を示していないと解釈されます。新しいディレクティブや文法は導入しないため、既存のパーサーの動作には影響しないとされています。対象のAI学習は、生成AIモデルの学習済みパラメーターを変更するためにコンテンツを使うことと定義され、生成以外の用途だけに使うモデルの学習は含みません。各企業の独自制御を共通シグナルより優先させたり、個別契約で異なる扱いをしたりすることも認めています。ただしこのドラフトは個人名義で提出されたもので、現時点ではIETFの標準化プロセス上の正式な地位を持ちません。
各社の対応時期は異なります。OpenAIは今後数カ月以内の対応を目指し、実装時に詳細を公表するとしています。robots.txtによる既存のクローラー制御は引き続き尊重し、他のAI企業にも共通シグナルの尊重を呼びかけました。
Googleは他社とともに2027年の対応を目指します。共通シグナルで学習を拒否し、独自制御のGoogle-Extendedを明示的に指定していないサイトは、Google-Extendedも拒否したものとして扱う方針です。Google-Extendedは2023年から提供している制御手段で、今後も使えます。これを明示的に許可したサイトは、Geminiアプリのグラウンディング（ウェブコンテンツを参照した回答生成）の対象となり、回答内で紹介されてクリックを得る可能性があるといいます。
Microsoftは2027年2月1日から新設定の読み取りを始めます。学習の可否をmetaタグやHTTPヘッダでページ単位でも指定でき、robots.txtの設定より優先されます。グラウンディング向けには、Disallowのほか、Microsoft自身のサービスでの利用だけを認めるDisallowExtendedも新設します。従来のNoArchiveとNoCacheに代わるもので、利用中のサイトには2027年3月1日までの移行を求めています。
Anthropicについては、ケリー氏がメーリングリストで、同社がドラフトへの対応実装を始めたと報告しました。ただしサービス全体への展開には時間がかかるとしています。
出典：https://openai.com/ja-JP/index/helping-websites-express-ai-training-preferences/
出典：Supporting a shared AI training control for websites | Google Search Central Blog | Google for Developers
出典：Your content, your choice: clearer preferences for training and…
出典：draft-kelley-aipref-training-preference-signal-00 – Machine-Readable Training Preference Signal