機能 イベント お役立ち お知らせ

OAI-SearchBotとは?ChatGPT Searchで表示されるためのrobots.txt設定と確認ポイント

OAI-SearchBotとは?ChatGPT Searchで表示されるためのrobots.txt設定と確認ポイント

OAI-SearchBot は「ChatGPT Search に出るには何を許可すればよいのか」を調べたときに必ず出てくる名前ですが、実務では GPTBot や ChatGPT-User と混同されがちです。その結果、学習拒否をしたつもりで Search まで止めていたり、逆に Search 用の設定だと思っていたものが別用途だったりして、確認がねじれやすくなります。

結論から言うと、ChatGPT Search の自動クロール前提を整える役割は OAI-SearchBot です。OpenAI の crawler overview では、OAI-SearchBot は Search 用、GPTBot は学習用、ChatGPT-User はユーザー起点アクセス用と分けて案内されています。BtoB サイトでは、表示条件の総論 と切り分けて、ここでは robots.txt、IP 許可、noindex、反映確認だけに絞って運用した方が判断しやすくなります。


本記事のポイント

  1. OAI-SearchBot は ChatGPT Search の自動クロール用で、GPTBot の学習用途や ChatGPT-User のユーザー起点アクセスとは役割が別です。
  2. ChatGPT Search で要約やスニペットに載る前提を整えるには、robots.txt で OAI-SearchBot を妨げず、必要に応じて OpenAI 公開 IP を通す必要があります。
  3. 表示されないときは本文改善だけでなく、robots.txt、CDN・WAF、noindex、反映待ち時間を順に切り分ける方が早く原因へたどり着けます。

この記事で扱うテーマ

関連キーワード

  • OAI-SearchBot
  • ChatGPT Search robots.txt
  • ChatGPT Search 表示されない
  • GPTBot 違い
  • ChatGPT-User 違い

このページで答える質問

  • OAI-SearchBotとは?
  • robots.txt はどう設定する?
  • GPTBot や ChatGPT-User と何が違う?
  • 表示されないときは何を確認する?

OAI-SearchBotとは何か。GPTBot・ChatGPT-User との違い

OpenAI の公式ドキュメントでは、crawler の役割は用途ごとに分かれています。OAI-SearchBot は ChatGPT Search でサイトを surfacing するための crawler、GPTBot は生成 AI 基盤モデルの学習用 crawler、ChatGPT-User はユーザーや Custom GPT の操作に応じてページへアクセスする user agent です。したがって、Search に載りたいか、学習を許可するか、ユーザー起点アクセスをどう扱うかは、別々に考える必要があります。

この違いを混同すると、たとえば GPTBot を disallow しただけで Search にも出なくなると誤解したり、逆に OAI-SearchBot を止めているのに「なぜ ChatGPT Search に載らないのか」と本文改善ばかり見てしまったりします。OpenAI は ChatGPT Search ヘルプ でも、掲載対象となる前提として OAI-SearchBot のクロール許可と公開 IP の許可を案内しています。

user agent主な役割実務で見るべき点
OAI-SearchBotChatGPT Search で使う自動クロールrobots.txt と CDN / WAF で通っているか
GPTBot基盤モデル学習向けのクロール学習利用を許可するかどうか
ChatGPT-Userユーザー起点のアクセス自動クロールとは別物として扱う

ChatGPT Search に出るかを見たいときは、まず OAI-SearchBot を見ます。GPTBot と ChatGPT-User は別の問いです。

robots.txt と noindex をどう設定すべきか

OAI-SearchBot を許可したいなら、robots.txt 側で明示的に妨げないことが出発点です。さらに OpenAI の公式 FAQ では、要約やスニペットに含めたくない場合でも、URL が第三者検索プロバイダーや他ページ経由で見つかれば、リンクとタイトルだけが表示される可能性があると案内されています。これ自体も避けたいなら noindex を使う必要がありますが、meta を読ませるためには crawler を通す必要がある、という順序になります。

User-agent: OAI-SearchBot
        Allow: /

        User-agent: GPTBot
        Disallow: /

上のように、Search と学習を分けて扱うのが典型です。反対に、ChatGPT Search への surfacing を止めたい場合は OAI-SearchBot を disallow します。ただし、Google の canonical 設計と同じ感覚で robots.txt を何でも管理用に使うのではなく、ここでは crawl 許可crawl 拒否 に役割を限定した方が安全です。

公開後に確認すべきポイント

OpenAI の crawler docs では、robots.txt 更新後に反映が調整されるまでおよそ 24 時間かかることがあると案内されています。したがって、変更直後に 1 回見て終わりではなく、公開、反映待ち、再確認までをセットで運用した方が確実です。

  1. robots.txt で OAI-SearchBot を意図どおり allow / disallow しているかを確認する。
  2. CDN や WAF で OpenAI 公開 IP 範囲を不要に弾いていないかを見る。
  3. Search に出したいページが public で、noindex や認証壁に入っていないかを見る。
  4. 変更後すぐに結論を出さず、反映までの待ち時間を見込んで再確認する。
  5. そのうえで、ChatGPT Search流入計測 側で実際の referral を見る。
確認項目見る理由よくある詰まり
robots.txtOAI-SearchBot が通れる前提を作るGPTBot と同じルールで止めてしまう
CDN / WAF公開 IP からの到達性を確保するbot をまとめて遮断している
noindextitle/link だけの surfacing まで制御するrobots で止めて meta を読ませられない
反映待ち設定変更の誤判定を防ぐ変更直後に未反映を失敗と見なす

OAI-SearchBot 設定で起こりやすい失敗

  • GPTBot を止めれば Search も止まる、あるいはその逆だと誤解する。
  • robots.txt では許可しているのに、CDN や WAF 側で公開 IP を弾いている。
  • noindex を使いたいのに crawler 自体を止めてしまい、meta を読ませられない。
  • 公開条件だけ整えて、本文の比較軸や責任主体を見直さないまま終える。

よくある質問

OAI-SearchBotを許可すれば必ず ChatGPT Search に表示されますか?

必ずではありません。OpenAI も複数要因で決まると案内しており、許可はあくまで前提条件です。

GPTBot を止めても ChatGPT Search に出せますか?

はい。OpenAI の crawler docs では設定は独立していると案内されています。

ChatGPT-User も robots.txt で管理すべきですか?

自動クロールとは別の user-triggered access として考える方が整理しやすく、Search opt-out の管理は OAI-SearchBot を基準に見るのが基本です。

disallow しているページが link と title だけ出ることはありますか?

あります。OpenAI の FAQ でもその可能性が案内されており、避けたい場合は noindex の扱いまで含めて設計する必要があります。

関連ページと関連記事

このテーマは crawler 設定だけで閉じず、表示条件、流入確認、サイト公開設計とまとめて見ると判断しやすくなります。

OAI-SearchBot の設定を、自社の robots と CDN 運用まで含めて整えたい場合

OAI-SearchBot の設定は robots.txt だけ直しても終わりません。CDN、WAF、noindex、公開後確認まで含めて整えると、Search の切り分けがかなり速くなります。

お問い合わせはこちら

ブログ一覧へ戻る