OAI-SearchBotとは？ChatGPT Searchで表示されるためのrobots.txt設定と確認ポイント
OAI-SearchBot は「ChatGPT Search に出るには何を許可すればよいのか」を調べたときに必ず出てくる名前ですが、実務では GPTBot や ChatGPT-User と混同されがちです。その結果、学習拒否をしたつもりで Search まで止めていたり、逆に Search 用の設定だと思っていたものが別用途だったりして、確認がねじれやすくなります。
結論から言うと、ChatGPT Search の自動クロール前提を整える役割は OAI-SearchBot です。OpenAI の crawler overview では、OAI-SearchBot は Search 用、GPTBot は学習用、ChatGPT-User はユーザー起点アクセス用と分けて案内されています。BtoB サイトでは、表示条件の総論 と切り分けて、ここでは robots.txt、IP 許可、noindex、反映確認だけに絞って運用した方が判断しやすくなります。
本記事のポイント
- OAI-SearchBot は ChatGPT Search の自動クロール用で、GPTBot の学習用途や ChatGPT-User のユーザー起点アクセスとは役割が別です。
- ChatGPT Search で要約やスニペットに載る前提を整えるには、robots.txt で OAI-SearchBot を妨げず、必要に応じて OpenAI 公開 IP を通す必要があります。
- 表示されないときは、Search・Agent・Training の用途分類、robots.txt、CDN・WAF、noindex、反映待ち時間を順に切り分ける方が早く原因へたどり着けます。
OAI-SearchBotとは何か。GPTBot・ChatGPT-User との違い
OpenAI の公式ドキュメントでは、crawler の役割は用途ごとに分かれています。OAI-SearchBot は ChatGPT Search でサイトを surfacing するための crawler、GPTBot は生成 AI 基盤モデルの学習用 crawler、ChatGPT-User はユーザーや Custom GPT の操作に応じてページへアクセスする user agent です。したがって、Search に載りたいか、学習を許可するか、ユーザー起点アクセスをどう扱うかは、別々に考える必要があります。
この違いを混同すると、たとえば GPTBot を disallow しただけで Search にも出なくなると誤解したり、逆に OAI-SearchBot を止めているのに「なぜ ChatGPT Search に載らないのか」と本文改善ばかり見てしまったりします。OpenAI は ChatGPT Search ヘルプ でも、掲載対象となる前提として OAI-SearchBot のクロール許可と公開 IP の許可を案内しています。
| user agent | 主な役割 | 実務で見るべき点 |
|---|---|---|
| OAI-SearchBot | ChatGPT Search で使う自動クロール | robots.txt と CDN / WAF で通っているか |
| GPTBot | 基盤モデル学習向けのクロール | 学習利用を許可するかどうか |
| ChatGPT-User | ユーザー起点のアクセス | 自動クロールとは別物として扱う |
ChatGPT Search に出るかを見たいときは、まず OAI-SearchBot を見ます。GPTBot と ChatGPT-User は別の問いです。
AIクローラー管理はSearch・Agent・Trainingで分ける
OAI-SearchBot、GPTBot、ChatGPT-User の違いは、OpenAI だけの個別設定ではありません。AI検索やAIエージェントが広がるほど、サイト側では「検索に出すためのクロール」「ユーザーの依頼でページを開くアクセス」「モデル学習のためのクロール」を分けて扱う必要が出てきます。
Cloudflare は 2026年7月1日の公式発表で、AI traffic を Search、Agent、Training の3分類で管理する考え方を示しました。発表では、Search はコンテンツを索引化して後から回答に使う動き、Agent は人の依頼を実行するためのリアルタイムなアクセス、Training はモデルの学習や微調整のためにコンテンツを取り込む動きとして整理されています。これは、OAI-SearchBot、GPTBot、ChatGPT-User を別々に見る実務感覚と近い分類です。
| 管理単位 | 代表的な見方 | BtoBサイトでの判断 |
|---|---|---|
| Search | 検索やAI回答で見つけてもらうためのクロール | 公開記事、比較表、FAQ、製品情報は許可を基本にし、noindex対象だけを分ける |
| Agent | ユーザーの依頼でページを開く、フォーム確認や購買補助などのアクセス | 問い合わせフォーム、ログイン前ページ、価格表では悪用対策と正規アクセスの両立を見る |
| Training | モデル学習や微調整のためにコンテンツを取り込むクロール | 検索掲載とは別に、学習利用を許可するかを法務・ブランド方針として決める |
この分類で見ると、robots.txt の設定だけで完結させない方が安全です。たとえば ChatGPT Search に出したいページは OAI-SearchBot を通しつつ、学習用の GPTBot は止める。さらに CDN や WAF では、正規の Search crawler まで一括で弾かないようにする。逆に、フォームや管理画面に近い領域では、ユーザー代理の Agent アクセスをどこまで許可するかを別に決める。このように、公開ページ、フォーム、会員・管理領域で設定方針を分けると、AI検索の露出とデータ保護を両立しやすくなります。
robots.txt と noindex をどう設定すべきか
OAI-SearchBot を許可したいなら、robots.txt 側で明示的に妨げないことが出発点です。さらに OpenAI の公式 FAQ では、要約やスニペットに含めたくない場合でも、URL が第三者検索プロバイダーや他ページ経由で見つかれば、リンクとタイトルだけが表示される可能性があると案内されています。これ自体も避けたいなら noindex を使う必要がありますが、meta を読ませるためには crawler を通す必要がある、という順序になります。
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /上のように、Search と学習を分けて扱うのが典型です。反対に、ChatGPT Search への surfacing を止めたい場合は OAI-SearchBot を disallow します。ただし、Google の canonical 設計と同じ感覚で robots.txt を何でも管理用に使うのではなく、ここでは crawl 許可 と crawl 拒否 に役割を限定した方が安全です。
公開後に確認すべきポイント
OpenAI の crawler docs では、robots.txt 更新後に反映が調整されるまでおよそ 24 時間かかることがあると案内されています。したがって、変更直後に 1 回見て終わりではなく、公開、反映待ち、再確認までをセットで運用した方が確実です。
- robots.txt で OAI-SearchBot を意図どおり allow / disallow しているかを確認する。
- CDN や WAF で OpenAI 公開 IP 範囲を不要に弾いていないかを見る。
- Search に出したいページが public で、noindex や認証壁に入っていないかを見る。
- 変更後すぐに結論を出さず、反映までの待ち時間を見込んで再確認する。
- そのうえで、ChatGPT Search流入計測 側で実際の referral を見る。
| 確認項目 | 見る理由 | よくある詰まり |
|---|---|---|
| robots.txt | OAI-SearchBot が通れる前提を作る | GPTBot と同じルールで止めてしまう |
| CDN / WAF | 公開 IP からの到達性を確保する | bot をまとめて遮断している |
| noindex | title/link だけの surfacing まで制御する | robots で止めて meta を読ませられない |
| 反映待ち | 設定変更の誤判定を防ぐ | 変更直後に未反映を失敗と見なす |
OAI-SearchBot 設定で起こりやすい失敗
- GPTBot を止めれば Search も止まる、あるいはその逆だと誤解する。
- robots.txt では許可しているのに、CDN や WAF 側で公開 IP を弾いている。
- noindex を使いたいのに crawler 自体を止めてしまい、meta を読ませられない。
- 公開条件だけ整えて、本文の比較軸や責任主体を見直さないまま終える。
よくある質問
OAI-SearchBotを許可すれば必ず ChatGPT Search に表示されますか？
必ずではありません。OpenAI も複数要因で決まると案内しており、許可はあくまで前提条件です。
GPTBot を止めても ChatGPT Search に出せますか？
はい。OpenAI の crawler docs では設定は独立していると案内されています。
ChatGPT-User も robots.txt で管理すべきですか？
自動クロールとは別の user-triggered access として考える方が整理しやすく、Search opt-out の管理は OAI-SearchBot を基準に見るのが基本です。
AIクローラーはSearch・Agent・Trainingで分けるべきですか？
分けるべきです。検索に出すためのクロール、ユーザーの依頼でページを開くアクセス、モデル学習のためのクロールは目的もリスクも違います。公開記事はSearchを通し、学習利用は別に判断し、フォームやログイン周辺ではAgentアクセスの扱いを個別に決めると整理しやすくなります。
disallow しているページが link と title だけ出ることはありますか？
あります。OpenAI の FAQ でもその可能性が案内されており、避けたい場合は noindex の扱いまで含めて設計する必要があります。
