robots.txtを正しく書く
構文、照合の仕組み、そして余計な Disallow: / のように意図以上にブロックしてしまう間違い。
robots.txtとSEO(英語)無料SEOツール · Googleの照合ルール
URLを入力すると公開中のrobots.txtを取得し、Googlebot、Bingbot、主要なAIクローラーがそのURLをクロールできるかを、判定した行とともに表示します。公開前にファイルを編集して再テストすることもできます。
ページのURLまたはドメインを入力してください。クローラーと同じく、同じプロトコルとホストのrobots.txtを読み込みます。
結果
公開中のファイルではなく、編集したrobots.txtをテストしています。
| クローラー | 結果 | 判定したルール |
|---|
ファイルを編集して変更をテストできます。内容は保存も送信もされず、入力に合わせて結果が更新されます。
仕組み
このツールは、Googleのドキュメントとロボット排除プロトコルの標準(RFC 9309)にある同じルールを適用します。
| 適用されるグループ | クローラーは、自分のユーザーエージェントのトークンを記載したグループに従います(大文字と小文字は区別しません)。同じクローラーのグループが複数あれば結合されます。自分の名前のグループがない場合に限り User-agent: * に従い、両者が結合されることはありません。 |
|---|---|
| 優先されるルール | 一致したルールのうち、パスが最も長いものが優先されます。Allow と Disallow が同じ長さの場合、Googleは制限の少ない Allow を使います。 |
| ワイルドカード | * は任意の文字列に一致し、末尾の $ はURLの末尾を表します。パスは大文字と小文字を区別し、/ で始める必要があります。 |
| サポートされるフィールド | user-agent、allow、disallow、sitemap。crawl-delay などその他のフィールドをGoogleは無視します。 |
| 適用範囲 | robots.txtは、そのファイルと同じプロトコル、ホスト、ポートにのみ適用されます。blog.example.com には専用のファイルが必要です。 |
| ファイルがない、または取得できない | 4xx(429を除く)はファイルがないものとして扱われ、すべて許可されます。5xx、429、ネットワークエラーの場合、Googleはサイトのクロールを12時間停止し、その後は最大30日間、最後に正常に取得したコピーを使います。 |
| リダイレクトとサイズ | Googleはrobots.txtのリダイレクトを少なくとも5回たどり、それを超えるとファイルがないものとして扱います。読み込むのは最初の500 KiBまでで、残りは無視されます。 |
| キャッシュ | Googleは通常robots.txtを最大24時間キャッシュするため、変更が反映されるまで1日かかることがあります。 |
クローラー一覧
各トークンは、そのクローラーを運営する企業が公開しているものです。クローラーは変わることがあるため、ルールを決める前に運営者のページを確認してください。
| トークン | 運営者 | 用途 | 出典 |
|---|---|---|---|
Googlebot | 検索エンジンAIによる概要とAIモードにも使用 | ドキュメント ↗ | |
Bingbot | Microsoft | 検索エンジン | ドキュメント ↗ |
Applebot | Apple | 検索エンジンSpotlight、Siri、Safari。データがAppleのモデルの学習に使われることもあります | ドキュメント ↗ |
OAI-SearchBot | OpenAI | AI検索 | ドキュメント ↗ |
Claude-SearchBot | Anthropic | AI検索 | ドキュメント ↗ |
PerplexityBot | Perplexity | AI検索 | ドキュメント ↗ |
Amzn-SearchBot | Amazon | AI検索 | ドキュメント ↗ |
GPTBot | OpenAI | AIの学習 | ドキュメント ↗ |
ClaudeBot | Anthropic | AIの学習 | ドキュメント ↗ |
Google-Extended | AIの学習robots.txt用のトークンで、独立したクローラーではありません | ドキュメント ↗ | |
Applebot-Extended | Apple | AIの学習robots.txt用のトークンで、独立したクローラーではありません | ドキュメント ↗ |
meta-externalagent | Meta | AIの学習 | ドキュメント ↗ |
Amazonbot | Amazon | AIの学習Amazon製品の改善に使用。AmazonのAIモデルの学習に使われることがあります | ドキュメント ↗ |
CCBot | Common Crawl | AIの学習 | ドキュメント ↗ |
ChatGPT-User | OpenAI | ユーザー操作による取得robots.txtを無視する場合あり | ドキュメント ↗ |
Claude-User | Anthropic | ユーザー操作による取得 | ドキュメント ↗ |
Perplexity-User | Perplexity | ユーザー操作による取得robots.txtを無視する場合あり | ドキュメント ↗ |
meta-externalfetcher | Meta | ユーザー操作による取得robots.txtを無視する場合あり | ドキュメント ↗ |
次のステップ
ブロックされたURLが問題になるのは、クロールしてほしい場合だけです。よくあるケースは次のガイドで扱っています。
構文、照合の仕組み、そして余計な Disallow: / のように意図以上にブロックしてしまう間違い。
robots.txtとSEO(英語)AIの学習を拒否しながら、ChatGPT、Claude、Perplexityの回答で引用され続ける方法。
AIクローラーのブロック方法(英語)robots.txtが止めるのはクロールで、インデックスではありません。検索結果から外すにはnoindexを使います。
noindexとrobots.txtの違い(英語)知っておきたいこと
上の欄にURLを入力してください。そのホストの公開中のrobots.txtを取得し、クローラーごとにURLが許可されているか、どの行で判定されたかを表示します。Googlebotについては、Search ConsoleのURL検査ツールでもブロックの有無を確認できます。
いいえ。Googleによると、ブロックされたURLでも他のページからリンクされていれば、クロールされないままインデックスされることがあり、通常は説明文なしで表示されます。検索結果に出したくない場合は、クロールを許可したうえでnoindexのメタタグまたはヘッダーを使います。
一致するパスが最も長いルールです。AllowとDisallowのルールが同じ長さの場合、Googleは制限の少ないAllowを使います。
ファイルにGooglebot用のグループがあるためです。自分の名前のグループを見つけたクローラーはそのグループだけに従い、*のグループは無視します。共通のルールはGooglebotのグループにも書いてください。
404などの4xx(429を除く)はrobots.txtがないものとして扱われ、すべてクロールできます。5xxや429の場合、Googleはサイトのクロールを12時間停止し、その後は最大30日間、最後に正常に取得したコピーを使います。
Crawlensは選んだユーザーエージェントでクロールし、そのrobots.txtのルールに従うこともできます。robots.txtでブロックされたリンク先のページを検出し、サーバーログ分析では実際にページをリクエストしたAIクローラーがわかります。
Windows版を無料ダウンロード