新しいリサーチTechnical SEO & AI Search · 2027フレームワークを見る

無料SEOツール · Googleの照合ルール

robots.txtテスター & AIクローラーチェッカー

URLを入力すると公開中のrobots.txtを取得し、Googlebot、Bingbot、主要なAIクローラーがそのURLをクロールできるかを、判定した行とともに表示します。公開前にファイルを編集して再テストすることもできます。

18のクローラーを一度に確認ブラウザで編集して再テストGoogleのrobots.txtのルール ↗
URLをテスト

このページにアクセスできるクローラーは?

ページのURLまたはドメインを入力してください。クローラーと同じく、同じプロトコルとホストのrobots.txtを読み込みます。

仕組み

Googleによるrobots.txtの読み方

このツールは、Googleのドキュメントとロボット排除プロトコルの標準(RFC 9309)にある同じルールを適用します。

適用されるグループクローラーは、自分のユーザーエージェントのトークンを記載したグループに従います(大文字と小文字は区別しません)。同じクローラーのグループが複数あれば結合されます。自分の名前のグループがない場合に限り User-agent: * に従い、両者が結合されることはありません。
優先されるルール一致したルールのうち、パスが最も長いものが優先されます。Allow と Disallow が同じ長さの場合、Googleは制限の少ない Allow を使います。
ワイルドカード* は任意の文字列に一致し、末尾の $ はURLの末尾を表します。パスは大文字と小文字を区別し、/ で始める必要があります。
サポートされるフィールドuser-agent、allow、disallow、sitemap。crawl-delay などその他のフィールドをGoogleは無視します。
適用範囲robots.txtは、そのファイルと同じプロトコル、ホスト、ポートにのみ適用されます。blog.example.com には専用のファイルが必要です。
ファイルがない、または取得できない4xx(429を除く)はファイルがないものとして扱われ、すべて許可されます。5xx、429、ネットワークエラーの場合、Googleはサイトのクロールを12時間停止し、その後は最大30日間、最後に正常に取得したコピーを使います。
リダイレクトとサイズGoogleはrobots.txtのリダイレクトを少なくとも5回たどり、それを超えるとファイルがないものとして扱います。読み込むのは最初の500 KiBまでで、残りは無視されます。
キャッシュGoogleは通常robots.txtを最大24時間キャッシュするため、変更が反映されるまで1日かかることがあります。

出典:Googleによるrobots.txtの仕様の解釈、RFC 9309。

クローラー一覧

このツールで確認するクローラー

各トークンは、そのクローラーを運営する企業が公開しているものです。クローラーは変わることがあるため、ルールを決める前に運営者のページを確認してください。

トークン運営者用途出典
GooglebotGoogle検索エンジンAIによる概要とAIモードにも使用ドキュメント ↗
BingbotMicrosoft検索エンジンドキュメント ↗
ApplebotApple検索エンジンSpotlight、Siri、Safari。データがAppleのモデルの学習に使われることもありますドキュメント ↗
OAI-SearchBotOpenAIAI検索ドキュメント ↗
Claude-SearchBotAnthropicAI検索ドキュメント ↗
PerplexityBotPerplexityAI検索ドキュメント ↗
Amzn-SearchBotAmazonAI検索ドキュメント ↗
GPTBotOpenAIAIの学習ドキュメント ↗
ClaudeBotAnthropicAIの学習ドキュメント ↗
Google-ExtendedGoogleAIの学習robots.txt用のトークンで、独立したクローラーではありませんドキュメント ↗
Applebot-ExtendedAppleAIの学習robots.txt用のトークンで、独立したクローラーではありませんドキュメント ↗
meta-externalagentMetaAIの学習ドキュメント ↗
AmazonbotAmazonAIの学習Amazon製品の改善に使用。AmazonのAIモデルの学習に使われることがありますドキュメント ↗
CCBotCommon CrawlAIの学習ドキュメント ↗
ChatGPT-UserOpenAIユーザー操作による取得robots.txtを無視する場合ありドキュメント ↗
Claude-UserAnthropicユーザー操作による取得ドキュメント ↗
Perplexity-UserPerplexityユーザー操作による取得robots.txtを無視する場合ありドキュメント ↗
meta-externalfetcherMetaユーザー操作による取得robots.txtを無視する場合ありドキュメント ↗

次のステップ

テストで見つかった問題を直す

ブロックされたURLが問題になるのは、クロールしてほしい場合だけです。よくあるケースは次のガイドで扱っています。

ルール

robots.txtを正しく書く

構文、照合の仕組み、そして余計な Disallow: / のように意図以上にブロックしてしまう間違い。

robots.txtとSEO(英語)
インデックス

ページを検索結果に出さない

robots.txtが止めるのはクロールで、インデックスではありません。検索結果から外すにはnoindexを使います。

noindexとrobots.txtの違い(英語)

知っておきたいこと

robots.txtテスターのよくある質問

出典:Google検索セントラル、RFC 9309。

URLがrobots.txtでブロックされているか確認するには?

上の欄にURLを入力してください。そのホストの公開中のrobots.txtを取得し、クローラーごとにURLが許可されているか、どの行で判定されたかを表示します。Googlebotについては、Search ConsoleのURL検査ツールでもブロックの有無を確認できます。

robots.txtでブロックすると、ページはGoogleから消えますか?

いいえ。Googleによると、ブロックされたURLでも他のページからリンクされていれば、クロールされないままインデックスされることがあり、通常は説明文なしで表示されます。検索結果に出したくない場合は、クロールを許可したうえでnoindexのメタタグまたはヘッダーを使います。

AllowとDisallowが矛盾するとき、どちらが優先されますか?

一致するパスが最も長いルールです。AllowとDisallowのルールが同じ長さの場合、Googleは制限の少ないAllowを使います。

GooglebotがUser-agent: *のルールを無視するのはなぜですか?

ファイルにGooglebot用のグループがあるためです。自分の名前のグループを見つけたクローラーはそのグループだけに従い、*のグループは無視します。共通のルールはGooglebotのグループにも書いてください。

robots.txtが404や500を返すとどうなりますか?

404などの4xx(429を除く)はrobots.txtがないものとして扱われ、すべてクロールできます。5xxや429の場合、Googleはサイトのクロールを12時間停止し、その後は最大30日間、最後に正常に取得したコピーを使います。

サイト全体でrobots.txtをテスト

Crawlensは選んだユーザーエージェントでクロールし、そのrobots.txtのルールに従うこともできます。robots.txtでブロックされたリンク先のページを検出し、サーバーログ分析では実際にページをリクエストしたAIクローラーがわかります。

Windows版を無料ダウンロード