新しいリサーチTechnical SEO & AI Search · 2027フレームワークを見る

クロールとインデックス登録:仕組みと妨げになるもの

クロールとインデックス登録の仕組み、妨げになるもの、Search Consoleのインデックス登録レポートの読み方、サイト全体のクロールしやすさの監査方法を解説します。

本文中のリンク先ガイドは、日本語版ができるまで英語版が開きます。

順位が付くページはすべて、同じ流れを通っています。検索エンジンがURLを検出し、取得し、レンダリングし、残す価値があると判断して、インデックスに保存するのです。どこかの段階で失敗するとページは表示されず、失敗のほとんどは音もなく起こります。ページはただ、そこに存在しないのです。

このガイドでは、クロールとインデックス登録の各段階、妨げになるもの、Googleが提供するレポートの読み方、サイト全体のクロールとインデックス登録の監査方法を解説します。各項目には詳しいガイドへのリンクがあります。

クロールとインデックス登録の違いは何ですか?

クロールとは検索エンジンがページをダウンロードすること、インデックス登録とは検索エンジンがそのページを分析し、検索結果に表示できるよう保存することです。Googleはクロールについて「クローラーと呼ばれる自動プログラムを使用して、ウェブ上で見つけたページからテキスト、画像、動画をダウンロードします」と説明し、続くインデックス登録ではコンテンツを分析して正規URLを判断します(Google検索の仕組み)。

2つは切り離されることがあります。

  • クロール済み、未登録: Googleはページを取得したものの、残さないと判断しました。インデックス登録は保証されていないためです。
  • 登録済み、未クロール: robots.txtでブロックされたページでも、そこへのリンクから内容なしでインデックス登録されることがあります。

ページはサーバーからインデックスまでどう進みますか?

段階 起こること 妨げになるもの
検出 検索エンジンがURLの存在を知る。リンク、サイトマップ、送信がきっかけ 内部リンクがない、サイトマップに載っていない、JavaScriptで追加されるだけのリンク
クロール クローラーがURLをリクエストする robots.txtのDisallow、サーバーエラー、タイムアウト、ボット対策
レンダリング ページをブラウザで実行し、スクリプトが内容を追加できるようにする 失敗するスクリプト、タイムアウト、ユーザー操作が必要なもの
インデックス登録 内容を分析して保存し、正規URLを選ぶ 200以外のステータス、noindex、他を指す正規URL、重複または価値の低いコンテンツ
配信 インデックス登録済みのページがクエリに対して順位付けされる SEOのその他すべて

Google自身の技術要件は、最初の4段階を3つの条件にまとめています。「Googlebot がブロックされていないこと」、「ページが機能していること(Google に HTTP 200 (success) ステータス コードが返される)」、そして「インデックス登録可能なコンテンツがページに含まれていること」の3点です。

検索エンジンはページをどう検出しますか?

主にリンクからです。トップページから始めてリンクをたどるクローラーは、リンクされているすべてのページに届き、リンクされていないページには届きません。そのため内部リンクが、自分で管理できる主な手段になります。

  • 孤立ページは内部リンクがなく、サイトマップや外部リンクだけが頼りです。孤立ページを参照してください。
  • 深いページはトップページから何回もクリックが必要で、クロール頻度が下がります。内部リンク監査を参照してください。
  • JavaScriptで追加されるだけのリンクはGoogleの検出が遅れ、レンダリングしないクローラーには見つかりません。レンダリングと検出はJavaScript SEOガイド、比較は元のHTMLとレンダリング後のHTMLの監査を参照してください。

1ページで動くアプリでは、検出は実際のリンクと、直接開いても機能するURLにもかかっています。SPAのナビゲーションとSEOではクライアントサイドのルーティング、History APIの変更、ディープリンクの確認を扱います。

ユーザーがスクロールやクリックした後にだけ現れるコンテンツも見落とされることがあります。遅延読み込みとSEOでは画像、深い階層の商品、無限スクロールのページを検出可能に保つ方法を説明します。

XMLサイトマップは2つ目の経路です。大規模なサイト、外部リンクの少ない新しいサイト、メディアの多いサイトで特に役立つとGoogleは説明しています。一方で、サイトマップの中のすべての項目がクロール、インデックス登録されるわけではないともしています(サイトマップの概要)。リダイレクト、エラー、noindexのURLでいっぱいのサイトマップは、短く正確なものより悪い状態です。XMLサイトマップの監査を参照してください。

URLの数が1ファイルを超えたら、サイトマップインデックスとSEOで有効な子サイトマップへの分割と、グループごとの監視方法を確認してください。

各ファイルの中では、サイトマップのlastmodガイドでページの更新日を変えるべき場面と、すべてのURLに生成日時を押す生成プログラムの見つけ方を説明します。

ページのクロールを妨げるものは何ですか?

原因 現れ方 Crawlensのチェック
robots.txtがURLをDisallowしている robots.txtでブロックされている Linked pages blocked by robots.txt
サーバーエラー 5xxの応答。Googleはクロールを遅くする Internal pages return 5xx
タイムアウト、DNS、SSLの失敗 応答なし Pages did not respond
ファイアウォールやボット対策 クローラーだけに403や確認ページ Pages PageSpeed Insights could not testは手がかりになることが多い
どこからもリンクされていない リンクをたどっても検出されない Orphan pages
深すぎる めったにクロールされない Pages more than 4 clicks from the start
レンダリング後のリンクだけ 検出が遅れるか検出されない Links only in rendered HTML
応答が遅い 1回の訪問でクロールできるページが減る Slow server response (over 1 second)

ページのインデックス登録を妨げるものは何ですか?

原因 確認すること Crawlensのチェック
metaタグやX-Robots-Tagヘッダーのnoindex 意図的なものか、ステージング環境の残りか Noindex pages
正規URLが別のURLを指している そのURLは正しく、インデックス可能か Canonicalised pages、Canonical points to a non-200 URL、to a noindex page
ステータスコードが200でない 4xx、5xx、リダイレクト Internal pages return 4xx
他のページとの重複 Googleが1つのURLを選んで他を外す Duplicate content
内容が少なすぎる インデックス登録する理由が乏しい Thin content (under 200 words)
JavaScriptの後の内容だけ インデックス登録が遅くなり、レンダリングに失敗すると登録されない Content depends on JavaScript

詳しいガイド:noindexとrobots.txtの違い、X-Robots-Tag、HTTPステータスコード、canonicalタグのエラー、重複コンテンツ、内容の薄いページ、ソフト404エラー。

クロールに影響する操作とインデックス登録に影響する操作はどれですか?

この混同が、他の何よりもインデックスの問題を生みます。

操作 クロールへの影響 インデックス登録への影響 用途
robots.txtのDisallow あり なし(ブロックされたURLでもリンクからインデックス登録されることがある) 検索価値のない領域からクローラーを遠ざける。カート、サイト内検索、無限の絞り込み
noindex(metaかヘッダー) なし あり ページを検索結果から外す。ディレクティブを読んでもらうためページはクロール可能に保つ
rel="canonical" なし ヒント 似た複数のURLのうちどれをインデックス登録すべきかを示す
301 / 308リダイレクト クローラーを移動させる シグナルを移転先へ移動させる URLの廃止や移転
404 / 410 時間とともにクロールが減る インデックスから外れる 代わりのないページの削除
内部リンクのnofollow リンクのシグナルを渡さない なし 内部ではめったに必要ない
XMLサイトマップ 検出を助ける なし 見つけてほしい正規のインデックス可能なURLを列挙する

典型的な間違いは、Googleから外すためにrobots.txtでページをブロックすることです。クローラーはnoindexを読めなくなり、URLがインデックスに残ることがあります。noindexとrobots.txtの違いで詳しく扱い、robots.txtとSEOでは構文と、クローラーがどのルールを適用するかを扱います。1つのURLが公開中のファイルでGooglebotや主要なAIクローラーに許可されているかは、無料のrobots.txtテスターで確認できます。

Google Indexing APIガイドでは、API通知が条件を満たす求人情報とライブ配信のページに限られ、通常のサイトのリンクやサイトマップの代わりにならない理由を説明します。

クエリパラメータでページの複数バージョンができるときは、バージョンごとの内容の違いで操作を選びます。URLパラメータとSEOではトラッキング、並べ替え、ページ分割、絞り込みを、有用なページを誤ってブロックせずに進める手順を説明します。

クロールバジェットは自分のサイトに関係ありますか?

おそらく関係ありません。サイトが大規模でない限りはそう言えます。Googleのクロールバジェットのガイドは、「大規模(重複のないページが100万以上)で、コンテンツが中程度に(1週間に1回)更新されるサイト」、「中規模以上(重複のないページが1万以上)で、コンテンツがかなり頻繁に(毎日)更新されるサイト」、「Search Console で URL の大部分が検出 - インデックス未登録に分類されるサイト」向けに書かれています。それ以外ではガイドは不要だとGoogleは説明しています。

関係がある場合の助言は、クロールの無駄をなくすことです。クロールすべきでないURLをrobots.txtでブロックし、「完全に削除されたページについては 404 または 410 ステータス コードを返す」、ソフト404を修正し、「サイトマップを最新の状態に保つ」、「長いリダイレクト チェーンを避ける」、ページを速く読み込めるようにします。

クロールバジェットが実際にどう使われているかを知る唯一の方法はサーバーログです。GooglebotがどのURLをどれくらいの頻度でリクエストし、何を受け取ったかが分かります。詳しくはログファイル分析とクロールバジェットを参照してください。エンタープライズ向けテクニカルSEOではそれらの所見を大規模なURL管理とリリース手順につなげます。

リクエストの傾向、ホストの可用性、レスポンスコード、Googlebotの種類を手早く見るには、Search Consoleのクロールの統計情報レポートを読みます。傾向とURLの例は分かりますが、URLごとの完全なリクエスト履歴にはやはりログが必要です。

Search Consoleのインデックス登録レポートの読み方は?

ページのインデックス登録レポートでは、Googleが把握している各URLをインデックス登録していない理由を説明します。よく見るステータスは次のとおりです。

ステータス Googleの説明 対応
検出 - インデックス未登録 「ページは Google により検出されましたが、まだクロールされていません。これは通常、Google が URL をクロールしようとしたものの、サイトへの過負荷が予想されたため、クロールの再スケジュールが必要となった場合です。そのため、レポート上で最終クロール日が空欄になっています」 サーバーの速度とエラーを確認し、ページへの内部リンクを強める
クロール済み - インデックス未登録 「ページは Google によりクロールされましたが、インデックスには登録されていません。今後、インデックスに登録される可能性がありますが、登録されない可能性もあります。この URL のクロールのリクエストを再送信する必要はありません」 内容の薄いページや重複ページを改善、統合、削除する
ユーザーが選択した正規URLのない重複 「このページは他のページと重複していますが、優先する正規ページとして指定されていません。Google がこのページの正規ページとして別のページを選択したため、このページは検索結果に表示されません」 正規URLを付けるか、重複を統合する
正規タグの付いた代替ページ 「このページは、別のページの代替(パソコン版正規ページの AMP ページ、パソコン版正規ページのモバイル版、またはモバイル版正規ページのパソコン版)としてマークされます。正規ページ(登録済み)へのリンクが正しく指定されているため、これ以上の対処は必要ありません」 正規URLが意図どおりなら何もしない
noindexのURL Googleはnoindexディレクティブを確認したため、インデックス登録しませんでした 順位を取るべきページならnoindexを外す
robots.txtでブロックされたURL このページはサイトのrobots.txtファイルでブロックされました 順位を取るべきページなら許可する
robots.txtでブロックされているのにインデックス登録済み 「このページはウェブサイトの robots.txt ファイルによりブロックされましたが、インデックスに登録されています。Google は常に robots.txt の内容に従いますが、他のユーザーがページにリンクしている場合、必ずしもインデックス登録が回避されるわけではありません」 クロールを許可してnoindexを付けるか、正しくインデックス登録されるよう許可する

レポートが示すのはGoogleの判断であり、抽出され、遅れて届きます。クロールが示すのはすべてのURLの現在の状態です。両方を使います。最もよくある2つのステータスはクロール済み - インデックス未登録を参照してください。

サイト全体のクロールとインデックス登録をどう監査しますか?

  1. **トップページからサイトをクロールする。**robots.txtは尊重します。リンクをたどってクロールが届かない場所には、検索エンジンも届きません。CrawlensではURLテーブルをインデックス可能性で絞り込めるため、インデックス不可能なすべてのURLとその理由(noindex、正規化、リダイレクト、エラー、ブロック)が分かります。
  2. **サイトマップもクロールする。**サイトマップモードでAlso follow linksをオンにすると両方を比べられます。サイトマップにだけあるURLは孤立ページであり、インデックス不可能なサイトマップのURLはNon-indexable URLs in sitemapsとして現れます。
  3. クライアントレンダリングのサイトでは**JavaScriptをレンダリングする。**スクリプト実行後にだけ存在するリンクや内容が見えます。
  4. **Search Consoleを結合する。**3つのチェックでクロールとGoogleの食い違いが分かります。URLs with impressions the crawl did not find、Pages with search traffic are not indexable、Indexable pages with no search impressionsです。
  5. **サーバーログを取り込む。**Googlebotの実際の動きが分かります。Indexable pages Googlebot did not crawl、URLs Googlebot crawls that the crawl did not find、Googlebot gets errorsです。
  6. **修正し、再クロールして比較する。**その後数週間かけてSearch Consoleで確認します。「クロールには数日から数週間かかることがあります」とGoogleは説明しています(再クロールをGoogleにリクエストする)。

AI検索エンジンは独自のクローラーを独自のルールで動かし、ほとんどはJavaScriptをレンダリングしません。AI検索対応チェックリストではそれらの違いを扱います。全体の監査の中でのクロールとインデックス登録の位置づけはテクニカルSEO監査ガイドを参照してください。

クロールとインデックス登録のチェックリスト

検出

  • 重要なページはすべて他のページからリンクされ、できれば複数からリンクされている
  • 重要なページはトップページから4クリック以内にある
  • ナビゲーションと主要なリンクが元のHTMLに存在する
  • サイトマップには正規のインデックス可能な200のURLだけを載せ、Search Consoleに送信している

クロール

  • robots.txtは検索価値のない領域だけをブロックしている
  • 検索エンジンのクローラーに対する5xxエラー、タイムアウト、ボット対策のブロックがない
  • サーバーは1秒未満で応答する
  • リダイレクトチェーンがなく、削除したページは404か410を返す

インデックス登録

  • metaタグやヘッダーに意図しないnoindexがない
  • 正規URLはインデックス可能な200のURLを指している
  • 重複を統合し、内容の薄いページを改善、統合、削除した
  • 主要コンテンツはJavaScriptなしで存在するか、レンダリングを確認している

確認

  • インデックス登録レポートをステータスごとに確認した
  • クロールにSearch Consoleのデータを結合した
  • Googlebotのエラーと未クロールのページをサーバーログで確認した(大規模サイト)
  • 修正後に再クロールして比較した

「クロールとインデックス」のガイド一覧

よくある質問

クロールとインデックス登録の違いは何ですか?

クロールとは、検索エンジンのボットがページをダウンロードすることです。インデックス登録とは、検索エンジンがそのページを分析し、検索結果に表示できるよう保存することです。クロールされてもインデックス登録されないページもあれば、robots.txtでブロックされていても外部からのリンクによって、クロールされずにインデックス登録されるページもあります。

新しいページがGoogleにインデックス登録されるまでどれくらいかかりますか?

Googleによると、クロールには数日から数週間かかる場合があります。強い内部ページからのリンク、サイトマップへの掲載、Search ConsoleのURL検査ツールでのインデックス登録のリクエストが助けになりますが、どれもインデックス登録を保証するものではありません。

ページがクロール済みなのにインデックス登録されないのはなぜですか?

「クロール済み - インデックス未登録」とは、Googleがページを取得したものの、今はインデックス登録しないと判断した状態です。よくある原因は、重複または重複に近いコンテンツ、内容の薄いページ、Googleが十分に価値があると判断しなかったページです。ページを改善または統合してください。再送信の必要はないとGoogleは説明しています。

サイトマップがあればページは必ずインデックス登録されますか?

いいえ。サイトマップがあっても、その中のすべての項目がクロール、インデックス登録されるわけではないとGoogleは説明しています。検出には役立ちます。特に大規模なサイトや新しいサイトでは効果的ですが、ページはインデックス可能で、登録に値するものである必要があります。

robots.txtでページをGoogleから隠せますか?

確実には隠せません。robots.txtはクロールを止めるもので、インデックス登録を止めるものではありません。ブロックされたページでも、そこへのリンクから内容なしでインデックス登録されることがあります。ページをインデックスから外すには、クロールを許可したうえでnoindexディレクティブを付けます。

· Crawlens創業者

Dienは、テクニカルSEO監査のためのデスクトップクローラーCrawlensを開発し、Crawlensが行うチェック(クロール、インデックス登録、レンダリング、Search Consoleのデータ)について執筆しています。

Crawlensで自社サイトを監査しましょう

クロールして70項目をチェックし、Search ConsoleやCore Web Vitalsのデータと並べて確認できます。

Windows版を無料ダウンロード