本文中のリンク先ガイドは、日本語版ができるまで英語版が開きます。
順位が付くページはすべて、同じ流れを通っています。検索エンジンがURLを検出し、取得し、レンダリングし、残す価値があると判断して、インデックスに保存するのです。どこかの段階で失敗するとページは表示されず、失敗のほとんどは音もなく起こります。ページはただ、そこに存在しないのです。
このガイドでは、クロールとインデックス登録の各段階、妨げになるもの、Googleが提供するレポートの読み方、サイト全体のクロールとインデックス登録の監査方法を解説します。各項目には詳しいガイドへのリンクがあります。
クロールとインデックス登録の違いは何ですか?
クロールとは検索エンジンがページをダウンロードすること、インデックス登録とは検索エンジンがそのページを分析し、検索結果に表示できるよう保存することです。Googleはクロールについて「クローラーと呼ばれる自動プログラムを使用して、ウェブ上で見つけたページからテキスト、画像、動画をダウンロードします」と説明し、続くインデックス登録ではコンテンツを分析して正規URLを判断します(Google検索の仕組み)。
2つは切り離されることがあります。
- クロール済み、未登録: Googleはページを取得したものの、残さないと判断しました。インデックス登録は保証されていないためです。
- 登録済み、未クロール: robots.txtでブロックされたページでも、そこへのリンクから内容なしでインデックス登録されることがあります。
ページはサーバーからインデックスまでどう進みますか?
| 段階 | 起こること | 妨げになるもの |
|---|---|---|
| 検出 | 検索エンジンがURLの存在を知る。リンク、サイトマップ、送信がきっかけ | 内部リンクがない、サイトマップに載っていない、JavaScriptで追加されるだけのリンク |
| クロール | クローラーがURLをリクエストする | robots.txtのDisallow、サーバーエラー、タイムアウト、ボット対策 |
| レンダリング | ページをブラウザで実行し、スクリプトが内容を追加できるようにする | 失敗するスクリプト、タイムアウト、ユーザー操作が必要なもの |
| インデックス登録 | 内容を分析して保存し、正規URLを選ぶ | 200以外のステータス、noindex、他を指す正規URL、重複または価値の低いコンテンツ |
| 配信 | インデックス登録済みのページがクエリに対して順位付けされる | SEOのその他すべて |
Google自身の技術要件は、最初の4段階を3つの条件にまとめています。「Googlebot がブロックされていないこと」、「ページが機能していること(Google に HTTP 200 (success) ステータス コードが返される)」、そして「インデックス登録可能なコンテンツがページに含まれていること」の3点です。
検索エンジンはページをどう検出しますか?
主にリンクからです。トップページから始めてリンクをたどるクローラーは、リンクされているすべてのページに届き、リンクされていないページには届きません。そのため内部リンクが、自分で管理できる主な手段になります。
- 孤立ページは内部リンクがなく、サイトマップや外部リンクだけが頼りです。孤立ページを参照してください。
- 深いページはトップページから何回もクリックが必要で、クロール頻度が下がります。内部リンク監査を参照してください。
- JavaScriptで追加されるだけのリンクはGoogleの検出が遅れ、レンダリングしないクローラーには見つかりません。レンダリングと検出はJavaScript SEOガイド、比較は元のHTMLとレンダリング後のHTMLの監査を参照してください。
1ページで動くアプリでは、検出は実際のリンクと、直接開いても機能するURLにもかかっています。SPAのナビゲーションとSEOではクライアントサイドのルーティング、History APIの変更、ディープリンクの確認を扱います。
ユーザーがスクロールやクリックした後にだけ現れるコンテンツも見落とされることがあります。遅延読み込みとSEOでは画像、深い階層の商品、無限スクロールのページを検出可能に保つ方法を説明します。
XMLサイトマップは2つ目の経路です。大規模なサイト、外部リンクの少ない新しいサイト、メディアの多いサイトで特に役立つとGoogleは説明しています。一方で、サイトマップの中のすべての項目がクロール、インデックス登録されるわけではないともしています(サイトマップの概要)。リダイレクト、エラー、noindexのURLでいっぱいのサイトマップは、短く正確なものより悪い状態です。XMLサイトマップの監査を参照してください。
URLの数が1ファイルを超えたら、サイトマップインデックスとSEOで有効な子サイトマップへの分割と、グループごとの監視方法を確認してください。
各ファイルの中では、サイトマップのlastmodガイドでページの更新日を変えるべき場面と、すべてのURLに生成日時を押す生成プログラムの見つけ方を説明します。
ページのクロールを妨げるものは何ですか?
| 原因 | 現れ方 | Crawlensのチェック |
|---|---|---|
| robots.txtがURLをDisallowしている | robots.txtでブロックされている | Linked pages blocked by robots.txt |
| サーバーエラー | 5xxの応答。Googleはクロールを遅くする | Internal pages return 5xx |
| タイムアウト、DNS、SSLの失敗 | 応答なし | Pages did not respond |
| ファイアウォールやボット対策 | クローラーだけに403や確認ページ | Pages PageSpeed Insights could not testは手がかりになることが多い |
| どこからもリンクされていない | リンクをたどっても検出されない | Orphan pages |
| 深すぎる | めったにクロールされない | Pages more than 4 clicks from the start |
| レンダリング後のリンクだけ | 検出が遅れるか検出されない | Links only in rendered HTML |
| 応答が遅い | 1回の訪問でクロールできるページが減る | Slow server response (over 1 second) |
ページのインデックス登録を妨げるものは何ですか?
| 原因 | 確認すること | Crawlensのチェック |
|---|---|---|
metaタグやX-Robots-Tagヘッダーのnoindex |
意図的なものか、ステージング環境の残りか | Noindex pages |
| 正規URLが別のURLを指している | そのURLは正しく、インデックス可能か | Canonicalised pages、Canonical points to a non-200 URL、to a noindex page |
| ステータスコードが200でない | 4xx、5xx、リダイレクト | Internal pages return 4xx |
| 他のページとの重複 | Googleが1つのURLを選んで他を外す | Duplicate content |
| 内容が少なすぎる | インデックス登録する理由が乏しい | Thin content (under 200 words) |
| JavaScriptの後の内容だけ | インデックス登録が遅くなり、レンダリングに失敗すると登録されない | Content depends on JavaScript |
詳しいガイド:noindexとrobots.txtの違い、X-Robots-Tag、HTTPステータスコード、canonicalタグのエラー、重複コンテンツ、内容の薄いページ、ソフト404エラー。
クロールに影響する操作とインデックス登録に影響する操作はどれですか?
この混同が、他の何よりもインデックスの問題を生みます。
| 操作 | クロールへの影響 | インデックス登録への影響 | 用途 |
|---|---|---|---|
robots.txtのDisallow |
あり | なし(ブロックされたURLでもリンクからインデックス登録されることがある) | 検索価値のない領域からクローラーを遠ざける。カート、サイト内検索、無限の絞り込み |
noindex(metaかヘッダー) |
なし | あり | ページを検索結果から外す。ディレクティブを読んでもらうためページはクロール可能に保つ |
rel="canonical" |
なし | ヒント | 似た複数のURLのうちどれをインデックス登録すべきかを示す |
| 301 / 308リダイレクト | クローラーを移動させる | シグナルを移転先へ移動させる | URLの廃止や移転 |
| 404 / 410 | 時間とともにクロールが減る | インデックスから外れる | 代わりのないページの削除 |
内部リンクのnofollow |
リンクのシグナルを渡さない | なし | 内部ではめったに必要ない |
| XMLサイトマップ | 検出を助ける | なし | 見つけてほしい正規のインデックス可能なURLを列挙する |
典型的な間違いは、Googleから外すためにrobots.txtでページをブロックすることです。クローラーはnoindexを読めなくなり、URLがインデックスに残ることがあります。noindexとrobots.txtの違いで詳しく扱い、robots.txtとSEOでは構文と、クローラーがどのルールを適用するかを扱います。1つのURLが公開中のファイルでGooglebotや主要なAIクローラーに許可されているかは、無料のrobots.txtテスターで確認できます。
Google Indexing APIガイドでは、API通知が条件を満たす求人情報とライブ配信のページに限られ、通常のサイトのリンクやサイトマップの代わりにならない理由を説明します。
クエリパラメータでページの複数バージョンができるときは、バージョンごとの内容の違いで操作を選びます。URLパラメータとSEOではトラッキング、並べ替え、ページ分割、絞り込みを、有用なページを誤ってブロックせずに進める手順を説明します。
クロールバジェットは自分のサイトに関係ありますか?
おそらく関係ありません。サイトが大規模でない限りはそう言えます。Googleのクロールバジェットのガイドは、「大規模(重複のないページが100万以上)で、コンテンツが中程度に(1週間に1回)更新されるサイト」、「中規模以上(重複のないページが1万以上)で、コンテンツがかなり頻繁に(毎日)更新されるサイト」、「Search Console で URL の大部分が検出 - インデックス未登録に分類されるサイト」向けに書かれています。それ以外ではガイドは不要だとGoogleは説明しています。
関係がある場合の助言は、クロールの無駄をなくすことです。クロールすべきでないURLをrobots.txtでブロックし、「完全に削除されたページについては 404 または 410 ステータス コードを返す」、ソフト404を修正し、「サイトマップを最新の状態に保つ」、「長いリダイレクト チェーンを避ける」、ページを速く読み込めるようにします。
クロールバジェットが実際にどう使われているかを知る唯一の方法はサーバーログです。GooglebotがどのURLをどれくらいの頻度でリクエストし、何を受け取ったかが分かります。詳しくはログファイル分析とクロールバジェットを参照してください。エンタープライズ向けテクニカルSEOではそれらの所見を大規模なURL管理とリリース手順につなげます。
リクエストの傾向、ホストの可用性、レスポンスコード、Googlebotの種類を手早く見るには、Search Consoleのクロールの統計情報レポートを読みます。傾向とURLの例は分かりますが、URLごとの完全なリクエスト履歴にはやはりログが必要です。
Search Consoleのインデックス登録レポートの読み方は?
ページのインデックス登録レポートでは、Googleが把握している各URLをインデックス登録していない理由を説明します。よく見るステータスは次のとおりです。
| ステータス | Googleの説明 | 対応 |
|---|---|---|
| 検出 - インデックス未登録 | 「ページは Google により検出されましたが、まだクロールされていません。これは通常、Google が URL をクロールしようとしたものの、サイトへの過負荷が予想されたため、クロールの再スケジュールが必要となった場合です。そのため、レポート上で最終クロール日が空欄になっています」 | サーバーの速度とエラーを確認し、ページへの内部リンクを強める |
| クロール済み - インデックス未登録 | 「ページは Google によりクロールされましたが、インデックスには登録されていません。今後、インデックスに登録される可能性がありますが、登録されない可能性もあります。この URL のクロールのリクエストを再送信する必要はありません」 | 内容の薄いページや重複ページを改善、統合、削除する |
| ユーザーが選択した正規URLのない重複 | 「このページは他のページと重複していますが、優先する正規ページとして指定されていません。Google がこのページの正規ページとして別のページを選択したため、このページは検索結果に表示されません」 | 正規URLを付けるか、重複を統合する |
| 正規タグの付いた代替ページ | 「このページは、別のページの代替(パソコン版正規ページの AMP ページ、パソコン版正規ページのモバイル版、またはモバイル版正規ページのパソコン版)としてマークされます。正規ページ(登録済み)へのリンクが正しく指定されているため、これ以上の対処は必要ありません」 | 正規URLが意図どおりなら何もしない |
| noindexのURL | Googleはnoindexディレクティブを確認したため、インデックス登録しませんでした | 順位を取るべきページならnoindexを外す |
| robots.txtでブロックされたURL | このページはサイトのrobots.txtファイルでブロックされました | 順位を取るべきページなら許可する |
| robots.txtでブロックされているのにインデックス登録済み | 「このページはウェブサイトの robots.txt ファイルによりブロックされましたが、インデックスに登録されています。Google は常に robots.txt の内容に従いますが、他のユーザーがページにリンクしている場合、必ずしもインデックス登録が回避されるわけではありません」 | クロールを許可してnoindexを付けるか、正しくインデックス登録されるよう許可する |
レポートが示すのはGoogleの判断であり、抽出され、遅れて届きます。クロールが示すのはすべてのURLの現在の状態です。両方を使います。最もよくある2つのステータスはクロール済み - インデックス未登録を参照してください。
サイト全体のクロールとインデックス登録をどう監査しますか?
- **トップページからサイトをクロールする。**robots.txtは尊重します。リンクをたどってクロールが届かない場所には、検索エンジンも届きません。CrawlensではURLテーブルをインデックス可能性で絞り込めるため、インデックス不可能なすべてのURLとその理由(noindex、正規化、リダイレクト、エラー、ブロック)が分かります。
- **サイトマップもクロールする。**サイトマップモードでAlso follow linksをオンにすると両方を比べられます。サイトマップにだけあるURLは孤立ページであり、インデックス不可能なサイトマップのURLはNon-indexable URLs in sitemapsとして現れます。
- クライアントレンダリングのサイトでは**JavaScriptをレンダリングする。**スクリプト実行後にだけ存在するリンクや内容が見えます。
- **Search Consoleを結合する。**3つのチェックでクロールとGoogleの食い違いが分かります。URLs with impressions the crawl did not find、Pages with search traffic are not indexable、Indexable pages with no search impressionsです。
- **サーバーログを取り込む。**Googlebotの実際の動きが分かります。Indexable pages Googlebot did not crawl、URLs Googlebot crawls that the crawl did not find、Googlebot gets errorsです。
- **修正し、再クロールして比較する。**その後数週間かけてSearch Consoleで確認します。「クロールには数日から数週間かかることがあります」とGoogleは説明しています(再クロールをGoogleにリクエストする)。
AI検索エンジンは独自のクローラーを独自のルールで動かし、ほとんどはJavaScriptをレンダリングしません。AI検索対応チェックリストではそれらの違いを扱います。全体の監査の中でのクロールとインデックス登録の位置づけはテクニカルSEO監査ガイドを参照してください。
クロールとインデックス登録のチェックリスト
検出
- 重要なページはすべて他のページからリンクされ、できれば複数からリンクされている
- 重要なページはトップページから4クリック以内にある
- ナビゲーションと主要なリンクが元のHTMLに存在する
- サイトマップには正規のインデックス可能な200のURLだけを載せ、Search Consoleに送信している
クロール
- robots.txtは検索価値のない領域だけをブロックしている
- 検索エンジンのクローラーに対する5xxエラー、タイムアウト、ボット対策のブロックがない
- サーバーは1秒未満で応答する
- リダイレクトチェーンがなく、削除したページは404か410を返す
インデックス登録
- metaタグやヘッダーに意図しないnoindexがない
- 正規URLはインデックス可能な200のURLを指している
- 重複を統合し、内容の薄いページを改善、統合、削除した
- 主要コンテンツはJavaScriptなしで存在するか、レンダリングを確認している
確認
- インデックス登録レポートをステータスごとに確認した
- クロールにSearch Consoleのデータを結合した
- Googlebotのエラーと未クロールのページをサーバーログで確認した(大規模サイト)
- 修正後に再クロールして比較した
「クロールとインデックス」のガイド一覧
- Google Indexing API SEO: who can use it and what it cannot doThe Google Indexing API is limited to qualifying job posting and livestream pages. Learn its real use cases, notification types and alternatives.
- HTTP status codes for SEO: what 200, 301, 404, 410 and 5xx mean for GoogleHow Google treats each HTTP status code: which can be indexed, which pass canonical signals, which slow crawling, and how to audit them across a site.
- Search Console Crawl Stats report: what the charts actually tell youRead host status, response codes, crawl purpose and Googlebot type in Search Console Crawl Stats, then know when URL inspection or logs are needed.
- Sitemap lastmod: when to update it and how to audit itLearn which page changes deserve a new XML sitemap lastmod date, how to catch fake timestamps at scale, and what Google actually does with the tag.
- URL parameters and SEO: which URLs should Google crawl and index?Audit tracking, sorting, session and filter parameters without blocking valuable pages. Learn when to use canonical tags, redirects, robots.txt or a clean URL.
- X-Robots-Tag: how to use the HTTP header for noindex and moreWhat the X-Robots-Tag header does, when to use it instead of a meta tag (PDFs, images, whole folders), the rules it supports, and how to find it on a site.
- Canonical tag errors: how to find and fix themCanonicals pointing to redirects, errors or noindex pages, multiple canonicals and missing ones. How to audit rel=canonical across a site and fix what's broken.
- Crawled - currently not indexed: why it happens and how to fix itWhat Crawled and Discovered - currently not indexed mean in Search Console, when they're a real problem, how to find the cause, and how to fix it at scale.
- Internal linking audit: click depth, weak pages and dead endsHow to audit internal links across a site: pages buried too deep, pages with one link, dead ends, internal nofollow and broken links.
- Noindex vs robots.txt: which to use, and the mistakes that hide pagesRobots.txt controls crawling; noindex controls indexing. How each works, why combining them backfires, and how to find pages hidden or exposed by mistake.
- Orphan pages: how to find them and what to do with themOrphan pages have no internal links pointing to them, so users and crawlers struggle to find them. How to find them with sitemaps, Search Console and logs.
- Robots.txt for SEO: syntax, examples and the mistakes that block sitesHow robots.txt works, how crawlers pick which rules apply, copy-ready examples, what happens when the file fails to load, and how to test it across a site.
- Soft 404 errors: what they are and how to fix themWhy Google reports pages that return 200 as soft 404s, the usual causes (empty pages, error messages, homepage redirects) and how to find and fix them.
- XML sitemap audit: what to check and how to fix itSitemaps full of redirects, errors and noindex pages lose Google's trust. How to audit XML sitemaps against a crawl and keep only indexable URLs.
よくある質問
クロールとインデックス登録の違いは何ですか?
クロールとは、検索エンジンのボットがページをダウンロードすることです。インデックス登録とは、検索エンジンがそのページを分析し、検索結果に表示できるよう保存することです。クロールされてもインデックス登録されないページもあれば、robots.txtでブロックされていても外部からのリンクによって、クロールされずにインデックス登録されるページもあります。
新しいページがGoogleにインデックス登録されるまでどれくらいかかりますか?
Googleによると、クロールには数日から数週間かかる場合があります。強い内部ページからのリンク、サイトマップへの掲載、Search ConsoleのURL検査ツールでのインデックス登録のリクエストが助けになりますが、どれもインデックス登録を保証するものではありません。
ページがクロール済みなのにインデックス登録されないのはなぜですか?
「クロール済み - インデックス未登録」とは、Googleがページを取得したものの、今はインデックス登録しないと判断した状態です。よくある原因は、重複または重複に近いコンテンツ、内容の薄いページ、Googleが十分に価値があると判断しなかったページです。ページを改善または統合してください。再送信の必要はないとGoogleは説明しています。
サイトマップがあればページは必ずインデックス登録されますか?
いいえ。サイトマップがあっても、その中のすべての項目がクロール、インデックス登録されるわけではないとGoogleは説明しています。検出には役立ちます。特に大規模なサイトや新しいサイトでは効果的ですが、ページはインデックス可能で、登録に値するものである必要があります。
robots.txtでページをGoogleから隠せますか?
確実には隠せません。robots.txtはクロールを止めるもので、インデックス登録を止めるものではありません。ブロックされたページでも、そこへのリンクから内容なしでインデックス登録されることがあります。ページをインデックスから外すには、クロールを許可したうえでnoindexディレクティブを付けます。