クロールとインデックス
ステータスコード、リダイレクト、canonical、noindex、robots.txt、XMLサイトマップを確認し、見つけてほしいページがクロール・インデックスされる状態にします。
テクニカルSEO監査サービス
検索エンジンやAIの回答エンジンが、重要なページにアクセスし、読み取り、引用できるかを確認します。サイト全体をクロールし、一般的な監査では見落とされがちなアクセスルールまで調べたうえで、まず直すべきことを根拠つきの短いリストにしてお渡しします。
サイトの規模、データへのアクセス、各領域をどこまで掘り下げるかは、監査を始める前に合意します。
作業画面
検索・AI対応度の監査
監査の範囲
問題が露出を妨げやすい順に、6つの領域を確認します。重み付けはサイトに合わせて調整します。JavaScriptを多用するECサイトとドキュメントサイトでは、つまずく場所が違うためです。
ステータスコード、リダイレクト、canonical、noindex、robots.txt、XMLサイトマップを確認し、見つけてほしいページがクロール・インデックスされる状態にします。
検索用、学習用、ユーザー操作で動くAIクローラーのうち、robots.txt、CDN、ファイアウォールがどれを通しているかを、本来の方針と比べます。
元のHTMLとレンダリング後のページを比較し、スクリプト実行後にしか存在しないコンテンツ、リンク、SEOタグを見つけます。
意図せず引用を制限しているnosnippet、max-snippet、data-nosnippetのルールや、表示内容と合わないマークアップを見つけます。
重要なページが、明確な見出し、責任者、検索エンジンが出典として扱える情報源とともに、表示テキストで質問に答えているかを確認します。
共有いただける場合は、Core Web Vitalsのフィールドデータ、Search Console、サーバーログを使い、クローラーとユーザーが実際に受け取っているものを確かめます。
チェックリスト全体
各領域で何を確認し、根拠をどこから得るかの一覧です。単一言語サイトのhreflangのように、サイトに当てはまらない領域は省きます。
| 項目 | 確認する内容 | 根拠 |
|---|---|---|
| ユーザーエージェント別のrobots.txt | 検索用クローラー(Googlebot、Bingbot、OAI-SearchBot、Claude-SearchBot、PerplexityBot)と学習用トークン(GPTBot、ClaudeBot、Google-Extended)が、意図どおりに許可またはブロックされているか。 | 手動レビュー |
| CDNとファイアウォールのルール | robots.txtが読まれる前に、ボット管理やWAFの設定がクローラーにチャレンジを出したりブロックしたりしていないか。 | 手動レビュー実地テスト |
| robots.txtでブロックされたリンク先 | 自サイトのリンクが指しているのに、クローラーが取得を許されていないページ。 | クロール |
| ログに残るクローラーの動き | どのクローラーがどのURLをリクエストし、実際にどのステータスコードを受け取っているか。 | サーバーログ |
| Googlebotが訪れないページ | ログの期間中にGooglebotがリクエストしなかったインデックス可能なページ。 | サーバーログ |
| 項目 | 確認する内容 | 根拠 |
|---|---|---|
| noindexのページ | 上位表示させたいページのnoindexと、インデックスさせるべきでないインデックス可能なページ。 | クロール |
| canonicalタグ | canonicalの欠落や重複、エラー・リダイレクト・noindexのURLを指すcanonical。 | クロール |
| 正規化されたページ | 別のURLをcanonicalに指定しているページと、その選択が正しいか。 | クロール |
| サイトマップ内のインデックス不可URL | XMLサイトマップに載っているリダイレクト、noindex、エラーのURL。 | クロール |
| インデックス不可ページへの検索流入 | 表示回数やクリックを得ているのに、現在はnoindex、他URLへの正規化、エラーになっているページ。 | Search Console |
| 項目 | 確認する内容 | 根拠 |
|---|---|---|
| クライアントエラーとサーバーエラー | 4xxや5xxを返す内部ページと、応答しないページ。 | クロール |
| リダイレクトチェーンとループ | 2回以上のチェーン、ループ、恒久的であるべき一時的なリダイレクト(302/303/307)。 | クロール |
| リダイレクトや壊れたURLへのリンク | 最終URLを直接指すべき内部リンク。 | クロール |
| HTTPS | HTTPで配信されるページ、HTTPSにリダイレクトしないHTTP版、混在コンテンツ。 | クロール |
| 流入のあるページのエラー | 検索やアナリティクスで訪問のあるランディングページが、現在エラーを返しているケース。 | Search Consoleアナリティクス |
| 項目 | 確認する内容 | 根拠 |
|---|---|---|
| クリック深度 | 開始URLから4クリックより深い位置にある重要なページ。 | クロール |
| 孤立ページとリンクの少ないページ | どこからもリンクされていないサイトマップ内のページ、内部リンクが1本しかないページ、内部への発リンクがないページ。 | クロール |
| 内部リンクのnofollow | 発見を妨げている、nofollow付きの内部リンク。 | クロール |
| XMLサイトマップ | 読み込めないサイトマップと、サイトマップから漏れている重要なページ。 | クロール |
| クロールで見つからないURL | 表示回数、Googlebotのアクセス、アナリティクスの訪問があるのに、リンクをたどるクロールでは見つからなかったURL。 | Search Consoleサーバーログアナリティクス |
| 項目 | 確認する内容 | 根拠 |
|---|---|---|
| JavaScriptに依存するコンテンツ | スクリプト実行後にしか現れない本文。多くのAIクローラーには見えません。 | レンダリングありのクロール |
| レンダリング後のHTMLにしかないリンク | 元のHTMLに存在しないナビゲーションや内部リンク。 | レンダリングありのクロール |
| JavaScriptによるSEOタグの変更 | 元のHTMLとレンダリング後で異なるtitle、canonical、robotsメタタグ。 | レンダリングありのクロール |
| レンダリングの失敗 | ブラウザでレンダリングできないページ。 | レンダリングありのクロール |
| レンダリングしないクローラーが受け取るもの | 主要テンプレートごとの元のHTMLを、ブラウザを持たないAIクローラーと同じように読みます。 | 手動レビュー |
| 項目 | 確認する内容 | 根拠 |
|---|---|---|
| titleとmeta description | titleの欠落・重複・長すぎ・短すぎ、descriptionの欠落・重複・長さの不適切。 | クロール |
| 見出し | H1の欠落や複数のH1、見出し構成がページの答える質問と合っているか。 | クロール手動レビュー |
| 重複コンテンツと内容の薄いページ | 完全一致・ほぼ一致のページと、単独では成り立たない可能性のある200語未満のページ。 | クロール |
| 表示テキストでの回答 | 主要な質問にページ上部で明快に答え、必要に応じて出典、責任者、著者の情報が示されているか。 | 手動レビュー |
| 画像 | altテキストの欠落と壊れた画像。 | クロール |
| 項目 | 確認する内容 | 根拠 |
|---|---|---|
| JSON-LDの妥当性 | 無効なJSON-LDと、必須プロパティが欠けた構造化データ。 | クロール |
| マークアップとページの一致 | 構造化データが表示内容とサポートされた用途を表しており、一律のマークアップやAI向けだけのマークアップがないか。 | 手動レビュー |
| スニペット制御 | 意図せず引用を制限しているnosnippet、max-snippet、data-nosnippetのルール。 | 手動レビュー |
| エンティティの一貫性 | 組織、製品、著者の情報が、ページ間とマークアップで一致しているか。 | 手動レビュー |
| 項目 | 確認する内容 | 根拠 |
|---|---|---|
| フィールドのCore Web Vitals | 実際のユーザーで「不良」または「改善が必要」のLCP、INP、CLS。 | PageSpeed Insights |
| ラボのパフォーマンス | 主要テンプレートでLighthouseのパフォーマンススコアが低いケース。 | PageSpeed Insights |
| サーバーの応答 | 1秒を超える応答と、2 MBを超えるHTML。 | クロール |
| 項目 | 確認する内容 | 根拠 |
|---|---|---|
| hreflangのコード | 無効な言語コードや地域コード。 | クロール |
| hreflangのリンク | 戻りリンク、自己参照、x-defaultの欠落。 | クロール |
| hreflangのリンク先 | インデックスできないURLを指す代替ページ。 | クロール |
| 項目 | 確認する内容 | 根拠 |
|---|---|---|
| 1ページ目に近いページ | 11〜20位のクエリ。修正で順位が上がる可能性があります。 | Search Console |
| 低いクリック率 | 掲載順位から想定されるよりCTRが低いページ。 | Search Console |
| 表示回数のないインデックス可能なページ | 検索エンジンがインデックスできるのに表示されないページ。 | Search Console |
| 項目 | 確認する内容 | 根拠 |
|---|---|---|
| Search ConsoleでのGoogleのAI機能 | サイトが誤ってAI OverviewsやAIモードから除外されていないか、生成AIのパフォーマンスレポートでどのページに表示回数があるか。 | Search Console |
| CopilotとBing AIでの引用 | Bing Webmaster ToolsのAI Performanceレポートにある引用数、引用されたページ、グラウンディングのクエリ。 | Bing Webmaster Tools |
| AI回答のサンプリング | 合意した実際の質問をGoogleのAIモード、ChatGPT search、Perplexityで実行し、自社が引用されるか、代わりに誰が引用されているかを確認します。 | 手動レビュー |
| AIからの参照流入 | AIアシスタントからの訪問が、アナリティクスで他の参照元と分けて見えるか。 | アナリティクス |
| 単独で成り立つ段落 | 主要なセクションが単独で引用されても意味が通じるか。前の段落に頼らず、答えと文脈を述べているか。 | 手動レビュー |
| 引用に値する根拠 | 独自データ、名前のある出典、明確な著者情報など、他のページよりこのページを引用する理由になるもの。 | 手動レビュー |
| 鮮度のシグナル | 表示している更新日がdateModifiedやサイトマップのlastmodと一致し、IndexNowを使っている場合は変更したページを通知しているか。 | 手動レビュー |
| llms.txt | 用意する価値があるかどうか。Google検索は使いませんが、AIエージェントと一緒に使われるドキュメントや開発者向けツールでは役立つことがあります。 | 手動レビュー |
クロールとレンダリングありのクロールの項目は、Crawlensの監査ルールで実行します。Search Console、Bing Webmaster Tools、アナリティクス、PageSpeed Insights、ログによる確認は、共有いただいたアクセス権の範囲でのみ行います。手動レビューは人が行います。AIの回答は実行のたびに変わるため、サンプリングした回答はそれぞれ日付、ツール、質問の文言とともに記録します。使用するレポート:Googleの生成AIのパフォーマンスレポート、BingのAI Performanceレポート(英語)。
AI検索への対応
AIの回答は、システムがクロールして読み取れたページから作られます。Googleは、AI機能のためにインデックス登録とスニペット表示の要件を満たす以上の特別な最適化は不要だとしています。他の回答エンジンは独自のクローラーを使い、多くはJavaScriptを実行しません。それぞれ個別に許可・ブロックできます。
Answer Engine Optimization(AEO)とGenerative Engine Optimization(GEO)は、実務では「AIシステムがアクセスし、読み取り、引用し、出典を示せるページ」に行き着きます。監査ではこの土台を確認したうえで、あなたのテーマについて実際のAI回答をサンプリングし、いま誰が引用されているかを調べます。
一般的な監査に加えて確認すること
手法の全体はAI検索対応チェックリスト(英語)で公開しています。確認するのはアクセスと読み取りやすさです。AIによる引用は誰にも保証できません。
監査の進め方
長い課題のエクスポートは監査ではありません。大切なのは、このサイトにとってどの指摘が重要で、誰が対応すべきかを決めることです。
目標、サイトの中で特に重要なセクション、AIクローラーに対する方針、共有できるデータソースを確認します。
Crawlensでサイトをクロールし、レンダリングとアクセスルールを確認し、Search Consoleやログのデータと照らして指摘を見直します。
影響と工数で修正に優先順位を付け、対象URLと根拠を添えて、実際に変更する担当者と一緒に確認します。
納品物
具体的な納品物は範囲の合意で決めます。どの指摘にも対象ページ、重要な理由、修正案が付くので、スコアを信じるだけで判断することはありません。
主な納品物
クロールをご自身で実行したい場合は、Crawlensは無料です。手順はテクニカルSEO監査ガイド(英語)で解説しています。監査後の支援はSEO運用代行をご覧ください。
始める前に
サイトについてのご質問はお問い合わせください。
AI検索のシステムがページをクロールし、読み取り、引用できるかまで確認するテクニカルSEO監査です。インデックス、レンダリング、サイト構造に加えて、robots.txt、CDN、ファイアウォールでのAIクローラーのアクセスや、引用を制限するスニペット制御も確認します。
実務的な意味では、そうです。AEOとGEOは、回答エンジンがコンテンツを見つけ、読み取り、引用しやすくすることを指す名前です。監査ではその技術的な土台を確認し、あなたのテーマで実際のAI回答をサンプリングし、主要なページが引用に値するかを見ます。AI向けだけのマークアップのような、効果が文書化されていない手法は使いません。
無料アプリはサイト全体の技術的な課題を見つけます。監査では、クローラーには判断できない部分を補います。目標に照らしてどの指摘が重要か、AIクローラーに対する方針をどうするか、CDNやファイアウォールでの確認、そしてチームが取り組める優先順位付きの計画です。
クロールに必要なのは公開URLだけです。Search Consoleとアナリティクスの閲覧権限、エクスポートできればサーバーログもあると、結果の信頼性が大きく上がります。アクセス権は監査を始める前に合意します。
それを保証できる監査はありません。どの情報源を表示するかは、検索エンジンとAIシステムが決めます。監査では、ページがクロール・読み取り・引用されない技術的な理由を取り除きます。それがあなたの管理できる部分です。
監査自体は、優先順位付きの計画と説明の場で完了します。実装はチームで行っていただくか、SEO運用代行で継続的な支援を合意することもできます。