最初のクロール
インストールから優先順位付きの課題リストまで、約10分です。サイトをクロールし、ヘルススコアを確認し、重要な課題を開いて、レポートを書き出します。
Crawlensアプリの画面は現在英語のみです。アプリ内で探しやすいように、このガイドではボタンやメニューの名前を英語のまま記載しています。
1. Crawlensをインストールする
CrawlensはWindowsで動作します。インストーラー(113.7 MB)をダウンロードして実行してください。インストール先のフォルダはセットアップ中に選べます。
Windows SmartScreenでWindows protected your PC(WindowsによってPCが保護されました)と表示された場合は、More info(詳細情報)を選び、Run anyway(実行)をクリックしてください。
2. データフォルダを選ぶ
初回の起動時に、プロジェクトとクロールデータの保存先を尋ねられます。大きなサイトでは数GBになることもあるので、空き容量に余裕のあるドライブを選んでください。
- Default location(既定の場所)のままにするか、Choose a folderでローカルまたは外付けのドライブ上のフォルダ(たとえば
D:\Crawlens)を選びます。 - ネットワークドライブには対応していません。ネットワーク経由ではデータベースが破損する可能性があるためです。
- 保存先は後からSettings → About → Data folderで変更できます。
3. プロジェクトを作成する
Webサイトごとに1つのプロジェクトを作り、そのクロール、課題、レポートをまとめて管理します。
- ProjectsでNew projectをクリックします。
- Website URLに、トップページか監査したいセクションのURLを入力します。クロールは初期設定でここから始まります。
- Project nameを付けて、Create projectをクリックします。
4. クロールを開始する
プロジェクトを開いてStart crawlをクリックします(またはCtrl+N)。Crawl modeを選んでください。
| モード | 動作 | 用途 |
|---|---|---|
| Website | 指定したURLから始めて、内部リンクをたどります | ほとんどの監査。ユーザーとクローラーが到達できるページを見つけます |
| Sitemap | XMLサイトマップに載っているURLをクロールします(サイトマップインデックスと.xml.gzに対応)。Also follow linksを有効にすると、サイトマップにないページも見つけられます | サイトマップの品質確認と、孤立ページの発見 |
| URL list | 貼り付けた、または取り込んだURL(.txt、.csv、.xlsx)だけをクロールします | リリースやサイト移転の後に、特定のページを確認する |
最初のクロールでは、初期設定のままで構いません(URL limitは10万URL、深さの上限なし)。知っておくと便利な設定は次のとおりです(初期値はSettingsで変更できます)。
- Render JavaScript:React、Vueなど、クライアント側でレンダリングするサイトでは有効にしてください。各ページをChromiumで読み込み、元のHTMLと比較します。数倍遅くなります。
- Check images(初期設定でオン)とCheck external links(初期設定でオフ):クロール後に、すべての内部画像や外部リンクにリクエストして、表示されない画像やリンク切れを見つけます。
- Respect robots.txt:選んだユーザーエージェントに対して禁止されているURLをスキップします。初期設定でオンです。
- Concurrent requestsとDelay between requests:小規模なサーバーや負荷に弱いサーバーでは、値を下げてください。
- Advanced settings:Include only URLs matching / Exclude URLs matching(1行に1つの正規表現)とCrawl subdomains。
Start crawlをクリックします。
5. 進行状況を確認する
ライブパネルに、クロール済みと待機中のURL数、1秒あたりのURL数、レスポンスの内訳(2xx Success、3xx Redirect、4xx Client error、5xx Server error、No response、Blocked by robots.txt)が表示されます。
- PauseとResumeでいつでも一時停止・再開でき、Stopでそれまでのクロール結果を残して終了できます。
- クロールの途中でCrawlensが終了した場合、次回はプロジェクトにResume crawlが表示されます。中断したところから続き、クロール済みのページを再取得することはありません。
クロールが終わると、Crawlensが自動で監査を実行します(Running audit…)。
6. 監査結果を読む
プロジェクトのOverviewに、最新のクロールの結果が表示されます。
- ヘルススコア(0〜100):90以上はGood(良好)、70〜89はNeeds work(要改善)、70未満はPoor(不良)です。重大な課題と警告のあるURLの割合から計算します。計算方法をご覧ください。
- Issues found:見つかった課題を、重大、警告、通知に分けて表示します。
- Top issues:重大なものから順に並びます。まずは重大な課題から始めてください。
課題の下には、合格したチェックの数と、not available for this crawl(このクロールでは利用できない)チェックの数が表示されます。Show whyをクリックしてください。70項目のチェックの中には、JavaScriptレンダリング、Search Console、サーバーログなど、基本のクロールでは集めないデータが必要なものがあります。各チェックに必要なものは監査ルール一覧に記載しています。
7. 課題とURLを調べる
- Issues(Ctrl+2):不合格のチェックすべてについて、重要な理由、修正方法、対象のURLを確認できます。
- URLs(Ctrl+3):クロールしたすべてのURLです。ステータス、インデックス可否、種類、課題で絞り込み、URLやtitleで検索し、表示する列を選べます。
- URLの詳細:行をクリックすると、SEOの項目、課題、被リンクと発リンク、リダイレクト、ヘッダー、構造化データを確認できます。矢印キーで行を移動できます。
8. レポートを書き出して共有する
- Export report → Excel workbook(Ctrl+E):概要、すべてのURL、各課題と対象のURLをまとめたブックです。
- Export report → PDF report:エグゼクティブサマリー、前回のクロールからの改善状況、課題と修正方法、Core Web Vitals、調査方法を含む、クライアントにそのまま渡せるレポートです。Settingsで自社のロゴとカラーを設定すると、ホワイトラベルのレポートになります。
- URLの表や課題のExport CSV:表示中の行だけを書き出します。
次のステップ
- Googleのデータを追加する。SettingsでGoogleと連携し、プロジェクトの概要でSearch ConsoleとAnalyticsのデータを取得すると、流入のあるページに影響する課題が分かります。
- Core Web Vitalsを測定する。SettingsでPageSpeed InsightsのAPIキーを追加し、概要でMeasure Core Web Vitalsを使います。
- サーバーログを取り込む。Log filesページで取り込むと、Googlebotが実際に何をクロールしているかが分かります。SEOのためのログファイル分析(英語)もご覧ください。
- 定期クロールを設定する。Schedule & alertsで設定すると、ヘルススコアが下がったときにメールが届きます。
- クロールを比較する。修正を公開した後に比べると、何が良くなり、何が悪くなったかが分かります。
- AIアシスタントに監査結果について質問する。Claude、Codex、Cursor、VS Codeと連携してください。
キーボードショートカット
| キー | 操作 |
|---|---|
| Ctrl+N | 新しいクロール |
| Ctrl+E | レポートを書き出す |
| Ctrl+F | このページ内を検索 |
| Ctrl+1 … 8 | Overview、Issues、URLs、Compare、Crawl history、Extraction & rules、Schedule & alerts、Log filesを切り替える |
| Ctrl+, | Settings |
| ? | すべてのショートカットを表示 |
クロールを始めましょう
Windows向けに無料。1回のクロールで最大10万URLです。