Nghiên cứu mớiTechnical SEO & AI Search · 2027Xem framework

Lần crawl đầu tiên

Từ lúc cài đặt đến khi có danh sách lỗi theo thứ tự ưu tiên chỉ mất khoảng mười phút. Bạn sẽ crawl một website, đọc điểm sức khỏe, mở những lỗi quan trọng và xuất báo cáo.

Ứng dụng Crawlens hiện chỉ có giao diện tiếng Anh, nên tên nút và menu trong hướng dẫn này được giữ nguyên tiếng Anh để bạn dễ tìm.

1. Cài đặt Crawlens

Crawlens chạy trên Windows. Tải file cài đặt (113.7 MB) và chạy nó. Bạn có thể chọn thư mục cài đặt trong quá trình setup.

Nếu Windows SmartScreen hiện Windows protected your PC, hãy chọn More info, rồi Run anyway.

2. Chọn thư mục dữ liệu

Lần đầu mở, Crawlens hỏi nơi lưu dự án và dữ liệu crawl. Website lớn có thể tạo ra vài GB, nên hãy chọn ổ đĩa còn nhiều dung lượng.

  • Giữ Default location (vị trí mặc định), hoặc Choose a folder trên bất kỳ ổ đĩa cục bộ hay ổ ngoài nào (ví dụ D:\Crawlens).
  • Không hỗ trợ ổ mạng: cơ sở dữ liệu có thể bị hỏng khi đọc ghi qua kết nối mạng.
  • Bạn có thể chuyển thư mục sau trong Settings → About → Data folder.

3. Tạo dự án

Mỗi website là một dự án riêng, chứa các lần crawl, lỗi và báo cáo của website đó.

  1. Trong Projects, bấm New project.
  2. Nhập Website URL: trang chủ, hoặc phần website bạn muốn audit. Mặc định các lần crawl sẽ bắt đầu từ đây.
  3. Đặt Project name rồi bấm Create project.

4. Bắt đầu crawl

Mở dự án và bấm Start crawl (hoặc nhấn Ctrl+N). Chọn Crawl mode:

Chế độCách hoạt độngDùng khi
WebsiteBắt đầu từ một URL và đi theo các liên kết nội bộHầu hết các cuộc audit; tìm những gì người dùng và crawler truy cập được
SitemapCrawl các URL trong XML sitemap (hỗ trợ sitemap index và .xml.gz). Bật Also follow links để tìm trang bị thiếu trong sitemapKiểm tra chất lượng sitemap và tìm trang mồ côi
URL listCrawl đúng các URL bạn dán vào hoặc nhập từ file (.txt, .csv, .xlsx)Kiểm tra một nhóm trang sau khi phát hành hoặc chuyển đổi website

Với lần crawl đầu tiên, cứ giữ mặc định: URL limit 100.000, không giới hạn độ sâu. Một vài thiết lập nên biết (giá trị mặc định lấy từ Settings):

  • Render JavaScript: bật cho website dùng React, Vue hoặc render phía trình duyệt. Mỗi trang được tải trong Chromium và so sánh với HTML gốc. Chậm hơn vài lần.
  • Check images (bật mặc định) và Check external links (tắt mặc định): sau khi crawl xong, gửi request tới từng hình ảnh nội bộ hoặc link ngoài để tìm cái bị hỏng.
  • Respect robots.txt: bỏ qua các URL bị chặn với user agent đã chọn. Bật mặc định.
  • Concurrent requests và Delay between requests: giảm xuống với server nhỏ hoặc yếu.
  • Advanced settings: Include only URLs matching / Exclude URLs matching (mỗi dòng một biểu thức chính quy) và Crawl subdomains.

Bấm Start crawl.

5. Theo dõi quá trình crawl

Bảng theo dõi trực tiếp hiển thị số URL đã crawl và đang chờ, tốc độ (URL mỗi giây), và số URL theo từng loại phản hồi: 2xx Success, 3xx Redirect, 4xx Client error, 5xx Server error, No response và Blocked by robots.txt.

  • Pause và Resume bất cứ lúc nào, hoặc Stop để giữ lại phần đã crawl.
  • Nếu Crawlens bị tắt giữa chừng, lần sau dự án sẽ hiện Resume crawl. Crawl tiếp từ chỗ đã dừng; các trang đã crawl không bị tải lại.

Khi crawl xong, Crawlens tự động chạy audit (Running audit…).

6. Đọc kết quả audit

Trang Overview của dự án hiển thị lần crawl mới nhất:

  • Health score (điểm sức khỏe, 0–100): Good từ 90 trở lên, Needs work từ 70 đến 89, Poor dưới 70. Điểm dựa trên tỉ lệ URL có lỗi nghiêm trọng (critical) và cảnh báo (warning); xem cách tính điểm.
  • Issues found (số lỗi tìm thấy), chia thành critical, warning và notice.
  • Top issues, lỗi nghiêm trọng nhất đứng đầu. Hãy bắt đầu từ các lỗi critical.

Bên dưới danh sách lỗi là phần tóm tắt cho biết bao nhiêu kiểm tra đã đạt và bao nhiêu not available for this crawl (không áp dụng được cho lần crawl này). Bấm Show why: một số trong 70 kiểm tra cần dữ liệu mà lần crawl cơ bản không thu thập, như render JavaScript, Search Console hay log server. Danh sách quy tắc audit ghi rõ mỗi kiểm tra cần gì.

7. Xem lỗi và URL

  • Issues (Ctrl+2): mọi kiểm tra không đạt, kèm lý do quan trọng, cách sửa và các URL bị ảnh hưởng.
  • URLs (Ctrl+3): mọi URL đã crawl. Lọc theo trạng thái, khả năng index, loại hoặc lỗi, tìm theo URL hoặc title, và chọn cột hiển thị.
  • Chi tiết URL: bấm vào một dòng bất kỳ để xem các trường SEO, lỗi, link trỏ vào và trỏ ra, redirect, header và structured data. Dùng phím mũi tên để chuyển giữa các dòng.

8. Xuất và chia sẻ báo cáo

  • Export report → Excel workbook (Ctrl+E): bản tóm tắt, toàn bộ URL, và mọi lỗi kèm URL bị ảnh hưởng.
  • Export report → PDF report: báo cáo sẵn sàng gửi khách hàng, gồm tóm tắt điều hành, tiến độ so với lần crawl trước, các lỗi và cách sửa, Core Web Vitals và phương pháp. Thêm logo và màu của bạn trong Settings để làm báo cáo gắn thương hiệu riêng.
  • Export CSV trên bảng URL hoặc một lỗi: xuất đúng những dòng bạn đang xem.

Bước tiếp theo

  • Thêm dữ liệu Google. Kết nối Google trong Settings, rồi lấy dữ liệu Search Console và Analytics trên trang overview của dự án để xem lỗi nào ảnh hưởng tới trang có traffic.
  • Đo Core Web Vitals. Thêm API key của PageSpeed Insights trong Settings, rồi dùng Measure Core Web Vitals trên trang overview.
  • Nhập log server ở trang Log files để xem Googlebot thực sự crawl gì. Đọc phân tích log file cho SEO.
  • Crawl theo lịch trong Schedule & alerts và nhận email khi điểm sức khỏe giảm.
  • So sánh các lần crawl sau khi bản sửa được triển khai, để xem điều gì tốt lên và điều gì tệ đi.
  • Hỏi trợ lý AI về kết quả audit: kết nối Claude, Codex, Cursor hoặc VS Code.

Phím tắt

PhímTác dụng
Ctrl+NCrawl mới
Ctrl+EXuất báo cáo
Ctrl+FTìm trong trang này
Ctrl+1 … 8Chuyển giữa Overview, Issues, URLs, Compare, Crawl history, Extraction & rules, Schedule & alerts và Log files
Ctrl+,Settings
?Xem tất cả phím tắt

Sẵn sàng crawl?

Miễn phí cho Windows. Đến 100.000 URL mỗi lần crawl.

Tải miễn phí cho Windows