Nghiên cứu mớiTechnical SEO & AI Search · 2027Xem framework

Crawl và index: trang bạn được tìm thấy thế nào

Cách crawl và index hoạt động, điều gì chặn từng bước, cách đọc báo cáo Page indexing và audit khả năng crawl toàn website.

Các hướng dẫn được liên kết trong bài sẽ mở bản tiếng Anh cho đến khi có bản tiếng Việt.

Mọi trang đang xếp hạng đều đi qua cùng một đường ống: công cụ tìm kiếm phát hiện URL, tải trang về, render, quyết định trang đáng giữ lại rồi lưu vào chỉ mục. Hỏng bất kỳ bước nào, trang không thể xuất hiện, mà hầu hết lỗi đều lặng lẽ không dấu hiệu. Trang đơn giản là không bao giờ ở đó.

Hướng dẫn này giải thích từng bước của crawl và index, điều gì chặn mỗi bước, cách đọc các báo cáo Google cung cấp, và cách audit crawl và index trên toàn website. Mỗi mục đều có link đến hướng dẫn chi tiết.

Crawl và index khác nhau thế nào?

Crawl là công cụ tìm kiếm tải trang của bạn về; index là công cụ tìm kiếm phân tích trang đó và lưu lại để trang có thể xuất hiện trong kết quả. Theo mô tả của Google, crawl là lúc Google tải văn bản, hình ảnh và video từ các trang tìm thấy trên internet bằng chương trình tự động gọi là crawler, sau đó đến bước index, nơi Google phân tích nội dung và xác định URL nào là canonical (cách Google Search hoạt động).

Hai việc này có thể tách rời:

  • Đã crawl, chưa index: Google đã tải trang về nhưng quyết định không giữ lại. Theo Google, việc index không được đảm bảo; không phải trang nào Google xử lý cũng được index.
  • Đã index, chưa crawl: trang bị robots.txt chặn vẫn có thể được index nhờ các liên kết trỏ đến nó, mà Google không thấy nội dung.

Trang đi từ máy chủ đến chỉ mục thế nào?

Giai đoạn Điều diễn ra Điều chặn nó lại
Phát hiện Công cụ tìm kiếm biết URL tồn tại nhờ liên kết, sitemap hoặc khi bạn gửi URL Không có liên kết nội bộ, vắng mặt trong sitemap, liên kết chỉ được thêm bằng JavaScript
Crawl Crawler request URL Quy tắc disallow trong robots.txt, lỗi máy chủ, timeout, tường lửa chặn bot
Render Trang được chạy trong trình duyệt để script bổ sung nội dung Script lỗi, timeout hoặc cần người dùng tương tác
Index Nội dung được phân tích và lưu lại, đồng thời chọn một URL canonical Trạng thái khác 200, noindex, canonical trỏ sang nơi khác, nội dung trùng lặp hoặc ít giá trị
Hiển thị Các trang đã index được xếp hạng cho truy vấn Mọi thứ còn lại trong SEO

Chính yêu cầu kỹ thuật của Google gom bốn giai đoạn đầu thành ba điều kiện: Googlebot không bị chặn, trang hoạt động bình thường với mã trạng thái HTTP 200, và trang có nội dung index được.

Công cụ tìm kiếm phát hiện trang bằng cách nào?

Chủ yếu qua liên kết. Crawler bắt đầu từ trang chủ rồi đi theo liên kết sẽ đến được mọi trang có liên kết, và không đến được chỗ nào không có liên kết. Vì vậy liên kết nội bộ là đòn bẩy chính bạn kiểm soát được:

Với ứng dụng một trang, việc phát hiện còn phụ thuộc vào liên kết thật và URL hoạt động khi tải mới. Hướng dẫn SPA navigation SEO trình bày định tuyến phía client, thay đổi History API và kiểm tra deep link.

Nội dung chỉ hiện ra sau khi người dùng cuộn hay bấm cũng có thể bị bỏ sót. Hướng dẫn lazy loading SEO giải thích cách giữ ảnh, sản phẩm ở sâu và trang cuộn vô hạn luôn có thể phát hiện được.

XML sitemap là kênh thứ hai. Theo Google, sitemap hữu ích nhất với website lớn, website mới ít liên kết bên ngoài, và website có nhiều file media; đồng thời Google cho biết sitemap không đảm bảo mọi mục trong đó đều được crawl và index (tổng quan về sitemap). Sitemap đầy chuyển hướng, lỗi và URL noindex còn tệ hơn sitemap ngắn mà chính xác. Xem audit XML sitemap.

Khi lượng URL vượt quá một file, hướng dẫn sitemap index SEO chỉ cách chia thành các sitemap con hợp lệ và theo dõi từng nhóm.

Trong mỗi file, hướng dẫn sitemap lastmod giải thích khi nào ngày sửa đổi của trang nên thay đổi và cách bắt các trình tạo đóng dấu mọi URL bằng ngày build.

Điều gì ngăn trang được crawl?

Nguyên nhân Biểu hiện Kiểm tra trong Crawlens
Quy tắc disallow trong robots.txt chặn URL Bị robots.txt chặn Linked pages blocked by robots.txt
Lỗi máy chủ Phản hồi 5xx; Google crawl chậm lại Internal pages return 5xx
Timeout, lỗi DNS hoặc SSL Không phản hồi Pages did not respond
Tường lửa hoặc chống bot Chỉ crawler thấy 403 hoặc trang thử thách Pages PageSpeed Insights could not test thường gợi ý điều này
Không được liên kết ở đâu Đi theo liên kết không bao giờ phát hiện ra Orphan pages
Quá sâu Hiếm khi được crawl Pages more than 4 clicks from the start
Liên kết chỉ có sau render Phát hiện muộn hoặc không bao giờ Links only in rendered HTML
Phản hồi chậm Mỗi lần crawl được ít trang hơn Slow server response (over 1 second)

Điều gì ngăn trang được index?

Nguyên nhân Cần kiểm tra Kiểm tra trong Crawlens
noindex trong thẻ meta hoặc header X-Robots-Tag Cố ý, hay còn sót từ môi trường staging? Noindex pages
Canonical trỏ sang URL khác URL kia có đúng và index được không? Canonicalised pages, Canonical points to a non-200 URL, to a noindex page
Mã trạng thái không phải 200 Lỗi 4xx, 5xx hoặc chuyển hướng Internal pages return 4xx
Trùng lặp với trang khác Google chọn một URL, loại các URL còn lại Duplicate content
Quá ít nội dung Ít lý do để index Thin content (under 200 words)
Nội dung chỉ có sau JavaScript Index chậm hơn, và thất bại nếu render lỗi Content depends on JavaScript

Các hướng dẫn chi tiết: noindex và robots.txt, X-Robots-Tag, mã trạng thái HTTP, lỗi thẻ canonical, nội dung trùng lặp, thin content và lỗi soft 404.

Cơ chế nào ảnh hưởng crawl, cơ chế nào ảnh hưởng index?

Nhầm lẫn chỗ này gây ra nhiều lỗi index hơn bất cứ thứ gì khác.

Cơ chế Ảnh hưởng crawl Ảnh hưởng index Dùng để
Lệnh Disallow trong robots.txt Có Không (URL bị chặn vẫn có thể được index nhờ liên kết) Giữ crawler ngoài khu vực không có giá trị tìm kiếm: giỏ hàng, tìm kiếm nội bộ, bộ lọc vô tận
noindex (meta hoặc header) Không Có Giữ trang ngoài kết quả. Trang phải vẫn crawl được thì chỉ thị mới được nhìn thấy
rel="canonical" Không Gợi ý Cho biết URL nào trong các URL tương tự nên được index
Chuyển hướng 301 / 308 Dời crawler Dời tín hiệu sang URL đích Khai tử hoặc di chuyển URL
404 / 410 Crawl thưa dần theo thời gian Loại khỏi chỉ mục Gỡ trang không có trang thay thế
nofollow trên liên kết nội bộ Giữ lại tín hiệu của liên kết Không Hiếm khi cần dùng nội bộ
XML sitemap Giúp phát hiện URL Không Liệt kê các URL canonical index được mà bạn muốn Google tìm thấy

Lỗi kinh điển là chặn trang trong robots.txt để gỡ nó khỏi Google: crawler không còn thấy được noindex, nên URL có thể vẫn nằm trong chỉ mục. Bài noindex và robots.txt phân tích kỹ trường hợp này, còn robots.txt cho SEO trình bày cú pháp và cách crawler chọn quy tắc áp dụng. Để kiểm tra một URL với file đang chạy cho Googlebot và các AI crawler chính, hãy dùng công cụ kiểm tra robots.txt miễn phí.

Hướng dẫn Google Indexing API giải thích vì sao thông báo qua API chỉ dành cho trang tuyển dụng và phát trực tiếp đủ điều kiện, chứ không thay thế liên kết và sitemap trên website thông thường.

Khi tham số truy vấn tạo ra nhiều phiên bản của một trang, bạn chọn cơ chế tùy vào việc mỗi phiên bản làm thay đổi nội dung thế nào. Hướng dẫn tham số URL và SEO đi qua các trường hợp tracking, sắp xếp, phân trang và bộ lọc mà không vô tình chặn nhầm trang hữu ích.

Crawl budget có quan trọng với website của bạn không?

Có lẽ không, trừ khi website lớn. Hướng dẫn về crawl budget của Google viết cho website lớn (hơn 1.000.000 URL riêng biệt) có nội dung thay đổi vừa phải (mỗi tuần một lần), website cỡ vừa và lớn (từ 10.000 URL riêng biệt trở lên) có nội dung thay đổi rất nhanh (hằng ngày), và website có nhiều URL bị báo Discovered - currently not indexed. Với các trường hợp còn lại, theo Google, hướng dẫn này không cần thiết.

Khi crawl budget thật sự quan trọng, lời khuyên là ngừng lãng phí lượt crawl: chặn trong robots.txt các URL không nên crawl, trả về mã 404 hoặc 410 cho trang đã gỡ vĩnh viễn, sửa soft 404, giữ sitemap luôn mới, tránh chuỗi chuyển hướng dài, và làm trang tải nhanh.

Cách duy nhất để thấy crawl budget thực sự tiêu vào đâu là log máy chủ: Googlebot request những URL nào, tần suất ra sao, và nhận lại gì. Xem phân tích log file và crawl budget để biết chi tiết; khung SEO kỹ thuật cho doanh nghiệp nối các phát hiện này với kho URL lớn và quy trình phát hành.

Muốn xem nhanh xu hướng request, tình trạng host, mã phản hồi và loại Googlebot, bạn đọc báo cáo Crawl Stats trong Search Console. Báo cáo cho thấy xu hướng và URL ví dụ; còn lịch sử request đầy đủ đến từng URL vẫn cần log.

Cách đọc báo cáo Page indexing trong Search Console?

Báo cáo Page indexing giải thích vì sao Google chưa index từng URL mà Google biết. Các trạng thái bạn gặp nhiều nhất:

Trạng thái Google cho biết Bạn nên làm gì
Discovered - currently not indexed Google đã phát hiện trang nhưng chưa crawl. Thường là Google muốn crawl URL nhưng việc đó có thể gây quá tải cho website Kiểm tra tốc độ và lỗi máy chủ; tăng cường liên kết nội bộ đến các trang
Crawled - currently not indexed Google đã crawl trang nhưng chưa index. Trang có thể được index sau này hoặc không; bạn không cần gửi lại URL để crawl Cải thiện, gộp hoặc gỡ các trang mỏng và trùng lặp
Duplicate without user-selected canonical Google đã chọn một trang khác làm canonical nên sẽ không hiển thị trang này trong kết quả tìm kiếm Thêm canonical hoặc gộp các trang trùng lặp
Alternate page with proper canonical tag Trang này trỏ đúng về trang canonical đã được index nên bạn không cần làm gì Không làm gì nếu canonical đó đúng ý bạn
URL marked ‘noindex’ Google gặp chỉ thị noindex nên không index trang Gỡ noindex nếu trang cần xếp hạng
URL blocked by robots.txt Trang bị file robots.txt của website chặn Cho phép nếu trang cần xếp hạng
Indexed, though blocked by robots.txt Vẫn được index dù bị chặn, vì có website khác liên kết đến trang của bạn Cho phép crawl rồi gắn noindex, hoặc cho phép trang được index đúng cách

Báo cáo cho biết Google đã quyết định gì, trên mẫu nào, với độ trễ nào. Còn crawl cho biết trạng thái hiện tại của mọi URL. Bạn dùng cả hai. Với hai trạng thái thường gặp nhất, xem crawled - currently not indexed.

Cách audit crawl và index trên toàn website?

  1. Crawl website từ trang chủ trong khi vẫn tôn trọng robots.txt. Mọi chỗ crawl không đến được bằng liên kết thì công cụ tìm kiếm cũng không đến được. Trong Crawlens, bảng URL lọc được theo khả năng index, nên bạn thấy mọi URL không index được kèm lý do (noindex, bị chuẩn hóa, chuyển hướng, lỗi, bị chặn).
  2. Crawl luôn cả sitemap. Chế độ Sitemap bật Also follow links sẽ so sánh hai phía: URL chỉ có trong sitemap là orphan page, còn URL trong sitemap mà không index được sẽ hiện thành Non-indexable URLs in sitemaps.
  3. Bật Render JavaScript trên website render phía client để thấy liên kết và nội dung chỉ tồn tại sau khi script chạy.
  4. Ghép Search Console. Ba kiểm tra cho thấy chỗ crawl và Google không đồng ý: URLs with impressions the crawl did not find, Pages with search traffic are not indexable và Indexable pages with no search impressions.
  5. Nhập server log để thấy Googlebot thực sự làm gì: Indexable pages Googlebot did not crawl, URLs Googlebot crawls that the crawl did not find và Googlebot gets errors.
  6. Sửa, crawl lại và so sánh. Rồi xác nhận trong Search Console các tuần sau đó: theo Google, việc crawl có thể mất từ vài ngày đến vài tuần (yêu cầu Google crawl lại).

Công cụ tìm kiếm AI chạy crawler riêng với quy tắc riêng, mà hầu hết không render JavaScript. Checklist sẵn sàng cho AI search trình bày điểm khác biệt cho chúng. Muốn biết crawl và index nằm ở đâu trong một lần audit đầy đủ, xem hướng dẫn audit SEO kỹ thuật.

Checklist crawl và index

Phát hiện URL

  • Mọi trang quan trọng được liên kết từ ít nhất một trang khác, lý tưởng là nhiều trang
  • Trang quan trọng nằm trong bốn lần bấm từ trang chủ
  • Điều hướng và liên kết chính đã có trong HTML gốc
  • Sitemap chỉ liệt kê URL 200 canonical index được, và đã gửi trong Search Console

Crawl

  • robots.txt chỉ chặn khu vực không có giá trị tìm kiếm
  • Không có lỗi 5xx, timeout hay tường lửa chặn crawler của công cụ tìm kiếm
  • Máy chủ phản hồi dưới một giây
  • Không có chuỗi chuyển hướng; trang đã gỡ trả về 404 hoặc 410

Index

  • Không có noindex ngoài ý muốn trong thẻ meta hay header
  • Canonical trỏ đến URL 200 index được
  • Trang trùng lặp đã gộp; trang mỏng đã cải thiện, gộp hoặc gỡ
  • Nội dung chính đã có mà không cần JavaScript, hoặc đã xác minh render

Xác minh

  • Đã rà báo cáo Page indexing, từng trạng thái một
  • Đã ghép crawl với dữ liệu Search Console
  • Đã kiểm tra server log xem Googlebot có lỗi hay trang nào chưa crawl (website lớn)
  • Đã crawl lại và so sánh sau khi sửa

Tất cả hướng dẫn về Crawl và index

Câu hỏi thường gặp

Crawl và index khác nhau thế nào?

Crawl là khi bot của công cụ tìm kiếm tải một trang về. Index là khi công cụ tìm kiếm phân tích trang đó và lưu lại để hiển thị trong kết quả. Một trang có thể được crawl mà không được index, và nếu bị robots.txt chặn nhưng được liên kết từ nơi khác, nó vẫn có thể được index mà không cần crawl.

Google mất bao lâu để index một trang mới?

Theo Google, việc crawl có thể mất từ vài ngày đến vài tuần. Liên kết đến trang từ các trang nội bộ mạnh, đưa trang vào sitemap và yêu cầu index trong công cụ Kiểm tra URL của Search Console có thể giúp ích, nhưng không cách nào đảm bảo trang sẽ được index.

Vì sao trang của tôi đã crawl mà chưa index?

Trạng thái Crawled - currently not indexed nghĩa là Google đã tải trang về nhưng quyết định chưa index lúc này. Nguyên nhân thường gặp là nội dung trùng lặp hoặc gần trùng lặp, trang mỏng, hoặc trang Google thấy chưa đủ giá trị. Bạn nên cải thiện hoặc gộp trang; theo Google thì không cần gửi lại trang để crawl.

Sitemap có đảm bảo trang được index không?

Không. Theo Google, sitemap không đảm bảo mọi mục trong đó đều được crawl và index. Sitemap giúp phát hiện URL, nhất là với website lớn hay mới, nhưng trang vẫn phải index được và xứng đáng được index.

Robots.txt có giữ trang ngoài Google được không?

Không chắc chắn. Robots.txt chỉ chặn crawl chứ không chặn index: trang bị chặn vẫn có thể được index nhờ các liên kết trỏ đến nó, mà Google không thấy nội dung. Muốn giữ trang ngoài chỉ mục, bạn để trang được crawl rồi gắn chỉ thị noindex.

· Nhà sáng lập Crawlens

Dien xây dựng Crawlens, công cụ crawl trên máy tính để audit SEO kỹ thuật, và viết về các kiểm tra mà nó chạy: crawl, index, render và dữ liệu Search Console.

Audit website của bạn với Crawlens

Crawl, chạy 70 kiểm tra và xem kết quả cạnh dữ liệu Search Console và Core Web Vitals.

Tải miễn phí cho Windows