Nghiên cứu mớiTechnical SEO & AI Search · 2027Xem framework

Công cụ SEO miễn phí · Quy tắc đối chiếu của Google

Kiểm tra robots.txt & AI crawler

Nhập một URL để lấy robots.txt đang chạy thật và xem Googlebot, Bingbot cùng các AI crawler chính có được crawl URL đó không, kèm dòng quyết định. Sửa file và kiểm tra lại trước khi triển khai.

Kiểm tra 18 crawler cùng lúcSửa và kiểm tra lại ngay trên trình duyệtQuy tắc robots.txt của Google ↗
Kiểm tra URL

Crawler nào truy cập được trang này?

Nhập URL của trang hoặc một domain. Công cụ đọc robots.txt trên cùng giao thức và host, giống cách crawler làm.

Cách hoạt động

Google đọc robots.txt thế nào

Công cụ áp dụng đúng các quy tắc này, theo tài liệu của Google và tiêu chuẩn Robots Exclusion Protocol (RFC 9309).

Nhóm nào được áp dụngCrawler làm theo nhóm có ghi token user-agent của nó, không phân biệt hoa thường. Nhiều nhóm cho cùng một crawler sẽ được gộp lại. Chỉ khi không nhóm nào ghi tên nó, crawler mới làm theo User-agent: *; hai loại nhóm này không bao giờ được gộp.
Quy tắc nào thắngQuy tắc khớp có đường dẫn dài nhất sẽ thắng. Khi một Allow và một Disallow dài bằng nhau, Google dùng quy tắc ít hạn chế hơn, tức Allow.
Ký tự đại diện* khớp với chuỗi ký tự bất kỳ, còn $ ở cuối đánh dấu điểm kết thúc của URL. Đường dẫn phân biệt hoa thường và phải bắt đầu bằng /.
Các trường được hỗ trợuser-agent, allow, disallow và sitemap. Google bỏ qua các trường khác, chẳng hạn crawl-delay.
Phạm viMột file robots.txt chỉ áp dụng cho đúng giao thức, host và cổng của nó. blog.example.com cần file riêng.
File không có hoặc bị lỗiPhản hồi 4xx (trừ 429) được coi như không có file: mọi thứ đều được phép. Lỗi 5xx, 429 hoặc lỗi mạng khiến Google ngừng crawl cả site trong 12 giờ, sau đó dùng bản tốt gần nhất trong tối đa 30 ngày.
Chuyển hướng và dung lượngGoogle theo ít nhất năm lần chuyển hướng cho robots.txt, sau đó coi như không có file. Google đọc 500 KiB đầu tiên và bỏ qua phần còn lại.
Bộ nhớ đệmGoogle thường lưu robots.txt trong bộ nhớ đệm tối đa 24 giờ, nên thay đổi có thể mất một ngày mới có hiệu lực.

Nguồn: Cách Google diễn giải quy cách robots.txt và RFC 9309.

Danh sách crawler

Các crawler công cụ này kiểm tra

Mỗi token đều được công ty vận hành crawler đó công bố. Crawler thay đổi theo thời gian, nên hãy xem trang của nhà vận hành trước khi dựa vào một quy tắc.

TokenNhà vận hànhDùng đểNguồn
GooglebotGoogleCông cụ tìm kiếmCả AI Overviews và AI ModeTài liệu ↗
BingbotMicrosoftCông cụ tìm kiếmTài liệu ↗
ApplebotAppleCông cụ tìm kiếmSpotlight, Siri và Safari; dữ liệu cũng có thể dùng để huấn luyện mô hình của AppleTài liệu ↗
OAI-SearchBotOpenAIAI searchTài liệu ↗
Claude-SearchBotAnthropicAI searchTài liệu ↗
PerplexityBotPerplexityAI searchTài liệu ↗
Amzn-SearchBotAmazonAI searchTài liệu ↗
GPTBotOpenAIHuấn luyện AITài liệu ↗
ClaudeBotAnthropicHuấn luyện AITài liệu ↗
Google-ExtendedGoogleHuấn luyện AIChỉ là token trong robots.txt, không phải crawler riêngTài liệu ↗
Applebot-ExtendedAppleHuấn luyện AIChỉ là token trong robots.txt, không phải crawler riêngTài liệu ↗
meta-externalagentMetaHuấn luyện AITài liệu ↗
AmazonbotAmazonHuấn luyện AICải thiện sản phẩm Amazon; có thể dùng để huấn luyện mô hình AI của AmazonTài liệu ↗
CCBotCommon CrawlHuấn luyện AITài liệu ↗
ChatGPT-UserOpenAITruy cập theo yêu cầu người dùngCó thể bỏ qua robots.txtTài liệu ↗
Claude-UserAnthropicTruy cập theo yêu cầu người dùngTài liệu ↗
Perplexity-UserPerplexityTruy cập theo yêu cầu người dùngCó thể bỏ qua robots.txtTài liệu ↗
meta-externalfetcherMetaTruy cập theo yêu cầu người dùngCó thể bỏ qua robots.txtTài liệu ↗

Bước tiếp theo

Sửa những gì bài kiểm tra phát hiện

URL bị chặn chỉ là vấn đề khi bạn muốn nó được crawl. Các hướng dẫn dưới đây đề cập những trường hợp thường gặp.

Quy tắc

Viết robots.txt cho đúng

Cú pháp, cách đối chiếu và những lỗi chặn nhiều hơn bạn muốn, như một dòng Disallow: / lạc chỗ.

robots.txt cho SEO (tiếng Anh)
AI

Chọn AI crawler nào được phép

Từ chối việc huấn luyện AI mà vẫn được trích dẫn trong câu trả lời của ChatGPT, Claude và Perplexity.

Cách chặn AI crawler (tiếng Anh)

Nên biết

Câu hỏi thường gặp về robots.txt

Nguồn: Google Search Central và RFC 9309.

Làm sao kiểm tra một URL có bị robots.txt chặn không?

Nhập URL ở trên: công cụ lấy robots.txt đang chạy của host đó và cho biết, với từng crawler, URL có được phép không và dòng nào quyết định. Riêng với Googlebot, công cụ Kiểm tra URL trong Search Console cũng cho biết URL có bị chặn không.

Chặn trang trong robots.txt có xoá trang khỏi Google không?

Không. Google cho biết URL bị chặn vẫn có thể được index mà không cần crawl nếu có trang khác link tới, thường hiển thị không có mô tả. Để giữ một trang ngoài kết quả tìm kiếm, hãy cho phép crawl và dùng thẻ meta hoặc header noindex.

Khi Allow và Disallow xung đột, quy tắc nào thắng?

Quy tắc có đường dẫn khớp dài nhất. Nếu một quy tắc Allow và một quy tắc Disallow dài bằng nhau, Google dùng quy tắc ít hạn chế hơn là Allow.

Vì sao Googlebot bỏ qua các quy tắc User-agent: * của tôi?

Vì file của bạn có một nhóm dành cho Googlebot. Crawler nào tìm thấy nhóm ghi tên mình sẽ chỉ làm theo nhóm đó và bỏ qua nhóm *, nên hãy lặp lại các quy tắc chung bên trong nhóm Googlebot.

Chuyện gì xảy ra nếu robots.txt trả về lỗi 404 hoặc 500?

Lỗi 404 hoặc 4xx khác (trừ 429) được coi như không có robots.txt, nên mọi thứ đều có thể được crawl. Lỗi 5xx hoặc 429 khiến Google ngừng crawl site trong 12 giờ; sau đó Google dùng bản tốt gần nhất trong tối đa 30 ngày.

Kiểm tra robots.txt trên toàn bộ website

Crawlens crawl với user-agent bạn chọn và có thể tuân theo quy tắc robots.txt của nó, đánh dấu các trang có link trỏ tới nhưng bị robots.txt chặn, và phần phân tích log máy chủ cho thấy AI crawler nào đã thực sự truy cập trang của bạn.

Tải miễn phí cho Windows