Viết robots.txt cho đúng
Cú pháp, cách đối chiếu và những lỗi chặn nhiều hơn bạn muốn, như một dòng Disallow: / lạc chỗ.
robots.txt cho SEO (tiếng Anh)Công cụ SEO miễn phí · Quy tắc đối chiếu của Google
Nhập một URL để lấy robots.txt đang chạy thật và xem Googlebot, Bingbot cùng các AI crawler chính có được crawl URL đó không, kèm dòng quyết định. Sửa file và kiểm tra lại trước khi triển khai.
Nhập URL của trang hoặc một domain. Công cụ đọc robots.txt trên cùng giao thức và host, giống cách crawler làm.
Kết quả
Đang kiểm tra bản robots.txt bạn đã sửa, không phải file thật.
| Crawler | Kết quả | Quy tắc quyết định |
|---|
Sửa file để thử một thay đổi. Không có gì được lưu hay gửi đi; kết quả cập nhật khi bạn gõ.
Cách hoạt động
Công cụ áp dụng đúng các quy tắc này, theo tài liệu của Google và tiêu chuẩn Robots Exclusion Protocol (RFC 9309).
| Nhóm nào được áp dụng | Crawler làm theo nhóm có ghi token user-agent của nó, không phân biệt hoa thường. Nhiều nhóm cho cùng một crawler sẽ được gộp lại. Chỉ khi không nhóm nào ghi tên nó, crawler mới làm theo User-agent: *; hai loại nhóm này không bao giờ được gộp. |
|---|---|
| Quy tắc nào thắng | Quy tắc khớp có đường dẫn dài nhất sẽ thắng. Khi một Allow và một Disallow dài bằng nhau, Google dùng quy tắc ít hạn chế hơn, tức Allow. |
| Ký tự đại diện | * khớp với chuỗi ký tự bất kỳ, còn $ ở cuối đánh dấu điểm kết thúc của URL. Đường dẫn phân biệt hoa thường và phải bắt đầu bằng /. |
| Các trường được hỗ trợ | user-agent, allow, disallow và sitemap. Google bỏ qua các trường khác, chẳng hạn crawl-delay. |
| Phạm vi | Một file robots.txt chỉ áp dụng cho đúng giao thức, host và cổng của nó. blog.example.com cần file riêng. |
| File không có hoặc bị lỗi | Phản hồi 4xx (trừ 429) được coi như không có file: mọi thứ đều được phép. Lỗi 5xx, 429 hoặc lỗi mạng khiến Google ngừng crawl cả site trong 12 giờ, sau đó dùng bản tốt gần nhất trong tối đa 30 ngày. |
| Chuyển hướng và dung lượng | Google theo ít nhất năm lần chuyển hướng cho robots.txt, sau đó coi như không có file. Google đọc 500 KiB đầu tiên và bỏ qua phần còn lại. |
| Bộ nhớ đệm | Google thường lưu robots.txt trong bộ nhớ đệm tối đa 24 giờ, nên thay đổi có thể mất một ngày mới có hiệu lực. |
Nguồn: Cách Google diễn giải quy cách robots.txt và RFC 9309.
Danh sách crawler
Mỗi token đều được công ty vận hành crawler đó công bố. Crawler thay đổi theo thời gian, nên hãy xem trang của nhà vận hành trước khi dựa vào một quy tắc.
| Token | Nhà vận hành | Dùng để | Nguồn |
|---|---|---|---|
Googlebot | Công cụ tìm kiếmCả AI Overviews và AI Mode | Tài liệu ↗ | |
Bingbot | Microsoft | Công cụ tìm kiếm | Tài liệu ↗ |
Applebot | Apple | Công cụ tìm kiếmSpotlight, Siri và Safari; dữ liệu cũng có thể dùng để huấn luyện mô hình của Apple | Tài liệu ↗ |
OAI-SearchBot | OpenAI | AI search | Tài liệu ↗ |
Claude-SearchBot | Anthropic | AI search | Tài liệu ↗ |
PerplexityBot | Perplexity | AI search | Tài liệu ↗ |
Amzn-SearchBot | Amazon | AI search | Tài liệu ↗ |
GPTBot | OpenAI | Huấn luyện AI | Tài liệu ↗ |
ClaudeBot | Anthropic | Huấn luyện AI | Tài liệu ↗ |
Google-Extended | Huấn luyện AIChỉ là token trong robots.txt, không phải crawler riêng | Tài liệu ↗ | |
Applebot-Extended | Apple | Huấn luyện AIChỉ là token trong robots.txt, không phải crawler riêng | Tài liệu ↗ |
meta-externalagent | Meta | Huấn luyện AI | Tài liệu ↗ |
Amazonbot | Amazon | Huấn luyện AICải thiện sản phẩm Amazon; có thể dùng để huấn luyện mô hình AI của Amazon | Tài liệu ↗ |
CCBot | Common Crawl | Huấn luyện AI | Tài liệu ↗ |
ChatGPT-User | OpenAI | Truy cập theo yêu cầu người dùngCó thể bỏ qua robots.txt | Tài liệu ↗ |
Claude-User | Anthropic | Truy cập theo yêu cầu người dùng | Tài liệu ↗ |
Perplexity-User | Perplexity | Truy cập theo yêu cầu người dùngCó thể bỏ qua robots.txt | Tài liệu ↗ |
meta-externalfetcher | Meta | Truy cập theo yêu cầu người dùngCó thể bỏ qua robots.txt | Tài liệu ↗ |
Bước tiếp theo
URL bị chặn chỉ là vấn đề khi bạn muốn nó được crawl. Các hướng dẫn dưới đây đề cập những trường hợp thường gặp.
Cú pháp, cách đối chiếu và những lỗi chặn nhiều hơn bạn muốn, như một dòng Disallow: / lạc chỗ.
robots.txt cho SEO (tiếng Anh)Từ chối việc huấn luyện AI mà vẫn được trích dẫn trong câu trả lời của ChatGPT, Claude và Perplexity.
Cách chặn AI crawler (tiếng Anh)Robots.txt ngăn crawl, không ngăn index. Để gỡ một trang khỏi kết quả, hãy dùng noindex.
Noindex và robots.txt (tiếng Anh)Nên biết
Nguồn: Google Search Central và RFC 9309.
Nhập URL ở trên: công cụ lấy robots.txt đang chạy của host đó và cho biết, với từng crawler, URL có được phép không và dòng nào quyết định. Riêng với Googlebot, công cụ Kiểm tra URL trong Search Console cũng cho biết URL có bị chặn không.
Không. Google cho biết URL bị chặn vẫn có thể được index mà không cần crawl nếu có trang khác link tới, thường hiển thị không có mô tả. Để giữ một trang ngoài kết quả tìm kiếm, hãy cho phép crawl và dùng thẻ meta hoặc header noindex.
Quy tắc có đường dẫn khớp dài nhất. Nếu một quy tắc Allow và một quy tắc Disallow dài bằng nhau, Google dùng quy tắc ít hạn chế hơn là Allow.
Vì file của bạn có một nhóm dành cho Googlebot. Crawler nào tìm thấy nhóm ghi tên mình sẽ chỉ làm theo nhóm đó và bỏ qua nhóm *, nên hãy lặp lại các quy tắc chung bên trong nhóm Googlebot.
Lỗi 404 hoặc 4xx khác (trừ 429) được coi như không có robots.txt, nên mọi thứ đều có thể được crawl. Lỗi 5xx hoặc 429 khiến Google ngừng crawl site trong 12 giờ; sau đó Google dùng bản tốt gần nhất trong tối đa 30 ngày.
Crawlens crawl với user-agent bạn chọn và có thể tuân theo quy tắc robots.txt của nó, đánh dấu các trang có link trỏ tới nhưng bị robots.txt chặn, và phần phân tích log máy chủ cho thấy AI crawler nào đã thực sự truy cập trang của bạn.
Tải miễn phí cho Windows