Crawl và khả năng index
Mã trạng thái, redirect, canonical, noindex, robots.txt và sitemap XML, để những trang bạn muốn được tìm thấy có thể được crawl và index.
Dịch vụ audit SEO kỹ thuật
Biết được công cụ tìm kiếm và các công cụ trả lời bằng AI có truy cập, đọc và trích dẫn được những trang quan trọng của bạn hay không. Chúng tôi crawl toàn bộ website, kiểm tra các quy tắc truy cập mà audit thông thường bỏ qua, rồi giao cho bạn một danh sách ngắn, có bằng chứng, về những gì cần sửa trước.
Quy mô website, quyền truy cập dữ liệu và độ sâu của từng phần được thống nhất trước khi bắt đầu audit.
Góc nhìn công việc
Audit mức sẵn sàng cho tìm kiếm & AI
Audit bao gồm những gì
Sáu mảng, kiểm tra theo đúng thứ tự mà vấn đề thường chặn khả năng hiển thị. Chúng tôi điều chỉnh trọng số theo website của bạn: một cửa hàng dùng nhiều JavaScript và một trang tài liệu sẽ hỏng ở những chỗ khác nhau.
Mã trạng thái, redirect, canonical, noindex, robots.txt và sitemap XML, để những trang bạn muốn được tìm thấy có thể được crawl và index.
Những AI crawler nào (tìm kiếm, huấn luyện, truy cập theo yêu cầu người dùng) được robots.txt, CDN và firewall cho vào, so với chính sách bạn thực sự muốn.
So sánh HTML gốc với trang đã render để tìm nội dung, liên kết và thẻ SEO chỉ xuất hiện sau khi script chạy.
Tìm các quy tắc nosnippet, max-snippet hoặc data-nosnippet vô tình hạn chế việc trích dẫn, và markup không khớp với nội dung hiển thị.
Kiểm tra các trang quan trọng có trả lời câu hỏi bằng văn bản hiển thị, với heading rõ ràng, người chịu trách nhiệm và nguồn mà công cụ có thể ghi nhận.
Dùng dữ liệu thực tế Core Web Vitals, Search Console và log máy chủ (khi bạn chia sẻ được) để xác nhận crawler và người dùng thực sự nhận được gì.
Checklist đầy đủ
Audit xem xét gì ở từng mảng và bằng chứng lấy từ đâu. Những mảng không áp dụng cho website của bạn, như hreflang trên site một ngôn ngữ, sẽ được bỏ qua.
| Hạng mục | Chúng tôi tìm gì | Bằng chứng |
|---|---|---|
| robots.txt theo user agent | Crawler tìm kiếm (Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot, PerplexityBot) và token huấn luyện (GPTBot, ClaudeBot, Google-Extended) được cho phép hay chặn đúng như bạn muốn. | Rà soát thủ công |
| Quy tắc CDN và firewall | Thiết lập quản lý bot hoặc WAF thách thức hay chặn crawler trước khi robots.txt kịp được đọc. | Rà soát thủ côngKiểm thử trực tiếp |
| Trang có liên kết nhưng bị robots.txt chặn | Những trang được chính liên kết của bạn trỏ tới nhưng crawler không được phép tải. | Crawl |
| Hoạt động của crawler trong log | Crawler nào yêu cầu URL nào, và mã trạng thái chúng thực sự nhận được. | Log máy chủ |
| Trang Googlebot bỏ qua | Trang có thể index mà Googlebot không yêu cầu trong khoảng thời gian của log. | Log máy chủ |
| Hạng mục | Chúng tôi tìm gì | Bằng chứng |
|---|---|---|
| Trang noindex | Noindex trên trang lẽ ra cần xếp hạng, và trang có thể index lẽ ra không nên. | Crawl |
| Thẻ canonical | Thiếu canonical hoặc có nhiều canonical, và canonical trỏ tới URL lỗi, redirect hoặc noindex. | Crawl |
| Trang đã canonical sang URL khác | Trang khai báo URL khác làm canonical, và lựa chọn đó có đúng không. | Crawl |
| URL không thể index trong sitemap | URL redirect, noindex hoặc lỗi nằm trong sitemap XML. | Crawl |
| Traffic tìm kiếm trên trang không thể index | Trang có lượt hiển thị hoặc lượt nhấp nhưng giờ bị noindex, canonical sang nơi khác hoặc lỗi. | Search Console |
| Hạng mục | Chúng tôi tìm gì | Bằng chứng |
|---|---|---|
| Lỗi client và server | Trang nội bộ trả về 4xx hoặc 5xx, và trang không phản hồi. | Crawl |
| Chuỗi và vòng lặp redirect | Chuỗi từ hai bước trở lên, vòng lặp, và redirect tạm thời (302/303/307) lẽ ra phải là vĩnh viễn. | Crawl |
| Liên kết tới redirect và URL hỏng | Liên kết nội bộ lẽ ra phải trỏ thẳng tới URL cuối cùng. | Crawl |
| HTTPS | Trang phục vụ qua HTTP, phiên bản HTTP không redirect sang HTTPS, và nội dung hỗn hợp. | Crawl |
| Lỗi trên trang có traffic | Trang đích có lượt truy cập từ tìm kiếm hoặc analytics nhưng giờ trả về lỗi. | Search ConsoleAnalytics |
| Hạng mục | Chúng tôi tìm gì | Bằng chứng |
|---|---|---|
| Độ sâu nhấp | Trang quan trọng cách URL bắt đầu hơn bốn lần nhấp. | Crawl |
| Trang mồ côi và trang ít liên kết | Trang trong sitemap không được liên kết tới, trang chỉ có một liên kết nội bộ, và trang không có liên kết nội bộ đi ra. | Crawl |
| Nofollow nội bộ | Liên kết nội bộ gắn nofollow cản trở việc khám phá. | Crawl |
| Sitemap XML | Sitemap không đọc được, và trang quan trọng bị thiếu trong sitemap. | Crawl |
| URL mà crawl bỏ sót | URL có lượt hiển thị, lượt truy cập của Googlebot hoặc analytics mà crawl theo liên kết không tìm thấy. | Search ConsoleLog máy chủAnalytics |
| Hạng mục | Chúng tôi tìm gì | Bằng chứng |
|---|---|---|
| Nội dung phụ thuộc JavaScript | Văn bản chính chỉ xuất hiện sau khi script chạy, thứ mà phần lớn AI crawler sẽ không thấy. | Crawl có render |
| Liên kết chỉ có trong HTML đã render | Điều hướng và liên kết nội bộ không có trong HTML gốc. | Crawl có render |
| JavaScript thay đổi thẻ SEO | Title, canonical hoặc thẻ meta robots khác nhau giữa HTML gốc và HTML đã render. | Crawl có render |
| Render thất bại | Trang không render được trong trình duyệt. | Crawl có render |
| Crawler không render nhận được gì | HTML gốc của từng template chính, đọc theo cách một AI crawler không có trình duyệt đọc. | Rà soát thủ công |
| Hạng mục | Chúng tôi tìm gì | Bằng chứng |
|---|---|---|
| Title và meta description | Title thiếu, trùng, quá dài hoặc quá ngắn; description thiếu, trùng hoặc độ dài không hợp lý. | Crawl |
| Heading | Thiếu H1 hoặc có nhiều H1, và dàn ý heading có khớp với các câu hỏi trang trả lời không. | CrawlRà soát thủ công |
| Nội dung trùng lặp và nội dung mỏng | Trang trùng hoàn toàn hoặc gần trùng, và trang dưới 200 từ có thể không đứng vững một mình. | Crawl |
| Câu trả lời trong văn bản hiển thị | Câu hỏi chính được trả lời rõ ràng ở gần đầu trang, có nguồn, người chịu trách nhiệm và thông tin tác giả khi cần. | Rà soát thủ công |
| Hình ảnh | Thiếu alt text và ảnh hỏng. | Crawl |
| Hạng mục | Chúng tôi tìm gì | Bằng chứng |
|---|---|---|
| JSON-LD hợp lệ | JSON-LD không hợp lệ và dữ liệu có cấu trúc thiếu thuộc tính bắt buộc. | Crawl |
| Markup khớp với trang | Dữ liệu có cấu trúc mô tả nội dung hiển thị và một cách dùng được hỗ trợ, không markup tràn lan hay markup chỉ dành cho AI. | Rà soát thủ công |
| Kiểm soát snippet | Quy tắc nosnippet, max-snippet và data-nosnippet vô tình hạn chế việc trích dẫn. | Rà soát thủ công |
| Tính nhất quán của thực thể | Thông tin tổ chức, sản phẩm và tác giả thống nhất giữa các trang và trong markup. | Rà soát thủ công |
| Hạng mục | Chúng tôi tìm gì | Bằng chứng |
|---|---|---|
| Core Web Vitals thực tế | LCP, INP và CLS ở mức kém hoặc cần cải thiện với người dùng thật. | PageSpeed Insights |
| Hiệu suất lab | Điểm hiệu suất Lighthouse thấp trên các template chính. | PageSpeed Insights |
| Phản hồi máy chủ | Phản hồi chậm hơn một giây, và HTML lớn hơn 2 MB. | Crawl |
| Hạng mục | Chúng tôi tìm gì | Bằng chứng |
|---|---|---|
| Mã hreflang | Mã ngôn ngữ hoặc khu vực không hợp lệ. | Crawl |
| Liên kết hreflang | Thiếu liên kết hai chiều, thiếu tự tham chiếu và thiếu x-default. | Crawl |
| Đích của hreflang | Phiên bản thay thế trỏ tới URL không thể index. | Crawl |
| Hạng mục | Chúng tôi tìm gì | Bằng chứng |
|---|---|---|
| Trang gần trang một | Truy vấn xếp hạng ở vị trí 11 đến 20, nơi một chỉnh sửa có thể đẩy trang lên. | Search Console |
| CTR thấp | Trang có CTR thấp hơn mức thường thấy ở vị trí đó. | Search Console |
| Trang có thể index nhưng không có lượt hiển thị | Trang công cụ tìm kiếm có thể index nhưng không hiển thị. | Search Console |
| Hạng mục | Chúng tôi tìm gì | Bằng chứng |
|---|---|---|
| Tính năng AI của Google trong Search Console | Website không vô tình bị loại khỏi AI Overviews và AI Mode, và trang nào có lượt hiển thị trong báo cáo hiệu suất AI tạo sinh. | Search Console |
| Trích dẫn trong Copilot và Bing AI | Lượt trích dẫn, trang được trích dẫn và truy vấn grounding trong báo cáo AI Performance của Bing Webmaster Tools. | Bing Webmaster Tools |
| Lấy mẫu câu trả lời AI | Một bộ câu hỏi thật đã thống nhất, chạy trên Google AI Mode, ChatGPT search và Perplexity: bạn có được trích dẫn không, và ai được trích dẫn thay bạn. | Rà soát thủ công |
| Traffic giới thiệu từ AI | Lượt truy cập từ trợ lý AI được nhìn thấy và tách riêng khỏi các nguồn giới thiệu khác trong analytics. | Analytics |
| Đoạn văn tự đứng được | Mỗi phần chính vẫn có nghĩa khi được trích riêng: nêu câu trả lời và bối cảnh mà không dựa vào đoạn phía trước. | Rà soát thủ công |
| Bằng chứng đáng trích dẫn | Dữ liệu gốc, nguồn có tên và tác giả rõ ràng, cho công cụ lý do để trích dẫn trang này thay vì trang khác. | Rà soát thủ công |
| Tín hiệu độ mới | Ngày cập nhật hiển thị khớp với dateModified và lastmod trong sitemap, và trang thay đổi được thông báo qua IndexNow nếu bạn dùng. | Rà soát thủ công |
| llms.txt | Có đáng làm hay không. Google Search không dùng nó; nó có thể giúp trang tài liệu và công cụ cho lập trình viên mà mọi người dùng cùng AI agent. | Rà soát thủ công |
Các hạng mục Crawl và Crawl có render chạy bằng các quy tắc audit của Crawlens. Các kiểm tra dựa trên Search Console, Bing Webmaster Tools, analytics, PageSpeed Insights và log chỉ chạy với quyền truy cập bạn chọn chia sẻ. Rà soát thủ công do con người thực hiện. Câu trả lời AI thay đổi giữa các lần chạy, nên mỗi câu trả lời được lấy mẫu đều được ghi lại kèm ngày, công cụ và câu hỏi chính xác. Báo cáo sử dụng: báo cáo hiệu suất AI tạo sinh của Google và báo cáo AI Performance của Bing (tiếng Anh).
Sẵn sàng cho AI search
Câu trả lời AI được tạo từ những trang mà hệ thống crawl và đọc được. Google cho biết các tính năng AI của họ không cần tối ưu đặc biệt nào ngoài việc trang được index và đủ điều kiện hiển thị snippet. Các công cụ trả lời khác chạy crawler riêng, thường không chạy JavaScript, và mỗi crawler có thể được cho phép hoặc chặn riêng.
Trên thực tế, Answer Engine Optimization (AEO) và Generative Engine Optimization (GEO) quy về điều đó: những trang mà hệ thống AI có thể truy cập, đọc, trích dẫn và ghi nguồn. Audit kiểm tra nền tảng này, rồi lấy mẫu câu trả lời AI thật cho các chủ đề của bạn để xem hôm nay ai đang được trích dẫn.
Những gì chúng tôi kiểm tra ngoài audit thông thường
Toàn bộ phương pháp được công khai trong checklist sẵn sàng cho AI search (tiếng Anh). Chúng tôi xác minh khả năng truy cập và khả năng đọc; không ai có thể đảm bảo một lượt trích dẫn từ AI.
Một cuộc audit diễn ra thế nào
Một file xuất dài các lỗi không phải là audit. Phần hữu ích là quyết định phát hiện nào quan trọng với website này và ai cần hành động.
Xác nhận mục tiêu, những phần quan trọng nhất của website, chính sách với AI crawler và những nguồn dữ liệu bạn có thể chia sẻ.
Crawl website bằng Crawlens, kiểm tra render và quy tắc truy cập, rồi đối chiếu phát hiện với dữ liệu Search Console và log.
Xếp hạng việc cần sửa theo tác động và công sức, kèm URL bị ảnh hưởng và bằng chứng, rồi cùng đi qua với những người sẽ thực hiện thay đổi.
Bạn nhận được gì
Sản phẩm bàn giao cụ thể được xác định trong phạm vi. Mỗi phát hiện đều đi kèm các trang bị ảnh hưởng, lý do quan trọng và cách sửa đề xuất, nên không có gì phụ thuộc vào việc tin một con điểm.
Kết quả audit thường gồm
Muốn tự chạy crawl? Crawlens miễn phí, và hướng dẫn audit SEO kỹ thuật (tiếng Anh) đi qua toàn bộ quy trình. Cần hỗ trợ sau audit, xem SEO trọn gói.
Trước khi bắt đầu
Có câu hỏi về website của bạn? Liên hệ với chúng tôi.
Đó là một cuộc audit SEO kỹ thuật kiểm tra thêm việc hệ thống AI search có crawl, đọc và trích dẫn được trang của bạn không. Ngoài khả năng index, render và cấu trúc site, audit còn xem quyền truy cập của AI crawler trong robots.txt, CDN và firewall, cùng các kiểm soát snippet hạn chế việc trích dẫn.
Có, theo nghĩa thực tế. AEO và GEO là tên gọi cho việc giúp công cụ trả lời dễ tìm, đọc và trích dẫn nội dung. Audit bao quát nền tảng kỹ thuật đó, lấy mẫu câu trả lời AI thật cho chủ đề của bạn và xem các trang chính có đáng được trích dẫn không, không dùng những chiêu chưa có tác dụng được ghi nhận như markup chỉ dành cho AI.
Ứng dụng miễn phí tìm ra vấn đề kỹ thuật trên toàn site. Audit bổ sung những phần một crawler không tự quyết được: phát hiện nào quan trọng với mục tiêu của bạn, chính sách với AI crawler nên thế nào, kiểm tra ở CDN và firewall, và một kế hoạch ưu tiên để đội của bạn thực hiện.
Để crawl, chỉ cần các URL công khai. Quyền đọc Search Console và analytics, cùng log máy chủ nếu bạn xuất được, giúp kết quả đáng tin hơn nhiều. Quyền truy cập được thống nhất trước khi bắt đầu audit.
Không audit nào đảm bảo được điều đó. Công cụ tìm kiếm và hệ thống AI tự quyết định hiển thị nguồn nào. Audit loại bỏ các lý do kỹ thuật khiến trang không được crawl, đọc hoặc trích dẫn, tức phần bạn kiểm soát được.
Bản thân audit kết thúc bằng một kế hoạch ưu tiên và một buổi cùng xem lại. Đội của bạn có thể tự triển khai, hoặc chúng ta thống nhất hỗ trợ lâu dài qua dịch vụ SEO trọn gói.
Bắt đầu từ website của bạn
Gửi cho chúng tôi website, những phần quan trọng nhất và các thay đổi gần đây. Chúng tôi sẽ đề xuất phạm vi audit trước khi bắt đầu bất kỳ công việc nào.
Yêu cầu audit