Phân tích Agent

Khi người dùng đặt câu hỏi cho một công cụ trả lời, công cụ này cần tìm thông tin để xây dựng câu trả lời. Nó sẽ gửi các bot chuyên dụng, được gọi là AI crawler, để đọc các trang web. Chúng bao gồm GPTBot cho ChatGPT, ClaudeBot cho Claude, PerplexityBot và Google-Extended cho các mô hình AI của Google.

Tệp robots.txt trên trang web của bạn là người gác cổng đầu tiên. Nó cho các bot này biết phần nào trên trang web của bạn chúng được phép truy cập. Kiểm tra AI crawler robots.txt là quá trình kiểm tra tệp này để xem bạn đang chào đón bot nào và chặn bot nào. Đây là một phần nền tảng của SEO kỹ thuật cho tìm kiếm AI. Nếu các trang quan trọng của bạn bị chặn, chúng không thể được đọc và sẽ không xuất hiện dưới dạng trích dẫn trong các câu trả lời AI.

SEO truyền thống tập trung vào việc xếp hạng trong danh sách mười liên kết màu xanh. Tìm kiếm AI, hay tối ưu hóa công cụ trả lời, thì khác. Mục tiêu là trở thành một trong số ít nguồn được trích dẫn trong một đoạn văn được tạo ra duy nhất. Các công cụ rất chọn lọc, và chúng chỉ trích dẫn những trang mà trình thu thập thông tin của chúng được phép đọc.

Cho phép trình thu thập thông tin AI truy cập là bước đầu tiên, không thể thương lượng. Nếu GPTBot không thể truy cập blog của bạn, ChatGPT không thể học từ nó. Nếu Google-Extended bị chặn, nội dung của bạn sẽ vô hình với Google AI Overviews. Kiểm tra này không phải về lưu lượng truy cập, mà là về tính đủ điều kiện. Bạn đang kiểm tra tấm vé của mình để vào đấu trường nơi các câu trả lời AI được viết.

Agent Analytics, có tại /dashboard/crawlers, cung cấp cho bạn báo cáo kỹ thuật tập trung vào tìm kiếm AI. Nó hoạt động bằng cách đọc trang web của bạn từ bên ngoài, giống như cách một bot AI sẽ làm. Nó kiểm tra tệp robots.txt và bất kỳ tệp llms.txt nào bạn đã thiết lập, sau đó báo cáo những gì nó tìm thấy.

Màn hình được tổ chức thành ba khu vực. Khả năng hiển thị trình thu thập AI hiển thị danh sách các bot AI đã biết, như GPTBot và ClaudeBot, và nêu rõ liệu các quy tắc hiện tại của bạn cho phép hay không cho phép chúng. Khả năng thu thập dữ liệu chạy một lượt tìm nạp mô phỏng các trang của bạn, báo cáo về thời gian phản hồi, tài nguyên bị chặn và cách trang hiển thị mà không có JavaScript, làm nổi bật các vấn đề có thể khiến nội dung của bạn không thể đọc được. Theo dõi hiệu suất nội dung cho thấy trang nào của bạn đang được lập chỉ mục bởi các dịch vụ liên quan đến AI và thu thập dữ liệu về văn bản neo trỏ đến trang web của bạn từ khắp nơi trên web.

Đối với một nhà tiếp thị, đây là một công cụ chẩn đoán và giám sát. Một quy trình làm việc điển hình bắt đầu bằng việc kiểm tra. Mở Agent Analytics và xem lại danh sách khả năng hiển thị của trình thu thập thông tin AI. Đối với một trang web ra mắt sản phẩm mới, bạn nên kiểm tra xem tất cả các bot chính có được phép truy cập vào các trang đích và trang tài liệu quan trọng của bạn hay không.

Tiếp theo, sử dụng báo cáo khả năng thu thập thông tin. Lọc đến một trang có mức độ ưu tiên cao, chẳng hạn như trang mô tả dịch vụ chủ lực của bạn. Tìm kiếm các cảnh báo về các tệp CSS hoặc JavaScript bị chặn có thể ngăn trang hiển thị chính xác cho bot. Sửa những vấn đề đó trong mã của bạn. Cuối cùng, kiểm tra hiệu suất nội dung hàng tuần. Tìm kiếm các trang mới đã xuất hiện trong danh sách 'đã được lập chỉ mục', cho thấy chúng hiện đang được các dịch vụ AI thu thập, và xem lại báo cáo văn bản neo để xem các trang web khác mô tả thương hiệu của bạn như thế nào khi họ liên kết đến bạn.

Trạng thái 'Được phép' màu xanh lá cho GPTBot có nghĩa là tệp robots.txt của bạn cho phép nó. Điều này không có nghĩa là GPTBot đã truy cập, hay nội dung của bạn sẽ được trích dẫn. Nó chỉ đơn giản có nghĩa là cánh cửa đang mở. Thời gian phản hồi chậm trong báo cáo khả năng thu thập thông tin là một vấn đề trực tiếp, vì bot có giới hạn thời gian và có thể bỏ qua các trang chậm.

Chỉ số 'phạm vi được lập chỉ mục' cho thấy hệ thống biết về những trang nào. Sự gia tăng ở đây là một tín hiệu tích cực cho thấy khả năng hiển thị AI đang phát triển. Báo cáo văn bản neo hữu ích để hiểu nhận thức về thương hiệu. Sự thay đổi từ 'công cụ phần mềm' sang 'nền tảng tiếp thị AI' trong cách người khác liên kết đến bạn phản ánh một câu chuyện thị trường đang thay đổi. Hãy nhớ, đây là những chỉ số dẫn đầu, không phải lời hứa về lưu lượng truy cập hay trích dẫn.

Việc nêu rõ các hạn chế là rất quan trọng. Agent Analytics đọc trang web của bạn từ internet công cộng. Nó không thu thập nhật ký máy chủ của bạn. Việc thu thập nhật ký máy chủ sẽ cho bạn biết chính xác bot nào đã truy cập, tần suất ra sao và chúng đã tải về những gì. Mức độ chi tiết đó chưa được xây dựng.

Tính năng này cũng không thể so sánh trang web của bạn với các trang web khác. Để nói rằng khả năng thu thập dữ liệu của bạn nằm trong phân vị thứ 80, cần phải có một tập hợp lớn các trang web tương đương để so sánh. Chúng tôi không có tập hợp đó, và chúng tôi thà không hiển thị gì còn hơn là đưa ra một phân vị gây hiểu lầm được rút ra từ một mẫu duy nhất.

Gói miễn phí gồm một bản chụp đã lưu cho tối đa 3 câu hỏi và 3 trang. Không cần thẻ. Không hết hạn. Lite $29/tháng · Growth $99/tháng · Agency $249/tháng (USD).

Growth: 50 câu hỏi · 40 lượt chia sẻ bản nháp và tín dụng đại lý/tháng · $99/tháng (USD).