Phân tích Agent

Khi người dùng đặt câu hỏi cho một công cụ trả lời, công cụ này cần tìm thông tin để xây dựng câu trả lời. Nó sẽ gửi các bot chuyên dụng, được gọi là AI crawler, để đọc các trang web. Chúng bao gồm GPTBot cho ChatGPT, ClaudeBot cho Claude, PerplexityBot và Google-Extended cho các mô hình AI của Google.

Tệp robots.txt trên trang web của bạn là người gác cổng đầu tiên. Nó cho các bot này biết phần nào trên trang web của bạn chúng được phép truy cập. Kiểm tra AI crawler robots.txt là quá trình kiểm tra tệp này để xem bạn đang chào đón bot nào và chặn bot nào. Đây là một phần nền tảng của SEO kỹ thuật cho tìm kiếm AI. Nếu các trang quan trọng của bạn bị chặn, chúng không thể được đọc và sẽ không xuất hiện dưới dạng trích dẫn trong các câu trả lời AI.

SEO truyền thống tập trung vào việc xếp hạng trong danh sách mười liên kết màu xanh. Tìm kiếm AI, hay tối ưu hóa công cụ trả lời, thì khác. Mục tiêu là trở thành một trong số ít nguồn được trích dẫn trong một đoạn văn được tạo ra duy nhất. Các công cụ rất chọn lọc, và chúng chỉ trích dẫn những trang mà trình thu thập thông tin của chúng được phép đọc.

Cho phép trình thu thập thông tin AI truy cập là bước đầu tiên, không thể thương lượng. Nếu GPTBot không thể truy cập blog của bạn, ChatGPT không thể học từ nó. Nếu Google-Extended bị chặn, nội dung của bạn sẽ vô hình với Google AI Overviews. Kiểm tra này không phải về lưu lượng truy cập, mà là về tính đủ điều kiện. Bạn đang kiểm tra tấm vé của mình để vào đấu trường nơi các câu trả lời AI được viết.

Agent Analytics, có tại /dashboard/crawlers, cung cấp cho bạn báo cáo kỹ thuật tập trung vào tìm kiếm AI. Nó hoạt động bằng cách đọc trang web của bạn từ bên ngoài, giống như cách một bot AI sẽ làm. Nó kiểm tra tệp robots.txt và bất kỳ tệp llms.txt nào bạn đã thiết lập, sau đó báo cáo những gì nó tìm thấy.

Màn hình được tổ chức thành ba khu vực. Khả năng hiển thị trình thu thập AI hiển thị danh sách các bot AI đã biết, như GPTBot và ClaudeBot, và nêu rõ liệu các quy tắc hiện tại của bạn cho phép hay không cho phép chúng. Khả năng thu thập dữ liệu chạy một lượt tìm nạp mô phỏng các trang của bạn, báo cáo về thời gian phản hồi, tài nguyên bị chặn và cách trang hiển thị mà không có JavaScript, làm nổi bật các vấn đề có thể khiến nội dung của bạn không thể đọc được. Theo dõi hiệu suất nội dung cho thấy trang nào của bạn đang được lập chỉ mục bởi các dịch vụ liên quan đến AI và thu thập dữ liệu về văn bản neo trỏ đến trang web của bạn từ khắp nơi trên web.

Đối với một nhà tiếp thị, đây là một công cụ chẩn đoán và giám sát. Một quy trình làm việc điển hình bắt đầu bằng việc kiểm tra. Mở Agent Analytics và xem lại danh sách khả năng hiển thị của trình thu thập thông tin AI. Đối với một trang web ra mắt sản phẩm mới, bạn nên kiểm tra xem tất cả các bot chính có được phép truy cập vào các trang đích và trang tài liệu quan trọng của bạn hay không.

Tiếp theo, sử dụng báo cáo khả năng thu thập thông tin. Lọc đến một trang có mức độ ưu tiên cao, chẳng hạn như trang mô tả dịch vụ chủ lực của bạn. Tìm kiếm các cảnh báo về các tệp CSS hoặc JavaScript bị chặn có thể ngăn trang hiển thị chính xác cho bot. Sửa những vấn đề đó trong mã của bạn. Cuối cùng, kiểm tra hiệu suất nội dung hàng tuần. Tìm kiếm các trang mới đã xuất hiện trong danh sách 'đã được lập chỉ mục', cho thấy chúng hiện đang được các dịch vụ AI thu thập, và xem lại báo cáo văn bản neo để xem các trang web khác mô tả thương hiệu của bạn như thế nào khi họ liên kết đến bạn.

Trạng thái 'Được phép' màu xanh lá cho GPTBot có nghĩa là tệp robots.txt của bạn cho phép nó. Điều này không có nghĩa là GPTBot đã truy cập, hay nội dung của bạn sẽ được trích dẫn. Nó chỉ đơn giản có nghĩa là cánh cửa đang mở. Thời gian phản hồi chậm trong báo cáo khả năng thu thập thông tin là một vấn đề trực tiếp, vì bot có giới hạn thời gian và có thể bỏ qua các trang chậm.

Chỉ số 'phạm vi được lập chỉ mục' cho thấy hệ thống biết về những trang nào. Sự gia tăng ở đây là một tín hiệu tích cực cho thấy khả năng hiển thị AI đang phát triển. Báo cáo văn bản neo hữu ích để hiểu nhận thức về thương hiệu. Sự thay đổi từ 'công cụ phần mềm' sang 'nền tảng tiếp thị AI' trong cách người khác liên kết đến bạn phản ánh một câu chuyện thị trường đang thay đổi. Hãy nhớ, đây là những chỉ số dẫn đầu, không phải lời hứa về lưu lượng truy cập hay trích dẫn.

Việc nêu rõ các hạn chế là rất quan trọng. Agent Analytics đọc trang web của bạn từ internet công cộng. Nó không thu thập nhật ký máy chủ của bạn. Việc thu thập nhật ký máy chủ sẽ cho bạn biết chính xác bot nào đã truy cập, tần suất ra sao và chúng đã tải về những gì. Mức độ chi tiết đó chưa được xây dựng.

Tính năng này cũng không thể so sánh trang web của bạn với các trang web khác. Để nói rằng khả năng thu thập dữ liệu của bạn nằm trong phân vị thứ 80, cần phải có một tập hợp lớn các trang web tương đương để so sánh. Chúng tôi không có tập hợp đó, và chúng tôi thà không hiển thị gì còn hơn là đưa ra một phân vị gây hiểu lầm được rút ra từ một mẫu duy nhất.

Agent Analytics thuộc nhóm Operate trong Mentionry. Bạn có thể truy cập nó trong thời gian dùng thử miễn phí bảy ngày, cho phép bạn kiểm tra trên chính website của mình với 50 lượt nhắc mỗi ngày cho ChatGPT, Gemini và Google AI Overviews. Bản dùng thử không yêu cầu thẻ tín dụng và sẽ tự động kết thúc.

Gói Starter, với giá 99 đô la mỗi tháng, bao gồm quyền truy cập đầy đủ vào Agent Analytics cùng với 50 lượt nhắc được theo dõi, báo cáo hàng ngày từ ba công cụ trả lời và 100 lượt chạy agent mỗi tháng. Đối với các nhóm lớn hơn cần nhiều thương hiệu, công cụ và chỗ ngồi hơn, gói Enterprise sẽ được báo giá riêng và bao gồm các tính năng như truy cập API và Đăng nhập một lần.