Bing! Chuyện gì đang xảy ra vậy...

Về cơ bản, công cụ tìm kiếm là "ông chủ" của các trang web.

Khi vận hành một trang web, Bing quả là một thứ "gánh nặng" khó xử.

Tất nhiên, lưu lượng truy cập từ Google, công cụ tìm kiếm quan trọng nhất (với thị phần 90%), là yếu tố then chốt, vì vậy chúng ta tối ưu hóa cho Google, và sau đó hy vọng Bing sẽ tự động thu thập dữ liệu tốt dựa trên việc tối ưu hóa đó. (Dù sao thì với thị phần khiêm tốn chỉ 3%, người ta cũng chẳng mấy quan tâm đến nó.)

robots.txt là cách chúng ta thông báo cho các công cụ tìm kiếm về thông tin của trang web.

Thực tế thì IndexNowđược sử dụng để thông báo cho Naver và Bing về bài viết mới được đăng tải ngay lập tức, vì vậy tôi đã làm tất cả những gì có thể. (Google không hỗ trợ IndexNow.)

Và, xét về "quy ước chuẩn", nhìn chung các trang web sẽ định nghĩa một định dạng văn bản cơ bản gọi là "robots.txt" và ghi lại các dữ liệu cơ bản về robots ở đó. Đó chính là việc thông báo cho các bot những trang nào không được thu thập dữ liệu, những bot nào bị chặn và "sitemaps" của trang web này ở đâu.

Tất nhiên, đối với durumis, chúng tôi cũng đã ghi chép cẩn thận robots.txt theo quy ước chuẩn.

Tuy nhiên, sao Bing lại có vẻ... bỏ qua điều này?

Sao lại đột nhiên...

Tại sao các trang web www. lại cố gắng truy cập tất cả các trang, trong khi tôi thậm chí không thông báo rằng các trang đó tồn tại?

Được rồi. Tôi chấp nhận. Coi như www.durumis.com là như vậy đi. Nhưng tại sao lại cố gắng thu thập dữ liệu từng trang một với tiền tố www. cho tất cả các subdomain và các trang khác nhau? (Tất nhiên, nhật ký load balancer sẽ ghi lại vô số lỗi 404.)

Tại sao lại truy cập vào "/atom.xml", "/sitemap.txt", "/sitemap.xml.gz", "/sitemap_index.html" mà tôi không hề thông báo và thậm chí không tồn tại? (Điều này cũng được lặp đi lặp lại nhiều lần trên rất nhiều subdomain.)

Tôi tìm kiếm và thấy rằng không chỉ có trang web của chúng tôi mà nhiều trang web khác cũng gặp tình trạng tương tự.

Tôi tìm kiếm và thấy rất nhiều người phàn nàn về vấn đề này.

Tôi không chắc liệu IndexNow có hoạt động tốt hay không. Khi gửi yêu cầu, việc thu thập dữ liệu trang có thể mất đến 4 ngày, (chỉ là một vài trang nên tôi không chắc liệu nó có hoạt động tốt hay không...)

Quá trình tìm kiếm bắt đầu từ việc thu thập dữ liệu, sau đó là lập chỉ mục, nhưng tôi rất nghi ngờ liệu nó có hoạt động tốt hay không.

(Có lẽ câu trả lời nằm ở thị phần?)

Dịch vụ của chúng tôi rất cần được hiển thị nhiều hơn trong tìm kiếm, đồng thời tôi cũng rất quan tâm đến công nghệ tìm kiếm, nhưng tôi không chắc liệu Bing có thực sự làm đúng hay không.

Hãy thử nghĩ xem tại sao người dùng Hàn Quốc lại gọi Bing bằng những biệt danh như vậy... (Tôi sẽ không nói xấu đâu.)