Bing! Ada Masalah Apa, sih...

Mesin pencari pada dasarnya adalah "bos" bagi situs web.

Saat mengelola situs web, Bing menjadi masalah yang sangat rumit.

Tentu saja, karena lalu lintas dari mesin pencari Google paling penting (kekuasaan pangsa pasar 90%), kami mengoptimalkannya untuk Google, dan kemudian berharap Bing akan "otomatis" melakukan crawling dengan baik. (Karena itu adalah pasar kecil dengan pangsa pasar 3%, mereka tampaknya tidak terlalu peduli.)

robots.txt adalah cara untuk memberi tahu mesin pencari tentang informasi situs.

Tentu saja, sebenarnya IndexNowdigunakan untuk memberi tahu Naver dan Bing secara real-time ketika postingan baru diunggah, jadi saya sudah melakukan semua yang saya bisa. (Google tidak mendukung IndexNow.)

Dan, jika kita mempertimbangkan "standar protokol", umumnya situs web menentukan format teks dasar yang disebut "robots.txt" dan mencatat data dasar tentang robot di sana. Ini untuk memberi tahu robot halaman mana yang tidak boleh di-crawling, robot mana yang harus diblokir, dan di mana "sitemap" situs ini berada.

Tentu saja, durumis juga telah mencatat robots.txt dengan cermat sesuai dengan standar protokol.

Tapi, entah kenapa... Bing sepertinya mengabaikannya...?

Kenapa tiba-tiba...

Mengapa situs web www. mencoba semua halaman, padahal saya tidak memberi tahu mereka bahwa halaman seperti itu ada...?

Oke. Baiklah. Mari kita asumsikan www.durumis.com. Tapi, mengapa setiap halaman subdomain mencoba crawling dengan menambahkan www. di depannya? (Tentu saja, banyak sekali kesalahan 404 tercatat di log load balancer.)

Mengapa mereka mengakses "/atom.xml", "/sitemap.txt", "/sitemap.xml.gz", "/sitemap_index.html" yang tidak saya beri tahu dan tidak ada? (Mereka juga mencoba berulang kali di banyak subdomain.)

Setelah mencari, sepertinya situs web lain juga mengalami hal yang sama.

Saya menemukan banyak keluhan tentang hal ini setelah mencarinya.

Saya juga tidak yakin apakah IndexNow berfungsi dengan baik. Ketika saya meminta crawling halaman tersebut, dibutuhkan waktu hingga 4 hari, (Saya hanya melihat beberapa, jadi saya tidak yakin apakah crawling-nya berjalan dengan baik...)

Pencarian dimulai dari crawling, dan setelah crawling, ada proses indexing, tetapi saya sangat meragukan apakah itu akan berjalan dengan baik.

(Mungkin jawabannya ada pada pangsa pasar?)

Meskipun saya berharap layanan kami sendiri banyak muncul di pencarian, saya juga tertarik pada teknologi pencarian, jadi saya tidak yakin apakah cara Bing melakukan ini benar.

Saya ingin tahu mengapa orang-orang di Korea memanggil Bing dengan julukan itu... (Saya tidak akan mengkritiknya.)