Bing! Wat is er toch mis...

Zoekmachines zijn van nature de 'baas' over websites.

Bij het beheren van een website is Bing een behoorlijk lastige kwestie.

Natuurlijk is het verkeer van de zoekmachine Google het allerbelangrijkste (met een marktaandeel van 90%), dus we optimaliseren voor Google en hopen dat Bing het daarna "automatisch" goed zal crawlen. (Het is tenslotte een kleinere speler met een marktaandeel van slechts 3%, dus er wordt niet veel aandacht aan besteed.)

robots.txt vertelt zoekmachines over de informatie op een site.

In werkelijkheid gebruiken we echter IndexNowom Naver en Bing in real-time op de hoogte te stellen wanneer er een nieuwe post is toegevoegd. Ik doe dus alles wat ik kan. (Google ondersteunt IndexNow niet.)

Als we kijken naar de "standaardprotocollen", definiëren websites over het algemeen een basis tekstformaat genaamd "robots.txt" en registreren daar de basisgegevens over robots. Het is een manier om robots te vertellen welke pagina's niet gecrawld mogen worden, welke robots geblokkeerd moeten worden en waar de "sitemap" van deze site zich bevindt.

Natuurlijk hebben we bij durumis ook zorgvuldig robots.txt volgens de standaardprotocollen vastgelegd.

Maar, nou ja... Bing lijkt dit een beetje te negeren...?

Waarom ineens...?

Waarom probeert het alle pagina's te crawlen, terwijl ik die www.-sites helemaal niet heb aangegeven?

Oké. Laten we zeggen dat www.durumis.com zo is. Maar waarom probeert het dan elke pagina van alle subdomeinen te crawlen met www. ervoor? (De load balancer log staat natuurlijk vol met 404 errors.)

Waarom probeert het toegang te krijgen tot "/atom.xml", "/sitemap.txt", "/sitemap.xml.gz" en "/sitemap_index.html", die niet eens bestaan en ook niet zijn aangegeven? (Ook dit wordt herhaaldelijk geprobeerd voor talloze subdomeinen.)

Als ik onderzoek doe, blijkt het niet alleen bij onze site zo te zijn, maar ook bij andere sites.

Er zijn veel klachten over dit probleem te vinden.

Ik weet niet eens zeker of IndexNow goed werkt. Als je een verzoek indient, kan het dagen duren voordat de pagina wordt gecrawld, tot wel 4 dagen! (En ik heb er maar een paar gezien, dus ik weet niet zeker of het goed crawlt...)

Zoeken begint met crawlen, gevolgd door indexeren. Ik twijfel sterk of dat goed gebeurt.

(Zit het antwoord misschien in het marktaandeel?)

We willen dat onze service goed zichtbaar is in zoekresultaten, en ik ben ook geïnteresseerd in zoektechnologie. Maar ik vraag me af of dit de juiste aanpak van Bing is.

Ik vraag me af waarom Bing in Korea zo'n bijnaam heeft... (Ik zal geen scheldwoorden gebruiken.)