Bing! Was ist denn los mit dir...

Suchmaschinen sind im Grunde genommen die "Kundschaft" für Webseiten.

Beim Betrieb einer Website ist Bing ein ziemlich kopfzerbrechliches Ärgernis.

Natürlich ist der Traffic der Suchmaschine Google grundsätzlich am wichtigsten (die Macht des 90%igen Marktanteils), daher wird für Google optimiert und man geht davon aus, dass Bing den für Google optimierten Inhalt dann "automatisch" gut crawlt. (Bei einem kleineren Marktanteil von 3% kümmert man sich eher weniger darum.)

robots.txt teilt Suchmaschinen Informationen über die Website mit.

Tatsächlich verwende ich aber IndexNow, um Naver und Bing in Echtzeit zu benachrichtigen, wenn neue Beiträge veröffentlicht werden. Ich tue also alles, was ich tun kann. (Google unterstützt IndexNow nicht.)

Betrachtet man die "Standard-Vereinbarung", so legen Webseiten in der Regel ein grundlegendes Textformat namens "robots.txt" fest und dokumentieren dort grundlegende Daten zu Robots. Es wird angegeben, welche Seiten nicht gecrawlt werden dürfen, welche Bots blockiert werden und wo sich die "Sitemap" dieser Website befindet.

Natürlich hat auch durumis (두루미스) robots.txt gemäß den Standard-Vereinbarungen sorgfältig dokumentiert.

Aber irgendwie... hat Bing das Gefühl, das zu ignorieren...?

Wieso plötzlich...?

Warum versucht es alle Seiten zu crawlen, obwohl ich nicht einmal angegeben habe, dass es diese www.-Seiten gibt...?

Ok. Gut. Nehmen wir an, www.durumis.com ist so. Aber warum versucht es jede einzelne Seite der verschiedenen Subdomains mit einem vorangestellten www. zu crawlen? (Im Log des Load Balancers werden natürlich unzählige 404-Fehler protokolliert.)

Warum versucht es auf "/atom.xml", "/sitemap.txt", "/sitemap.xml.gz", "/sitemap_index.html" zuzugreifen, obwohl ich diese nicht angegeben habe und sie nicht existieren? (Auch dies wird bei unzähligen Subdomains wiederholt versucht.)

Wenn ich danach suche, scheint es nicht nur unsere Website zu betreffen, sondern auch andere Websites.

Wenn ich nach Beschwerden darüber suche, finde ich viele Ergebnisse.

Ich bin mir nicht sicher, ob IndexNow gut funktioniert. Wenn ich eine Anfrage stelle, dauert das Crawlen der entsprechenden Seite manchmal bis zu 4 Tage. (Ich habe nur wenige Seiten überprüft, daher weiß ich nicht, ob es gut crawlt...)

Die Suche beginnt mit dem Crawling, gefolgt vom Indexing. Ich bezweifle sehr, ob das gut funktioniert.

(Liegt die Antwort vielleicht im Marktanteil?)

Ich möchte, dass unser Service selbst in der Suche gut sichtbar ist, und ich interessiere mich auch für Suchtechnologien. Aber ich bin mir nicht sicher, ob Bings Vorgehen richtig ist.

Man sollte sich einmal überlegen, warum Bing in Korea so genannt wird... (Ich werde keine Schimpfwörter verwenden.)