Bing! Co jest z tobą nie tak...

Wyszukiwarki to w zasadzie "królowie" dla stron internetowych.

Prowadząc stronę internetową, Bing jest dla mnie bardzo kłopotliwym problemem.

Oczywiście, podstawowy ruch z wyszukiwarki Google jest najważniejszy (jej dominacja na rynku to 90%), więc optymalizuję pod Google, a następnie zakładam, że Bing "sam" dobrze to przeanalizuje. (W końcu to marginalny rynek z zaledwie 3% udziałów, więc nie przejmuję się tym zbytnio.)

Informacje o stronie dla wyszukiwarek przekazuje plik robots.txt.

W rzeczywistości jednak IndexNowużywam do powiadamiania Navera i Binga o nowych wpisach w czasie rzeczywistym, więc robię wszystko, co w mojej mocy. (Google nie obsługuje IndexNow.)

Zastanawiając się nad "standardowymi protokołami", strony internetowe zazwyczaj definiują podstawowy format tekstowy o nazwie "robots.txt", w którym zapisują podstawowe dane dotyczące robotów. Informują roboty, których stron nie należy indeksować, które roboty zablokować oraz gdzie znajduje się "mapa witryny" tej strony.

Oczywiście, w przypadku durumis, plik robots.txt został starannie wypełniony zgodnie ze standardowymi protokołami.

Ale, cóż… Bing wydaje się to nieco ignorować…?

Dlaczego nagle…?

Dlaczego próbuje uzyskać dostęp do wszystkich stron www., których istnienia nawet nie zgłosiłem...?

Ok. Załóżmy, że www.durumis.com to inna sprawa. Jednak Bing próbuje uzyskać dostęp do wszystkich stron poddomen, zawsze poprzedzając adres prefiks,em "www." (W logach load balancera pojawia się mnóstwo błędów 404.)

Dlaczego próbuje uzyskać dostęp do niezgłoszonych i nieistniejących plików "/atom.xml", "/sitemap.txt", "/sitemap.xml.gz", "/sitemap_index.html"…? (To samo dzieje się z ogromną ilością poddomen – wielokrotnie.)

Po przeprowadzeniu wyszukiwania okazało się, że nie tylko nasza witryna ma ten problem, ale także inne.

Wyszukując informacje na ten temat, znalazłem wiele skarg na ten temat.

Nie jestem nawet pewien, czy IndexNow działa poprawnie. Po wysłaniu żądania indeksacji, czas przetwarzania strony może wynosić nawet 4 dni (to tylko kilka przykładów, więc nie jestem pewien, czy indeksacja przebiega poprawnie…)

Wyszukiwanie zaczyna się od indeksacji, a po niej następuje indeksowanie. Mam wiele wątpliwości, czy to wszystko działa prawidłowo.

(Odpowiedź leży chyba w udziale w rynku?)

Chciałbym, aby nasza usługa była bardziej widoczna w wyszukiwarce, ale jednocześnie interesuję się technologiami wyszukiwania. Nie jestem pewien, czy Bing postępuje poprawnie.

Warto zastanowić się, dlaczego w Korei Bing ma taką reputację… (Nie będę używał wulgaryzmów.)