Bing! В чём же проблема...

Поисковые системы по сути являются "диктаторами" для веб-сайтов.

При управлении веб-сайтом Bing становится настоящей головной болью — обузой, от которой трудно избавиться.

Конечно, трафик из поисковой системы Google является наиболее важным (её доля рынка составляет 90%), поэтому мы оптимизируем сайт под Google, а затем надеемся, что Bing "сам" правильно обработает результаты оптимизации под Google (в конце концов, это лишь второстепенный игрок с долей рынка в 3%, и ему не уделяют большого внимания).

Информация о сайте для поисковых систем предоставляется через robots.txt.

На самом деле, мы используем IndexNow для отправки уведомлений в Naver и Bing в режиме реального времени о публикации новых статей. Таким образом, я делаю всё возможное (Google не поддерживает IndexNow).

Если говорить о "стандартных протоколах", то обычно веб-сайты определяют базовый текстовый формат "robots.txt", в котором записываются основные данные о роботах. В этом файле указывается, какие страницы нельзя сканировать, какие роботы заблокированы, и где находится "карта сайта" данного ресурса.

Конечно же, в случае с durumis (Дурумис) мы тщательно заполнили robots.txt в соответствии со стандартными протоколами.

Однако, создаётся ощущение, что Bing... игнорирует его...?

Почему вдруг...?

Почему он пытается получить доступ ко всем страницам сайтов с префиксом www., даже если я и не указывал на их существование...?

Хорошо. Давайте допустим, что www.durumis.com — это нормально. Но почему он пытается сканировать страницы всех поддоменов, добавляя перед ними префикс www.? (В логах балансировщика нагрузки появляются бесчисленные ошибки 404.)

А почему он пытается получить доступ к несуществующим файлам "/atom.xml", "/sitemap.txt", "/sitemap.xml.gz", "/sitemap_index.html"? (И это всё повторяется для множества поддоменов.)

Поискав информацию, я обнаружил, что подобная проблема наблюдается и на других сайтах.

В сети я нашёл много жалоб на эту проблему.

Более того, я не уверен, насколько хорошо работает IndexNow. Запрос на сканирование страницы может обрабатываться до 4 дней (я проверил только несколько страниц, поэтому не уверен в качестве сканирования).

Поиск начинается со сканирования, за которым следует индексирование, но я очень сомневаюсь в качестве работы Bing.

(Возможно, ответ кроется в доле рынка?)

Мы хотим, чтобы наш сервис был хорошо представлен в результатах поиска, и я сам интересуюсь поисковыми технологиями, но я не уверен, что Bing поступает правильно.

Стоит задуматься, почему в Корее у Bing такая плохая репутация... (Я воздержусь от оскорблений).