Bing! Afinal, qual é o problema...

Os mecanismos de busca são basicamente os "donos" dos websites.

Ao operar um website, o Bing se torna um fardo incômodo.

Claro, o tráfego do mecanismo de busca Google é o mais importante (a grandeza de 90% de participação de mercado), então otimizamos para o Google e depois esperamos que o Bing "automaticamente" faça um bom trabalho de rastreamento. (Afinal, não nos preocupamos muito com um mercado menor de apenas 3% de participação.)

O arquivo robots.txt informa aos mecanismos de busca as informações do site.

Na verdade,IndexNowé usado para notificar o Naver e o Bing em tempo real quando um novo artigo é postado, então estou fazendo tudo o que posso. (O Google não suporta o IndexNow.)

Considerando os "protocolos padrão", os websites geralmente definem um formato de texto básico chamado "robots.txt" e registram nele os dados básicos relacionados a robôs. Isso informa aos robôs quais páginas não devem ser rastreadas, quais robôs devem ser bloqueados e onde está o "mapa do site" deste site.

Naturalmente, no caso da durumis, o robots.txt foi cuidadosamente registrado de acordo com os protocolos padrão.

Mas, digamos... o Bing parece ignorar isso...?

Por que de repente...

Por que ele tenta acessar todas as páginas dos sites www. que eu nem sequer especifiquei que existem...?

Ok. Vamos deixar passar. www.durumis.com, tudo bem. Mas por que ele tenta rastrear todas as páginas de vários subdomínios adicionando www. na frente? (É claro que muitos erros 404 são registrados no log do balanceador de carga.)

Por que ele acessa "/atom.xml", "/sitemap.txt", "/sitemap.xml.gz" e "/sitemap_index.html" que eu nem mencionei e que nem existem? (Isso também acontece repetidamente em muitos subdomínios.)

Ao pesquisar, parece que não é só o nosso site que está passando por isso.

Encontrei muitas reclamações sobre isso ao pesquisar.

Não sei se o IndexNow está funcionando corretamente. Quando faço uma solicitação, leva até 4 dias para rastrear a página em questão, (mesmo assim, só vi alguns casos, então não sei se está funcionando bem...)

A busca começa com o rastreamento e depois há a indexação, mas tenho muitas dúvidas se isso está funcionando corretamente.

(A resposta não estaria na participação de mercado?)

Espero que nosso serviço seja amplamente visível nas buscas, e também estou interessado em tecnologia de busca, mas não sei se essa é a maneira correta de o Bing funcionar.

Você já parou para pensar por que as pessoas na Coréia chamam o Bing desse jeito? (Não vou usar palavrões.)