Bing ! Quel est donc ton problème...

Les moteurs de recherche sont fondamentalement les "maîtres" des sites web.

En gérant un site web, Bing est devenu un véritable casse-tête.

Bien sûr, le trafic du moteur de recherche Google est le plus important (sa part de marché de 90% en témoigne), nous optimisons donc pour Google, puis nous supposons que Bing "gérera" le reste grâce à cette optimisation. (Il est probable qu’avec une part de marché aussi faible, 3%, on ne s’en préoccupe pas trop.)

Le fichier robots.txt permet d'informer les moteurs de recherche des informations sur le site.

En réalité, IndexNowest utilisé pour envoyer automatiquement des notifications à Naver et Bing lorsqu'un nouvel article est publié. Je fais donc tout ce que je peux. (Google ne prend pas en charge IndexNow.)

En suivant les "normes", les sites web définissent généralement un format texte de base appelé "robots.txt" et y enregistrent les données de base relatives aux robots. Il s'agit d'indiquer aux robots quelles pages ne doivent pas être crawlées, quels robots doivent être bloqués et où se trouve le "sitemap" du site.

Bien sûr, pour durumis, le fichier robots.txt a été soigneusement enregistré conformément aux normes.

Mais, disons que... Bing semble ignorer cela...?

Pourquoi soudainement...?

Pourquoi tente-t-il d'accéder à toutes les pages des sites www. alors que je ne les ai pas indiquées ?

OK. Admettons que www.durumis.com soit ainsi. Cependant, il tente d'accéder à toutes les pages de différents sous-domaines en ajoutant "www." devant. (Cela entraîne naturellement de nombreux codes 404 dans les journaux du load balancer.)

Pourquoi tente-t-il d'accéder à "/atom.xml", "/sitemap.txt", "/sitemap.xml.gz", "/sitemap_index.html" qui n'ont pas été spécifiés et n'existent pas ? (Il tente également de le faire de manière répétée sur de nombreux sous-domaines.)

En cherchant, il semble que ce ne soit pas seulement notre site, mais que d'autres sites aient le même problème.

J'ai trouvé beaucoup de plaintes à ce sujet lors de mes recherches.

Je ne sais même pas si IndexNow fonctionne correctement. Lorsqu'une requête est effectuée, il faut parfois jusqu'à 4 jours pour crawler la page en question. (De plus, je n'en ai vu que quelques-uns, donc je ne sais pas vraiment si le crawling est bien effectué...)

La recherche commence par le crawling, puis l'indexation, mais je me demande si cela fonctionne correctement.

(La réponse ne réside-t-elle pas dans la part de marché ?)

Notre service vise à être visible dans les résultats de recherche, et je suis moi-même très intéressé par les technologies de recherche, mais je ne suis pas sûr que la façon de faire de Bing soit la bonne.

Je me demande pourquoi les gens en Corée utilisent ce surnom pour Bing... (Je ne dirai pas de gros mots.)