Bing! Cos'è che non va...

I motori di ricerca sono fondamentalmente i "capi" dei siti web.

Gestire un sito web, e Bing rappresenta un vero e proprio rompicapo, un peso scomodo.

Naturalmente, il traffico del motore di ricerca Google è fondamentale (la sua supremazia con il 90% di quota di mercato), quindi ci si concentra sull'ottimizzazione per Google, sperando che Bing "automaticamente" indicizzi correttamente ciò che è già ottimizzato per Google. (Dopotutto, si tratta di una quota di mercato minore, del 3%, per cui non ci si preoccupa molto).

robots.txt è il file che comunica ai motori di ricerca le informazioni sul sito.

In realtà, utilizzo IndexNow per notificare a Naver e Bing in tempo reale la pubblicazione di nuovi articoli. Quindi, sto facendo tutto il possibile. (Google non supporta IndexNow).

Secondo gli "standard", i siti web di solito definiscono un formato di testo base chiamato "robots.txt" e vi registrano i dati di base relativi ai robot. Questo file indica ai robot quali pagine non devono essere crawlate, quali robot devono essere bloccati e dove si trova la "sitemap" del sito.

Naturalmente, anche per durumis, abbiamo registrato attentamente robots.txt secondo gli standard.

Ma, diciamo... Bing sembra ignorarlo un po'...?

Ma perché improvvisamente...

Perché tenta di accedere a tutte le pagine dei siti www. senza che io glielo abbia indicato?

Ok. Ammettiamo che www.durumis.com sia così. Ma perché tenta di crawlare ogni pagina di ogni sottodominio, aggiungendo sempre www. all'inizio? (Nel log del load balancer vengono registrati innumerevoli errori 404.)

E perché accede a "/atom.xml", "/sitemap.txt", "/sitemap.xml.gz", "/sitemap_index.html" che non sono stati indicati e che non esistono? (Anche in questo caso, viene tentato ripetutamente l'accesso a tantissimi sottodomini.)

Cercando online, sembra che non siamo gli unici ad avere questo problema.

Ho trovato molti risultati che lamentano questo comportamento.

Non sono nemmeno sicuro che IndexNow funzioni correttamente. Quando faccio una richiesta, può volerci anche 4 giorni per crawlare la pagina in questione, (e ho controllato solo pochi esempi, quindi non so nemmeno se funzioni bene...)

La ricerca inizia con il crawling e poi si procede con l'indicizzazione, ma ho molti dubbi sul suo corretto funzionamento.

(La risposta forse sta nella quota di mercato?)

Spero che il nostro servizio sia visibile anche nei motori di ricerca, ma allo stesso tempo sono molto interessato alla tecnologia di ricerca, e non sono sicuro che Bing stia facendo le cose nel modo giusto.

Mi chiedo perché in Corea le persone diano a Bing questi soprannomi... (eviterò gli insulti).