Bing! आखिर तुम्हारी क्या समस्या है..

सर्च इंजन मूल रूप से वेबसाइटों के लिए 'सर्वोच्च' होते हैं।

वेबसाइट संचालित करते समय, Bing एक बहुत ही सिरदर्द वाला विषय है।

निश्चित रूप से, मूल रूप से Google सर्च इंजन का ट्रैफ़िक सबसे महत्वपूर्ण है (90% बाज़ार हिस्सेदारी का प्रभाव), इसलिए हम Google के लिए अनुकूलित करते हैं, और फिर Google के लिए अनुकूलित सामग्री को Bing द्वारा "स्वतः" क्रॉल करने की उम्मीद करते हैं। (क्योंकि यह एक मामूली बाज़ार हिस्सेदारी वाला 3% वाला मामला है, इसलिए इस पर ज़्यादा ध्यान नहीं दिया जाता है।)

सर्च इंजनों को साइट की जानकारी देने के लिए robots.txt है।

हालांकि, वास्तव में IndexNowका उपयोग करके, हम Naver और Bing को वास्तविक समय में सूचित करते हैं जब एक नया लेख पोस्ट किया जाता है, इसलिए मैं जो कर सकता हूँ वो सब कर रहा हूँ। (Google IndexNow का समर्थन नहीं करता है।)

साथ ही, "मानक प्रोटोकॉल" के बारे में सोचते हुए, आम तौर पर वेबसाइटें "robots.txt" नामक एक मानक टेक्स्ट प्रारूप निर्दिष्ट करती हैं और उसमें बुनियादी डेटा रिकॉर्ड करती हैं जो रोबोट से संबंधित हैं। किस पेज को क्रॉल नहीं करना है, किन रोबोट को ब्लॉक करना है, और इस साइट का "साइटमैप" कहाँ स्थित है, यह बताना इसका उद्देश्य है।

ज़ाहिर है, दुरुमिस (durumis) के मामले में भी, हमने मानक प्रोटोकॉल के अनुसार robots.txt को ध्यान से रिकॉर्ड किया है।

लेकिन, ऐसा लगता है कि Bing इसे थोड़ा अनदेखा कर रहा है...?

अरे, अचानक क्यों..?

मैंने उन पन्नों के बारे में बताया भी नहीं है, फिर भी www. वाली साइटें सभी पन्नों को क्रॉल करने का प्रयास क्यों करती हैं...?

ठीक है। मान लेते हैं कि www.durumis.com के लिए तो ठीक है। लेकिन, विभिन्न सबडोमेन के सभी पन्नों को www. लगाकर क्रॉल करने का प्रयास क्यों किया जाता है? (स्वाभाविक रूप से, लोड बैलेंसर लॉग में बहुत सारे 404 दिखाई देंगे।)

मुझे बताए बिना, और वास्तव में मौजूद नहीं होने वाले "/atom.xml", "/sitemap.txt", "/sitemap.xml.gz", "/sitemap_index.html" में क्यों जाया जाता है..? (यह भी कई सबडोमेन पर बार-बार प्रयास किया जाता है।)

मैंने खोज की तो पता चला कि केवल हमारी साइट ही नहीं, बल्कि अन्य साइटों पर भी यही समस्या है।

इस मुद्दे के बारे में शिकायतें खोजने पर मुझे बहुत सारी मिलीं।

मुझे नहीं पता कि IndexNow ठीक से काम कर रहा है या नहीं। अनुरोध करने पर, संबंधित पेज को क्रॉल करने में 4 दिन तक का समय लग सकता है, (फिर भी, मैंने केवल कुछ ही देखे हैं, इसलिए मुझे नहीं पता कि यह ठीक से क्रॉल कर रहा है या नहीं..)

खोज क्रॉलिंग से शुरू होती है, और क्रॉलिंग के बाद इंडेक्सिंग की जाती है, लेकिन मुझे बहुत संदेह है कि यह ठीक से हो रहा है या नहीं।

(क्या इसका जवाब बाज़ार हिस्सेदारी में है?)

हमारी सेवा खुद सर्च में अधिक दिखाई देना चाहती है, और साथ ही मुझे सर्च तकनीक में भी दिलचस्पी है, लेकिन मुझे नहीं पता कि Bing ऐसा क्यों करता है।

एक बार सोचिये कि भारत में लोग Bing को उपनाम क्यों देते हैं... (मैं गाली नहीं दूंगा।)