Bing! เกิดอะไรขึ้นกับคุณกันแน่...

โดยพื้นฐานแล้ว เครื่องมือค้นหาเปรียบเสมือน "ผู้มีอำนาจ"เหนือเว็บไซต์ต่างๆ

ในการดำเนินการเว็บไซต์ Bing กลายเป็นปัญหาใหญ่ที่น่าปวดหัวอย่างมาก

แน่นอนว่าปริมาณการเข้าชมจากเครื่องมือค้นหา Google นั้นมีความสำคัญที่สุด (ด้วยส่วนแบ่งการตลาดถึง 90%) ดังนั้นจึงมุ่งเน้นการปรับแต่งให้เหมาะสมกับ Google และหวังว่า Bing จะสามารถคืบคลานและดึงข้อมูลได้อย่างมีประสิทธิภาพ (เนื่องจากมีส่วนแบ่งการตลาดเพียง 3% จึงไม่ค่อยใส่ใจมากนัก)

robots.txt คือสิ่งที่ใช้แจ้งข้อมูลของเว็บไซต์ให้กับเครื่องมือค้นหา

แต่ในความเป็นจริงแล้ว IndexNowถูกนำมาใช้เพื่อแจ้งเตือนไปยัง Naver และ Bing ทันทีที่มีการโพสต์บทความใหม่ ดังนั้นฉันจึงทำทุกอย่างที่ทำได้แล้ว (Google ไม่รองรับ IndexNow)

และหากพิจารณาถึง "ข้อตกลงมาตรฐาน" โดยทั่วไปเว็บไซต์ต่างๆ จะกำหนดรูปแบบข้อความพื้นฐานที่เรียกว่า "robots.txt" และบันทึกข้อมูลพื้นฐานเกี่ยวกับ robots ไว้ในนั้น บอกให้ bots ทราบว่าไม่ควรคืบคลานหน้าใดบ้าง ควรบล็อก bots ตัวใด และ "แผนผังเว็บไซต์" ของเว็บไซต์นี้อยู่ที่ใด

แน่นอนว่า durumis ก็ได้บันทึก robots.txt ไว้อย่างละเอียดตามข้อตกลงมาตรฐานเช่นกัน

แต่รู้สึกว่า Bing ดูเหมือนจะละเลยสิ่งนี้...?

ทำไมถึงเป็นเช่นนั้นล่ะ...

ฉันไม่ได้บอกว่ามีหน้าเว็บดังกล่าว แต่ทำไมเว็บไซต์ www. ถึงพยายามเข้าถึงทุกหน้าเว็บล่ะ...

ตกลง สมมติว่า www.durumis.com เป็นเช่นนั้น แต่ทำไมถึงต้องพยายามคืบคลานทุกหน้าเว็บของโดเมนย่อยต่างๆ โดยใส่ www. ไว้ข้างหน้าด้วย (แน่นอนว่าล็อกของ load balancer จะบันทึกข้อผิดพลาด 404 ไว้เป็นจำนวนมาก)

ทำไมถึงเข้าถึง "/atom.xml", "/sitemap.txt", "/sitemap.xml.gz", "/sitemap_index.html" ที่ไม่ได้แจ้งให้ทราบและไม่มีอยู่จริงด้วยล่ะ.. (และยังพยายามเข้าถึงโดเมนย่อยต่างๆ ซ้ำๆ อีกด้วย)

ลองค้นหาแล้วพบว่าไม่ใช่แค่เว็บไซต์ของเราเท่านั้น แต่เว็บไซต์อื่นๆ ก็ประสบปัญหาคล้ายๆ กัน

เมื่อค้นหาข้อมูลเกี่ยวกับเรื่องนี้ พบว่ามีหลายคนที่แสดงความไม่พอใจในเรื่องนี้

ไม่แน่ใจว่า IndexNow ทำงานได้ดีหรือไม่ เมื่อส่งคำขอแล้ว การคืบคลานหน้าเว็บนั้นอาจใช้เวลานานถึง 4 วัน (และนี่เป็นเพียงส่วนน้อย ดังนั้นจึงไม่แน่ใจว่าจะคืบคลานได้ดีหรือไม่)

การค้นหาเริ่มต้นจากการคืบคลาน และหลังจากคืบคลานแล้วจึงทำการสร้างดัชนี แต่ฉันก็ยังสงสัยว่าจะทำได้ดีหรือไม่

(คำตอบอาจอยู่ในส่วนแบ่งการตลาดใช่ไหม?)

แม้ว่าบริการของเราจะต้องการให้แสดงผลในการค้นหา แต่ฉันก็สนใจเทคโนโลยีการค้นหาเช่นกัน ฉันไม่แน่ใจว่า Bing ทำอย่างนั้นถูกต้องหรือไม่

ลองคิดดูสักครั้งว่าทำไมคนไทยถึงเรียก Bing ด้วยชื่อเล่นนั้น (ฉันจะไม่ใช้คำหยาบ)