Google อัปเดต Robots.txt: ควรใช้ Noindex หรือ Disallow ในกรณีไหน?
ล่าสุด Google ได้ออกมาอัปเดตแนวทางที่ถูกต้อง การเข้าถึงของ Google bot บนเว็บไซต์ คำสั่ง "Noindex" และ "Disallow" มักถูกใช้งานเพื่อจัดการกับการแสดงผลในผลการค้นหา แต่หลายคนยังสับสนว่า ควรใช้คำสั่งไหน และใช้สถานการณ์ไหน?
ในบทความนี้ เราจะพาคุณไปรู้จักกับ ความแตกต่างระหว่าง Noindex และ Disallow พร้อมแนะนำวิธีใช้งานที่ถูกต้อง เพื่อให้ Google เข้าใจเว็บไซต์ของคุณได้ดียิ่งขึ้น และ หลีกเลี่ยงข้อผิดพลาดที่อาจทำให้เว็บไซต์เสียอันดับโดยไม่ตั้งใจ!
ควรใช้ Noindex เมื่อไหร่?
คำสั่ง "noindex" คือการบอกให้ Google และเครื่องมือค้นหาอื่นๆ ไม่แสดงหน้าเว็บนั้นดังกล่าวในผลการค้นหา โดยสามารถใส่คำสั่งนี้ใน robots meta tag (ในส่วน <head> ของ HTML) หรือ X-Robots HTTP header
เมื่อไหร่ที่ควรใช้ Noindex?
- ต้องการให้ Google อ่านข้อมูลในหน้านั้นได้ แต่ ไม่ต้องการให้แสดงในผลการค้นหา
- ใช้กับหน้าที่มีประโยชน์สำหรับผู้ใช้ แต่ไม่ต้องการให้ติดอันดับ เช่น หน้าขอบคุณ (Thank You Page), หน้าผลลัพธ์การค้นหาภายในเว็บไซต์, หรือหน้า Landing Page ที่ใช้ชั่วคราว
ถ้าคุณ ไม่ต้องการให้หน้าเว็บติดอันดับ Google แต่ยังต้องการให้บอทสามารถอ่านเนื้อหาของหน้าได้ ให้ใช้ Noindex
ควรใช้ Disallow เมื่อไหร่?
คำสั่ง "disallow" ในไฟล์ robots.txt มีไว้สำหรับ ปิดกั้นบอทของเครื่องมือค้นหาไม่ให้เข้าถึง URL หรือโครงสร้าง URL บางส่วนของเว็บไซต์
เมื่อไหร่ที่ควรใช้ Disallow?
- ต้องการปิดกั้นบอทจากการ เข้าถึงและอ่านข้อมูลของหน้านั้นโดยสิ้นเชิง
- เหมาะสำหรับหน้าที่มี ข้อมูลที่เป็นความลับ หรือข้อมูลที่ไม่เกี่ยวข้องกับการค้นหา เช่น หน้าข้อมูลส่วนตัวของผู้ใช้ หรือหน้าที่ไม่ต้องการให้ Google เก็บข้อมูล
- หน้าเว็บที่ไม่ต้องการให้เครื่องมือค้นหาเข้าถึง เช่น ไฟล์ระบบ, โฟลเดอร์ backend ของเว็บไซต์ หรือหน้าที่ไม่มีประโยชน์ต่อ SEO
เมื่อใช้ Disallow กับหน้าใด หน้าเหล่านั้นจะไม่ถูกบอท Google หรือเครื่องมือค้นหา crawl หรือจัดทำดัชนี (index) ซึ่งหมายความว่า ถ้าใส่ Noindex ไว้ในหน้านั้น บอทก็จะไม่สามารถเห็นคำสั่ง Noindex ได้
ข้อผิดพลาดที่พบบ่อยและควรหลีกเลี่ยง
หนึ่งในความผิดพลาดที่เจ้าของเว็บไซต์มักทำ คือ ใช้ "noindex" และ "disallow" พร้อมกันในหน้าเดียวกัน ซึ่ง Martin Splitt จาก Google แนะนำว่า ไม่ควรทำ เพราะอาจส่งผลกระทบต่อการจัดทำดัชนีของเว็บไซต์
ทำไมไม่ควรใช้ Noindex และ Disallow พร้อมกัน?
- หากใช้ Disallow ใน robots.txt → Google bot จะไม่สามารถเข้าไปอ่านหน้าเว็บได้
ถ้าหน้านั้นมี Noindex ใน meta tag หรือ X-Robots header → Google จะมองไม่เห็นคำสั่ง Noindex
ผลลัพธ์: หน้าอาจยังถูกจัดทำดัชนี (Indexed) ได้ แต่ Google จะมีข้อมูลเกี่ยวกับหน้านั้นน้อยมาก
หากต้องการให้หน้า หายไปจากผลการค้นหาอย่างสมบูรณ์ ควรใช้ Noindex อย่างเดียว โดยไม่ต้องปิดกั้นด้วย Disallow ใน robots.txt
<h2>เครื่องมือช่วยวิเคราะห์ robots.txt
Google มีฟีเจอร์ Robots.txt Report ใน Google Search Console ที่ช่วยให้เจ้าของเว็บไซต์สามารถทดสอบและตรวจสอบว่าไฟล์ robots.txt มีผลต่อการจัดทำดัชนีอย่างไร
ทำไมเรื่องนี้สำคัญ?
การเข้าใจวิธีใช้คำสั่ง "noindex" และ "disallow" อย่างถูกต้อง เป็นหนึ่งในเทคนิคสำคัญที่ช่วยให้เว็บไซต์ของคุณ ติดอันดับ SEO อย่างมีประสิทธิภาพ หากใช้ผิดวิธี อาจทำให้หน้าเว็บที่ควรถูกซ่อนกลับถูกจัดทำดัชนี หรือหน้าเว็บสำคัญถูกบล็อกจากการเข้าถึงโดยไม่ตั้งใจ
การตั้งค่า SEO ที่ถูกต้องไม่เพียงช่วยให้เว็บไซต์ของคุณทำงานได้ดีขึ้นในสายตา Google แต่ยังช่วยให้ผู้ใช้ค้นหาข้อมูลที่มีคุณค่าได้อย่างรวดเร็วและแม่นยำ
