AI Crawler คืออะไร ควรเปิดหรือบล็อก GPTBot, ClaudeBot, PerplexityBot ตัวไหนในปี 2026

Key Highlight

• AI Crawler คือบอตที่ AI อย่าง ChatGPT, Claude, Perplexity และ Gemini ส่งมาเก็บข้อมูลเว็บ ทำงานแยกจาก Googlebot ที่ใช้จัดอันดับ Google Search
• บอตแบ่งเป็น 2 กลุ่ม: Training Crawler (เก็บไปเทรนโมเดล เช่น GPTBot, ClaudeBot, CCBot, Google-Extended) และ Search/Retrieval Crawler (ดึงไปตอบแบบเรียลไทม์ เช่น OAI-SearchBot, PerplexityBot, ChatGPT-User)
• ฉันทามติปี 2026 คือ “เปิดบอตค้นหา จัดการบอตเทรนโมเดลตามนโยบายแบรนด์” เพราะการบล็อกบอตค้นหาเท่ากับตัดโอกาสถูก AI หยิบไปตอบ
• บล็อกผิดตัวอันตราย: การบล็อก Google-Extended ไม่กระทบอันดับ Google Search และไม่ได้กันการถูกอ้างใน AI Overviews (ซึ่งใช้ index ของ Googlebot) แต่การบล็อก OAI-SearchBot ทำให้หายจาก ChatGPT Search ทันที
• ตรวจ robots.txt เป็นงานพื้นฐานที่มักถูกมองข้าม แต่เป็นด่านแรกสุดที่ตัดสินว่า AI จะ “เห็น” เว็บของคุณหรือไม่

บทนำ: ก่อน AI จะหยิบแบรนด์ไปตอบ มันต้อง “เข้าเว็บ” ได้ก่อน

หลายแบรนด์ทุ่มเขียนคอนเทนต์ วาง schema และจัด structure อย่างดี เพื่อหวังให้ ChatGPT หรือ Perplexity หยิบไปตอบ แต่กลับลืมคำถามพื้นฐานที่สุดข้อหนึ่ง นั่นคือ AI เข้ามาอ่านเว็บของเราได้จริงหรือเปล่า บ่อยครั้งที่ไฟล์ robots.txt เพียงไม่กี่บรรทัด ปิดประตูใส่บอตของ AI ไปแบบไม่รู้ตัว ทำให้เนื้อหาคุณภาพดีกลายเป็นสิ่งที่ AI มองไม่เห็นตั้งแต่ต้น

ที่ The Conductor ในฐานะ AI SEO Agency เรามองว่าการจัดการ AI Crawler คือด่านแรกของงาน GEO (Generative Engine Optimization) ที่ถูกมองข้ามมากที่สุด บทความนี้จะอธิบายว่า AI Crawler คืออะไร มีกี่ประเภท และในปี 2026 แบรนด์ควรเปิดหรือจัดการบอตตัวไหน เพื่อให้ได้ทั้งการปกป้องเนื้อหาและโอกาสถูก AI หยิบไปตอบ

AI Crawler คืออะไร และต่างจาก Googlebot อย่างไร

AI Crawler คือบอต (bot) ที่บริษัทผู้พัฒนา AI ส่งออกมาเก็บข้อมูลจากเว็บไซต์ทั่วโลก เพื่อนำไปใช้สองวัตถุประสงค์หลัก คือใช้ฝึก (train) โมเดลภาษาขนาดใหญ่ และใช้ดึงข้อมูลสด ๆ มาประกอบเป็นคำตอบเวลาผู้ใช้ถาม แต่ละบอตจะประกาศตัวตนผ่านชื่อที่เรียกว่า user-agent เช่น GPTBot ของ OpenAI, ClaudeBot ของ Anthropic หรือ PerplexityBot ของ Perplexity

จุดที่ต้องเข้าใจให้ชัดคือ AI Crawler ทำงาน “แยกขา” จาก Googlebot ที่เราคุ้นเคย Googlebot คือบอตที่เก็บหน้าเว็บไปทำ index และตัดสินอันดับใน Google Search ส่วน AI Crawler เป็นคนละตัว มีนโยบายคนละชุด การตั้งค่าให้บอตหนึ่งเข้าหรือไม่เข้า จึงไม่ได้กระทบอีกบอตหนึ่งโดยอัตโนมัติ การจัดการ robots.txt ในยุค AI จึงต้องคิดเป็นรายบอต ไม่ใช่เปิดหมดหรือปิดหมด

บอตมี 2 ประเภท: Training Crawler กับ Search Crawler

กุญแจสำคัญของการตัดสินใจอยู่ที่การแยกบอตออกเป็นสองกลุ่ม ซึ่งมีผลต่อแบรนด์คนละแบบ

กลุ่มแรกคือ Training Crawler หรือบอตที่เก็บเนื้อหาไปฝึกโมเดล เช่น GPTBot, ClaudeBot, CCBot (ของ Common Crawl), Meta-ExternalAgent และ Google-Extended บอตกลุ่มนี้ไม่ได้ส่งทราฟฟิกกลับมาที่เว็บโดยตรง และเป็นกลุ่มที่หลายแบรนด์เลือกจัดการเพื่อปกป้องทรัพย์สินทางปัญญา

กลุ่มที่สองคือ Search หรือ Retrieval Crawler บอตที่ดึงข้อมูลแบบเรียลไทม์เพื่อนำมาตอบและอ้างอิงทันที เช่น OAI-SearchBot และ ChatGPT-User ของ OpenAI, PerplexityBot ของ Perplexity และ Claude-SearchBot ของ Anthropic บอตกลุ่มนี้คือช่องทางที่ทำให้แบรนด์ “ถูกหยิบไปตอบ” พร้อม citation การบล็อกบอตกลุ่มนี้จึงเท่ากับปิดโอกาสปรากฏใน AI Search ของตัวเอง

กลยุทธ์ปี 2026: “เปิดบอตค้นหา จัดการบอตเทรนโมเดล”

แนวทาง “block training, allow search” กลายเป็นฉันทามติที่เห็นชัดในปี 2026 หลักคิดคือยอมให้บอตค้นหาเข้ามาเพื่อรักษาการมองเห็น (visibility) ขณะที่จัดการบอตเทรนโมเดลตามนโยบายเรื่องลิขสิทธิ์ของแต่ละแบรนด์ ที่สำคัญคือบอตทั้งสองบทบาทมักควบคุมแยกกันได้

1. แยก OAI-SearchBot ออกจาก GPTBot

เอกสารของ OpenAI ระบุชัดว่าผู้ดูแลเว็บสามารถอนุญาต OAI-SearchBot (บอตค้นหาที่ป้อนผลให้ ChatGPT Search) ได้ ในขณะที่ยังบล็อก GPTBot (บอตเทรนโมเดล) นี่คือรูปแบบมาตรฐานสำหรับแบรนด์ที่อยากปรากฏใน ChatGPT Search โดยไม่ต้องยกเนื้อหาให้ไปเทรนโมเดล

2. แยก Claude-SearchBot ออกจาก ClaudeBot

เช่นเดียวกับฝั่ง OpenAI ทาง Anthropic ก็ออกแบบให้ Claude-SearchBot ควบคุมแยกจาก ClaudeBot ได้ แบรนด์จึงเปิดให้ Claude หยิบเนื้อหาไปตอบได้ผ่าน Claude-SearchBot โดยยังเลือกกันเนื้อหาออกจากการเทรนโมเดลผ่าน ClaudeBot ได้ในเวลาเดียวกัน

3. เข้าใจต้นทุนของบอตเทรนโมเดลก่อนตัดสินใจ

ข้อมูลจากการวิเคราะห์ robots.txt ทั่วเครือข่าย Cloudflare ชี้ว่า GPTBot มีอัตราการ “เก็บเทียบกับการส่งทราฟฟิกกลับ” (crawl-to-refer ratio) สูงถึง 1,255 ต่อ 1 และ ClaudeBot สูงถึง 20,583 ต่อ 1 ตัวเลขนี้อธิบายว่าทำไมหลายเว็บจึงพิจารณาจัดการบอตเทรนโมเดล เพราะมันเก็บข้อมูลจำนวนมากแต่แทบไม่ส่งคนกลับมา อย่างไรก็ตามนี่คือเรื่องของ “นโยบายลิขสิทธิ์” ไม่ใช่เรื่องของ visibility โดยตรง

ข้อควรระวัง: บล็อกผิดตัวอาจไม่ได้ผลหรือทำร้ายแบรนด์

จุดที่แบรนด์พลาดบ่อยที่สุดคือเข้าใจผิดเรื่อง Google-Extended Google ยืนยันตั้งแต่ปี 2023 ว่าการบล็อก Google-Extended ไม่กระทบอันดับใน Google Search เพราะ Googlebot ที่ทำ index ทำงานแยกจากบอตเทรนโมเดล แต่ประเด็นที่หลายคนไม่รู้คือ AI Overviews ของ Google ดึงข้อมูลจาก index ของ Googlebot ไม่ใช่ Google-Extended ดังนั้นการบล็อก Google-Extended จึงกันแค่การนำไปเทรนโมเดล แต่ไม่ได้กันการถูกอ้างใน AI Overviews และก็ไม่ได้ช่วยให้ติด AI Overviews มากขึ้นด้วย

ในทางกลับกัน การเผลอบล็อก OAI-SearchBot หรือ PerplexityBot คือความเสียหายจริง เพราะทำให้แบรนด์หายไปจากผลการค้นหาของ ChatGPT และ Perplexity ทันที มีรายงานว่าเว็บที่ปลดบล็อก GPTBot, PerplexityBot และ ClaudeBot ในไตรมาส 4 ปี 2025 เห็นทราฟฟิกที่มาจาก AI เพิ่มขึ้นราว 186% ภายใน 90 วัน ขณะที่เว็บ B2B ถึง 41% ยังบล็อกบอต AI หลักอย่างน้อยหนึ่งตัวอยู่ และมีการประเมินว่าการบล็อกแต่ละบอตอาจทำให้สูญเสียโอกาสถูกอ้างใน AI ราว 18-34%

สัญญาณตลาดก็เริ่มเปลี่ยน ข้อมูล ณ เดือนพฤษภาคม 2026 พบว่าสัดส่วนเว็บที่ “อนุญาต” GPTBot (5.84%) แซงสัดส่วนที่ “บล็อก” (4.71%) เป็นครั้งแรก สะท้อนว่าเจ้าของเว็บเริ่มโน้มไปทางเปิดให้ AI เข้าถึงมากขึ้น

The Conductor มองเรื่องนี้อย่างไร

ที่ The Conductor เราไม่ได้มองการตั้งค่า robots.txt เป็นแค่งานเทคนิคของฝ่าย IT แต่เป็นการตัดสินใจเชิงกลยุทธ์ที่ต้อง orchestrate ให้สอดคล้องกับเป้าหมายของแบรนด์ การจัดการ AI Crawler ที่ดีต้องตอบสองคำถามพร้อมกัน คือเราอยากให้แบรนด์ถูก AI หยิบไปตอบแค่ไหน และเราต้องการปกป้องเนื้อหาจากการนำไปเทรนโมเดลในระดับใด

ด้วย AI Search Lab ที่ทำ R&D เรื่อง AI Platform อย่างต่อเนื่อง เราติดตามการเปลี่ยนแปลงของ user-agent และนโยบายบอตใหม่ ๆ ที่ออกมาเร็วกว่าที่ robots.txt ส่วนใหญ่จะตามทัน เพื่อช่วยให้ลูกค้าตั้งค่าได้แม่นยำ ไม่เผลอปิดประตูใส่โอกาสของตัวเอง การจัดการบอตเป็นเพียงด่านแรก ที่ต้องทำงานร่วมกับ schema ที่ถูกต้องและโครงสร้างเนื้อหาแบบ answer-first จึงจะได้ผลเต็มที่

คำถามที่พบบ่อย (FAQ)

ถ้าอยากปกป้องเนื้อหาจาก AI ควรบล็อกบอตทุกตัวเลยไหม

ไม่แนะนำให้บล็อกแบบเหมารวม เพราะจะตัดทั้งบอตเทรนโมเดลและบอตค้นหาไปพร้อมกัน วิธีที่สมดุลกว่าคือเลือกจัดการเฉพาะบอตเทรนโมเดล (เช่น GPTBot, ClaudeBot, CCBot) ตามนโยบายลิขสิทธิ์ แต่ยังเปิดบอตค้นหา (เช่น OAI-SearchBot, PerplexityBot) ไว้ เพื่อรักษาโอกาสถูก AI หยิบไปตอบ

การบล็อก AI Crawler กระทบอันดับ Google Search ไหม

ไม่กระทบ เพราะ AI Crawler ทำงานแยกจาก Googlebot ที่ใช้จัดอันดับ Google ยืนยันชัดเจนว่าการบล็อกบอตเทรนโมเดลอย่าง Google-Extended ไม่มีผลต่ออันดับการค้นหา แต่ต้องระวังไม่ให้เผลอบล็อก Googlebot เองในไฟล์เดียวกัน

แบรนด์เล็กที่ไม่มีทีมเทคนิคควรเริ่มจากตรงไหน

เริ่มจากตรวจไฟล์ robots.txt ของเว็บตัวเองก่อนว่ามีบรรทัดไหนบล็อกบอตค้นหาของ AI โดยไม่ตั้งใจหรือไม่ จากนั้นจึงค่อยวางนโยบายว่าจะจัดการบอตเทรนโมเดลอย่างไร ขั้นตอนนี้เป็นส่วนหนึ่งของการตรวจสุขภาพเว็บก่อนทำ GEO ที่ทำได้โดยไม่ต้องเขียนโค้ดซับซ้อน

บทสรุป

ในยุคที่ผู้คนเริ่มถาม AI แทนการเปิด Google การจัดการ AI Crawler คือด่านแรกสุดที่ตัดสินว่าแบรนด์ของเราจะถูกมองเห็นหรือถูกลืม หัวใจของปี 2026 ไม่ใช่การเลือกระหว่างเปิดหมดหรือปิดหมด แต่คือการเข้าใจว่าบอตตัวไหนทำหน้าที่อะไร แล้วเปิดบอตค้นหาเพื่อรักษาการมองเห็น พร้อมจัดการบอตเทรนโมเดลตามนโยบายของแบรนด์อย่างมีสติ

ถ้าอยากรู้ว่าวันนี้ robots.txt ของเว็บคุณเปิดหรือบล็อกบอต AI ตัวไหนอยู่ และควรปรับอย่างไรให้ทั้งปลอดภัยและถูก AI หยิบไปตอบ ปรึกษาผู้เชี่ยวชาญ GEO โดยเฉพาะจาก The Conductor ได้ฟรี