คำถามที่พบบ่อย
คำถามที่พบบ่อย
robots.txt เป็นโปรโตคอลมาตรฐานที่บอกเว็บครอว์เลอร์ว่าสามารถเข้าถึงหน้าเว็บใดได้บ้าง บริษัท AI ต่างให้คำมั่นว่าบอทเก็บข้อมูลของตนปฏิบัติตามไฟล์นี้ การกำหนดค่าไฟล์อย่างถูกต้องเป็นวิธีที่เร็วที่สุดในการป้องกันไม่ให้เนื้อหาของคุณเข้าสู่ชุดข้อมูลฝึกฝน AI หรือถูกนำไปใช้ในการค้นหา AI แบบเรียลไทม์
หากไฟล์ robots.txt ของคุณไม่มีกฎเฉพาะสำหรับบอทนั้น และบล็อก `User-agent: * (บอททั้งหมด)` ไม่มีข้อจำกัดใดๆ บอทนั้นจะถือว่าได้รับอนุญาตให้เข้าถึงโดยค่าเริ่มต้น ซึ่งหมายความว่าคุณจะต้องเพิ่มกฎที่กำหนดเองหากต้องการบล็อกบอทนั้น
ไม่ robots.txt เป็นเพียงโปรโตคอลทางเทคนิคเพื่อแสดงความสุภาพ ไม่ใช่ข้อกำหนดทางกฎหมาย แม้ว่าบอทของบริษัท AI ที่จริงจังจะปฏิบัติตามกฎเหล่านี้ แต่โปรแกรมรวบรวมข้อมูลที่เป็นอันตรายอาจเพิกเฉยต่อกฎเหล่านั้น สำหรับเนื้อหาที่ละเอียดอ่อน แนะนำให้ใช้มาตรการเพิ่มเติม เช่น การควบคุมการเข้าถึงและการตรวจสอบสิทธิ์
Google-Extended เป็นรหัสประจำตัวของโปรแกรมรวบรวมข้อมูล (crawler ID) พิเศษที่ Google ใช้ในการพัฒนาผลิตภัณฑ์ AI เช่น Gemini และ AI Overviews รหัสนี้แยกต่างหากจากบอทค้นหาของ Google ทั่วไป (Googlebot) เว็บไซต์ของคุณจะยังคงปรากฏในผลการค้นหาของ Google ได้ก็ต่อเมื่อบอทนี้ถูกบล็อกเท่านั้น
Common Crawl เป็นโครงการเก็บข้อมูลเว็บแบบโอเพนซอร์ส และโมเดลภาษาหลักๆ หลายตัว (รวมถึง GPT-3/4) ใช้ข้อมูลจาก CCBot ในการฝึกฝน การบล็อก CCBot จะช่วยลดปริมาณเนื้อหาของคุณที่จะเข้าสู่โมเดล AI แบบโอเพนซอร์สในอนาคตได้
