ЧЗВ
Често задавани въпроси
robots.txt е стандартен протокол, който казва на уеб роботите до кои страници могат да имат достъп. Компаниите, занимаващи се с изкуствен интелект, се ангажират да гарантират, че техните ботове за събиране на данни се придържат към този файл. Правилното конфигуриране на файла е най-бързият начин да предотвратите навлизането на вашето съдържание в набори от данни за обучение на изкуствен интелект или използването му в търсения с изкуствен интелект в реално време.
Ако вашият robots.txt файл няма специфично правило за този бот и блокът `User-agent: * (all bots)` не съдържа никакви ограничения, ботът се счита за такъв с разрешен достъп по подразбиране. Това означава, че ще трябва да добавите персонализирано правило, ако искате да блокирате бота.
Не, robots.txt е технически протокол за учтивост; не е законово изискване. Въпреки че сериозните ботове на компаниите за изкуствен интелект се ангажират да спазват тези правила, злонамерените роботи могат да ги игнорират. За чувствително съдържание се препоръчва да се предприемат допълнителни мерки, като например контрол на достъпа и удостоверяване.
Google-Extended е специален идентификатор на робот, който Google използва за разработване на продукти с изкуствен интелект, като Gemini и AI Overviews. Той е отделен от обикновения бот за търсене на Google (Googlebot); само ако този бот е блокиран, вашата уеб страница ще продължи да се показва в резултатите от търсенето с Google.
Common Crawl е проект с отворен код за уеб архивиране и много основни езикови модели (включително GPT-3/4) са използвали данни от CCBot за обучение. Блокирането на CCBot може да намали количеството на вашето съдържание, което ще влезе в бъдещи модели с изкуствен интелект с отворен код.
