FAQ
Часта задаваныя пытанні
robots.txt — гэта стандартны пратакол, які паведамляе вэб-пошукавым робатам, да якіх старонак яны могуць атрымаць доступ. Кампаніі, якія займаюцца штучным інтэлектам, абавязваюцца гарантаваць, што іх боты для збору дадзеных прытрымліваюцца гэтага файла. Правільная канфігурацыя файла — гэта самы хуткі спосаб прадухіліць трапленне вашага кантэнту ў наборы даных для навучання штучнага інтэлекту або яго выкарыстанне ў пошуках штучнага інтэлекту ў рэжыме рэальнага часу.
Калі ў вашым файле robots.txt няма спецыяльнага правіла для гэтага бота, а блок `User-agent: * (усе боты)` не ўтрымлівае ніякіх абмежаванняў, бот па змаўчанні лічыцца такім, што мае дазволены доступ. Гэта азначае, што вам трэба будзе дадаць уласнае правіла, калі вы хочаце заблакіраваць бота.
Не, robots.txt — гэта тэхнічны пратакол ветлівасці; гэта не юрыдычнае патрабаванне. Хоць боты сур'ёзных кампаній, якія займаюцца штучным інтэлектам, абавязваюцца выконваць гэтыя правілы, шкоднасныя пошукавыя сістэмы могуць іх ігнараваць. Для канфідэнцыйнага кантэнту рэкамендуецца прымаць дадатковыя меры, такія як кантроль доступу і аўтэнтыфікацыя.
Google-Extended — гэта спецыяльны ідэнтыфікатар пошукавага робата, які Google выкарыстоўвае для распрацоўкі прадуктаў штучнага інтэлекту, такіх як Gemini і AI Overviews. Ён асобны ад звычайнага пошукавага бота Google (Googlebot); толькі калі гэты бот заблакіраваны, ваша вэб-старонка будзе працягваць адлюстроўвацца ў выніках пошуку Google.
Common Crawl — гэта праект вэб-архіва з адкрытым зыходным кодам, і многія буйныя моўныя мадэлі (у тым ліку GPT-3/4) выкарыстоўвалі дадзеныя CCBot для навучання. Блакіроўка CCBot можа паменшыць аб'ём вашага кантэнту, які будзе трапляць у будучыя мадэлі штучнага інтэлекту з адкрытым зыходным кодам.
