SEO & Məzmun

AI Bot Giriş Nəzarəti

Saytınızın robots.txt faylını təhlil edin; GPTBot, ClaudeBot, Perplexity və digər 17 süni intellekt brauzerinin giriş statusuna real vaxt rejimində baxın.

AI Bot Giriş Nəzarəti
Məlumat

Süni intellekt Bot Giriş Nəzarəti ilə bağlı

Süni intellekt şirkətləri (OpenAI, Anthropic, Google, Meta, Amazon və daha çox) vebdə axtarış aparmaq, süni intellekt modellərini öyrətmək və ya real vaxt rejimində axtarış aparmaq üçün ixtisaslaşmış botlardan istifadə edirlər. Bu botlar saytınıza daxil olur, robots.txt Bu, faylınızdakı qaydalarla müəyyən edilir. Lakin, hansı botlara icazə verildiyini və hansılarının bloklandığını bir yerdə görmək olduqca çətindir.

Süni intellekt Bot Giriş Nəzarəti aləti ziyarət etdiyiniz veb saytı təsdiqləyir. robots.txt Faylı serverdən real vaxt rejimində alır və 17 fərqli süni intellekt axtarış sisteminin vəziyyətini avtomatik olaraq təhlil edir: GPTBot, ChatGPT-User, OAI-SearchBot (OpenAI); ClaudeBot, anthropic-ai, Claude-Web (Anthropic); PerplexityBot və Perplexity-User (Perplexity); Google-Extended (Gemini/AI Baxış); Applebot-Extended; CCBot (Common Crawl); Bytespider (TikTok); Amazonbot; meta-externalagent və FacebookBot (Meta); DuckAssistBot və cohere-ai. Hər bot üçün... Səlahiyyətli, Əlil və ya Göstərilməyib (standart icazə) Onların statusunu rəngli nişanlarla görə bilərsiniz.

Nəticələr ekranında süni intellekt botları üçün söndürməyə hazır seçim də var. robots.txt Nümunə qaydalar da təqdim olunur. Sayt sahibi deyilsinizsə, istənilən saytın siyasətini araşdırmaq üçün də istifadə edə bilərsiniz. Bütün sorğular server tərəfindədir; sorğular yalnız ictimai IP ünvanlarına göndərilir, yerli və özəl şəbəkə blokları təhlükəsizlik səbəbləri ilə bloklanır.

Necə istifadə etməli?

Addım-addım

  1. Domen adını və ya tam URL-i daxil edin (məsələn) example.com və ya https://example.com).
  2. Yoxlayın Düyməni basın; alət saytda olacaq. robots.txt Faylı geri alır.
  3. Hər bir süni intellekt botu üçün Səlahiyyətli, Əlil və ya Müəyyən edilməmiş Rəngarəng nişanlarla statusunuza baxın.
  4. Lazım gələrsə, səhifənin altındakı hazır qaydaları saytınıza kopyalaya bilərsiniz. robots.txt Fayla əlavə edin.
Tez-tez Verilən Suallar

Tez-tez verilən suallar

robots.txt, veb brauzerlərinə hansı səhifələrə daxil ola biləcəklərini bildirən standart bir protokoldur. Süni intellekt şirkətləri məlumat toplayan botlarının bu fayla uyğun olmasını təmin etməyi öhdələrinə götürürlər. Faylı düzgün konfiqurasiya etmək, məzmununuzun süni intellekt təlim məlumat dəstlərinə daxil olmasının və ya real vaxt süni intellekt axtarışlarında istifadə edilməsinin qarşısını almağın ən sürətli yoludur.

Əgər robots.txt faylınızda həmin bot üçün xüsusi bir qayda yoxdursa və `İstifadəçi-agent: * (bütün botlar)` blokunda heç bir məhdudiyyət yoxdursa, bot standart olaraq icazə verilən giriş hesab olunur. Bu o deməkdir ki, botu bloklamaq istəyirsinizsə, xüsusi bir qayda əlavə etməlisiniz.

Xeyr, robots.txt texniki nəzakət protokoludur; bu, qanuni tələb deyil. Ciddi süni intellekt şirkətlərinin botları bu qaydalara əməl etməyi öhdələrinə götürsələr də, zərərli brauzerlər onları görməzdən gələ bilər. Həssas məzmun üçün giriş nəzarəti və identifikasiya kimi əlavə tədbirlərin görülməsi tövsiyə olunur.

Google-Extended, Google-un Gemini və AI Overviews kimi süni intellekt məhsullarını hazırlamaq üçün istifadə etdiyi xüsusi bir axtarış aparıcısı ID-sidir. Bu, adi Google axtarış botundan (Googlebot) ayrıdır; yalnız bu bot bloklanarsa, veb səhifəniz Google axtarış nəticələrində görünməyə davam edəcək.

Common Crawl açıq mənbəli veb arxiv layihəsidir və bir çox əsas dil modelləri (GPT-3/4 daxil olmaqla) təlim üçün CCBot məlumatlarından istifadə edib. CCBot-u bloklamaq gələcək açıq mənbəli süni intellekt modellərinə daxil olacaq məzmununuzun miqdarını azalda bilər.
Bütün pulsuz alətlərə qayıdın