SEO & İçerik

AI Bot Erişim Kontrolü

Sitenizin robots.txt dosyasını analiz edin; GPTBot, ClaudeBot, Perplexity ve diğer 17 AI tarayıcısının erişim durumunu anlık olarak görün.

AI Bot Erişim Kontrolü
Bilgi

AI Bot Erişim Kontrolü hakkında

Yapay zeka şirketleri (OpenAI, Anthropic, Google, Meta, Amazon ve daha fazlası) web'i taramak ve içerikleri AI modellerini eğitmek ya da anlık arama yapmak için özel botlar kullanır. Bu botların sitenize erişimi, robots.txt dosyanızdaki kurallarla belirlenir. Ancak hangi botun izinli, hangisinin engellendiğini tek bir yerde görmek oldukça zahmetlidir.

AI Bot Erişim Kontrolü aracı, girdiğiniz sitenin robots.txt dosyasını sunucu tarafından gerçek zamanlı olarak çeker ve 17 farklı AI tarayıcısının durumunu otomatik olarak analiz eder: GPTBot, ChatGPT-User, OAI-SearchBot (OpenAI); ClaudeBot, anthropic-ai, Claude-Web (Anthropic); PerplexityBot ve Perplexity-User (Perplexity); Google-Extended (Gemini/AI Overview); Applebot-Extended; CCBot (Common Crawl); Bytespider (TikTok); Amazonbot; meta-externalagent ve FacebookBot (Meta); DuckAssistBot ve cohere-ai. Her bot için İzinli, Engelli veya Belirtilmemiş (varsayılan izin) durumunu renkli rozetlerle görürsünüz.

Sonuç ekranında ayrıca AI botlarını tamamen kapatmak için hazır robots.txt örnek kuralları da sunulur. Site sahibi değilseniz herhangi bir sitenin politikasını araştırmak için de kullanabilirsiniz. Tüm sorgu sunucu taraflıdır; yalnızca genel IP adreslerine istek gönderilir, yerel ve özel ağ blokları güvenlik nedeniyle engellenir.

Nasıl kullanılır?

Adım adım

  1. Alan adını veya tam URL'yi girin (örneğin example.com veya https://example.com).
  2. Kontrol Et düğmesine tıklayın; araç sitenin robots.txt dosyasını çeker.
  3. Her AI botu için İzinli, Engelli veya Belirtilmemiş durumunu renkli rozetlerle görün.
  4. Gerekirse sayfanın alt kısmındaki hazır kuralları kopyalayarak sitenizin robots.txt dosyasına ekleyin.
SSS

Sıkça sorulan sorular

robots.txt, web tarayıcılarına hangi sayfalara erişebileceğini söyleyen standart bir protokoldür. AI şirketleri, veri toplayan botlarının bu dosyaya uymasını sağlamayı taahhüt eder. Dosyayı doğru yapılandırmak içeriğinizin AI eğitim veri kümelerine girmesini veya anlık AI aramalarında kullanılmasını engellemenin en hızlı yoludur.

robots.txt dosyanızda o bot için özel bir kural yoksa ve User-agent: * (tüm botlar) bloğu da bir kısıtlama içermiyorsa, bot varsayılan olarak erişime izinli sayılır. Bu, botu engellemek istiyorsanız özel bir kural eklemeniz gerektiği anlamına gelir.

Hayır, robots.txt teknik bir nezaket protokolüdür; yasal bir zorunluluk değildir. Ciddi AI şirketlerinin botları bu kurallara uymayı taahhüt etse de kötü niyetli tarayıcılar görmezden gelebilir. Hassas içerik için erişim kontrolü ve kimlik doğrulama gibi ek önlemler almanız önerilir.

Google-Extended, Google'ın Gemini ve AI Overviews gibi yapay zeka ürünlerini geliştirmek için kullandığı özel tarayıcı kimliğidir. Normal Google arama botundan (Googlebot) ayrıdır; sadece bu bot engellenirse web sayfanız Google'da arama sonuçlarında görünmeye devam eder.

Common Crawl, açık kaynaklı bir web arşivi projesidir ve pek çok büyük dil modeli (GPT-3/4 dahil) eğitim için CCBot verisini kullanmıştır. CCBot'u engellemek, içeriğinizin gelecekteki açık kaynaklı AI modellerine girmesini azaltabilir.
Tüm ücretsiz araçlara dön