SEO og innhold

AI-bot tilgangskontroll

Analyser nettstedets robots.txt fil; Få sanntidsoversikt over tilgangsstatusen til GPTBot, ClaudeBot, Perplexity og 17 andre AI-nettlesere.

AI-bot tilgangskontroll
Informasjon

Om AI Bot Access Control

AI-selskaper (OpenAI, Anthropic, Google, Meta, Amazon og flere) bruker spesialiserte roboter for å gjennomsøke nettet og trene AI-modeller eller utføre umiddelbare søk i innhold. Disse botenes tilgang til nettstedet ditt, robots.txt bestemt av reglene i filen din. Det er imidlertid ganske vanskelig å se hvilken bot som er tillatt og hvilken som er blokkert på ett sted.

AI Bot Access Control-verktøyet lar deg få tilgang til nettstedet du går inn på robots.txt Den henter filen sin i sanntid via serveren og analyserer automatisk statusen til 17 forskjellige AI-crawlere: GPTBot, ChatGPT-User, OAI-SearchBot (OpenAI); ClaudeBot, antropisk-ai, Claude-Web (anthropisk); PerplexityBot og Perplexity-User (Perplexity); Google-Extended (Gemini/AI-oversikt); Applebot-Utvidet; CCBot (Common Crawl); Bytespider (TikTok); Amazonbot; meta-externalagent og FacebookBot (Meta); DuckAssistBot og cohere-ai. For hver bot På permisjon, Funksjonshemmet eller Uspesifisert (standardtillatelse) Du kan se statusen med fargede merker.

Resultatskjermen viser også at man skal slå av AI-roboter helt robots.txt eksempelregler presenteres også. Hvis du ikke er eier av nettstedet, kan du også bruke det til å undersøke retningslinjene til et hvilket som helst nettsted. Hele spørringen er serversidet; Kun forespørsler sendes til offentlige IP-adresser, lokale og private nettverksblokker blokkeres av sikkerhetsgrunner.

Hvordan bruke det?

Steg for steg

  1. Skriv inn domenenavnet eller hele URL-en (for eksempel, example.com eller https://example.com).
  2. Sjekk knapp; Kjøretøyområde robots.txt Fil.
  3. For hver AI-bot På permisjon, Funksjonshemmet eller Ikke spesifisert Se statusen dens med fargerike merker.
  4. Om nødvendig, kopier de ferdiglagde reglene nederst på siden for å lage nettsidens robots.txt Fil.
FAQ

Ofte stilte spørsmål

robots.txt er en standardprotokoll som forteller nettlesere hvilke sider de kan få tilgang til. AI-selskaper forplikter seg til å sikre at deres datainnsamlingsroboter følger denne filen. Å strukturere filen riktig er den raskeste måten å forhindre at innholdet ditt havner i AI-treningsdatasett eller brukes i umiddelbare AI-søk.

Hvis filen din robots.txt ikke har en spesifikk regel for den boten, og blokkeringen User-agent: * (alle bots) ikke inneholder en begrensning, regnes boten som autorisert tilgang som standard. Dette betyr at hvis du vil blokkere boten, må du legge til en egendefinert regel.

Nei, robots.txt er en teknisk høflighetsprotokoll; Det er ikke en juridisk forpliktelse. Mens roboter fra seriøse AI-selskaper forplikter seg til å følge disse reglene, kan ondsinnede crawlere vende det blinde øyet til. Det anbefales å iverksette tilleggstiltak som tilgangskontroll og autentisering for sensitivt innhold.

Google-Extended er den eksklusive nettleser-ID-en som Google bruker for å utvikle sine AI-produkter, som Gemini og AI Overviews. Den er adskilt fra den vanlige Google-søkeboten (Googlebot); bare hvis denne boten blokkeres, vil nettsiden din fortsette å vises i søkeresultatene på Google.

Common Crawl er et åpen kildekode-webarkivprosjekt, og mange store språkmodeller (inkludert GPT-3/4) har brukt CCBot-data til trening. Blokkering av CCBot kan redusere at innholdet ditt havner i fremtidige åpne AI-modeller.
Tilbake til alle gratis verktøy