SEO és tartalom

AI Bot hozzáférés-vezérlés

Elemezd webhelyed robots.txt fájlját; valós időben nézd meg a GPTBot, a ClaudeBot, a Perplexity és 17 másik mesterséges intelligencia alapú robot hozzáférési állapotát.

AI Bot hozzáférés-vezérlés
Információ

A mesterséges intelligencia által vezérelt botok hozzáférés-vezérléséről

A mesterséges intelligenciával foglalkozó cégek (OpenAI, Anthropic, Google, Meta, Amazon és mások) speciális botokat használnak a web feltérképezésére és a mesterséges intelligencia modelljeinek betanítására, illetve valós idejű keresések végrehajtására. Ezek a botok hozzáférnek az Ön webhelyéhez, robots.txt Ezt a fájlodban található szabályok határozzák meg. Azonban elég nehézkes egy helyen látni, hogy mely botok engedélyezettek és melyek blokkoltak.

Az AI Bot Access Control eszköz ellenőrzi a meglátogatott webhelyet. robots.txt Valós időben kéri le a fájlt a szerverről, és automatikusan elemzi 17 különböző MI-alapú keresőrobot állapotát: GPTBot, ChatGPT-User, OAI-SearchBot (OpenAI); ClaudeBot, anthropic-ai, Claude-Web (Anthropic); PerplexityBot és Perplexity-User (Perplexity); Google-Extended (Gemini/AI áttekintés); Applebot-Extended; CCBot (Common Crawl); Bytespider (TikTok); Amazonbot; meta-externalagents és FacebookBot (Meta); DuckAssistBot és cohere-ai. Minden bothoz... Felhatalmazott, Mozgáskorlátozott vagy Nincs megadva (alapértelmezett engedély) Színes jelvényekkel láthatod az állapotukat.

Az eredményképernyőn egy kikapcsolásra kész opció is található a mesterséges intelligencia által vezérelt botok számára. robots.txt Példa szabályokat is tartalmaz. Használhatod bármelyik webhely szabályzatának kutatására is, ha nem te vagy a webhely tulajdonosa. Minden lekérdezés szerveroldali; a kérések csak nyilvános IP-címekre kerülnek küldésre, a helyi és privát hálózati blokkok biztonsági okokból blokkolva vannak.

Hogyan kell használni?

Lépésről lépésre

  1. Írja be a domain nevet vagy a teljes URL-címet (például) példa.com vagy https://example.com).
  2. Ellenőrzés Kattintson a gombra; az eszköz megjelenik az oldalon. robots.txt Lekéri a fájlt.
  3. Minden egyes mesterséges intelligencia bothoz Felhatalmazott, Mozgáskorlátozott vagy Meghatározatlan Színes jelvényekkel láthatod el az állapotodat.
  4. Szükség esetén a lap alján található kész szabályokat átmásolhatja a webhelyére. robots.txt Add hozzá a fájlhoz.
GYIK

Gyakran Ismételt Kérdések

A robots.txt egy szabványos protokoll, amely megmondja a webes robotoknak, hogy mely oldalakhoz férhetnek hozzá. A mesterséges intelligenciával foglalkozó vállalatok elkötelezettek amellett, hogy adatgyűjtő robotjaik betartsák ezt a fájlt. A fájl megfelelő konfigurálása a leggyorsabb módja annak, hogy megakadályozzuk, hogy a tartalmad bekerüljön a mesterséges intelligencia által létrehozott betanító adatkészletekbe, vagy valós idejű mesterséges intelligencia általi keresésekben felhasználásra kerüljön.

Ha a robots.txt fájlodban nincs külön szabály az adott bothoz, és a `User-agent: * (all bots)` blokk nem tartalmaz semmilyen korlátozást, akkor a bot alapértelmezés szerint jogosultnak tekintendő. Ez azt jelenti, hogy egyéni szabályt kell hozzáadnod, ha blokkolni szeretnéd a botot.

Nem, a robots.txt egy technikai udvariassági protokoll; nem jogi előírás. Míg a komoly mesterséges intelligenciával foglalkozó cégek botjai elkötelezik magukat ezen szabályok betartása mellett, a rosszindulatú robotok figyelmen kívül hagyhatják azokat. Érzékeny tartalmak esetén további intézkedések, például hozzáférés-vezérlés és hitelesítés ajánlott.

A Google-Extended egy speciális robotazonosító, amelyet a Google olyan mesterséges intelligencia alapú termékek fejlesztéséhez használ, mint a Gemini és az AI Overviews. Ez elkülönül a szokásos Google keresőrobottól (Googlebot); a weboldalad csak akkor jelenik meg a Google keresési eredményei között, ha ez a robot blokkolva van.

A Common Crawl egy nyílt forráskódú webarchívum projekt, és számos jelentős nyelvi modell (beleértve a GPT-3/4-et is) használt CCBot adatokat a betanításhoz. A CCBot blokkolása csökkentheti a jövőbeli nyílt forráskódú MI-modellekbe kerülő tartalom mennyiségét.
Vissza az összes ingyenes eszközhöz