మీ సైట్ యొక్క robots.txt ఫైల్ను విశ్లేషించండి; GPTBot, ClaudeBot, Perplexity మరియు మరో 17 AI క్రాలర్ల యాక్సెస్ స్థితిని నిజ సమయంలో చూడండి.
AI కంపెనీలు (OpenAI, Anthropic, Google, Meta, Amazon, మరియు మరిన్ని) వెబ్ను క్రాల్ చేయడానికి మరియు AI మోడళ్లకు శిక్షణ ఇవ్వడానికి లేదా నిజ-సమయ శోధనలను నిర్వహించడానికి ప్రత్యేకమైన బాట్లను ఉపయోగిస్తాయి. ఈ బాట్లు మీ సైట్ను యాక్సెస్ చేస్తాయి, రోబోట్స్.txt ఇది మీ ఫైల్లోని నియమాల ద్వారా నిర్ణయించబడుతుంది. అయితే, ఏ బాట్లు అనుమతించబడ్డాయో, ఏవి నిరోధించబడ్డాయో ఒకే చోట చూడటం చాలా శ్రమతో కూడుకున్నది.
ఏఐ బాట్ యాక్సెస్ కంట్రోల్ సాధనం మీరు సందర్శిస్తున్న వెబ్సైట్ను ధృవీకరిస్తుంది. రోబోట్స్.txt ఇది సర్వర్ నుండి ఫైల్ను నిజ సమయంలో తిరిగి పొందుతుంది మరియు 17 విభిన్న AI క్రాలర్ల స్థితిని స్వయంచాలకంగా విశ్లేషిస్తుంది: GPTBot, ChatGPT-User, OAI-SearchBot (OpenAI); ClaudeBot, anthropic-ai, Claude-Web (Anthropic); PerplexityBot మరియు Perplexity-User (Perplexity); Google-Extended (Gemini/AI Overview); Applebot-Extended; CCBot (Common Crawl); Bytespider (TikTok); Amazonbot; meta-externalagent మరియు FacebookBot (Meta); DuckAssistBot మరియు cohere-ai. ప్రతి బాట్ కోసం... అధికారం పొందిన, వికలాంగులు లేదా పేర్కొనబడలేదు (డిఫాల్ట్ అనుమతి) మీరు రంగుల బ్యాడ్జ్లతో వారి స్థితిని చూడవచ్చు.
ఫలితాల స్క్రీన్లో AI బాట్లను ఆఫ్ చేయడానికి వీలుగా ఒక ఆప్షన్ కూడా ఉంటుంది. రోబోట్స్.txt ఉదాహరణ నియమాలు కూడా అందించబడ్డాయి. మీరు సైట్ యజమాని కానట్లయితే, ఏదైనా సైట్ యొక్క విధానాన్ని పరిశోధించడానికి కూడా దీనిని ఉపయోగించవచ్చు. అన్ని క్వెరీలు సర్వర్-సైడ్; అభ్యర్థనలు పబ్లిక్ IP చిరునామాలకు మాత్రమే పంపబడతాయి, భద్రతా కారణాల దృష్ట్యా లోకల్ మరియు ప్రైవేట్ నెట్వర్క్ బ్లాక్లు నిరోధించబడతాయి.
example.com లేదా https://example.com).రోబోట్స్.txt ఇది ఫైల్ను తిరిగి పొందుతుంది.రోబోట్స్.txt ఫైల్కు జోడించండి.