ਆਪਣੀ ਸਾਈਟ ਦੀ robots.txt ਫਾਈਲ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰੋ; ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ GPTBot, ClaudeBot, Perplexity, ਅਤੇ 17 ਹੋਰ AI ਕ੍ਰੌਲਰਾਂ ਦੀ ਪਹੁੰਚ ਸਥਿਤੀ ਵੇਖੋ।
ਏਆਈ ਕੰਪਨੀਆਂ (ਓਪਨਏਆਈ, ਐਂਥ੍ਰੋਪਿਕ, ਗੂਗਲ, ਮੈਟਾ, ਐਮਾਜ਼ਾਨ, ਅਤੇ ਹੋਰ) ਵੈੱਬ ਨੂੰ ਕ੍ਰੌਲ ਕਰਨ ਅਤੇ ਏਆਈ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਜਾਂ ਅਸਲ-ਸਮੇਂ ਦੀਆਂ ਖੋਜਾਂ ਕਰਨ ਲਈ ਵਿਸ਼ੇਸ਼ ਬੋਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੀਆਂ ਹਨ। ਇਹ ਬੋਟ ਤੁਹਾਡੀ ਸਾਈਟ ਤੱਕ ਪਹੁੰਚ ਕਰਦੇ ਹਨ, ਰੋਬੋਟਸ.txt ਇਹ ਤੁਹਾਡੀ ਫਾਈਲ ਵਿੱਚ ਨਿਯਮਾਂ ਦੁਆਰਾ ਨਿਰਧਾਰਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਹਾਲਾਂਕਿ, ਇਹ ਦੇਖਣਾ ਕਿ ਕਿਹੜੇ ਬੋਟ ਦੀ ਇਜਾਜ਼ਤ ਹੈ ਅਤੇ ਕਿਹੜੇ ਇੱਕ ਥਾਂ 'ਤੇ ਬਲੌਕ ਕੀਤੇ ਗਏ ਹਨ, ਕਾਫ਼ੀ ਮੁਸ਼ਕਲ ਹੈ।
AI ਬੋਟ ਐਕਸੈਸ ਕੰਟਰੋਲ ਟੂਲ ਤੁਹਾਡੇ ਦੁਆਰਾ ਵਿਜ਼ਿਟ ਕੀਤੀ ਜਾ ਰਹੀ ਵੈੱਬਸਾਈਟ ਦੀ ਪੁਸ਼ਟੀ ਕਰਦਾ ਹੈ। ਰੋਬੋਟਸ.txt ਇਹ ਸਰਵਰ ਤੋਂ ਫਾਈਲ ਨੂੰ ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ ਅਤੇ ਆਪਣੇ ਆਪ 17 ਵੱਖ-ਵੱਖ AI ਕ੍ਰੌਲਰਾਂ ਦੀ ਸਥਿਤੀ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਦਾ ਹੈ: GPTBot, ChatGPT-User, OAI-SearchBot (OpenAI); ClaudeBot, anthropic-ai, Claude-Web (Anthropic); PerplexityBot ਅਤੇ Perplexity-User (Perplexity); Google-Extended (Gemini/AI Overview); Applebot-Extended; CCBot (ਆਮ ਕ੍ਰੌਲ); Bytespider (TikTok); Amazonbot; meta-externalagent ਅਤੇ FacebookBot (Meta); DuckAssistBot ਅਤੇ cohere-ai। ਹਰੇਕ ਬੋਟ ਲਈ... ਅਧਿਕਾਰਤ, ਅਯੋਗ ਜਾਂ ਨਿਰਧਾਰਤ ਨਹੀਂ (ਡਿਫੌਲਟ ਇਜਾਜ਼ਤ) ਤੁਸੀਂ ਰੰਗੀਨ ਬੈਜਾਂ ਨਾਲ ਉਨ੍ਹਾਂ ਦੀ ਸਥਿਤੀ ਦੇਖ ਸਕਦੇ ਹੋ।
ਨਤੀਜਿਆਂ ਦੀ ਸਕ੍ਰੀਨ ਵਿੱਚ AI ਬੋਟਾਂ ਲਈ ਇੱਕ ਤਿਆਰ-ਬੰਦ ਵਿਕਲਪ ਵੀ ਸ਼ਾਮਲ ਹੈ। ਰੋਬੋਟਸ.txt ਉਦਾਹਰਣ ਨਿਯਮ ਵੀ ਦਿੱਤੇ ਗਏ ਹਨ। ਜੇਕਰ ਤੁਸੀਂ ਸਾਈਟ ਦੇ ਮਾਲਕ ਨਹੀਂ ਹੋ ਤਾਂ ਤੁਸੀਂ ਇਸਦੀ ਵਰਤੋਂ ਕਿਸੇ ਵੀ ਸਾਈਟ ਦੀ ਨੀਤੀ ਦੀ ਖੋਜ ਕਰਨ ਲਈ ਵੀ ਕਰ ਸਕਦੇ ਹੋ। ਸਾਰੀਆਂ ਪੁੱਛਗਿੱਛਾਂ ਸਰਵਰ-ਸਾਈਡ ਹਨ; ਬੇਨਤੀਆਂ ਸਿਰਫ਼ ਜਨਤਕ IP ਪਤਿਆਂ 'ਤੇ ਭੇਜੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਸੁਰੱਖਿਆ ਕਾਰਨਾਂ ਕਰਕੇ ਸਥਾਨਕ ਅਤੇ ਨਿੱਜੀ ਨੈੱਟਵਰਕ ਬਲਾਕ ਬਲੌਕ ਕੀਤੇ ਜਾਂਦੇ ਹਨ।
ਉਦਾਹਰਣ.ਕਾੱਮ ਜਾਂ https://example.com).ਰੋਬੋਟਸ.txt ਇਹ ਫਾਈਲ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ।ਰੋਬੋਟਸ.txt ਇਸਨੂੰ ਫਾਈਲ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰੋ।