ਝੂਠੇ ਗੂਗਲਬੋਟਾਂ ਨੂੰ .htaccess ਨਾਲ ਪਛਾਣਨਾ ਅਤੇ ਰੋਕਣਾ

ਝੂਠੇ ਗੂਗਲਬੋਟਾਂ ਨੂੰ .htaccess ਨਾਲ ਪਛਾਣਣਾ ਅਤੇ ਰੋਕਣਾ, ਤੁਹਾਡੇ ਵੈਬਸਾਈਟ ਉੱਤੇ ਗੂਗਲਬੋਟ ਵਾਂਗ ਦਿਖਾਈ ਦੇਣ ਵਾਲੇ ਨੁਕਸਾਨਦਾਇਕ ਬੋਟਾਂ ਨੂੰ ਉਪਭੋਗਤਾ ਏਜੰਟ, IP ਪੁਸ਼ਟੀਕਰਨ ਅਤੇ ਪਹੁੰਚ ਲਾਗਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਵੱਖਰਾ ਕਰਨਾ ਹੈ ਅਤੇ ਅਸਲੀ ਗੂਗਲ ਬ੍ਰਾਊਜ਼ਰਾਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕੀਤੇ ਬਿਨਾਂ 403 ਨਾਲ ਰੋਕਣਾ ਹੈ। ਸਭ ਤੋਂ ਸੁਰੱਖਿਅਤ ਤਰੀਕਾ; ਸਿਰਫ਼ ਉਪਭੋਗਤਾ ਏਜੰਟ ਦੇ ਮੁੱਲ 'ਤੇ ਭਰੋਸਾ ਨਾ ਕਰਨਾ, ਗੂਗਲ ਦੇ ਅਧਿਕਾਰਕ IP ਸਿਰੇ ਜਾਂ ਉਲਟ DNS ਪੁਸ਼ਟੀਕਰਨ ਨੂੰ ਦਰਸਾਉਣਾ, ਪਹਿਲਾਂ ਲਾਗ ਕਰਨਾ ਅਤੇ ਫਿਰ ਨਿਯੰਤਰਿਤ .htaccess ਨਿਯਮਾਂ ਨਾਲ ਰੋਕਣਾ ਹੈ।

ਕਈ ਦਾਖਲ ਹੋਣ ਵਾਲੇ ਬੋਟ ਆਪਣੇ ਆਪ ਨੂੰ ਗੂਗਲਬੋਟ, ਗੂਗਲ-ਇੰਸਪੈਕਸ਼ਨ ਟੂਲ, ਐਡਸਬੋਟ-ਗੂਗਲ ਜਾਂ ਗੂਗਲਬੋਟ-ਇਮੇਜ ਵਜੋਂ ਪੇਸ਼ ਕਰਦੇ ਹਨ ਤਾਂ ਜੋ ਉਹ ਸੁਰੱਖਿਆ ਦੀਵਾਰਾਂ ਅਤੇ ਸਧਾਰਨ ਬੋਟ ਫਿਲਟਰਾਂ ਨੂੰ ਪਾਰ ਕਰ ਸਕਣ। ਕਿਉਂਕਿ ਸਾਈਟ ਦੇ ਮਾਲਕ ਆਮ ਤੌਰ 'ਤੇ ਗੂਗਲ ਦੇ ਸਕੈਨ ਨੂੰ ਰੋਕਣ ਤੋਂ ਡਰਦੇ ਹਨ। ਇਹ ਖਾਲੀ ਥਾਂ; ਸਮੱਗਰੀ ਖੁਰਚਣ, ਭਾਰੀ ਸਰੋਤ ਉਪਭੋਗਤਾ, ਝੂਠਾ ਟ੍ਰੈਫਿਕ, ਫਾਰਮ ਸਪਾਮ, ਲਾਗਿਨ ਦੇ ਯਤਨ ਅਤੇ SEO ਡਾਟਾ ਦੇ ਮਲਿਨ ਹੋਣ ਜਿਹੇ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਜਨਮ ਦਿੰਦੀ ਹੈ। ਖਾਸ ਕਰਕੇ ਸਾਂਝੇ ਹੋਸਟਿੰਗ, ਵਰਡਪ੍ਰੈਸ, ਵੂਕਾਮਰਸ, ਖਬਰਾਂ ਦੀਆਂ ਵੈਬਸਾਈਟਾਂ ਅਤੇ ਅਕਸਰ ਅੱਪਡੇਟ ਹੋ ਰਹੀਆਂ ਬਲੌਗਾਂ ਵਿੱਚ ਇਹ ਟ੍ਰੈਫਿਕ ਛੋਟੀ ਸਮੇਂ ਵਿੱਚ CPU, RAM ਅਤੇ I/O ਸੀਮਾਵਾਂ ਨੂੰ ਝਟਕਾ ਦੇ ਸਕਦੀ ਹੈ। ਇਸ ਮਾਰਗਦਰਸ਼ਕ ਵਿੱਚ ਅਸੀਂ ਝੂਠੇ ਗੂਗਲਬੋਟਾਂ ਦੇ ਵਰਤਾਉਂ ਨੂੰ ਕਿਵੇਂ ਪੜ੍ਹਨਾ ਹੈ, ਅਪਾਚੀ .htaccess ਨਾਲ ਕਿਵੇਂ ਸੁਰੱਖਿਅਤ ਨਿਯਮ ਲਿਖਣਾ ਹੈ ਅਤੇ ਅਸਲੀ ਗੂਗਲਬੋਟ ਨੂੰ ਗਲਤੀ ਨਾਲ ਰੋਕਣ ਤੋਂ ਬਚਾਉਣ ਲਈ ਤੁਹਾਨੂੰ ਕਿਹੜੀਆਂ ਜਾਂਚਾਂ ਕਰਨੀ ਚਾਹੀਦੀਆਂ ਹਨ, ਇਹ ਕਦਮ ਦਰ ਕਦਮ ਸਮਝਾਵਾਂਗੇ। ਜੇ ਤੁਹਾਨੂੰ ਆਪਣੀ ਵੈਬਸਾਈਟ ਲਈ ਸੁਰੱਖਿਅਤ, ਤੇਜ਼ ਅਤੇ ਸਕੇਲਯੋਗ ਢਾਂਚੇ ਦੀ ਜਰੂਰਤ ਹੈ ਤਾਂ Hostragons ਵੈੱਬ ਹੋਸਟਿੰਗ ਹੱਲ ਅਤੇ SSL ਸਰਟੀਫਿਕੇਟ ਸਥਾਪਨਾ ਸਮੱਗਰੀ ਨੂੰ ਆਪਣੇ ਯੋਜਨਾ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰ ਸਕਦੇ ਹੋ।

ਝੂਠਾ ਗੂਗਲਬੋਟ ਕੀ ਹੈ ਅਤੇ ਇਹ ਕਿਉਂ ਖ਼ਤਰਨਾਕ ਹੈ?

ਝੂਠਾ ਗੂਗਲਬੋਟ, HTTP ਬੇਨਤੀ ਵਿੱਚ ਉਪਭੋਗਤਾ ਏਜੰਟ ਖੇਤਰ ਨੂੰ ਗੂਗਲਬੋਟ ਵਾਂਗ ਦਿਖਾਉਂਦਾ ਹੈ ਪਰ ਗੂਗਲ ਨਾਲ ਸੰਬੰਧਿਤ ਨਹੀਂ IP ਪਤੇ ਤੋਂ ਆਉਣ ਵਾਲਾ ਸਵੈ-ਚਾਲਿਤ ਬ੍ਰਾਊਜ਼ਰ ਹੈ। ਉਪਭੋਗਤਾ ਏਜੰਟ, ਕਲਾਇੰਟ ਦੁਆਰਾ ਖੁਦ ਨੂੰ ਪਛਾਣਨ ਲਈ ਇੱਕ ਸਧਾਰਨ ਪਾਠ ਹੈ; ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਤਕਨੀਕੀ ਤੌਰ 'ਤੇ ਹਰ ਕੋਈ ਆਪਣੀ ਬੇਨਤੀ 'ਚ ਗੂਗਲਬੋਟ ਲਿਖ ਸਕਦਾ ਹੈ। ਇਸ ਲਈ ਸਿਰਫ਼ ਉਪਭੋਗਤਾ ਏਜੰਟ ਦੀ ਜਾਂਚ ਸੁਰੱਖਿਆ ਦੇ ਨਜ਼ਰ ਤੋਂ ਯੋਗ ਨਹੀਂ ਹੈ।

ਅਸਲੀ ਗੂਗਲਬੋਟ ਦਾ ਮਕਸਦ ਤੁਹਾਡੀ ਵੈਬਸਾਈਟ ਨੂੰ ਸਕੈਨ ਕਰਨਾ, ਇੰਡੈਕਸ ਕਰਨਾ, ਪੰਨਾ ਅੱਪਡੇਟ ਕਰਨ ਦੀਆਂ ਜਾਣਕਾਰੀਆਂ ਲੱਭਣਾ ਅਤੇ ਖੋਜ ਨਤੀਜਿਆਂ ਲਈ ਗੁਣਵੱਤਾ ਦੇ ਸਿੰਕੇਲ ਇਕੱਠੇ ਕਰਨਾ ਹੈ। ਹਾਲਾਂਕਿ, ਝੂਠਾ ਗੂਗਲਬੋਟ ਅਕਸਰ ਵੱਖਰੇ ਲਕਸ਼ਾਂ ਨਾਲ ਆਉਂਦਾ ਹੈ। ਉਦਾਹਰਨ ਵਜੋਂ, ਇਹ ਉਤਪਾਦਾਂ ਦੀਆਂ ਕੀਮਤਾਂ ਚੁਰਾ ਸਕਦਾ ਹੈ, ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਦੀ ਨਕਲ ਕਰ ਸਕਦਾ ਹੈ, ਪ੍ਰਬੰਧਨ ਪੈਨਲ ਦੇ URL ਦਾ ਪਤਾ ਲਗਾ ਸਕਦਾ ਹੈ, ਤੁਹਾਡੇ ਖੋਜ ਪੰਨਿਆਂ 'ਤੇ ਬੋਝ ਪਾ ਸਕਦਾ ਹੈ ਜਾਂ ਕਮਜ਼ੋਰ ਪਲੱਗਇਨ ਖਾਮੀਆਂ ਦਾ ਪਤਾ ਲਗਾ ਸਕਦਾ ਹੈ। ਕੁਝ ਦਾਖਲ ਹੋਣ ਵਾਲੇ ਬੋਟ ਇਕ ਸੈਕੰਡ ਵਿੱਚ ਦਹਾਂ ਬੇਨਤੀਆਂ ਭੇਜ ਕੇ ਇੱਕ ਛੋਟੀ ਸਾਈਟ 'ਤੇ ਵੀ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਕਮੀ ਲਿਆ ਸਕਦੇ ਹਨ।

ਅਮਲ ਵਿੱਚ, ਅਸੀਂ ਝੂਠੇ ਬੋਟਾਂ ਨੂੰ ਸਭ ਤੋਂ ਅਕਸਰ ਇਹਨਾਂ ਲੱਛਣਾਂ ਨਾਲ ਦੇਖਦੇ ਹਾਂ:

• ਛੋਟੇ ਸਮੇਂ ਵਿੱਚ ਸੈਂਕੜੇ 404, 403 ਜਾਂ 500 ਜਵਾਬ ਬਣਾਉਣ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ।
• wp-login.php, xmlrpc.php, ਐਡਮਿਨ, phpmyadmin, backup.zip ਵਰਗੀਆਂ ਸੰਵੇਦਨਸ਼ੀਲ ਪੰਨਿਆਂ ਦਾ ਪਤਾ ਲਗਾਉਣਾ।
• ਉਪਭੋਗਤਾ ਏਜੰਟ ਗੂਗਲਬੋਟ ਵਾਂਗ ਦਿਖਾਈ ਦੇਣ ਦੇ ਬਾਵਜੂਦ, IP ਪਤਾ ਗੂਗਲ ASN ਜਾਂ ਅਧਿਕਾਰਕ IP ਸਿਰਿਆਂ ਵਿੱਚ ਨਹੀਂ ਹੋਣਾ।
• Robots.txt ਨਿਯਮਾਂ ਦੀ ਪਾਲਣਾ ਕੀਤੇ ਬਿਨਾਂ ਫਿਲਟਰ, ਖੋਜ, ਕਾਰਟ ਜਾਂ ਖਾਤਾ ਪੰਨਿਆਂ ਦੀ ਯਾਤਰਾ ਕਰਨਾ।
• ਸਧਾਰਨ ਗੂਗਲਬੋਟ ਨਾਲ ਵੱਖਰੇ ਵਜੋਂ ਬਹੁਤ ਉੱਚੀ ਤਰਤੀਬ ਨਾਲ ਇੱਕੋ URL ਦੀਆਂ ਬੇਨਤੀਆਂ।

ਸਿਰਫ਼ ਉਪਭੋਗਤਾ ਏਜੰਟ ਦੀ ਜਾਂਚ ਕਿਉਂ ਯੋਗ ਨਹੀਂ ਹੈ?

ਇੱਕ ਬੋਟ ਦੇ HTTP ਹੈਡਰ ਵਿੱਚ ਗੂਗਲਬੋਟ ਲਿਖਣਾ ਇਸਦੀ ਗੂਗਲ ਨਾਲ ਸੰਬੰਧਿਤ ਹੋਣ ਦੀ ਪੁਸ਼ਟੀ ਨਹੀਂ ਕਰਦਾ। ਉਦਾਹਰਨ ਵਜੋਂ, ਇੱਕ ਕਮਾਂਡ ਲਾਈਨ ਵਿੱਚ ਇੱਕ ਸਧਾਰਨ curl ਬੇਨਤੀ ਨਾਲ ਉਪਭੋਗਤਾ ਏਜੰਟ ਆਸਾਨੀ ਨਾਲ ਨਕਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਸ ਲਈ, .htaccess ਦੇ ਅੰਦਰ ਸਿਰਫ਼ ਗੂਗਲਬੋਟ ਸ਼ਬਦ ਨੂੰ ਪਕੜਨਾ ਅਤੇ ਸਾਰੇ ਨੂੰ ਰੋਕਣਾ ਨਾ ਸਿਰਫ਼ ਗਲਤ ਹੈ, ਸਗੋਂ ਸਾਰੇ ਨੂੰ ਆਜ਼ਾਦ ਛੱਡਣਾ ਵੀ ਗਲਤ ਹੈ। ਪਹਿਲਾ ਅਸਲੀ ਗੂਗਲ ਸਕੈਨਿੰਗ ਨੂੰ ਰੋਕ ਸਕਦਾ ਹੈ, ਦੂਜਾ ਦਾਖਲ ਹੋਣ ਵਾਲਿਆਂ ਲਈ ਖਿੜਕੀ ਛੱਡਦਾ ਹੈ।

2026 SEO ਅਤੇ ਸੁਰੱਖਿਆ ਦੇ ਨਜ਼ਰੀਏ ਵਿੱਚ ਸਹੀ ਰਣਨੀਤੀ ਤਿੰਨ ਪੱਧਰਾਂ ਵਾਲੀ ਹੈ: ਦਾਅਵਾ ਕੀਤੀ ਪਛਾਣ ਦੀ ਜਾਂਚ ਕਰਨਾ, IP ਜਾਂ DNS ਦੇ ਨਾਲ ਪੁਸ਼ਟੀ ਕਰਨਾ, ਅਸਧਾਰਨ ਵਰਤਾਉਂ ਨੂੰ ਲਾਗ ਦੇ ਜਰੀਏ ਨਿਗਰਾਨੀ ਕਰਨਾ। ਇਹ ਪন্থਾ ਤੁਹਾਡੀ ਗੂਗਲ ਦਿੱਖ ਨੂੰ ਬਚਾਉਂਦਾ ਹੈ ਅਤੇ ਤੁਹਾਡੇ ਸਰਵਰ ਦੇ ਸਰੋਤਾਂ ਨੂੰ ਬੇਵਜ੍ਹਾ ਬੋਟਾਂ ਤੋਂ ਸਾਫ਼ ਕਰਦਾ ਹੈ।

ਅਸਲੀ ਗੂਗਲਬੋਟ ਨੂੰ ਕਿਵੇਂ ਪੁਸ਼ਟੀ ਕੀਤਾ ਜਾਵੇ?

ਗੂਗਲ, ਅਸਲੀ ਬ੍ਰਾਊਜ਼ਰਾਂ ਦੀ ਪੁਸ਼ਟੀ ਕਰਨ ਲਈ ਦੋ ਮੁੱਖ ਤਰੀਕੇ ਸਿਫਾਰਸ਼ ਕਰਦਾ ਹੈ: ਉਲਟ DNS ਪੁਸ਼ਟੀ ਅਤੇ ਅਧਿਕਾਰਕ IP ਸਿਰੇ। ਉਲਟ DNS ਤਰੀਕੇ ਵਿੱਚ, ਬੇਨਤੀ ਕਰਨ ਵਾਲੇ IP ਪਤੇ ਦਾ ਡੋਮੇਨ ਨਾਮ googlebot.com ਜਾਂ google.com ਨਾਲ ਖਤਮ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ, ਫਿਰ ਇਸ ਡੋਮੇਨ ਨਾਮ ਨੂੰ ਦੁਬਾਰਾ ਇਸੇ IP ਪਤੇ 'ਤੇ ਹੱਲ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਇਹ ਦੋ-ਦਿਸ਼ਾ ਪੁਸ਼ਟੀ ਸਿਰਫ਼ ਝੂਠੇ PTR ਰਿਕਾਰਡ ਨਾਲ ਧੋਖਾ ਦੇਣ ਤੋਂ ਰੋਕਦੀ ਹੈ।

ਦੂਜਾ ਤਰੀਕਾ, ਗੂਗਲ ਦੁਆਰਾ ਜਾਰੀ ਕੀਤੇ ਅਧਿਕਾਰਕ IP ਸਿਰਿਆਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਹੈ। ਗੂਗਲਬੋਟ, ਵਿਸ਼ੇਸ਼ ਬ੍ਰਾਊਜ਼ਰਾਂ ਅਤੇ ਉਪਭੋਗਤਾ ਉਤਪਾਦਕਾਂ ਲਈ ਵੱਖਰੇ JSON ਸੂਚੀਆਂ ਜਾਰੀ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ। ਖਾਸ ਕਰਕੇ ਗਤੀਸ਼ੀਲ ਸੂਚੀਆਂ ਸਮੇਂ ਦੇ ਨਾਲ ਬਦਲ ਸਕਦੀਆਂ ਹਨ, ਇਸ ਲਈ ਉਤਪਾਦਨ ਵਾਤਾਵਰਣ ਵਿੱਚ ਹੱਥ ਲਿਖੀਆਂ ਪੁਰਾਣੀਆਂ IP ਸੂਚੀਆਂ 'ਤੇ ਲੰਬੇ ਸਮੇਂ ਤੱਕ ਭਰੋਸਾ ਕਰਨਾ ਸਹੀ ਨਹੀਂ ਹੈ। ਜੇ ਤੁਹਾਡੇ ਕੋਲ VPS ਜਾਂ ਸਰਵਰ ਮੈਨੇਜਮੈਂਟ ਹੈ ਤਾਂ ਇਹ ਸੂਚੀਆਂ ਨਿਯਮਿਤ ਅੰਤਰਾਲਾਂ 'ਤੇ ਲਿਆ ਕੇ ਸੁਰੱਖਿਆ ਦੀਵਾਰ ਜਾਂ ਅਪਾਚੀ ਸ਼ਾਮਿਲ ਕਰਨ ਵਾਲੀ ਫਾਈਲ ਦੇ ਤੌਰ 'ਤੇ ਅੱਪਡੇਟ ਕਰਨਾ ਸਭ ਤੋਂ ਸਹੀ ਤਰੀਕਾ ਹੈ। ਜੇ ਤੁਸੀਂ ਸਾਂਝੀ ਹੋਸਟਿੰਗ ਦਾ ਇਸਤੇਮਾਲ ਕਰ ਰਹੇ ਹੋ ਤਾਂ ਤੁਹਾਡੇ ਪ੍ਰਬੰਧਨ ਪੈਨਲ ਵਿੱਚ ਪਹੁੰਚ ਲਾਗਾਂ, .htaccess ਅਤੇ ਜੇ ਕੋਈ ਹੋਰ ਸੁਰੱਖਿਆ ਮੌਡਿਊਲ ਹਨ, ਨਾਲ ਨਿਯੰਤਰਿਤ ਅੱਗੇ ਵਧ ਸਕਦੇ ਹੋ।

.htaccess ਨਾਲ ਝੂਠੇ ਗੂਗਲਬੋਟਾਂ ਨੂੰ ਰੋਕਣ ਦੀ ਲੋਜਿਕ

.htaccess, ਅਪਾਚੀ ਵੈਬ ਸਰਵਰ ਵਿੱਚ ਡਾਇਰੈਕਟਰੀ ਅਧਾਰਿਤ ਨਿਯਮ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। URL ਦਿਸ਼ਾ-ਸੂਚੀ, ਪਹੁੰਚ ਨਿਯੰਤਰਣ, ਸੰਕੁਚਨ, ਕੈਸ਼ਿੰਗ ਅਤੇ ਬੁਨਿਆਦੀ ਸੁਰੱਖਿਆ ਸੀਮਾਵਾਂ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਝੂਠੇ ਗੂਗਲਬੋਟਾਂ ਨੂੰ ਰੋਕਣ ਵਿੱਚ .htaccess ਦਾ ਕੰਮ, ਆਉਣ ਵਾਲੀ ਬੇਨਤੀ ਨੂੰ ਨਿਯਤ ਸ਼ਰਤਾਂ ਨਾਲ ਮੁਲਾਂਕਣ ਕਰਨਾ ਅਤੇ ਸ਼ੱਕੀ ਪਛਾਣ ਨੂੰ 403 ਫੋਰਬਿਡਨ ਜਵਾਬ ਨਾਲ ਰੋਕਣਾ ਹੈ।

ਪਰ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਸੀਮਾ ਹੈ: ਸਧਾਰਨ .htaccess ਅਕੇਲਾ ਅਸਲੀ ਸਮੇਂ ਦੇ ਉਲਟ DNS ਪੁਸ਼ਟੀ ਕਰਨ ਲਈ ਆਦਰਸ਼ ਸਥਾਨ ਨਹੀਂ ਹੈ। ਅਪਾਚੀ ਵਿੱਚ HostnameLookups ਆਮ ਤੌਰ 'ਤੇ ਕਾਰਗੁਜ਼ਾਰੀ ਕਾਰਨ ਬੰਦ ਹੁੰਦੇ ਹਨ। ਇਸ ਲਈ .htaccess ਦੇ ਅੰਦਰ ਸਭ ਤੋਂ ਪ੍ਰਾਇਕਤ ਤਰੀਕਾ, ਉਪਭੋਗਤਾ ਏਜੰਟ ਗੂਗਲਬੋਟ ਹੋਣ ਦਾ ਦਾਅਵਾ ਕਰਨ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ IP ਸਵੀਕਾਰ ਸੂਚੀ ਨਾਲ ਤੁਲਨਾ ਕਰਨਾ ਜਾਂ ਸ਼ੱਕੀ ਪੰਨਿਆਂ ਨੂੰ ਹੋਰ ਕਠੋਰ ਫਿਲਟਰ ਕਰਨਾ ਹੈ। ਹੋਰ ਵਿਕਸਿਤ ਪੁਸ਼ਟੀ ਲਈ WAF, ਸਰਵਰ ਸੁਰੱਖਿਆ ਦੀਵਾਰ, CDN ਜਾਂ ਲਾਗਾਂ ਤੋਂ ਖੁਰਾਕ ਲੈਣ ਵਾਲੇ ਆਟੋਮੇਸ਼ਨ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। CDN ਕੀ ਹੈ ਅਤੇ ਵੈਬ ਸਾਈਟ ਪ੍ਰਦਰਸ਼ਨ 'ਤੇ ਪ੍ਰਭਾਵ ਸਮੱਗਰੀ ਤੁਹਾਨੂੰ ਇਸ ਪੱਧਰ ਦੀ ਯੋਜਨਾ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦੀ ਹੈ।

ਕਦਮ ਦਰ ਕਦਮ ਲਾਗੂ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ: ਝੂਠੇ ਗੂਗਲਬੋਟਾਂ ਨੂੰ ਪਛਾਣਨਾ ਅਤੇ ਰੋਕਣਾ

1. ਪਹੁੰਚ ਲਾਗਾਂ ਦੀ ਜਾਂਚ ਕਰੋ

ਰੋਕਣ ਵਾਲਾ ਨਿਯਮ ਲਿਖਣ ਤੋਂ ਪਹਿਲਾਂ ਘੱਟੋ-ਘੱਟ 24-72 ਘੰਟੇ ਦੀ ਪਹੁੰਚ ਲਾਗਾਂ ਦੀ ਜਾਂਚ ਕਰੋ। ਜੇ ਤੁਹਾਡਾ ਟ੍ਰੈਫਿਕ ਵੱਡਾ ਹੈ ਤਾਂ ਇੱਕ ਘੰਟੇ ਦੀ ਲਾਗ ਵੀ ਯੋਗ ਸੰਕੇਤ ਦੇ ਸਕਦੀ ਹੈ। ਤੁਸੀਂ ਦੇਖਣ ਵਾਲੇ ਖੇਤਰ IP ਪਤਾ, ਤਾਰੀਖ, ਮੰਗੀ ਗਈ URL, HTTP ਸਥਿਤੀ ਕੋਡ, ਬਾਈਟ ਆਕਾਰ, ਰੈਫਰਰ ਅਤੇ ਉਪਭੋਗਤਾ ਏਜੰਟ ਜਾਣਕਾਰੀ ਹਨ। ਉਦਾਹਰਨ ਵਜੋਂ, ਜੇ ਇੱਕੋ IP ਪਤਾ 10 ਮਿੰਟਾਂ ਵਿੱਚ 800 ਬੇਨਤੀਆਂ ਕਰ ਰਿਹਾ ਹੈ, ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਜ਼ਿਆਦਾਤਰ 404 ਆ ਰਹੇ ਹਨ ਅਤੇ ਉਹ ਆਪਣੇ ਆਪ ਨੂੰ ਗੂਗਲਬੋਟ ਵਜੋਂ ਪਛਾਣ ਰਿਹਾ ਹੈ, ਤਾਂ ਇਹ ਇੱਕ ਮਜ਼ਬੂਤ ਸ਼ੱਕੀ ਸੰਕੇਤ ਹੈ।

cPanel ਜਾਂ ਸਮਾਨ ਪੈਨਲਾਂ ਵਿੱਚ ਰਾਅ ਕ੍ਰਿਆਸ਼ੀਲ ਲਾਗਾਂ ਖੇਤਰ ਤੋਂ ਲਾਗਾਂ ਡਾਊਨਲੋਡ ਕੀਤੀਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ। ਜੇ ਤੁਹਾਡੇ ਕੋਲ SSH ਪਹੁੰਚ ਹੈ ਤਾਂ ਗੂਗਲਬੋਟ ਦੇ ਦਾਅਵੇ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ ਫਿਲਟਰ ਕਰਨ ਲਈ grep, awk ਅਤੇ sort ਵਰਗੇ ਟੂਲਾਂ ਨਾਲ IP ਅਧਾਰਿਤ ਘਣਤਾ ਨੂੰ ਨਿਕਾਲ ਸਕਦੇ ਹੋ। ਉਦਾਹਰਨ ਵਜੋਂ, ਮਕਸਦ ਹਰ ਬੇਨਤੀ ਨੂੰ ਨਹੀਂ ਦੇਖਣਾ ਹੈ ਜੋ ਗੂਗਲਬੋਟ ਲਿਖਦੀ ਹੈ, ਬਲਕਿ ਇਸ ਦਾਅਵੇ ਨੂੰ ਲੈ ਕੇ ਚੱਲ ਰਹੇ IP ਦੀਆਂ ਵਰਤੋਂ ਨੂੰ ਦੇਖਣਾ ਹੈ।

2. ਗੂਗਲਬੋਟ ਦੇ ਦਾਅਵੇ ਵਾਲੇ IP ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ

ਸ਼ੱਕੀ IP ਦੀਆਂ ਪਛਾਣ ਕਰਨ ਤੋਂ ਬਾਅਦ ਉਲਟ DNS ਅਤੇ ਅਗੇ DNS ਦੀ ਜਾਂਚ ਕਰੋ। ਜੇ ਇੱਕ IP ਲਈ PTR ਰਿਕਾਰਡ crawl-66-249-66-1.googlebot.com ਵਾਂਗ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ ਤਾਂ ਇਹ ਪਹਿਲੇ ਪੜਾਅ ਨੂੰ ਪਾਰ ਕਰ ਲੈਂਦਾ ਹੈ। ਫਿਰ ਇਸ ਡੋਮੇਨ ਨਾਮ ਨੂੰ ਦੁਬਾਰਾ ਹੱਲ ਕਰਨ ਦੇ ਬਾਅਦ ਇਹੀ IP ਵੱਲ ਵਾਪਸ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਜੇ PTR ਰਿਕਾਰਡ ਨਹੀਂ ਹੈ, ਵੱਖਰੇ ਡੋਮੇਨ ਵੱਲ ਜਾ ਰਿਹਾ ਹੈ ਜਾਂ ਅਗੇ ਹੱਲ ਕਰਨ 'ਤੇ ਇਹੀ IP ਨਹੀਂ ਦਿੰਦਾ ਤਾਂ ਅਸਲੀ ਗੂਗਲਬੋਟ ਨੂੰ ਮੰਨਿਆ ਨਹੀਂ ਜਾਣਾ ਚਾਹੀਦਾ।

ਇਹ ਜਾਂਚ ਖਾਸ ਕਰਕੇ SEO ਦੇ ਨਜ਼ਰੀਏ ਤੋਂ ਸੰਵੇਦਨਸ਼ੀਲ ਸਾਈਟਾਂ 'ਤੇ ਗਲਤ ਰੋਕਣ ਤੋਂ ਬਚਾਉਂਦੀ ਹੈ। ਕਿਉਂਕਿ ਅਸਲੀ ਗੂਗਲਬੋਟ ਨੂੰ ਰੋਕਣਾ; ਨਵੇਂ ਸਮੱਗਰੀਆਂ ਦੀ ਦੇਰੀ ਨਾਲ ਪਛਾਣ ਹੋਣ, ਇੰਡੈਕਸ ਦੀ ਤਾਜਗੀ ਘਟਣ, ਗੂਗਲ ਸਰਚ ਕਾਨਸੋਲ ਵਿੱਚ ਸਕੈਨਿੰਗ ਦੀਆਂ ਗਲਤੀਆਂ ਅਤੇ ਆਰਗੈਨਿਕ ਟ੍ਰੈਫਿਕ ਵਿੱਚ ਦੇਰੀ ਨਾਲ ਨੁਕਸਾਨ ਲਿਆ ਸਕਦਾ ਹੈ। ਇਸ ਲਈ ਰੋਕਣ ਦਾ ਫੈਸਲਾ ਸਿਰਫ਼ ਇੱਕ ਲਾਈਨ ਦੇ ਉਪਭੋਗਤਾ ਏਜੰਟ ਨਿਯਮ ਨਾਲ ਨਹੀਂ, ਬਲਕਿ ਪੁਸ਼ਟੀ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਨਾਲ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।

3. ਪਹਿਲਾਂ ਲਾਗ ਕਰੋ, ਫਿਰ ਰੋਕੋ

ਸੁਰੱਖਿਅਤ ਕਾਰਵਾਈਆਂ ਵਿੱਚ ਸਿੱਧੇ ਰੁਕਵਾਤਾਂ ਦੇ ਬਜਾਏ ਇੱਕ ਛੋਟੇ ਦੇਖਣ ਦੇ ਪੜਾਅ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਪਹਿਲੇ ਪੜਾਅ ਵਿੱਚ ਸ਼ੱਕੀ IP ਅਤੇ ਉਪਭੋਗਤਾ ਏਜੰਟ ਨੂੰ ਨੋਟ ਕਰੋ। ਦੂਜੇ ਪੜਾਅ ਵਿੱਚ ਸਿਰਫ਼ ਖੁੱਲ੍ਹੇ ਤੌਰ 'ਤੇ ਨੁਕਸਾਨਦਾਇਕ ਵਰਤਾਉਣ ਦਰਸਾਉਣ ਵਾਲੇ ਪੰਨਿਆਂ ਨੂੰ ਸੀਮਿਤ ਕਰੋ। ਤੀਜੇ ਪੜਾਅ ਵਿੱਚ, ਗੂਗਲਬੋਟ ਦੇ ਦਾਅਵੇ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ ਰੋਕੋ ਜੋ ਗੂਗਲ IP ਸਿਰੇ ਵਿੱਚ ਨਹੀਂ ਹਨ।

ਇਹ ਪন্থਾ ਖਾਸ ਕਰਕੇ ਈ-ਵਪਾਰ ਸਾਈਟਾਂ 'ਤੇ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਕਿਉਂਕਿ ਗਲਤ ਨਿਯਮ ਭੁਗਤਾਨ, ਕਾਰਟ, ਉਤਪਾਦ ਵਰੀਏਸ਼ਨ ਜਾਂ ਸਟਾਕ ਇੰਟੀਗ੍ਰੇਸ਼ਨ ਵਰਗੀਆਂ ਆਵਸ਼ਯਕ ਪ੍ਰਵਾਹਾਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਦੇ ਹਨ। ਜੇ ਤੁਹਾਡੀ ਵੈਬਸਾਈਟ ਉੱਚ ਟ੍ਰੈਫਿਕ ਪ੍ਰਾਪਤ ਕਰ ਰਹੀ ਹੈ ਤਾਂ ਪਹਿਲਾਂ ਟੈਸਟ ਵਾਤਾਵਰਣ ਵਿੱਚ ਅਜ਼ਮਾਓ। WordPress ਸਾਈਟ ਕੰਵਰਟਿੰਗ ਅਤੇ ਟੈਸਟ ਆਸਥਾਨ ਬਣਾਉਣਾ ਵਰਗੀਆਂ ਪ੍ਰਕਿਰਿਆਵਾਂ ਸੁਰੱਖਿਆ ਨਿਯਮ ਦੇ ਬਦਲਾਅ ਨੂੰ ਹੋਰ ਘੱਟ ਜੋਖਮ ਵਾਲਾ ਬਣਾਉਂਦੀਆਂ ਹਨ।

ਸੁਰੱਖਿਅਤ .htaccess ਨਿਯਮ ਦੇ ਉਦਾਹਰਨ

ਹੇਠਾਂ ਦਿੱਤੇ ਉਦਾਹਰਨਾਂ ਨੂੰ ਉਤਪਾਦਨ ਵਾਤਾਵਰਣ ਵਿੱਚ ਸਿੱਧਾ ਕਾਪੀ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਤੁਹਾਡੇ ਸਰਵਰ ਦੇ ਅਪਾਚੀ ਸੰਸਕਰਣ, ਸਰਗਰਮ ਮੌਡਿਊਲ ਅਤੇ ਹੋਸਟਿੰਗ ਦੀਆਂ ਅਨੁਮਤੀਆਂ ਦੇ ਨਜ਼ਰੀਏ ਤੋਂ ਜਾਂਚਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਅਪਾਚੀ 2.4 ਅਤੇ ਮਾਡ-ਰੀਰਾਈਟ ਆਮ ਤੌਰ 'ਤੇ ਸਮਰਥਿਤ ਹੁੰਦੇ ਹਨ; ਪਰ ਕੁਝ ਸਾਂਝੇ ਵਾਤਾਵਰਣਾਂ ਵਿੱਚ ਕੁਝ ਨਿਰਦੇਸ਼ਾਂ 'ਤੇ ਪਾਬੰਦੀ ਹੋ ਸਕਦੀ ਹੈ। ਆਪਣਾ .htaccess ਫਾਈਲ ਸੰਪਾਦਨ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਤੁਸੀਂ ਬੈਕਅਪ ਲਿਆ ਹੈ। ਫਾਈਲ ਵਿੱਚ ਇੱਕ ਹੀ ਟਾਈਪਿੰਗ ਗਲਤੀ ਤੁਹਾਡੀ ਵੈਬਸਾਈਟ 'ਤੇ 500 ਆਈਨਟਰਨਲ ਸਰਵਰ ਗਲਤੀ ਪੈਦਾ ਕਰ ਸਕਦੀ ਹੈ।

ਸਧਾਰਨ ਵਰਤਾਉਣ ਫਿਲਟਰ: ਸੰਵੇਦਨਸ਼ੀਲ ਰਸਤਿਆਂ 'ਤੇ ਝੂਠੇ ਬੋਟਾਂ ਨੂੰ ਰੋਕਣਾ

ਇਹ ਪন্থਾ ਗੂਗਲਬੋਟ ਵਾਂਗ ਦਿਖਾਈ ਦੇਣ ਵਾਲੇ ਬੋਟਾਂ ਨੂੰ ਪ੍ਰਬੰਧਨ ਅਤੇ ਹਮਲਾ ਟਾਰਗੇਟ ਫਾਈਲਾਂ ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਤੋਂ ਰੋਕਦਾ ਹੈ। ਅਸਲੀ ਗੂਗਲਬੋਟ ਨੂੰ wp-login.php, phpmyadmin ਜਾਂ ਬੈਕਅਪ zip ਫਾਈਲਾਂ ਦਾ ਪਤਾ ਲਗਾਉਣ ਦੀ ਜ਼ਰੂਰਤ ਨਹੀਂ ਹੈ। ਇਸ ਲਈ ਗਲਤ ਧਨਾਤਮਕ ਸੰਭਾਵਨਾ ਘੱਟ ਹੈ।

• RewriteEngine On
• RewriteCond %{HTTP_USER_AGENT} (Googlebot|Google-InspectionTool|AdsBot-Google|Mediapartners-Google) [NC]
• RewriteCond %{REQUEST_URI} (wp-login[.]php|xmlrpc[.]php|phpmyadmin|adminer|backup|[.]sql|[.]zip) [NC]
• RewriteRule ^ - [F,L]

ਇਹ ਨਿਯਮ, ਆਪਣੇ ਆਪ ਨੂੰ ਗੂਗਲਬੋਟ ਵਜੋਂ ਪਛਾਣਦੇ ਇੱਕ ਕਲਾਇੰਟ ਨੂੰ ਸੰਵੇਦਨਸ਼ੀਲ ਰਸਤਿਆਂ 'ਤੇ ਆਉਣ 'ਤੇ 403 ਵਾਪਸ ਕਰਦਾ ਹੈ। SEO ਸਕੈਨਿੰਗ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਨ ਦੀ ਸੰਭਾਵਨਾ ਘੱਟ ਹੈ, ਕਿਉਂਕਿ ਇਹ ਰਸਤੇ ਗੂਗਲ ਇੰਡੈਕਸ ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਣ ਦੀ ਉਮੀਦ ਨਹੀਂ ਕੀਤੀ ਜਾਂਦੀ। ਫਿਰ ਵੀ ਜੇ ਤੁਸੀਂ ਵਰਡਪ੍ਰੈਸ ਵਰਤ ਰਹੇ ਹੋ ਤਾਂ ਸੁਰੱਖਿਆ ਪਲੱਗਇਨਾਂ, XML-RPC ਦੀ ਜ਼ਰੂਰਤ ਅਤੇ ਦੂਰਦਰਾਜ ਪ੍ਰਕਾਸ਼ਨ ਸੇਵਾਵਾਂ ਦੇ ਨਜ਼ਰੀਏ ਤੋਂ ਜਾਂਚ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ।

IP ਸਵੀਕਾਰ ਸੂਚੀ ਦੀ ਲੋਜਿਕ: ਗੂਗਲਬੋਟ ਦੇ ਦਾਅਵੇ ਨੂੰ ਅਧਿਕਾਰਕ ਸਿਰਿਆਂ ਨਾਲ ਤੁਲਨਾ ਕਰਨਾ

ਹੁਣ ਦ੍ਰਿੜ੍ਹਤਮਕ ਤਰੀਕਾ, ਗੂਗਲਬੋਟ ਹੋਣ ਦਾ ਦਾਅਵਾ ਕਰਨ ਵਾਲੀ ਬੇਨਤੀ ਨੂੰ ਸਿਰਫ਼ ਭਰੋਸੇਯੋਗ IP ਸਿਰਿਆਂ ਤੋਂ ਆਉਣ 'ਤੇ ਪਾਰ ਕਰਨ ਦੀ ਆਗਿਆ ਦੇਣਾ ਹੈ। ਹੇਠਾਂ ਦਿੱਤਾ ਉਦਾਹਰਨ ਪ੍ਰਤੀਕਾਤਮਿਕ ਲਾਜ਼ਮੀ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ; IP ਸਿਰਿਆਂ ਨੂੰ ਗੂਗਲ ਦੀ ਤਾਜ਼ਾ ਅਧਿਕਾਰਕ ਸੂਚੀ ਦੇ ਆਧਾਰ 'ਤੇ ਜਨਰੇਟ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਪੁਰਾਣੀਆਂ ਜਾਂ ਗੈਰ-ਪੂਰੀ ਸੂਚੀਆਂ ਅਸਲੀ ਗੂਗਲਬੋਟ ਨੂੰ ਗਲਤੀ ਨਾਲ ਰੋਕ ਸਕਦੀਆਂ ਹਨ।

• RewriteEngine On
• RewriteCond %{HTTP_USER_AGENT} (Googlebot|Googlebot-Image|Googlebot-News|Google-InspectionTool|AdsBot-Google) [NC]
• RewriteCond expr "! ( %{REMOTE_ADDR} -ipmatch '66.249.64.0/19' || %{REMOTE_ADDR} -ipmatch '64.233.160.0/19' || %{REMOTE_ADDR} -ipmatch '72.14.192.0/18' )"
• RewriteRule ^ - [F,L]

ਇੱਥੇ IP ਸਿਰੇ ਉਦਾਹਰਨ ਵਜੋਂ ਦਿੱਤੇ ਗਏ ਹਨ। ਉਤਪਾਦਨ ਵਿੱਚ ਗੂਗਲ ਦੀ ਤਾਜ਼ਾ googlebot IP JSON ਸੂਚੀ ਤੋਂ ਆਟੋਮੈਟਿਕ ਤੌਰ 'ਤੇ ਜਨਰੇਟ ਕੀਤੇ ਗਏ ਸਿਰਿਆਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ। ਜੇ ਅਪਾਚੀ ਬਿਆਨ ਜਾਂ -ipmatch ਤੁਹਾਡੇ ਸਰਵਰ 'ਤੇ ਸਮਰਥਿਤ ਨਹੀਂ ਹੈ ਤਾਂ ਆਪਣੇ ਹੋਸਟਿੰਗ ਪ੍ਰਦਾਤਾ ਤੋਂ ਅਪਾਚੀ 2.4 ਬਿਆਨ ਸਮਰਥਨ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ। ਬਦਲਨ 'ਤੇ CDN/WAF ਪੱਧਰ 'ਤੇ IP ਸੂਚੀ ਨਾਲ ਨਿਯਮ ਬਣਾਉਣ ਦੀ ਵੀ ਯੋਜਨਾ ਬਣਾਈ ਜਾ ਸਕਦੀ ਹੈ।

ਸ਼ੱਕੀ ਬੇਨਤੀ ਦੀ ਗਤੀ ਨੂੰ ਘਟਾਉਣਾ

.htaccess ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਉੱਚਤਮ ਗਤੀ ਸੀਮਿਤ ਕਰਨ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਟੂਲ ਨਹੀਂ ਹੈ; ਪਰ ਕੁਝ ਖਰਾਬ ਵਰਤਾਉਣ ਨੂੰ ਪਹਿਲਾਂ ਹੀ ਰੋਕਣ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦਾ ਹੈ। ਅਸਲੀ ਗਤੀ ਸੀਮਾ ਲਈ mod_evasive, mod_security, CDN ਗਤੀ ਸੀਮਾ ਜਾਂ ਐਪਲੀਕੇਸ਼ਨ ਪੱਧਰ ਦੀ ਸੁਰੱਖਿਆ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ। ਖਾਸ ਕਰਕੇ ਸੈਕੰਡ ਵਿੱਚ 5-10 ਤੋਂ ਵੱਧ ਲਗਾਤਾਰ ਬੇਨਤੀਆਂ ਭੇਜਣ ਵਾਲੇ ਬੋਟ, ਛੋਟੀ ਸਾਈਟਾਂ 'ਤੇ ਵੀ ਡੇਟਾਬੇਸ ਪੁੱਛਗਿੱਛ ਨੂੰ ਵਧਾ ਸਕਦੇ ਹਨ। ਵਰਡਪ੍ਰੈਸ ਵਰਗੀਆਂ ਗਤੀਸ਼ੀਲ ਸਿਸਟਮਾਂ ਵਿੱਚ ਖੋਜ ਪੰਨਾ, ਫਿਲਟਰ ਕੀਤੀ ਸ਼੍ਰੇਣੀ ਅਤੇ ਟੈਗ ਪੰਨੇ ਬੋਟਾਂ ਦੁਆਰਾ ਸ਼ੋਸ਼ਿਤ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ। ਇਸ ਖੇਤਰ ਲਈ robots.txt, canonical, noindex ਅਤੇ ਸੁਰੱਖਿਆ ਨਿਯਮਾਂ ਨੂੰ ਇਕੱਠੇ ਸੋਚਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। WordPress ਗਤੀ ਅਡਜਸਟਮੈਂਟ ਗਾਈਡ ਪ੍ਰਦਰਸ਼ਨ ਪੱਖ ਨੂੰ ਪੂਰਾ ਕਰਦਾ ਹੈ।

ਤੁਲਨਾ ਵਾਲਾ ਟੇਬਲ: ਕਿਹੜਾ ਤਰੀਕਾ ਕਦੋਂ ਵਰਤਣਾ ਚਾਹੀਦਾ ਹੈ?

ਗਲਤੀ ਨਾਲ ਅਸਲੀ ਗੂਗਲਬੋਟ ਨੂੰ ਰੋਕਣ ਤੋਂ ਬਚਾਉਣ ਲਈ ਜਾਂਚ ਸੂਚੀ

ਝੂਠੇ ਗੂਗਲਬੋਟਾਂ ਨੂੰ ਰੋਕਦੇ ਸਮੇਂ ਸਭ ਤੋਂ ਵੱਡਾ ਜੋਖਮ, ਅਸਲੀ ਗੂਗਲ ਬ੍ਰਾਊਜ਼ਰਾਂ ਨੂੰ ਵੀ ਰੋਕਣਾ ਹੈ। ਇਸਨੂੰ ਰੋਕਣ ਲਈ ਹਰ ਬਦਲਾਅ ਤੋਂ ਬਾਅਦ ਇੱਕ ਛੋਟੀ ਜਾਂਚ ਸੂਚੀ ਲਾਗੂ ਕਰੋ:

• ਗੂਗਲ ਸਰਚ ਕਾਨਸੋਲ ਸਕੈਨਿੰਗ ਅੰਕੜੇ ਰਿਪੋਰਟ ਵਿੱਚ ਅਚਾਨਕ ਘਟਨਾ ਜਾਂ 403 ਦਾ ਵਾਧਾ ਹੈ ਜਾਂ ਨਹੀਂ ਜਾਂਚ ਕਰੋ।
• ਸਰਵਰ ਲਾਗਾਂ ਵਿੱਚ ਅਸਲੀ ਗੂਗਲ IP ਤੋਂ ਆਉਣ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ 200, 301 ਜਾਂ ਯੋਗ ਸਥਿਤੀ ਕੋਡਾਂ ਦੀ ਜਾਂਚ ਕਰੋ।
• ਤੁਹਾਡੇ robots.txt ਫਾਈਲ ਨੂੰ ਗੂਗਲਬੋਟ ਲਈ ਬੰਦ ਹੋਏ ਸੰਵੇਦਨਸ਼ੀਲ ਡਾਇਰੈਕਟਰੀਆਂ ਤੋਂ ਬਿਨਾਂ ਪਹੁੰਚ ਨੂੰ ਰੋਕਣ ਦੀ ਯਕੀਨੀ ਬਣਾਓ।
• .htaccess ਬਦਲਾਅ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਸਾਈਟ ਮੈਪ, ਮੁੱਖ ਪੰਨਾ, ਸ਼੍ਰੇਣੀ ਅਤੇ ਮਹੱਤਵਪੂਰਨ ਉਤਪਾਦ ਪੰਨਿਆਂ ਦੀ ਜਾਂਚ ਕਰੋ।
• ਤੁਸੀਂ ਵਰਤ ਰਹੇ IP ਸੂਚੀ ਦੇ ਸਰੋਤ ਅਤੇ ਅਪਡੇਟ ਕਰਨ ਦੀ ਤਾਰੀਖ ਨੂੰ ਦਸਤਾਵੇਜ਼ ਕਰੋ।

ਤਕਨੀਕੀ SEO ਦੇ ਨਜ਼ਰੀਏ ਤੋਂ 403 ਜਵਾਬ ਇੱਕ ਮਜ਼ਬੂਤ ਸੰਕੇਤ ਹੈ। ਅਸਲੀ ਗੂਗਲਬੋਟ ਮਹੱਤਵਪੂਰਨ ਪੰਨਿਆਂ 'ਤੇ ਮੁੜ ਮੁੜ 403 ਵੇਖਦਾ ਹੈ ਤਾਂ ਉਹ URL ਦੀਆਂ ਸਕੈਨਿੰਗ ਘੱਟ ਹੋ ਸਕਦੀ ਹੈ। ਇਸ ਲਈ 403 ਸਿਰਫ਼ ਬਿਲਕੁਲ ਨਾਚਾਹੀਦੇ ਬੋਟਾਂ ਅਤੇ ਸੰਵੇਦਨਸ਼ੀਲ ਰਸਤੇ 'ਤੇ ਲਾਗੂ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ। ਨਰਮਾਈ, ਅਸਥਾਈ ਘਣਤਾ ਜਾਂ ਗਤੀ ਸੀਮਾ ਵਰਗੀਆਂ ਸਥਿਤੀਆਂ ਵਿੱਚ 429 Too Many Requests ਕੁਝ ਪੈਸੇ ਵਿੱਚ ਹੋਰ ਉਪਯੋਗੀ ਹੋ ਸਕਦਾ ਹੈ; ਪਰ .htaccess ਨਾਲ ਸਧਾਰਨ ਬੋਟ ਰੋਕਣ ਵਿੱਚ 403 ਬਹੁਤ ਪ੍ਰਚਲਿਤ ਅਤੇ ਸਮਝਣਯੋਗ ਹੈ।

ਵਰਡਪ੍ਰੈਸ ਅਤੇ ਈ-ਵਪਾਰ ਸਾਈਟਾਂ ਲਈ ਵਾਧੂ ਪਾਬੰਦੀਆਂ

ਵਰਡਪ੍ਰੈਸ ਸਾਈਟਾਂ 'ਤੇ ਝੂਠੇ ਗੂਗਲਬੋਟ ਟ੍ਰੈਫਿਕ ਆਮ ਤੌਰ 'ਤੇ xmlrpc.php, wp-login.php, REST API ਏਂਡਪੋਇੰਟਾਂ, ਖੋਜ URL ਅਤੇ ਲੇਖਕ ਆਰਕਾਈਵਾਂ 'ਤੇ ਕੇਂਦਰਿਤ ਹੁੰਦਾ ਹੈ। ਈ-ਵਪਾਰ ਸਾਈਟਾਂ 'ਤੇ ਫਿਲਟਰ ਪੈਰਾਮੀਟਰ, ਸਟਾਕ ਪੁੱਛਗਿੱਛ, ਕਾਰਟ ਏਂਡਪੋਇੰਟ ਅਤੇ ਉਤਪਾਦ ਵਰੀਏਸ਼ਨ ਨੂੰ ਟਾਰਗੇਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇਸ ਲਈ ਤੁਹਾਨੂੰ ਸਿਰਫ਼ ਗੂਗਲਬੋਟ ਦੇ ਨਕਲ ਕਰਨ ਵਾਲਿਆਂ ਨੂੰ ਹੀ ਨਹੀਂ, ਸਗੋਂ ਆਮ ਬੋਟ ਸਫਾਈ ਨੂੰ ਵੀ ਸੰਭਾਲਣਾ ਚਾਹੀਦਾ ਹੈ।

• ਲਾਗਿਨ ਪੰਨੇ ਲਈ ਦੋ-ਫੈਕਟਰ ਪੁਸ਼ਟੀਕਰਨ ਅਤੇ ਕੋਸ਼ਿਸ਼ ਸੀਮਾ ਵਰਤੋਂ ਕਰੋ।
• ਤੁਸੀਂ ਵਰਤ ਨਹੀਂ ਰਹੇ XML-RPC ਫੰਕਸ਼ਨਾਂ ਨੂੰ ਬੰਦ ਜਾਂ ਸੀਮਿਤ ਕਰੋ।
• ਖੋਜ ਅਤੇ ਫਿਲਟਰ URL ਵਿੱਚ noindex, canonical ਅਤੇ robots.txt ਰਣਨੀਤੀ ਨੂੰ ਇਕੱਠੇ ਯੋਜਨਾ ਬਣਾਓ।
• ਨਵਾਂ PHP ਸੰਸਕਰਣ, ਅਪਡੇਟ ਕੀਤਾ ਗਿਆ ਥੀਮ ਅਤੇ ਭਰੋਸੇਯੋਗ ਪਲੱਗਇਨ ਵਰਤੋਂ।
• ਆਪਣੀ SSL ਸਰਟੀਫਿਕੇਟ ਨੂੰ ਸਰਗਰਮ ਰੱਖੋ; ਸੁਰੱਖਿਅਤ ਸੈਸ਼ਨ ਅਤੇ ਫਾਰਮ ਭੇਜਣ ਲਈ HTTPS ਜ਼ਰੂਰੀ ਹੈ। Hostragons SSL ਸਰਟੀਫਿਕੇਟ
• ਆਪਣੇ ਡੋਮੇਨ ਦੇ DNS ਰਿਕਾਰਡ ਨੂੰ ਨਿਯਮਿਤ ਤੌਰ 'ਤੇ ਜਾਂਚੋ; ਗਲਤ DNS ਅਤੇ ਕਮਜ਼ੋਰ ਈ-ਮੇਲ ਰਿਕਾਰਡ ਸੁਰੱਖਿਆ ਦੇ ਜੋਖਮ ਨੂੰ ਵਧਾਉਂਦੇ ਹਨ। ਡੋਮੇਨ ਪੁੱਛਤਾਛ ਅਤੇ DNS ਪ੍ਰਬੰਧਨ

ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਪ੍ਰਭਾਵ: ਬੋਟ ਟ੍ਰੈਫਿਕ ਸਰਵਰ ਸਰੋਤਾਂ ਨੂੰ ਕਿਵੇਂ ਖਤਮ ਕਰਦਾ ਹੈ?

ਬੋਟ ਟ੍ਰੈਫਿਕ ਸਿਰਫ਼ ਸੁਰੱਖਿਆ ਦਾ ਸਮੱਸਿਆ ਨਹੀਂ ਹੈ; ਇਹ ਹੋਸਟਿੰਗ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦੀ ਸਮੱਸਿਆ ਵੀ ਹੈ। ਸਥਿਰ ਚਿੱਤਰ ਦੀ ਬੇਨਤੀ ਘੱਟ ਖਰਚ ਵਾਲੀ ਹੁੰਦੀ ਹੈ, ਜਦੋਂਕਿ ਵਰਡਪ੍ਰੈਸ ਖੋਜ ਨਤੀਜਾ ਜਾਂ ਵੂਕਾਮਰਸ ਫਿਲਟਰ ਦੀ ਬੇਨਤੀ ਡੇਟਾਬੇਸ ਪੁੱਛਗਿੱਛ ਲਿਆਉਂਦੀ ਹੈ। ਜੇ ਝੂਠਾ ਗੂਗਲਬੋਟ ਪ੍ਰਤੀ ਮਿੰਟ 300 ਗਤੀਸ਼ੀਲ ਬੇਨਤੀਆਂ ਭੇਜਦਾ ਹੈ, ਤਾਂ ਕੈਸ਼ ਨਹੀਂ ਹੋਣ ਵਾਲੀਆਂ ਪੰਨਿਆਂ 'ਤੇ PHP ਕੰਮਕਾਰ ਭਰ ਸਕਦੇ ਹਨ, ਡੇਟਾਬੇਸ ਦੇ ਕਨੈਕਸ਼ਨ ਵਧ ਸਕਦੇ ਹਨ ਅਤੇ ਅਸਲੀ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਹੌਲੀ ਜਵਾਬ ਮਿਲ ਸਕਦਾ ਹੈ।

ਇੱਕ ਸਧਾਰਨ ਉਦਾਹਰਨ ਦੇਣਿਆ ਜਾਵੇ: ਜੇ ਇੱਕ ਉਤਪਾਦ ਫਿਲਟਰ ਪੰਨਾ ਔਸਤ 250 ms PHP ਕਾਰਵਾਈ ਦਾ ਸਮਾਂ ਖਰਚ ਕਰਦਾ ਹੈ, ਤਾਂ ਪ੍ਰਤੀ ਮਿੰਟ 600 ਬੋਟ ਦੀ ਬੇਨਤੀ 150 ਸੈਕੰਡ ਦੀ ਕਾਰਵਾਈ ਦਾ ਭਾਰ ਪੈਦਾ ਕਰਦੀ ਹੈ। ਇਹ ਭਾਰ ਸਮਾਂ ਦੇ ਨਾਲ CPU ਦੀ ਸੀਮਾ ਦੇ ਨੇੜੇ ਪਹੁੰਚ ਜਾਂਦਾ ਹੈ ਅਤੇ TTFB ਮੁੱਲ ਵਧਦਾ ਹੈ। ਕੋਰ ਵੈਬ ਵਾਇਟਲਜ਼ ਪੱਖ 'ਤੇ ਹੌਲੀ ਸਰਵਰ ਦਾ ਜਵਾਬ ਆਮ ਤੌਰ 'ਤੇ ਉਪਭੋਗਤਾ ਦੇ ਅਨੁਭਵ ਅਤੇ ਬਦਲਾਅ ਦਰ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ। ਇਸ ਲਈ ਬੋਟ ਰੋਕਣ ਸਿਰਫ਼ ਸੁਰੱਖਿਆ ਦੀ ਟੀਮ ਦਾ ਹੀ ਨਹੀਂ, ਬਲਕਿ SEO ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਅਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਦਾ ਵੀ ਹਿੱਸਾ ਹੈ।

ਟੈਸਟਿੰਗ: ਕੀ ਤੁਹਾਡੇ ਨਿਯਮ ਲਾਗੂ ਹੋ ਰਹੇ ਹਨ?

.htaccess ਨਿਯਮ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨ ਤੋਂ ਬਾਅਦ ਤਿੰਨ ਟੈਸਟ ਕਰੋ। ਪਹਿਲਾਂ ਨਾਰਮਲ ਬ੍ਰਾਊਜ਼ਰ ਨਾਲ ਤੁਹਾਡੇ ਵੈਬਸਾਈਟ ਦੇ ਮੁੱਖ ਪੰਨੇ, ਮਹੱਤਵਪੂਰਨ ਸ਼੍ਰੇਣੀ ਪੰਨਿਆਂ ਅਤੇ ਲਾਗਿਨ ਪ੍ਰਵਾਹਾਂ ਦੀ ਜਾਂਚ ਕਰੋ। ਦੂਜੇ, ਗੂਗਲ ਸਰਚ ਕਾਨਸੋਲ URL ਚੈੱਕਿੰਗ ਟੂਲ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ URL ਨੂੰ ਲਾਈਵ ਟੈਸਟ ਕਰੋ। ਤੀਜੇ, ਲਾਗਾਂ ਵਿੱਚ ਗੂਗਲਬੋਟ ਉਪਭੋਗਤਾ ਏਜੰਟ ਨਾਲ ਆਉਣ ਵਾਲੇ ਸ਼ੱਕੀ IP ਨੂੰ 403 ਮਿਲਿਆ ਹੈ, ਜਦੋਂਕਿ ਅਸਲੀ ਗੂਗਲ ਦੀ ਪੁਸ਼ਟੀ ਪੇਸ਼ ਕਰਨ ਵਾਲੇ IP ਨੂੰ ਰੋਕਿਆ ਨਹੀਂ ਗਿਆ ਹੈ, ਇਹ ਜਾਂਚ ਕਰੋ।

ਜੇ ਤੁਸੀਂ ਕਮਾਂਡ ਲਾਈਨ ਨਾਲ ਟੈਸਟ ਕਰ ਰਹੇ ਹੋ ਤਾਂ ਤੁਸੀਂ ਆਪਣੇ ਆਪ ਨੂੰ ਗੂਗਲਬੋਟ ਵਾਂਗ ਪਛਾਣ ਸਕਦੇ ਹੋ; ਪਰ ਇਹ ਟੈਸਟ ਇਹ ਨਹੀਂ ਦਿਖਾਉਂਦੀ ਕਿ ਤੁਸੀਂ ਅਸਲੀ ਗੂਗਲਬੋਟ ਹੋ, ਇਹ ਸਿਰਫ਼ ਇਹ ਸਮਝਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ ਕਿ ਕੀ ਨਿਯਮ ਦਾ ਉਪਭੋਗਤਾ ਏਜੰਟ ਭਾਗ ਚਾਲੂ ਹੋ ਰਿਹਾ ਹੈ। ਅਸਲੀ ਪੁਸ਼ਟੀ IP ਅਤੇ DNS ਦੇ ਜ਼ਰੀਏ ਕੀਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ। ਟੈਸਟ ਦੇ ਨਤੀਜੇ ਵਿੱਚ ਜੇ 500 ਗਲਤੀ ਮਿਲਦੀ ਹੈ ਤਾਂ ਤੁਹਾਡੇ .htaccess ਫਾਈਲ ਵਿੱਚ ਵਿਆਕਰਨ ਦੀ ਗਲਤੀ ਹੋ ਸਕਦੀ ਹੈ। ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਤੁਹਾਡੇ ਦੁਆਰਾ ਆਖਰੀ ਸ਼ਾਮਲ ਕੀਤੇ ਗਏ ਲਾਈਨਾਂ ਨੂੰ ਮੁੜ ਲੈ ਲਿਆ ਜਾਏ, ਗਲਤੀ ਲਾਗਾਂ ਨੂੰ ਦੇਖਿਆ ਜਾਏ ਅਤੇ ਤੁਹਾਡੇ ਸਰਵਰ ਦੇ ਸਮਰਥਿਤ ਅਪਾਚੀ ਨਿਰਦੇਸ਼ਾਂ ਨੂੰ ਜਾਂਚਿਆ ਜਾਵੇ।

ਰਖ-ਰਖਾਵ ਦੀ ਯੋਜਨਾ: ਨਿਯਮਾਂ ਨੂੰ ਕਿੰਨੀ ਵਾਰੀ ਅਪਡੇਟ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ?

ਬੋਟ ਰੋਕਣਾ ਇੱਕ ਵਾਰੀ ਦੀ ਕਾਰਵਾਈ ਨਹੀਂ ਹੈ। ਗੂਗਲ IP ਸਿਰੇ ਬਦਲ ਸਕਦੇ ਹਨ, ਦਾਖਲ ਹੋਣ ਵਾਲਿਆਂ ਦੇ ਉਪਭੋਗਤਾ ਏਜੰਟ ਪੈਟਰਨ ਵੱਖਰੇ ਹੋ ਸਕਦੇ ਹਨ ਅਤੇ ਤੁਹਾਡੀ ਵੈਬਸਾਈਟ ਦੀ URL ਬਣਤਰ ਸਮੇਂ ਦੇ ਨਾਲ ਅਪਡੇਟ ਹੋ ਸਕਦੀ ਹੈ। ਘੱਟ ਟ੍ਰੈਫਿਕ ਵਾਲੀਆਂ ਸਾਈਟਾਂ ਲਈ ਮਹੀਨੇ ਵਿੱਚ ਇੱਕ ਵਾਰੀ ਲਾਗ ਜਾਂਚ ਕਰਨਾ ਯੋਗ ਹੋ ਸਕਦਾ ਹੈ। ਵੱਡੇ ਖ਼ਬਰਾਂ, ਈ-ਵਪਾਰ ਜਾਂ ਮੁਹਿੰਮ ਵਾਲੀਆਂ ਸਾਈਟਾਂ ਵਿੱਚ ਹਫ਼ਤੇ ਵਿੱਚ ਜਾਂਚ ਕਰਨਾ ਜ਼ਿਆਦਾ ਸਿਹਤਮੰਦ ਹੁੰਦਾ ਹੈ।