Что это такое и как это делается? Анализ логов сервера для отслеживания поисковых ботов Googlebot и Bingbot
Анализ логов сервера — самый точный способ отслеживать поисковых ботов. Вы получаете реальные данные о том, какие URL посещают Googlebot, Bingbot и другие