Недавно я видел жалобы на то, что поисковый робот Google блокирует работу сайтов, направляя на них слишком большой трафик:

Функция веб-скрейпинга Google действует как DDoS-атака уже более двух десятилетий. Я видел буквально сотни сообщений о том, как они атакуют веб-сайты и выводят их из строя, и вам ничего не остается, кроме как смириться с трафиком или быть исключенным из результатов поиска.
Hacker News

Но я считаю, что эти жалобы необоснованны. Этот трафик вообще не исходит от Google. Он поступает от ботов других людей, которые выдают себя за Googlebot в вводящих в заблуждение и, возможно, злоупотребляющих целях.

Когда люди говорят, что видят трафик от Googlebot, они обычно имеют в виду, что видят Googlebot в заголовке пользовательского агента, как правило, в виде строки примерно такого вида:

User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Или, если вы просматриваете логи сервера в стиле nginx, это может выглядеть примерно так:

23.12.228.252 - - [17/Jul/2026:14:57:44 +0000] "GET /blog HTTP/1.1" 200 4821 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html )"

Всё это, конечно, хорошо, но этот заголовок вовсе не означает, что это настоящий Googlebot.

Люди постоянно так делают, чтобы обойти защиту и похоже в последнее время это приобрело новые масштабы.

А вы смотрите логи?