Google опубликовал полный список IP-адресов робота Googlebot. По списку вебмастера могут определять поисковых роботов Google по IP-адресам. Это альтернативный способ проверить, кто заходил на ваш сайт – краулер Google или бот-мошенник. Подойдет тем, кто не хочет выполнять обратный DNS-запрос по IP-адресу источника.

Ссылка на этот список была добавлена в справочную статью «Как убедиться, что ваш сайт сканируют именно Googlebot или другие поисковые роботы Google», но пока только в англоязычную версию.

IP адреса Googlebot

Google рекомендует проверять IP-адреса роботов, если у вебмастера есть подозрения, что злоумышленники пытаются получить доступ к сайту под видом Googlebot. Когда фальшивые боты сканируют сайт, это негативно влияет на его работу. Сайт медленнее загружается и может потенциально отключиться. Это приведет к проблемам с индексацией и ранжированием.

Чтобы убедиться, что на сайт заходит именно робот Google – достаточно сопоставить IP-адрес сканера со списком IP-адресов робота Googlebot.

Google постоянно обновляет этот список, поэтому файл лучше проверять ежедневно.

Источник: Google Search Central