Владельцы интернет-ресурсов столкнулись с неожиданной блокировкой роботов Googlebot и Bingbot при попытке просканировать веб-страницы. Проблема возникает у пользователей, активировавших функцию запрета на сбор данных для тренировки искусственного интеллекта. Поисковые роботы начинают получать HTTP-ответ 403 при попытке загрузить карту сайта. Об этом сообщили пользователи Reddit 6 августа.
Ситуация вскрылась после жалоб участников профильных сообществ. Один из авторов заметил сбой при тестировании новых ИИ-инструментов защиты и обратился за помощью к коллегам. Выяснилось, что деактивация запрета на обучение нейросетей мгновенно восстанавливает доступ поисковых систем к ресурсу.
Представитель поискового гиганта Google Джон Мюллер отреагировал на сообщения пользователей и попросил прислать детали инцидента в личные сообщения для расследования. Позже выяснилось, что компания планировала внедрить подобные ограничения для комбинированных роботов только 15 сентября 2026 года.
Разработчики системы безопасности отнесли ботов поисковиков к категории смешанных агентов, которые одновременно индексируют контент и собирают информацию для тренировки алгоритмов. Компания предоставила клиентам возможность вручную отключить новые настройки до официальной даты активации.
Комментарии