Cloudflare начнёт блокировать «смешанные» ИИ‑краулеры

Cloudflare с 15 сентября по умолчанию начнёт блокировать на веб‑страницах «смешанные» краулеры на основе искусственного интеллекта. Под «смешанными» компания понимает боты, которые используют один и тот же тип программ для индексирования, массового сбора данных для обучения моделей и работы в роли агентных ИИ.

Решение распространится на новых клиентов провайдера, на сайты действующих пользователей и на всех клиентов бесплатного тарифа. Владельцы хостингов и сайтов получат инструмент для ручного отключения опции блокировки, если это потребуется для их бизнеса.

В Cloudflare пояснили, что проблема состоит в совмещении функций в одном краулере: один и тот же бот одновременно собирает контент для поисковой выдачи, загружает материалы для обучения моделей и выполняет запросы от ИИ‑агентов. Компания потребовала от разработчиков и сервисов разделять инструменты для поиска, обучения и агентных задач, чтобы владельцы сайтов могли управлять доступом к своим материалам.

По данным Cloudflare, более 50% трафика от ИИ‑краулеров приходится на повторное сканирование страниц, которое часто не приносит пользы и увеличивает нагрузку на веб‑инфраструктуру. В компании отметили, что инициаторами ужесточения выступили издатели и владельцы ресурсов, которые хотят сохранять видимость в поиске и ИИ‑сервисах, но не готовы бесплатно предоставлять оригинальный контент для генерации ответов чат‑ботов.

В заявлении Cloudflare приводится формулировка: «Интернет рискует перейти к экосистеме «нулевого клика», где чат‑боты собирают оригинальный контент для мгновенных ответов, полностью обходя первоисточники. Мы уже наблюдали заметный сдвиг от пространства, ориентированного исключительно на SEO, к миру AEO, а теперь уже и к GEO».

Параллельно с блокировкой Cloudflare запускает коммерческую схему Pay Per Use для издателей. Новая модель предусматривает выплаты не только за доступ к материалам, но и в случаях, когда контент оказывается в ответах или выдаче ИИ‑сервисов. На первом этапе партнёрами программы являются сервисы Ceramic.ai и You.com; издатели будут получать вознаграждение при появлении их материалов в результатах этих сервисов.

Компания сообщила, что политика будет вводиться постепенно с 15 сентября и рассчитывает на сотрудничество с издателями и поставщиками ИИ‑решений для реализации разделения типов краулеров и механики выплат. В пресс‑сообщении также напомнили о масштабных технических неполадках 18 ноября 2025 года, которые привели к перебоям в работе ряда сайтов и приложений; новая политика, по словам компании, нацелена на снижение непроизводительной нагрузки на серверы.