C 15 сентября провайдер сетевой инфраструктуры Cloudflare начнет по умолчанию блокировать на страницах все смешанные веб-краулеры на основе искусственного интеллекта.
Речь о краулерах, которые используют один и тот же тип ботов для поиска, обучения моделей и ИИ-агентов. В Cloudflare требуют разделять решения на поисковые обучающие и агентные.
Представители компании объяснили ужесточение тем, что издатели и владельцы сайтов хотят сохранять видимость в поиске и ИИ-сервисах, но не готовы бесплатно предоставлять контент.
Принятая мера также должна снизить нагрузки на инфраструктуру веб-страниц. По данным Cloudflare, более 50% трафика от ИИ-краулеров приходится на повторное сканирование страниц, которое редко приносит пользу.
Изменение затронет новых клиентов провайдера, сайты действующих пользователей и всех клиентов бесплатного тарифа. Владельцы хостингов смогут отключить опцию блокировки вручную.
Параллельно Cloudflare расширяет коммерческую схему для издателей. Новая система Pay Per Use предполагает оплату не только за доступ к материалу, но и в случаях, когда контент имеет ценность для ИИ-сервиса.
На первом этапе компания работает с Ceramic.ai и You.com. Издатели получают выплаты, если их материалы появляются в поисковой выдаче чат-ботов.
Напомним, 18 ноября 2025 года Cloudflare столкнулся с масштабными техническими неполадками, которые вызвали нарушения в работе множества сайтов и приложений, включая Web3-сервисы.