Cloudflare вводит запрет на «смешанные» ИИ-краулеры

С 15 сентября провайдер сетевой инфраструктуры Cloudflare начнет автоматически блокировать все смешанные веб-краулеры, основанные на искусственном интеллекте, на своих страницах. Новый инструмент Attribution Business Insights от Cloudflare помогает владельцам сайтов лучше понять поведение краулеров, их интересы и потенциальную ценность.

Речь идет о краулерах, использующих аналогичные боты для поиска, обучения моделей и работы ИИ-агентов. В Cloudflare подчеркивают необходимость разделения решений на поисковые, обучающие и агентные. Представители компании объяснили данное ужесточение тем, что издатели и владельцы сайтов стремятся сохранить свою видимость в поисковых системах и ИИ-сервисах, однако не готовы предоставлять контент бесплатно.

«Интернет рискует перейти к экосистеме “нулевого клика”, где чат-боты используют оригинальный контент для мгновенных ответов, полностью игнорируя первоисточники. Мы уже наблюдаем заметный переход от пространства, ориентированного исключительно на SEO, к миру AEO, а теперь и к GEO», — говорится в официальном заявлении.

Эта мера также направлена на снижение нагрузки на инфраструктуру веб-страниц. По данным Cloudflare, более 50% трафика от ИИ-краулеров связано с повторным сканированием страниц, что редко приносит пользу. Изменения коснутся новых клиентов провайдера, а также сайтов действующих пользователей и всех клиентов бесплатного тарифа. Владельцы хостингов получат возможность отключать опцию блокировки вручную.

В дополнение, Cloudflare расширяет свою коммерческую модель для издателей. Новая система Pay Per Use предполагает оплату не только за доступ к материалу, но и в случаях, когда контент становится ценным для ИИ-сервиса. На первом этапе компания сотрудничает с Ceramic.ai и You.com. Издатели будут получать выплаты, если их материалы появляются в поисковой выдаче чат-ботов.

Напоминаем, что 18 ноября 2025 года Cloudflare столкнулся с масштабными техническими сбоями, которые привели к нарушениям в работе множества сайтов и приложений, включая сервисы Web3.