Cloudflare поставила Google ультиматум: отделите поиск от ИИ - иначе сайты начнут блокировать Googlebot.

С 15 сентября Cloudflare изменит правила работы с автоматическим трафиком. Владельцы сайтов смогут отдельно разрешать или запрещать:
- поисковых роботов;
- ИИ-агентов;
- сборщиков данных для обучения моделей.

Казалось бы, всё логично: поиск разрешаем, обучение ИИ запрещаем.
Но есть проблема. Google, Microsoft и Apple используют многоцелевых ботов. Один и тот же робот может индексировать сайт для обычного поиска и одновременно забирать его контент для ИИ-сервисов.
Поэтому Cloudflare вводит принцип самого строгого ограничения: если владелец сайта запрещает использовать контент для обучения ИИ, многоцелевой бот блокируется целиком. Под ограничения могут попасть Googlebot, Bingbot и Applebot.

Один из владельцев сайтов уже сообщил, что после включения защиты от ИИ-ботов Google и Bing начали получать ошибку 403 и перестали нормально сканировать его ресурс. Пока это единичный случай, который может быть связан с настройками. Но с 15 сентября такая логика станет официальной политикой Cloudflare.

Получается интересный выбор:
- разрешить корпорациям забирать контент для своих ИИ-сервисов;
- либо закрыть им доступ и рисковать исчезновением из поиска.

Google утверждает, что обучение будущих моделей Gemini можно отдельно запретить через Google-Extended. Cloudflare, судя по своей классификации, такой границы пока не видит и фактически требует от корпораций технически разделить поиск, обучение моделей и работу ИИ-агентов.

Для нас вывод простой.
Российские CDN, WAF и Anti-DDoS-сервисы давно существуют. И если ваш бизнес до сих пор критически зависит от Cloudflare - очень зря. Переходить стоит не потому, что кто-то заставил, а потому, что вы дорожите своим бизнесом, данными и доступностью сервисов.

Потому что цифровой суверенитет начинается не с красивых стратегий. А с контроля над собственной инфраструктурой.

Шурыгин.IT - про технологии без иллюзий.