Cloudflare з 15 вересня блокуватиме «змішані» ШІ-краулери
З 15 вересня Cloudflare за замовчуванням блокуватиме краулерів, які одночасно індексують сайти, збирають дані для навчання й виконують агентні завдання.
Cloudflare із 15 вересня за замовчуванням блокуватиме на вебсторінках «змішані» ШІ-краулери. Під цим терміном компанія має на увазі боти, які одним профілем одночасно виконують індексацію, збір навчальних даних і роботу агентів.
У Cloudflare вимагають, щоб розробники розділяли рішення для індексації, збору даних та агентних функцій. Нове правило почне діяти для нових клієнтів і для сайтів на безкоштовному тарифі; адреси існуючих користувачів теж підпадають під зміни, але власники хостингів зможуть вручну вимкнути опцію блокування.
Компанія пояснює рішення двома факторами: захист інтересів видавців і зниження навантаження на вебінфраструктуру. За даними провайдера, понад 50% трафіку від ШІ-краулерів припадає на повторне сканування сторінок, яке рідко приносить користь сайтам.
У заяві Cloudflare зазначається: «Інтернет ризикує перейти до екосистеми “нульового кліку”, де чат-боти збирають оригінальний контент для миттєвих відповідей, повністю оминаючи першоджерела. Ми вже спостерігали помітний зсув від простору, орієнтованого виключно на SEO, до світу AEO, а тепер уже й до GEO».
Паралельно компанія запускає комерційну модель Pay Per Use. Видавці отримуватимуть виплати не лише за доступ до матеріалів, а й коли їхній контент визнають корисним для сервісів ШІ. На старті Cloudflare працює з Ceramic.ai та You.com; деталі розрахунків та критерії оцінки «цінності» контенту компанія опрацьовує з партнерами.
Розробникам сервісів ШІ доведеться розділити процеси індексації, збору навчальних даних і роботи агентів, щоб зберегти сумісність з новими правилами. Видавці перевіряють, як зміни вплинуть на видимість у пошуку та відповіді чат-ботів.
Cloudflare також нагадала про масштабні технічні збої 18 листопада 2025 року, що вплинули на роботу багатьох сайтів і застосунків, включно з Web3‑сервісами. У компанії не пов’язують прямо нові політики з тим інцидентом, проте вказують на потребу раціонального використання ресурсів мережі.
Cloudflare повідомляє про плани розширювати партнерські програми для монетизації контенту та узгодження інтересів власників сайтів і сервісів на базі ШІ.
Матеріали на GNcrypto надаються виключно з інформаційною метою і не є фінансовою порадою. Ми намагаємось забезпечувати точність та актуальність даних, однак не можемо гарантувати їхню повну достовірність чи надійність. GNcrypto не несе відповідальності за можливі помилки, упущення або фінансові збитки, що можуть виникнути внаслідок використання цієї інформації. Усі дії ви здійснюєте на власний ризик. Завжди проводьте власне дослідження та звертайтесь до фахівців. Детальніше дивіться на наших сторiнках Умови, Політика конфіденційності та Дисклеймер.
Статті цього автора
