Cloudflare a înlocuit vechiul său comutator unic „blochează roboții AI” cu trei categorii distincte: Search (căutare) – pentru roboții care indexează o pagină pentru a răspunde ulterior la întrebări; Agent – pentru sistemele automate care acționează în timp real pentru un utilizator, inclusiv botul de preluare al ChatGPT și agenții care conduc browserul; Training (antrenament) – pentru crawler-ele care extrag conținut pentru a-l include în greutățile unui model AI. Noile controale au intrat în vigoare pe 1 iulie pentru toți clienții, inclusiv cei de la nivelul gratuit. Din 15 septembrie, setările implicite se schimbă: Training și Agent vor fi blocate pe paginile care afișează reclame, în timp ce Search rămâne permis. Noile setări implicite se aplică domeniilor nou înregistrate pe Cloudflare, site-urilor noi create de clienții existenți și tuturor clienților existenți de la nivelul gratuit. Oricine nu dorește aceste setări poate renunța prin setările de securitate înainte de termen.
Logica din spatele deciziei Cloudflare este simplă: o reclamă pe o pagină demonstrează că acea pagină a fost construită pentru ca un om să ajungă acolo. Un crawler de căutare care trimite un cititor înapoi este o recomandare. Un bot care citește pagina și oferă răspunsul altcuiva nu este. Implementările agentice s-au bazat pe presupunerea că web-ul deschis rămâne deschis. Un agent de cercetare preia pagina de prețuri a unui concurent. Un instrument de monitorizare verifică anunțurile unui furnizor. Un agent de servicii clienți extrage fișa tehnică a unui producător. Nimic din toate acestea nu a implicat o licență și, până acum, nici nu a avut nevoie de una.
Cloudflare se află în fața unei mari părți a traficului web global, iar blocurile sale operează la nivel de rețea, nu ca o simplă sugestie robots.txt pe care un crawler o poate ignora. Paginile cu reclame sunt exact paginile pe care agenții le doresc, pentru că acolo se află știri, recenzii, prețuri și acoperirea produselor. Modul de eșec pentru un agent enterprise nu este un proces, ci tăcerea sau un răspuns construit din ceea ce a mai putut accesa.
Există o complicație legată de Google. Googlebot face crawling atât pentru căutare, cât și pentru antrenament, folosind același bot. Așadar, în cea mai restrictivă regulă, un site care blochează Training blochează și Googlebot. CEO-ul Cloudflare, Matthew Prince, a declarat că speră ca aceste schimbări să „încurajeze crawler-ele cu utilizare mixtă să separe căutarea de utilizarea agentică și antrenament”, ceea ce este un mod politicos de a spune că presiunea este scopul.
Cei care rulează agenți ar trebui să înceapă prin a identifica care dintre conturile lor Cloudflare va fi citit ca fiind de tip Agent. Clasificarea este comportamentală, nu ceva în care optezi, așa că un agent de cercetare care navighează în timp real este prins indiferent dacă operatorul său îl consideră crawler sau nu. Așteptați-vă la o acoperire degradată, nu la o defecțiune completă, deoarece blocul lovește paginile cu reclame și lasă restul accesibil. Accesul negociat, nu o rescriere a șirului user-agent, este calea de urmat.
Editorii au o listă diferită de teme. Verificați mai întâi nivelul contului, deoarece clienții existenți de la nivelul gratuit sunt mutați automat la noile setări implicite pe 15 septembrie – un detaliu pe care majoritatea articolelor l-au omis. Apoi decideți dacă blocarea Training merită costul, pentru că aduce cu ea blocarea Googlebot și, implicit, pierderea vizibilității în căutări.
Mecanismul care merită urmărit este banii. „Plătește per crawl” devine „plătește per utilizare”, cu Ceramic.ai plătind editorii atunci când conținutul lor apare în rezultatele căutării AI, iar You.com plătind când un agent ajunge la conținut premium. Cloudflare spune că mai mult de jumătate din traficul crawler-elor AI este cheltuit re-preluând pagini care nu s-au schimbat, deci există risipă de ambele părți care merită prețuită.
Acesta este primul tur al luptei pentru conținut, unde răspunsul oferit este o rată, nu un zid. O slăbiciune constă în taxonomia în sine. Search, Agent și Training sunt comportamente pe care companiile AI le declară despre propriii roboți, iar o firmă care nu ar vrea ca antrenamentul său să fie clasificat ca atare are un stimulent evident. Anunțul nu explică ce o oprește.
Accesul la web-ul deschis a fost gratuit și nelimitat timp de treizeci de ani, iar acum factura este detaliată. Constructorii de agenți care își rezolvă accesul înainte de septembrie au o problemă gestionabilă. Cei care află de la un cod 403 vor reconstrui din mers.
De ce este important:
Această schimbare marchează un punct de cotitură în relația dintre companiile AI și editorii de conținut. Până acum, crawler-ele AI au beneficiat de acces gratuit la web-ul deschis, fără a plăti pentru conținutul pe care îl folosesc pentru antrenament sau pentru a răspunde utilizatorilor. Cloudflare, prin poziția sa strategică în infrastructura web, forțează o negociere: dacă vrei acces la paginile cu reclame (unde se află conținutul valoros), trebuie să plătești sau să negociezi licențe. Pentru editori, este o șansă de a-și monetiza conținutul în fața AI-ului. Pentru companiile AI, este un semnal că modelul „take first, ask later” s-a încheiat. Impactul va fi resimțit în calitatea răspunsurilor agenților, în costurile de operare și în peisajul concurențial al căutării. Urmăriți cum evoluează modelele de plată per utilizare și cum se adaptează giganții precum Google.
