Subiect: #scraping
Patreon renunță la rugăminți și blochează activ roboții AI care fură conținut
Patreon blochează activ roboții AI care răzuiesc conținutul creatorilor, folosind tehnologia Cloudflare, după ce simplele rugăminți prin robots.txt au fost ignorate. Măsura reduce încercările de scraping la zero și oferă creatorilor control asupra modului în care munca lor este folosită de AI.
Crawlee pentru Python: Cum să construiești un pipeline de web crawling cu gestionarea roboților, grafuri de linkuri și export RAG
Crawlee este un framework open-source pentru Python care simplifică web crawling-ul prin gestionarea automată a robots.txt, construirea de grafuri de linkuri și exportul în chunk-uri pentru RAG. Articolul explică cum funcționează și de ce este util în era LLM-urilor.
Strava declară război scraper-ilor înainte de IPO: datele utilizatorilor, transformate în marfă scumpă
Strava ridică un zid în jurul datelor utilizatorilor înainte de IPO: blochează accesul neautentificat, taxează dezvoltatorii cu 11,99 dolari pe lună și refuză acordurile cu laboratoarele de AI. CEO-ul Michael Martin acuză Perplexity pentru scraping prin agregatori și avertizează că AI-ul necontrolat ar putea distruge internetul public.