Echipa AI de la Netflix reduce latența citirii partițiilor largi de la secunde la milisecunde, divizând partițiile Cassandra pe ID

Netflix, gigantul streaming-ului global, se confruntă constant cu provocări tehnice uriașe în gestionarea datelor generate de milioane de utilizatori. Una dintre cele mai spinoase probleme este manipularea partițiilor largi în baza de date NoSQL Apache Cassandra, utilizată pentru TimeSeries Abstraction – o abstracție care stochează serii temporale de date, cum ar fi metrici de performanță, loguri sau evenimente de utilizare. Recent, echipa de inteligență artificială a companiei a anunțat o soluție ingenioasă care reduce latența citirii de la câteva secunde la doar câteva milioane de secunde (zeci de milisecunde), prin divizarea dinamică a partițiilor pe baza ID-ului fiecărei serii temporale.

Problema partițiilor largi în Cassandra

Apache Cassandra este un sistem de baze de date distribuit, proiectat pentru scalabilitate orizontală și toleranță la defecte. În arhitectura sa, datele sunt organizate în partiții, fiecare partiție fiind o colecție de rânduri care partajează aceeași cheie de partiție. În cazul seriilor temporale, o singură cheie de partiție (de exemplu, un ID de dispozitiv sau un ID de utilizator) poate acumula milioane de rânduri pe măsură ce timpul trece. Aceste „partiții largi” devin o problemă majoră: citirea lor necesită scanarea unor volume uriașe de date, ceea ce duce la latențe de ordinul secundelor, afectând performanța aplicațiilor care au nevoie de răspunsuri rapide, cum ar fi recomandările în timp real sau monitorizarea infrastructurii.

Netflix a observat că, în cazul TimeSeries Abstraction, partițiile care depășesc 500 MB devin deosebit de problematice. Citirile pe aceste partiții pot dura câteva secunde, ceea ce este inacceptabil pentru un serviciu care trebuie să livreze conținut fără întreruperi. Soluțiile tradiționale, cum ar fi re-partiționarea manuală sau ajustarea setărilor la nivel de tabel, nu erau suficiente, deoarece creșterea datelor este imprevizibilă și specifică fiecărui ID.

Două abordări complementare

Echipa AI de la Netflix a dezvoltat două tehnici care lucrează împreună pentru a rezolva această problemă:

1. Time Slice re-partitioning – Această metodă ajustează partițiile viitoare la nivel de tabel, împărțind datele în „felii de timp” (time slices) de dimensiuni fixe. De exemplu, în loc să stocheze toate datele pentru un ID într-o singură partiție, le împarte pe intervale de timp (de exemplu, câte o oră sau o zi). Aceasta previne formarea partițiilor largi în viitor, dar nu rezolvă problema partițiilor deja existente.

2. Dynamic partitioning – Pentru partițiile deja largi, Netflix a implementat un mecanism de detectare și divizare dinamică pe calea de citire. Acesta funcționează astfel:
- Detectarea: Se face prin numărarea octeților (byte counting) și utilizarea unui sistem de mesagerie Kafka. Când o partiție depășește un prag (de exemplu, 100 MB), se declanșează un eveniment.
- Divizarea: Partiția este împărțită în mai multe partiții copil (child partitions), fiecare conținând un subset de rânduri, de obicei pe baza unui interval de timp sau a unui hash al ID-ului. Integritatea datelor este asigurată prin validare cu sume de control (checksums).
- Rutarea citirilor: Pentru a direcționa cererile către partițiile corecte, se folosesc filtre Bloom (Bloom filters). Acestea sunt structuri de date probabilistice care permit verificarea rapidă a apartenenței unui element la un set, fără a stoca toate cheile. Astfel, o citire pentru un anumit ID și interval de timp este redirecționată doar către partițiile copil relevante, în paralel.

Rezultate spectaculoase

Implementarea acestor tehnici a dus la o reducere dramatică a latenței medii de citire: de la câteva secunde la „low double-digit milliseconds” – adică între 10 și 99 de milisecunde. Mai mult, partițiile de peste 500 MB rămân disponibile și nu mai blochează operațiunile. Aceasta este o îmbunătățire crucială pentru sistemele care trebuie să răspundă în timp real, cum ar fi motorul de recomandări AI al Netflix, care analizează comportamentul utilizatorilor pentru a sugera conținut personalizat.

Cum se integrează cu AI-ul Netflix

Deși soluția este tehnică, ea este condusă de echipa AI a Netflix, deoarece TimeSeries Abstraction este folosită intens de modelele de machine learning. De exemplu, pentru a antrena un model de predicție a preferințelor utilizatorilor, este nevoie de acces rapid la istoricul vizionărilor. Dacă citirea acestor date durează secunde, întregul pipeline de învățare automată devine ineficient. Prin reducerea latenței, Netflix poate rula mai multe experimente și poate livra actualizări de model mai frecvent, îmbunătățind experiența utilizatorilor.

Lecții pentru comunitatea tech

Această abordare demonstrează câteva principii importante:

Combinația dintre prevenție și reacție: Time Slice re-partitioning previne problemele viitoare, iar dynamic partitioning le rezolvă pe cele existente.

Utilizarea inteligentă a structurilor de date: Filtrele Bloom sunt ușoare și rapide, ideale pentru rutarea cererilor fără a supraîncărca sistemul.

Validarea integrității: Checksum-urile asigură că divizarea nu pierde sau corupe date.

Scalabilitate orizontală: Soluția se bazează pe Kafka și Cassandra, ambele proiectate pentru distribuție, ceea ce o face ușor de extins.

De ce este important:

Această inovație nu este doar o victorie tehnică pentru Netflix, ci un model pentru orice companie care se confruntă cu volume mari de date temporale. În era big data și a AI-ului în timp real, latența citirii poate face diferența între o aplicație receptivă și una care pierde utilizatori. Prin reducerea latenței de la secunde la milisecunde, Netflix demonstrează că, cu o inginerie atentă, chiar și cele mai dificile probleme de scalabilitate pot fi rezolvate. Aceasta deschide calea pentru aplicații mai rapide, mai inteligente și mai eficiente în întreaga industrie tech.