Pentru cei inițiați, FrontierFinance nu e un benchmark obișnuit de tip "multiple choice". E o suită brutală de sarcini: extragere de date din PDF-uri scanate cu tabele sparte, reconciliere de note de subsol cu textul principal, calculul indicatorilor non-GAAP din rapoarte 10-K, răspuns la întrebări de tip "what-if" care necesită raționament pe mai multe pași (chain-of-thought) și, cel mai important, citarea sursei exacte pentru fiecare cifru. Aici halucinația nu e un bug estetic — e un risc legal și financiar. Faptul că un model de 3B parametri active (probabil o arhitectură Mixture-of-Experts unde doar 3B sunt activați per token) reușește să bată un model dens de clasă frontier (Claude 3.5 Sonnet are, pe estimări, peste 200B parametri totali) e, puțin spus, o surpriză.
Arhitectura: eficiență prin specializare
Samaya nu a antrenat un LLM generic și apoi l-a finetunat pe finanțe. Au construit un agent sistem. Sterling orchidează: un model de înțelegere a documentelor (layout-aware, antrenat pe milioane de filings SEC, rapoarte anuale, transcripți de earnings calls), un motor de raționament simbolic pentru calcule deterministe, și un modul de verificare a citărilor care forțează modelul să pointeze exact la pagina, rândul și coloana sursă. Aceasta e diferența fundamentală: Claude 3.5 Sonnet e un generalist care poate face finanțe; Sterling e un specialist care doar face finanțe — și de aceea e atât de mic și rapid.
Costul: economia la scară
"11x lower cost" nu e marketing fluff. În inferență, costul e dictat de parametrii activi, latenta de memorie și utilizarea GPU-urilor. Un model de 3B active parametri rulează pe un singur A100 40GB (sau chiar pe un H100 cu batching agresiv) cu latente sub-secundare per query complex. Claude 3.5 Sonnet, prin API, costă ~$3/milion token-uri input și $15/milion output; la volum de producție (zeci de milioane de token-uri/zi pentru un fond de investiții mijlociu) factura lunară ajunge la zeci de mii de dolari. Sterling, deployat on-prem sau într-un VPC dedicat, reduce cheltuiala la costul de hardware + electricitate + engineering — estimativ sub $0.30/milion token-uri. Pentru un fond cuantitativ care rulează 500 de query-uri complexe pe zi, economia e de ordinul de $150k/an. Nu e o rotunjire; e diferența între a avea un analist AI dedicat și a nu-l avea.
Implicații pentru piața românească și europeană
În România, unde majoritatea fondurilor de pensii private, administrarilor de fonduri și chiar a bancilor mici/mijlocii nu au bugete pentru API-uri enterprise sau pentru echipe de ML ops, un model open-weight (Samaya a promis release pe Hugging Face sub licență Apache 2.0 pentru varianta de bază) care rulează pe infrastructură proprie e un game changer. Imaginați-vă un analist junior la un broker din București care, în loc să stea 3 ore să extragă marginile EBITDA adjustate din 20 de rapoarte anuale, întreabă Sterling: "Comparați evoluția marjei EBITDA adjustate pentru cele 5 mari bănci românești între 2019-2024, izolați impactul provizioanelor de risc și citiți-mi sursa fiecărui număr". Și primește răspunsul în 45 de secunde, cu link-uri directe la paginile PDF-urilor. Aceasta nu e viitorul — e vara aceasta, dacă modelul ține promisiunile.
Riscurile: nu totul e aur ce strălucește
Trebuie să fim onesti: benchmark-urile sunt curate, datele de test nu au fost vazute în antrenament (presupunem), dar realitatea e haioasă. PDF-urile au tabele rotite, note de subsol care saresc pe pagini, formate XBRL inconsistente, limbi multiple (română, engleză, franceză în același document). Sterling va trebui să demonstreze robustețe out-of-distribution. De asemenea, securitatea datelor: modelele mici sunt mai ușor de distilat, de atacat prin prompt injection, de extras date de antrenament. Samaya trebuie să publice rapoarte de red-teaming și să ofere guardrails enterprise (PII redaction, audit logs, role-based access).
Competiția: cursa către "micro-experți"
Samaya nu e singurul care pariază pe modele mici, specializați. Contextual AI, Writer, Cohere (cu modelul Command R+), și chiar Microsoft (cu Phi-3) împing în aceeași direcție: modele de 3-7B parametri care, prin RAG avansat și tool-use, egală sau depășesc modelele masive pe domenii restrânse. Diferența e că Samaya a ales finanțele ca prim vertical — cel mai lucruitor, cel mai regulat, cel mai plătitor. Dacă reușesc aici, urmează legalul, medicalul, compliance-ul. Strategia e clară: devine "systemul de operare" al cunoașterii profesionale, nu un chatbot generic.
Concluzie: un moment "DeepSeek" pentru finanțe?
În ianuarie 2024, DeepSeek-V2 a șocat lumea arătând că un model MoE de 236B (21B active) poate egala GPT-4 la o fracțiune din cost. Sterling face același lucru, dar mai departe: 3B active vs 200B+, specializare extremă, cost de inferență aproape zero. Dacă numerele se țin, suntem la începutul sfârșitului erii "un model ca să le stăpânească pe toate". Viitorul apartine modelelor mici, specializate, deployate local, care costă ca un abonament Netflix și liverează valoare de analist senior. Samaya AI a doar tras primul foc. Acum vedem cine le urmează.
De ce este important:
Sterling reprezintă o schimbare tectonică în economia AI-ului pentru servicii financiare: demonstrația că performanța de nivel frontier pe sarcini complexe de raționament financiar nu necesită modele masive, costisitoare și proprietare. Un model de 3B parametri activi, specializat, open-weight și rulabil pe hardware commoditizat poate democratiza accesul la analiză financiară de înaltă calitate pentru fonduri mici, reglementatori, universități și analiști independenți — spargând monopolele informaționale și reducând costurile operaționale cu un ordin de mărime. Pentru România și Europa de Est, unde capitalul de risc și bugetele IT sunt limitate, aceasta e șansa de a sări o generație de infrastructură și a adopta direct AI-ul de producție pe servere proprii, suverane și ieftine.
