Nikunj Handa, lead-ul de produs pentru API-urile OpenAI, a confesat pentru TechCrunch că echipa sa a rămas impresionată de Jev: „Am văzut Jev și am zis: wow, avem cam un milion de cazuri de utilizare pentru asta.” Reacția a fost una rapidă: în loc să construiască un model de decizie calibrat special de la zero, echipa a luat ChatGPT Luna și l-a reconfigurat pentru a accelera inferența și a reduce costurile. Rezultatul? O reducere dramatică a latenței: de la 1-3 secunde la 100, 120, 180 de milisecunde. „Marea deblocare a fost viteza”, spune Handa. „În viitor, poate vom avea antrenamente specifice pentru a face modelele noastre chiar mai bune în acest sens. Dar acum, e pur și simplu Luna veche de bună care face treaba.”
Anunțat la Developer Day din 29 septembrie, Decisions API a devenit public joi. OpenAI a adăugat noi modalități vocale și vizuale, și a lucrat pentru a asigura latență redusă în regiuni din întreaga lume, țintind resursele de inferență geografic. În încercările inițiale cu clienți precum Box, Datadog, Ramp și Speak, inginerii au folosit API-ul pentru a înlocui LLM-urile OpenAI cu un throughput semnificativ mai mare. Andrew Hsu, CTO la Speak – o companie care construiește tutori AI pentru limbi – a declarat că Decisions API a permis reduceri de la 1,4 secunde la 0,13 secunde între acțiuni. OpenAI a folosit produsul și pentru a îmbunătăți receptivitatea asistentului vocal Dots.
Totuși, nu e clar exact ce face un model de decizie bun, în afară de „funcționează pentru tine”. Optimizarea între inteligență, cost, calibrare și viteză pare să difere după sarcină. CEO-ul TypeSafe, Diogo Almeida, dezîncrederează benchmark-urile și îndemână oamenii să testeze modelele în propriile fluxuri de lucru, dar chiar TypeSafe a publicat propriile clasamente săptămâna trecută, alături de lansarea celei mai noi versiuni Jev, care include suport pentru imagini și instrucțiuni „smart-if”. Benchmark-uri publice precum AIM System One Index și Artificial Analysis Decision Index tind să favorizeze D1 Ultra, un nou model de decizie lansat de Liquid săptămâna trecută, și Elephant-1 de la Base Lab. Cel mai nou model Jev rămâne competitiv pe ambele indici, pe locul șaptele și al treilea, în timp ce modelul de decizie al OpenAI se află pe locul optzecilea și al paisprezecelea, respectiv. Totuși, ofertele TypeSafe sunt, pentru moment, cele mai interogate pe OpenRouter.
Cel mai distractiv benchmark Jev este totuși JevMan, unde modelele de decizie joacă Pac-Man; cel mai nou model Jev domină acest clasament. Felix Wunderlich, Chief Growth Officer la Opper AI, care a construit benchmark-ul, explică: „Jocul clasic e un test interesant din cauza fluxului continuu de decizii rapide, cu stakes ridicate. La fiecare intersecție, modelul trebuie să decidă unde să meargă în câteva sute de milisecunde.”
Unde modelul OpenAI – argumentativ mai capabil – ar putea avea un avantaj este multi-modalitatea. Pentru clasificarea imaginilor, „Luna e extrem de puternică și a arătat calibrări mai bune”, a spus Handa, adăugând că clienții OpenAI vor ca Decisions API să fie mai flexibil în folosirea imaginilor ca output-uri. Handa a văzut și creșteri ulterioare ale vitezei care activează noi cazuri de utilizare: „Putem ajunge la ceva de genul 60 de milisecunde? Atunci ai putea imagina un API call pentru fiecare singur frame dintr-un video?”
Pe măsură ce aceste oferte devin mai rapide și mai ieftine, putem să ne așteptăm să trăiască up to Jev's namesake – un economist care a explicat cum utilizarea mai eficientă a unei resurse duce la o consumație totală mai mare, nu mai mică. Paradoxul Jevons, aplicat aici la inteligența artificială: cât facem inferența mai ieftină și mai rapidă, atât mai multe aplicații devin viabile, și consumul total de compute explosează. Nu e despre a reduce costurile – e despre a debloca clase întregi de produse care nu erau posibile la 2 secunde per decizie.
Cursa nu e doar tehnică – e economică și strategică. OpenAI are avantajul distribuției (milioane de dezvoltatori pe platformă), al infrastructurii globale și al multimodalității native. TypeSafe are avantajul specializării pure, a comunității de early adopters și a unui brand sinonim cu categoria. Liquid și Base Lab aduc inovații arhitecturale. Și benchmark-urile? Sunt ghiduri, nu adevăruri absolute. Cum spunea Almeida: „Trial in your own work.”
Pentru dezvoltatori români și pentru ecosistemul local de AI, mesajul e clar: fereastra de oportunitate pentru a construi aplicații pe baza modelelor de decizie rapidă e acum deschisă larg. Fie că alegeți OpenAI pentru integrare nativă și multi-modalitate, TypeSafe pentru performanță pură pe task-uri de clasificare, sau experimentează cu noile venituri, esențialul e să începeți să prototipați. Viteza de 100-200ms schimbă fundamental UX-ul – permite interacțiuni real-time, agenți autonomi care acționează în buclă strânsă, sisteme de control și supraveghere video la scară largă.
În luna următoare, voi urmări de près cum evoluează adopția, cum se schimbă prețurile (OpenAI nu a publicat încă pricing-ul public final), și dacă apar modele open-source competitive în acest spațiu. O singură certitudine: categoria „System One” / „Decision Models” a ajuns să fie un câmp de luptă principal în AI-ul aplicat, și câștigătorii vor fi cei care transformă viteza în valoare de business, nu doar în numere pe benchmark.
De ce este important:
OpenAI nu lansează doar un nou API – validează și scalează o paradigmă nouă de AI: modelele de decizie ultra-rapide (System One) care înlocuiesc LLM-urile mari în fluxurile de lucru de producție. Aceasta reduce costurile cu ordine de mărime și latența de la secunde la milisecunde, deblocând aplicații real-time imposibile până acum (control robotic, gaming AI, video analytics per frame, agenți autonomi). Competiția cu TypeSafe (Jev), Liquid (D1 Ultra), Base Lab (Elephant-1) va accelera inovația și va reduce prețurile. Pentru dezvoltatori și startup-uri din România, e momentul să experimenteze și să integreze aceste modele – avantajul competitiv va veni din speed-to-market și din găsirea niche-urilor unde 100ms vs 2s face diferența între produs viabil și eșec.
