Filtrează articolele

AI

Datalab lansează lift: un model vizual open-source de 9 miliarde de parametri care extrage JSON structurat din PDF-uri folosind scheme

Datalab lansează lift: un model vizual open-source de 9 miliarde de parametri care extrage JSON structurat din PDF-uri folosind scheme
Într-o eră în care datele sunt noul petrol, capacitatea de a extrage informații structurate din documente nestructurate a devenit o necesitate stringentă. De la facturi și rapoarte financiare până la articole științifice și formulare administrative, PDF-urile rămân un format omniprezent, dar greu de procesat automat. Până acum, soluțiile existente erau fie limitate ca precizie, fie dependente de servicii cloud costisitoare și închise. Ei bine, Datalab tocmai a schimbat jocul.

Compania a lansat lift, un model vizual open-source cu greutăți deschise, de 9 miliarde de parametri, specializat în extragerea de JSON structurat din documente PDF, folosind scheme definite de utilizator. Este o veste care a electrizat comunitatea de machine learning și dezvoltare software, pentru că promite să democratizeze accesul la tehnologia de extragere a datelor.

Ce este lift și de ce contează?



Lift nu este doar un alt model de viziune computerizată. Este un model antrenat să „citească” pagini PDF ca imagini și să producă direct un JSON organizat, conform unei scheme pe care i-o dai tu. Cu alte cuvinte, îi spui „vreau câmpurile: nume, adresă, total, dată”, iar el scanează documentul și îți returnează exact acele informații, într-un format pe care orice aplicație îl poate consuma imediat.

Arhitectura sa se bazează pe un transformer vizual, similar cu modelele de tip ViT (Vision Transformer), dar optimizat pentru documente. Cei 9 miliarde de parametri îi conferă o capacitate impresionantă de a înțelege layout-uri complexe, fonturi diferite, tabele și chiar text scris de mână (în anumite condiții). Fiind open-source și cu greutăți deschise, oricine poate descărca modelul, îl poate rula local, îl poate ajusta fin pe propriile date sau îl poate integra în fluxuri de lucru existente.

Cum funcționează?



Procesul este simplu, dar puternic. În loc să folosești un OCR tradițional (care extrage textul, dar pierde structura) sau să scrii reguli complexe de parsare, cu lift definești o schemă JSON – un șablon cu câmpurile dorite și tipurile lor (string, număr, dată etc.). Apoi trimiți PDF-ul (sau o imagine a paginii) către model, iar acesta încearcă să populeze schema cu valorile găsite.

De exemplu, pentru o factură, schema ar putea fi:
```json
{
"nume_furnizor": "string",
"adresa_furnizor": "string",
"numar_factura": "string",
"data_emitere": "date",
"total_plată": "number",
"linii_produs": [{
"denumire": "string",
"cantitate": "number",
"pret_unitar": "number"
}]
}
```
Lift va analiza documentul și va returna un JSON complet, gata de utilizare.

Performanță și benchmark-uri



Datalab susține că lift atinge o acuratețe de peste 95% pe seturi de date standard de extragere a informațiilor din documente, cum ar fi FUNSD, CORD sau SROIE. Comparativ cu soluții comerciale precum Amazon Textract sau Google Document AI, lift se apropie de performanța acestora, dar cu avantajul că rulează local, fără costuri per apel și fără a trimite date sensibile către terți.

Un alt aspect remarcabil este viteza. Pe un GPU modern (de exemplu, un A100 sau RTX 4090), lift poate procesa un document în mai puțin de o secundă. Chiar și pe CPU, cu optimizări, timpii sunt acceptabili pentru volume mici.

Impactul asupra industriei



Lansarea lui lift are potențialul de a transforma mai multe domenii:

  • Finanțe și contabilitate: automatizarea procesării facturilor, extraselor bancare, declarațiilor fiscale.

  • Juridic: extragerea clauzelor din contracte, a datelor din hotărâri judecătorești.

  • Medical: preluarea informațiilor din rețete, analize, formulare de internare.

  • Administrație publică: digitizarea documentelor vechi, procesarea cererilor.

  • Cercetare: extragerea de date din articole științifice publicate în PDF.


  • Pentru startup-uri și companii mici, care nu își permit abonamente scumpe la API-uri cloud, lift este o gură de aer proaspăt. Pot construi propriile soluții de document processing fără a depinde de furnizori externi.

    Comunitatea open-source și transparența



    Datalab a publicat modelul pe Hugging Face, împreună cu codul sursă, greutățile antrenate și documentația detaliată. Licența permisivă (Apache 2.0) încurajează atât utilizarea comercială, cât și contribuțiile comunității. Deja, pe GitHub, au apărut primele fork-uri și pull request-uri care îmbunătățesc suportul pentru limbi cu caractere non-latine, inclusiv limba română.

    Un aspect important este că modelul a fost antrenat pe un corpus divers de documente din întreaga lume, dar Datalab recunoaște că performanța poate varia pentru limbi mai puțin reprezentate. Totuși, datorită naturii open-source, comunitatea poate contribui cu date de antrenament suplimentare.

    Cum îl poți testa?



    Dacă ești dezvoltator sau pasionat de AI, poți descărca modelul direct de pe Hugging Face: `datalab/lift-9b`. Instalarea se face cu câteva comenzi pip, iar un exemplu de utilizare arată astfel:

    ```python
    from transformers import AutoModel, AutoProcessor

    model = AutoModel.from_pretrained("datalab/lift-9b")
    processor = AutoProcessor.from_pretrained("datalab/lift-9b")

    # definește schema
    example_schema = {
    "type": "object",
    "properties": {
    "nume": {"type": "string"},
    "data": {"type": "string"}
    }
    }

    # procesează PDF-ul
    result = model.extract_from_pdf("factura.pdf", schema=example_schema)
    print(result)
    ```

    Datalab oferă și o interfață web demo pentru cei care vor să încerce fără a instala nimic.

    Limitări și provocări



    Niciun model nu este perfect. Lift poate întâmpina dificultăți cu:
  • Documente cu layout-uri extrem de complexe (coloane multiple, text suprapus peste imagini).

  • Fonturi decorative sau text scris de mână neclar.

  • Documente scanate la rezoluție joasă.

  • Limbi cu diacritice rare (deși suportul pentru limba română este rezonabil).


  • De asemenea, modelul necesită resurse hardware semnificative pentru inferență rapidă: minim 16 GB VRAM pentru versiunea completă. Există însă variante cuantizate (4-biți, 8-biți) care reduc cerințele la 8-10 GB.

    Ce urmează?



    Datalab a anunțat că lucrează deja la o versiune mai mică (3B parametri) pentru dispozitive edge, precum și la suport nativ pentru formate precum DOCX și imagini. De asemenea, plănuiesc să lanseze un API gratuit cu limite generoase pentru a ajuta comunitatea să experimenteze.

    În concluzie, lift reprezintă un pas uriaș în direcția corectă: a aduce inteligența artificială de ultimă generație la îndemâna tuturor, fără bariere financiare sau tehnologice. Dacă ai de procesat documente, acum ai un aliat puternic și gratuit.

    De ce este important:


    Lift nu este doar un model AI, ci un instrument care poate reduce dramatic timpul și costurile de procesare a documentelor în orice organizație. Într-o lume în care datele sunt tot mai valoroase, capacitatea de a extrage informații structurate din PDF-uri fără a depinde de servicii cloud scumpe sau de echipe de developeri care scriu reguli manuale este revoluționară. Mai mult, fiind open-source, lift încurajează inovația și transparența, permițând oricui să îl adapteze nevoilor proprii. Pentru România, unde digitalizarea este încă în fază incipientă în multe domenii, un astfel de model poate accelera transformarea digitală a firmelor mici și mijlocii, a instituțiilor publice și a sistemului de sănătate. Este un exemplu perfect de cum AI-ul poate fi pus în slujba oamenilor, nu doar a marilor corporații.

    Acest site folosește cookie-uri pentru a-ți oferi o experiență de navigare cât mai plăcută. Continuarea navigării implică acceptarea acestora.