Subiect: #ModernBERT
Linkup Research lansează SPARSEUP: un model de înglobare sparse open-source cu 149M parametri
Linkup Research a lansat SPARSEUP, un model de înglobare sparse open-source bazat pe ModernBERT cu 149M parametri, care obține 56,4 nDCG@10 pe BEIR-13 și o rată de rechemare de peste 97% în 380 de microsecunde per interogare. Modelul este distribuit sub licența Apache 2.0.
Ettin Suite: O nouă eră în arhitectura AI – Encodere și Decodere de ultimă generație
Ettin Suite introduce primele modele pereche (encodere și decodere) antrenate identic, oferind o comparație riguroasă și performanțe de ultimă oră. Proiectul depășește standardele actuale precum ModernBERT și Llama 3.2, demonstrând superioritatea specifică a fiecărei arhitecturi în funcție de task-ul dorit.
mmBERT: ModernBERT devine multilingv – o nouă eră pentru modelele de limbaj
mmBERT reprezintă o evoluție majoră în domeniul modelelor de limbaj multilingve, fiind primul care depășește performanțele XLM-R. Antrenat pe peste 3 trilioane de tokeni în 1800 de limbi, modelul introduce tehnici inovatoare de antrenament progresiv și fuzionare, oferind simultan performanță superioară și eficiență computațională ridicată.