Subiect: #Transformer
Consorțiul Soofi lansează Soofi S 30B-A3B: un model fundamental hibrid Mamba-Transformer MoE, open-source, pentru germană și engleză
Consorțiul Soofi a lansat Soofi S 30B-A3B, un model fundamental open-source hibrid Mamba-Transformer MoE, specializat pentru limbile germană și engleză. Cu 30 de miliarde de parametri totali și doar 3 miliarde activi per inferență, oferă performanță ridicată la costuri reduse, fiind ideal pentru cercetători și companii.
Kyutai lansează MuScriptor: un transformator open-weight pentru transcrierea muzicii polifonice în MIDI
Kyutai a lansat MuScriptor, un model open-weight de tip decoder-only transformer pentru transcrierea multi-instrumentală în MIDI. Articolul analizează tehnologia, performanța, aplicațiile și impactul asupra democratizării AI-ului muzical.
Cum să accelerezi antrenarea Transformer-elor cu NVIDIA Apex și torch.amp: Ghid practic pentru performanță maximă pe GPU
Ghid complet pentru accelerarea antrenării Transformer-elor folosind NVIDIA Apex (FusedAdam, FusedLayerNorm) împreună cu torch.amp. Include explicații practice, exemple de cod și strategii de optimizare pentru GPU-uri NVIDIA moderne.
Construirea NQS-urilor Bazate pe Transformere pentru Sisteme de Spin Frustrare cu NetKet
O abordare revoluționară la intersecția dintre fizica materiei condensate și învățarea automată, care utilizează arhitecturi transformer pentru a studia sisteme cuantice frustrate prin intermediul platformei NetKet.
Prezentarea Falcon-H1-Arabic: Extinderea limitelor inteligenței artificiale pentru limba arabă printr-o arhitectură hibridă inovatoare
Falcon-H1-Arabic reprezintă un salt tehnologic major în procesarea limbajului natural pentru limba arabă, introducând o arhitectură hibridă Mamba-Transformer inovatoare. Cu modele de 3B, 7B și 34B parametri capabile să proceseze până la 256.000 de tokeni, această familie depășește performanțele modelelor existente, inclusiv pe cele mai mari, stabilind noi standarde în benchmark-urile OALL și 3LM.
Differential Transformer V2: O nouă eră în eficiența și stabilitatea modelelor de limbaj de mari dimensiuni
Differential Transformer V2 (DIFF V2) revoluționează arhitectura LLM prin optimizarea eficienței inferenței și eliminarea instabilității numerice specifice versiunii anterioare. Prin dublarea capetelor de interogare și o nouă operație diferențială, modelul depășește constrângerile Softmax, oferind o decodare rapidă fără a necesita nuclee personalizate.