Kyutai lansează MuScriptor: un transformator open-weight pentru transcrierea muzicii polifonice în MIDI

În peisajul în continuă expansiune al inteligenței artificiale aplicate muzicii, un nou jucător a intrat pe scenă cu promisiunea de a democratiza transcrierea muzicală. Kyutai, un laborator de cercetare în AI relativ nou, dar ambițios, a lansat recent MuScriptor – un model de tip decoder-only transformer, cu greutăți deschise (open-weight), specializat în transcrierea mai multor instrumente muzicale direct în format MIDI. Este o mișcare care ar putea schimba regulile jocului atât pentru muzicieni, cât și pentru dezvoltatorii de aplicații audio.

Ce este MuScriptor și de ce contează?

MuScriptor nu este doar un alt model de transcriere audio. Este un sistem care poate asculta o înregistrare muzicală – fie că este o piesă orchestrală, o formație rock sau un solo de pian – și poate extrage automat notele, înălțimile, duratele și chiar separarea pe instrumente, transformând totul într-un fișier MIDI standard. Spre deosebire de soluțiile anterioare, care adesea se concentrau pe un singur instrument sau pe melodii simple, MuScriptor este conceput pentru polifonie complexă și multiple instrumente simultane.

Arhitectura sa este un decoder-only transformer, similar cu modelele de limbaj de tip GPT, dar antrenat pe date muzicale. Aceasta înseamnă că modelul procesează audio-ul sub formă de spectrograme sau reprezentări similare și generează secvențe de evenimente MIDI – note, pauze, schimbări de instrument, tempo etc. Abordarea „decoder-only” permite o generare autoregresivă, pas cu pas, ceea ce este potrivit pentru secvențe temporale lungi, cum sunt piesele muzicale.

Tehnologia din spatele MuScriptor

Kyutai a ales să facă publice greutățile modelului (open-weight), ceea ce înseamnă că oricine poate descărca, inspecta, ajusta sau integra modelul în propriile aplicații, fără restricții de licență excesive. Aceasta este o decizie strategică importantă, deoarece majoritatea modelelor de transcriere de ultimă generație sunt fie închise (proprietare), fie disponibile doar prin API-uri costisitoare. Prin deschiderea greutăților, Kyutai încurajează cercetarea reproductibilă și inovația în comunitate.

Modelul a fost antrenat pe un set masiv de date muzicale, probabil incluzând atât înregistrări reale, cât și date sintetice generate din partituri MIDI. Detaliile exacte ale antrenamentului nu au fost încă publicate integral, dar se știe că MuScriptor folosește o dimensiune a contextului suficient de mare pentru a capta fraze muzicale lungi și că utilizează tehnici de augmentare a datelor pentru a fi robust la zgomot și variații de timbru.

Performanță și comparații

Primele teste independente sugerează că MuScriptor atinge o acuratețe comparabilă cu modelele de top, cum ar fi Google's MT3 (Music Transcription Transformer) sau Spotify's Basic Pitch, dar cu avantajul de a fi open-weight. În special, pe seturi de date precum MAESTRO (pian solo) sau MusicNet (orchestral), MuScriptor obține scoruri bune la metrici precum F1-score la nivel de note și acuratețea separării pe instrumente.

Un aspect remarcabil este capacitatea sa de a transcrie instrumente neobișnuite sau combinații exotice, datorită diversității datelor de antrenament. Totuși, ca orice model, are limitări: pe înregistrări cu mult zgomot de fundal sau cu instrumente foarte rare, acuratețea scade. De asemenea, transcrierea în timp real (streaming) nu este încă optimizată, deși arhitectura ar permite teoretic acest lucru.

Aplicații practice

Impactul MuScriptor se simte deja în mai multe domenii:

Producție muzicală: Muzicienii pot transforma rapid înregistrări brute în partituri editabile, pot extrage linii de bas sau armonii pentru a le reorchestra.

Educație: Elevii pot transcrie piese preferate pentru a le analiza sau pentru a exersa pe instrument.

Restaurare audio: Înregistrări vechi, cu zgomot, pot fi transcrise și apoi re-sintetizate cu instrumente virtuale curate.

Cercetare în muzicologie: Analiza cantitativă a stilurilor, a evoluției armoniilor sau a pattern-urilor ritmice devine mult mai accesibilă.

Dezvoltare de aplicații: De la jocuri muzicale la instrumente de compunere asistată, MuScriptor poate fi integrat cu ușurință datorită formatului open-weight.

Provocări și perspective

Deși MuScriptor reprezintă un pas uriaș, nu este perfect. Transcrierea polifonică rămâne o problemă dificilă din punct de vedere computațional, mai ales când instrumentele se suprapun în frecvență. De asemenea, modelul nu face distincție între instrumente din aceeași familie (de exemplu, două viori diferite) – le tratează ca același instrument. În plus, consumul de resurse (memorie GPU) este semnificativ, ceea ce poate limita utilizarea pe dispozitive mobile.

Kyutai a anunțat că lucrează deja la o versiune mai eficientă și la integrarea cu modele de separare a surselor (precum Demucs) pentru a îmbunătăți acuratețea pe mixuri complexe. De asemenea, comunitatea open-source a început să creeze variante fine-tuned pentru genuri specifice (jazz, muzică electronică, clasică).

Concluzie

Lansarea MuScriptor de către Kyutai este mai mult decât o simplă noutate tehnică – este o declarație de intenție: AI-ul muzical trebuie să fie deschis, accesibil și reproductibil. Într-o lume în care marile companii își păstrează modelele în spatele unor pereți de plată, Kyutai a ales calea opusă. Rezultatul este un instrument puternic care poate fi folosit de oricine, de la hobbyști la cercetători. Rămâne de văzut cum va evolua ecosistemul în jurul său, dar un lucru este cert: muzica și inteligența artificială sunt mai aproape ca niciodată.

De ce este important:

MuScriptor democratizează transcrierea muzicală de înaltă calitate, oferind un model open-weight care poate fi folosit, studiat și îmbunătățit de întreaga comunitate. Acest lucru accelerează inovația în domenii precum producția muzicală, educația și cercetarea, reducând dependența de soluții proprietare costisitoare. În plus, deschiderea greutăților permite transparență și reproductibilitate, esențiale pentru progresul științific în AI muzical.