Subiect: #Zyphra
AI
Zyphra AI lansează Zyphra Hierarchical Attention (ZHA): Calea către o atenție subcvadratică autentică
Zyphra AI lansează Zyphra Hierarchical Attention (ZHA), o arhitectură revoluționară care sparge bariera complexității cvadratice a transformatorilor. Printr-o abordare ierarhică hardware-aware, ZHA permite atenție densă locală și integrare globală subcvadratică, deschizând calea către modele cu context real infinit, antrenament mai ieftin și inferență eficientă pe GPU-uri moderne.
AI
Zyphra lansează ZAYA1-8B-Diffusion-Preview: primul model de difuzie MoE convertit dintr-un LLM autoregresiv, cu o accelerare de până la 7,7 ori
Zyphra a lansat ZAYA1-8B-Diffusion-Preview, primul model de difuzie MoE convertit dintr-un LLM autoregresiv, care oferă o accelerare de până la 7,7 ori. Articolul explică tehnologia din spate, performanțele și impactul asupra industriei AI.