Subiect: #LLM Architecture

Zyphra AI lansează Zyphra Hierarchical Attention (ZHA): Calea către o atenție subcvadratică autentică

Zyphra AI lansează Zyphra Hierarchical Attention (ZHA), o arhitectură revoluționară care sparge bariera complexității cvadratice a transformatorilor. Printr-o abordare ierarhică hardware-aware, ZHA permite atenție densă locală și integrare globală subcvadratică, deschizând calea către modele cu context real infinit, antrenament mai ieftin și inferență eficientă pe GPU-uri moderne.