Un cercetător de la Princeton propune Transformer-ul Recurent în Buclă (RLT) care transportă starea decodorului la fiecare token, fixând 96 de blocuri per token cu adâncime temporală nelimitată
Un cercetător de la Princeton propune Recurrent Looped Transformer (RLT), o arhitectură care transportă starea decodorului la fiecare token, permițând o adâncime temporală nelimitată. Cu 96 de blocuri per token și fără resetare la granițele de servire, RLT ar putea rezolva problema memoriei pe termen lung în modelele lingvistice, deși nu are încă rezultate empirice.
🕒 4 zile în urmă