Sparse Hash AI
A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets
Гиппокамп для линейного внимания: Точная память для того, что забывает рекуррентное состояние
https://www.alphaxiv.org/abs/2607.02303
———
Рекуррентное состояние, обновляемое по "дельта-правилу", дополнено небольшим кэшем точных пар ключ-значение от токенов с высокой дельтой.
3 · 93 ·