ПостSliding-window beats linear attention

7 сентября 2026

Sparse Hash AI

Sliding-window beats linear attention Скользящее окно превосходит линейное внимание https://www.alphaxiv.org/abs/2608.28444 ——— Скользящее окно со стоками (attention sinks) лучше линейного внимания, даже когда окно длиной всего 64 токена. ——— Кмк не хватает кэша для сохранения части глобальной информации, как сделано в A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets.

4 · 90 · 04:33

Рядом в ленте

Sparse Hash AI03:59LoGo: Token-Level Dynamic Local-Global Attention LoGo: Динамическое локально-глобальное внимание на уровне токенов https://www.alphaxiv.org/abs/2608.29539 ——— Д S

Sparse Hash AI19:15Lumos NIX https://d.fixupx.com/rohanpaul_ai/status/2092837762281902232

это сообщение

Sparse Hash AI09:02https://d.fixupx.com/TheHumanoidHub/status/2093009334712291349 S

Sparse Hash AI04:05Normalized Low-Rank Adaptation Нормализованная низкоранговая адаптация https://www.alphaxiv.org/abs/2608.31036 ——— Нормализуют матрицу нисходящей проекции в LoR