Sparse Hash AI

Autonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key Geometry Автономия голов: Разреженное внимание без данных на основе замороженной геометрии запросов-ключей https://www.alphaxiv.org/abs/2608.06849 ——— Метод идентификации голов внимания по функциональной роли. По спектральной геометрии весов делит головы: на "головы извлечения" (retrieval heads) – глобальные – и "потоковые головы" (streaming heads) – локальные. В отличие от предыдущих методов не требует данных и обучения.

Causal Interventions Reveal Typologically Organized Syntactic Mechanisms in Multilingual Language Models Причинные интервенции выявляют типологически организованные синтаксические механизмы в многоязычных языковых моделях https://www.alphaxiv.org/abs/2608.28924 ——— LLM кластеризует языки в хабы, соответствующие их лингвистическим семьям: например, романские языки (французский, итальянский, испанский) или славянские языки (русский, болгарский, польский). Внутри хаба LLM одинаковым образом кодирует общие для группы абстрактные представления, например, «множественность». К примеру, в «остаточном потоке» можно найти направление/размерность, которая переключает множественность в английском языке, после чего в этом направлении сдвинуть скрытое состояние для предложения на немецком – воздействие будет аналогичным как в исходном языке, так как оба языка принадлежат к «хабу» индоевропейских языков.

A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets Гиппокамп для линейного внимания: Точная память для того, что забывает рекуррентное состояние https://www.alphaxiv.org/abs/2607.02303 ——— Рекуррентное состояние, обновляемое по "дельта-правилу", дополнено небольшим кэшем точных пар ключ-значение от токенов с высокой дельтой.

LoGo: Token-Level Dynamic Local-Global Attention LoGo: Динамическое локально-глобальное внимание на уровне токенов https://www.alphaxiv.org/abs/2608.29539 ——— Для каждого токена принимается решение – требуется ли токену глобальный контекст или только локальный. Наверно можно использовать совместно с Autonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key Geometry

Sliding-window beats linear attention Скользящее окно превосходит линейное внимание https://www.alphaxiv.org/abs/2608.28444 ——— Скользящее окно со стоками (attention sinks) лучше линейного внимания, даже когда окно длиной всего 64 токена. ——— Кмк не хватает кэша для сохранения части глобальной информации, как сделано в A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets.

Normalized Low-Rank Adaptation Нормализованная низкоранговая адаптация https://www.alphaxiv.org/abs/2608.31036 ——— Нормализуют матрицу нисходящей проекции в LoRA, что обеспечивает хорошую обусловленность латентного представления. На тесте NoRA последовательно превосходила стандартную LoRA и PiSSA, DoRA и RSLoRA.