ПостAutonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key Geometry

Autonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key Geometry Автономия голов: Разреженное внимание без данных на основе замороженной геометрии запросов-ключей https://www.alphaxiv.org/abs/2608.06849 ——— Метод идентификации голов внимания по функциональной роли. По спектральной геометрии весов делит головы: на "головы извлечения" (retrieval heads) – глобальные – и "потоковые головы" (streaming heads) – локальные. В отличие от предыдущих методов не требует данных и обучения.