ПостMACRO: Markov Chain Routing of Transformer Layers

MACRO: Markov Chain Routing of Transformer Layers MACRO: Маршрутизация слоев Трансформера цепями Маркова https://www.alphaxiv.org/abs/2608.05872 ——— Вместо "стандартного" прямого прохода через трансформер фреймворк MACRO строит контекстно-зависимый маршрут через слои, улучшая точность, не трогая веса модели. MACRO позволяет пропуск слоев, их повторение или даже движение назад для повторного посещения предыдущих состояний. 💡 На мой взгляд это похоже на реализацию «Теории глобального рабочего пространства»: есть рабочее состояние и банк блоков (MLP и внимания), выбираемых для обработки состояния на следующем шаге. Думаю, можно этот подход перенести с предобученной модели на сам процесс обучения – создать банки блоков MLP и внимания и обучать блоки совместно с обучением выбора маршрута через них.