Sparse Hash AI
Normalized Low-Rank Adaptation
Нормализованная низкоранговая адаптация
https://www.alphaxiv.org/abs/2608.31036
———
Нормализуют матрицу нисходящей проекции в LoRA, что обеспечивает хорошую обусловленность латентного представления.
На тесте NoRA последовательно превосходила стандартную LoRA и PiSSA, DoRA и RSLoRA.
2 · 81 ·