Пост🔥 Kilobyte Models: Neural Networks as a Seed and a Quantized Latent

🔥 Kilobyte Models: Neural Networks as a Seed and a Quantized Latent Килобайтные модели: Нейронные сети как сид и квантованное латентное представление https://www.alphaxiv.org/overview/2608.00860 Модели в килобайтах представляют собой метод сжатия нейронных сетей, который хранит целочисленное начальное значение (seed) и квантованный латентный вектор, позволяя генерировать веса сети по требованию. Этот подход достигает экстремального сокращения объема хранения, такого как 26-кратное сокращение для сверточных нейронных сетей (CNN) и 370-кратное сокращение для рекуррентных сетей с долгой краткосрочной памятью (LSTM), при этом сохраняя точность, сравнимую с полноразмерными моделями, и обеспечивая высокоэффективные адаптеры для тонкой настройки. Вместо прямого сжатия весов обученной сети, методология фокусируется на хранении компактного "рецепта", который позволяет устройству развертывания регенерировать полные веса по требованию. Этот рецепт состоит из целочисленного начального значения (seed) и крошечного, агрессивно квантованного вектора. Эта структура уменьшает объем хранения нейронных сетей до нескольких килобайт — часто на порядки меньше, чем исходная модель — при сохранении конкурентоспособной точности в различных задачах.