«Information Abundance Paradox: Long-Context Training Undermines Parame…»

Sparse Hash AI

Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge Парадокс информационного изобилия: обучение с длинным контекстом подрывает параметрические знания https://www.alphaxiv.org/abs/2608.12218 ——— На большом контексте в виду избытка в нём релевантной информации у моделей развивается "контекстная зависимость" – оптимизатор смещает градиентное давление со слоёв FFN, связанных со знанием, в сторону слоёв внимания. Модель учится не понимать, а искать ответ в контексте. Для задач понимания естественного языка производительность вначале улучшается с увеличением контекста, достигает пика, а затем неуклонно снижается.

3 · 120 · 12:45

Рядом в ленте

Sparse Hash AI14:14🔥 Kilobyte Models: Neural Networks as a Seed and a Quantized Latent Килобайтные модели: Нейронные сети как сид и квантованное латентное представление https://ww

Sparse Hash AI19:26https://d.fixupx.com/ErenChenAI/status/2086830581820579924

это сообщение

Sparse Hash AI02:59Not the Dimension, the Norm: What Matters in Gradient-Free Weight Perturbation of Language Models https://www.alphaxiv.org/overview/2608.01624 Это исследование

Sparse Hash AI19:11p-Spin Glass Network Efficient Single-Batch Continual Learning Сеть р-спинового стекла: Эффективное однопакетное непрерывное обучение https://www.alphaxiv.org/a

ПостInformation Abundance Paradox: Long-Context Training Undermines Parametric Knowledge

Рядом в ленте