ПостРазмер – не главное?

Размер – не главное? У небольшой AliceAI-Foundation-80B-A3B-Base от Яндекса уже появились первые надстройки-эксперименты от сообщества на Hugging Face. Компания называет новинку  «экспериментальной основой для будущей единой рассуждающей модели», а в претрейне уже вшито рассуждение.  Решение обучено с нуля, без использования весов других моделей, и доступно под лицензией Apache 2.0. Модель построена на архитектуре MoE: • 80 млрд параметров • около 3 млрд активных параметров при генерации • претрейн на 17,5 трлн токенов • контекст до 256K+ токенов Особое внимание уделили русскому языку, математике, программированию, медицине, российскому праву и фактологическим знаниям.