Practical ML Conf

💙💙💙💙💙💙 — В С Ё! Спасибо всем, кто провёл эту субботу вместе с нами: слушал доклады, задавал вопросы, спорил и делился опытом. Забираем с собой новые идеи, знакомства и темы, которые хочется обсуждать дальше. А если что-то не успели посмотреть — обязательно поделимся записями докладов. До встречи в следующем году ❤️

Продолжаем разговор об опенсорсе с Practical ML Conf В субботу на конференции Екатерина Редина рассказывала, как команда Alice AI обучала собственную претрейн-модель с нуля и готовила её к открытому релизу. А теперь делимся продолжением этой истории: веса AliceAI‑Foundation-80B‑A3B‑Base уже опубликованы под лицензией Apache 2.0, а на Хабре вышел подробный технический отчёт. Это MoE-модель с 80 млрд параметров, из которых при генерации активны около 3 млрд. При обучении команда не использовала веса сторонних опенсорсных моделей. По внутренним замерам новый претрейн показывает сильные результаты на задачах по фактологическим знаниям, математике и коду, а на IMO AnswerBench и LiveCodeBench лидирует среди сравниваемых открытых моделей. В техрепорте подробно разобрали весь путь от данных до финального чекпойнта: ⚫ как пересобирали валидационные датасеты для корректного подбора гиперпараметров по scaling laws; ⚫ как стабилизировали обучение MoE и боролись с ростом активаций; ⚫ почему одних reasoning-данных оказалось недостаточно для агентских навыков и взаимодействия с инструментами пришлось добавлять уже в претрейн. Вместе с весами команда открыла два фактологических бенчмарка с акцентом на русскоязычный контекст — WikiWebFacts и HardMultiQA. А за новостями, исследованиями и инженерными разборами из мира ML можно следить в канале ML Underhood. Подписывайтесь: ➡ @Practical_ML_Conf