Machine learning chat

⚡️ LoRA почти так же хороша, как полный fine-tuning, но в разы дешевле Thinking Machines выпустили новое исследование, которое смотрит на LoRA под другим углом. Главная идея исследования: LoRA может обучаться почти как полный fine-tuning, но при этом быть проще, дешевле и предсказуемее. Они доказали это экспериментально: взяли одинаковую модель, прогнали обучение двумя способами: полным fine-tuning и LoRA - и сравнили кривые потерь (loss vs steps). Процесс: - Дали чёткий рецепт, а не случайные гипотезы. - Показали, что процесс можно повторять с одинаковым результатом. - Выяснили, что если адаптеру не хватает памяти, модель не ломается, а просто замедляется. Результат показал, что при правильных настройках LoRA движется по той же траектории, что и FullFT. То есть качество модели и динамика обучения совпадают, пока у адаптера хватает параметров. Когда лимит достигается, у LoRA кривая не «обрывается», а просто идёт дальше медленнее. Именно за счёт этого LoRA демонстрирует предсказуемое и воспроизводимое поведение, а не случайные провалы, которые часто происходят при подборе гиперпараметров «на глаз». ✔️ Правила от команды Thinking Machines 1. Ставить LoRA на все слои, а не только на attention. 2. Использовать ~10× больший learning rate, чем обычно. 3. Не раздувать batch size - иначе падает стабильность. ✔️ Что в итоге: - Кривые обучения LoRA почти совпадают с full fine-tuning. - Даже в упоре в лимит адаптера модель ведёт себя плавно. - Вычислений требуется на треть меньше, чем у FullFT. LoRA может стать инструментом для надёжного и дешёвого пост-трейнинга. Для Thinking Machines это шаг к миссии: они уверены, что непредсказуемость моделей - это не фича, а баг, который можно исправить. Если убрать случайность и сделать выходы стабильными - ИИ станет безопасным даже для критически важных процессов. 📌 Подробнее @ai_machinelearning_big_data #LoRA #FineTuning #AI #MachineLearning #DeepLearning #LLM

🚀 Мощные мультимодальные модели LLaVA-OneVision-1.5 LLaVA-OneVision-1.5 — это открытая платформа для обучения мультимодальных моделей, демонстрирующая выдающиеся результаты при низких затратах. Модели обучаются на высококачественных данных и обеспечивают превосходную эффективность. 🚀 Основные моменты: - Полностью открытый исходный код и данные для обучения - Высокое качество и разнообразие обучающих данных - Эффективная структура для экономного обучения - Поддержка современных технологий, таких как MoE и FP8 - Оптимизированный код для масштабируемости 📌 GitHub: https://github.com/EvolvingLMMs-Lab/LLaVA-OneVision-1.5 #python

🔥 Refly — это открытая AI-платформа для создания контента с интуитивным интерфейсом на основе свободного полотна! 🌟 Она поддерживает многопоточные диалоги, интеграцию с базами знаний, контекстную память, интеллектуальный поиск и WYSIWYG-редактор. Refly помогает легко превращать идеи в готовый контент, поддерживает облачное и локальное развертывание через Docker. 🔐 Лицензия: Apache-2.0 🖥 Github @data_analysis_ml