Пост🌟 LongLLaVA: MMLM, оптимизированная для обработки большого количества изображений.

🌟 LongLLaVA: MMLM, оптимизированная для обработки большого количества изображений. LongLLaVA - мультимодальная модель, предназначена для разработки приложений, требующих понимания длинных видеороликов, изображений высокого разрешения и сложных мультимодальных сценариев. В модели применяется гибридная архитектура из комбинации блоков Mamba и Transformer в соотношении 7:1. Для сжатия визуальных данных применяется метод 2D-пулинга, который снижает вычислительные затраты при сохранении производительности. В процессе обучения применялся трехфазный метод: выравнивание по одному изображению, настройка инструкций по одному изображению и настройка инструкций по нескольким изображениям. Экспериментальные результаты показали, что LongLLaVA превосходит другие модели с открытым исходным кодом по пониманию в длинном контексте, особенно в задачах поиска, подсчета и упорядочивания. ▶️Технические параметры модели: 🟢Parameters: 53B; 🟢Active parameters: 13B; 🟢Numbers of layers: 24; 🟢Mixture of Experts: 16/Top-2 for each token; 🟢Normalization: RMSNorm; 🟢Attention: Grouped Query Attention; 🟢Activation functions: SwiGLU. 📌Лицензирование : MIT License 🟡Arxiv 🟡Модель 🖥Github @ai_machinelearning_big_data #AI #ML #MMLM #LongLLaVA