Сообщение🦅 Colibrì - движок для запуска очень больших AI-моделей на обычных ПК и рабочих станциях, даже если модель целиком не по…

🦅 Colibrì - движок для запуска очень больших AI-моделей на обычных ПК и рабочих станциях, даже если модель целиком не помещается в видеопамять. Как это работает: MoE-модели состоят из множества «экспертов», но для каждого токена используется только небольшая их часть. Colibrì хранит: * самые нужные веса в VRAM; * менее активные — в RAM; * редко используемые - на NVMe SSD. Когда модели нужен конкретный эксперт, движок подгружает его с диска или из RAM. То есть для запуска условной модели на сотни миллиардов или даже триллионы параметров не обязательно иметь столько же VRAM. Поддерживаются CPU, CUDA, Metal и смешанное размещение модели. Проще говоря: Colibrì позволяет запускать гигантские MoE-модели локально, жертвуя в первую очередь скоростью, а не возможностью их вообще запустить. https://github.com/JustVugg/colibri @Python_Community_ru