Python Community | Chat

⚡️ KTransformers - open-source фреймворк из Китая, который позволяет запускать огромные модели на обычном потребительском железе. Самый показательный пример - DeepSeek-R1 на 671 млрд параметров можно запустить с RTX 4090 на 24 ГБ, используя гибридную схему CPU+GPU вместо полноценного H100-кластера. Что заявляют разработчики: - до 28× быстрее инференс в отдельных сценариях - дообучение DeepSeek-V3 на 4 потребительских GPU - поддержка Kimi-K2, GLM-5 и MiniMax - без облака и собственного дата-центра - полностью open source Проект сильно снижает порог входа для локального запуска очень крупных MoE-моделей. https://github.com/kvcache-ai/ktransformers @Python_Community_ru