ITSK Chat

https://huggingface.co/moonshotai/Kimi-K3 2.8 ТРИЛИОНА параметров в открытом доступе 😱 Кстати, использует MoE, чего я не знал, 16 экспертов из 896 ~ 104B активных параметров при процессинге каждого токена. • контекст 1 048 576 токенов • текст и изображениями K3 заточивали под долгие агентные задачи, интересно как, надо будет раскопать.... А вот как запустить этого монстра у себя - ждём дистиляции. ну и погуляю может на остаток кредитов гугла и попробую запустить в августе на потыкать, интересно сколько надо танцев с бубном