Данил Щуцкий | CutCode AI
🔥 Reddit-дайджест от CutCode за 10 мая
📊 Пользователь показал 80 токенов в секунду и контекст 128К на 12 ГБ видеопамяти
В связке с последней сборкой llama.cpp и патчем MTP пользователь получил свыше 80 токенов в секунду на 12 ГБ видеопамяти. В тесте он также отметил более 80% принятия черновиков и контекстное окно 128К.
#CutCode #AI #LlamaCpp #LocalLLaMA #Бенчмарки
Подписывайся - @CutCode_AI
2 · 156 ·