Данил Щуцкий | CutCode AI
🔥 Reddit-дайджест от CutCode за 25 апреля
📊 Пользователь сравнил кванты Qwen3.6-35B-A3B на 3070 и увидел рост качества
На связке 3070 с 8 ГБ и 64 ГБ DDR4 он сначала запускал Qwen3.6-35B-A3B-UD-IQ4_XS.gguf размером около 18 ГБ и получал 25–30 токенов в секунду при контекстном окне 32k. Затем он попробовал Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf примерно на 23 ГБ, чтобы уменьшить зацикливание в режиме рассуждений.
#CutCode #AI #LocalLLM #Qwen #Бенчмарки
Подписывайся - @CutCode_AI
87 ·