[ code ] & AI

а, ты про это. Честно хз, я сам не очень в этом шарю))) Посмотри топовые qwen, deepseek, kimi. Там есть квантование, когда они их сжимают под более слабые спеки. Вообще, в самой llama мб есть что-то типо сканера и он тебе рекомендуемые размеры подскажет под твое железо