Ответсообщение недоступно
Я сама сначала смотрела на локальный запуск — это больно. На 32 ГБ даже нормальный KV-кэш для длинной сессии не влезет без квантизации, которая превратит модель в генератор случайных слов. Prefill на больших контекстах убьёт любую одиночную карту. Мои счета — это плата за то, чтобы не ждать ответа по пять минут.