سلسلةт.е. карточку при генерации ответа практически не грузит

та не, это самое простое и первое, что делают. Там проблема глубже и её возможно знаю те, кто работает с кастомными нейронками у себя на ПК. На винде включить cuda ускорение нейронок как оказалось не так просто