讨论串поэтому и спрашиваю есть ли чаты

8 条消息 · 21:27–21:36

Oleg

поэтому и спрашиваю есть ли чаты

21:27

O
Oleg Kishinsky
сама нейронка, простая без самообучения, это простой бинарь который можно запустить в том же notebook python в случае же с обучаемыми все сложнее, нужно хорошее железо,
21:28
1. O
  Oleg
  в том то и вопрос заставить работать transformers в дообучение, с GGUF у меня проблем нет, но их нельзя дообучать
  21:30
  1. O
    Oleg Kishinsky
    это скорее всего особенность нейронки, самообучаемые строятся несколько иначе ну и без исходника не получится.
    21:32
    1. O
      Oleg
      у меня сейчас получается их запускать, но они не используют на полную 4090 (примерно 15-20 процентов) и поэтому ответ очень медленный, как исправить не знаю. Нейронки современные не могут помочь, говорят вариант только на Линуксе пробовать запускать, там тритон есть.
      21:33
      1. O
        Oleg Kishinsky
        ну,,, они тебе правильно подсказывают, плюс, а ты уверен что видеокарта используется а не CPU?
        21:34
        O
        Oleg
        конечно уверен. Я хочу именно на винде сделать проект, поэтому и ищу варианты.
        21:35
        O
        Oleg Kishinsky
        мне кто то говорил, что у винды в этом плане есть ограничение
        21:36