Сообщество Python Программистов (@python_scripts) — сообщения за июнь 2023

30 июня 2023

AtomMax_Доброго времени суток. Подскажите, есть ли способ передать в multiprocessing.Queue() объект процесса?

Что имеется ввиду под объектом процесса? Прокинуть объекты в качестве контекста, или нужно ограничить пулл запущенных процессов и повторно исполнять что-то из очереди на этих процессах?

20:32

AtomMax_

Пример: p = mp.Process(target=f) Мне нужно передать этот объект p в функцию f (зачем лучше не спрашивать). Я пробовал через очередь(Queue) но получил ошибку: TypeError: Pickling an AuthenticationString object is disallowed for security reasons. Я гуглил и спрашивал бинг, но ничего не вышло.

20:43

R
Rud 356
Не запихнешь
20:46

Вся ветка · 1 ответ →

Rud 356

Отдельный процесс это отдельный процесс, у него своя память, хоть он и управляется другим процессом

20:47

Rud 356

+ к этому, ты никак не передашь объект до того, как он появился в области видимости, а появляется он там после запуска процесса

20:48

Rud 356

Я думаю можно попытаться чисто технически как-то изъебнутся пайпами, но скорее всего ты ничего не сможешь, потому что данные будут нерелевантны внутри другого процесса, или же вообще не смогут упаковаться и будут невалидны

20:49

Tishka17

Можно пид пихнуть

20:49

R
Rud 356
Это скорее всего можно, но надо спросить вообще а зачем это все происходит яб сказал, а то звучит мутно и непонятно че там за шаманства
20:51
1. T
  Tishka17
  Просили не спрашивать, значит точно делает какую-то ненужную херню
  20:51
  1. A
    AtomMax_
    Попробовал другое решение, не используя подобные извращения - заработало. Правда теперь новая проблема, декоратор @after_this_request в фласк не работает так как мне нужно(
    21:00
    1. T
      Tishka17
      Хз что за декоратор
      21:00
    2. T
      Tishka17
      Что ты вообще делаешь
      21:00
      1. A
        AtomMax_
        Настраиваю что-то вроде рестапи для языковой модели
        21:08
        T
        Tishka17
        А зачем процесс передавать в другой процесс?
        21:09
        A
        AtomMax_
        Стыдно говорить, но видел это как один из ответов как отключать сервер
        21:09
        R
        Rud 356
        Вообще не нужен тогда мультипроцессинг. Фласк может работать с такими штуками и так в тредах. Треды работают так, что там не все намертво встает пока крутится модель
        21:09
    3. R
      Rud 356
      Фласк вообще не должен тут быть никаким боком. Выносишь cpu-bound задачу конкретную в отельную функцию, ожидаешь ответа от процесса и идешь дальше в хендлере. Хоть этот хендлер есть, хоть его нет - надо просто добиться выполнение маленького куска вычислений и не более. В этом цель собственно мультипроцессинга
      21:08

Вся ветка · 10 ответов →

David

Фотография
нажмите — покажем

Здравствуйте, я уже спрашивал, но что-то мне тут не помогли. Решил добавить скриншот. Может кто помочь решить данную ошибку?

21:08

D
David
Кто сталкивался с данной ошибкой?)
21:57

Вся ветка · 1 ответ →

David

Вроде всё делал по документации...