Dmitry Space кодит!
Фотография
нажмите — покажем
нажмите — покажем
Видео
Без названия.mp4 · 3.8 МБ · нажмите — покажем
Без названия.mp4 · 3.8 МБ · нажмите — покажем
Что вы знаете о безумии?)
Пытаюсь сделать нейровиджея для канала WTF)
Идея в том, чтобы каждый день для эфира телеканала генерировалась тема дня и под неё автоматом выбирались клипы из плейлиста. Затем на эту тему генерируется сценарий эфира и текст для виджея. Пока смотришь первый музыкальный клип вставка с виджеем генерируется, и после первого клипа виджей выходит и вещает, как в прямом эфире)
Готовые сервисы не хочу использовать, т.к. за них платить надо до-хе-ра. + Они слишком долго делают даже 5 секундное видео. + Результат не стабильный. Поэтому на своём сервере пытаюсь настроить рабочий пайплайн нестандартными средствами.
Пробую разные варианты))
Первый - это попытка сделать просто 3d человечка, который двигается по сценарию) Но ожидаемо - хрень полная вышла) + рендерится долго слишком.
Второй вариант на видео - тоже по сути 3d модель, но генерится более специализированной и дообученой нейронкой. Довольно быстро выходит.
Жестикуляция пока просто с левого видео - нейронка распознаёт движения спикера и повторяет на 3d аватаре. Но их можно и просто текстом прописать (нагенерить естественно), как сценарий, хоть на каждую секунду видео.
Короче тут одна нейронка делает 3d аватар, вторая голос, третья генерирует движения по голосу/тексту, червертая липсинк, и т.п. Потом постобработка - добавление фона видео и сглаживание прочее.
Интересная тема.. И всё это только за выходные))
Ещё немного и видеоуроки для школ начнём штамповать 🤪
1 · 496 ·