ПостКак нейросеть переводит видео. Часть 2: русский длиннее не текстом, а звуком

Как нейросеть переводит видео. Часть 2: русский длиннее не текстом, а звуком Автор в одиночку пилит speeek.io — сервис дубляжа видосов. Первая часть была про вход конвейера: как звук превращается в текст с таймкодами и что Whisper с этим текстом выделывает. Эта — про середину: перевод и запихивание перевода в тайминг оригинала. Самый болезненный кусок всего проекта — как раз эта середина. С распознаванием автор худо-бедно разобрался, синтез берёт готовым на стороне. А вот что делать с русской фразой, которой тупо не хватает секунд английской, — до сих пор не уверен. Ближе к концу — эксперимент, после которого картинка стала чуть яснее. Читать далее 👉 Telegram | Max