Пост 😨 Нейросеть научилась читать по губам — теперь можно диктовать текст, вообще не произнося ни звука!

😨 Нейросеть научилась читать по губам — теперь можно диктовать текст, вообще не произнося ни звука! Lipflow — open-source инструмент, который превращает движения губ в текст. Никакого микрофона, голоса и звуков — достаточно обычной веб-камеры. Работает почти как голосовой ввод, только без голоса: зажимаете горячую клавишу, беззвучно произносите нужную фразу, отпускаете — и нейросеть вставляет распознанный текст прямо в активное приложение. 🔥 Что интересного: 🖍 Читает по губам с помощью модели компьютерного зрения Auto-AVSR. 🖍 Работает локально — видео с камеры и распознавание обрабатываются на вашем компьютере. 🖍 Поддерживает Windows, macOS и Linux — без обязательной облачной обработки. 🖍 Подключает ИИ для исправления ошибок — Claude, ChatGPT через Codex CLI, Ollama или локальную Qwen. 🖍 Подстраивается под пользователя — можно потренировать модель на собственном лице и привычных фразах. 🖍 Умеет распознавать речь из видеофайлов, а не только с веб-камеры. Есть даже гибридный режим: нейросеть одновременно анализирует движения губ и тихий шёпот, повышая точность распознавания. Установка и запуск macOS (Apple Silicon): git clone https://github.com/amywork777/lipflow.git cd lipflow ./setup.sh open /Applications/Lipflow.app Windows (PowerShell): git clone https://github.com/amywork777/lipflow.git cd lipflow powershell -ExecutionPolicy Bypass -File setup.ps1 После установки запускаем Lipflow через меню «Пуск». Linux: git clone https://github.com/amywork777/lipflow.git cd lipflow curl -LsSf https://astral.sh/uv/install.sh | sh uv sync ./scripts/download-models.sh uv run lipflow 🚀 Как пользоваться: 1. При первом запуске разрешаем доступ к камере и проходим настройку с тренировочными фразами. 2. Открываем любой текстовый редактор или мессенджер. 3. Зажимаем Right Option на macOS или Right Ctrl на Windows/Linux. 4. Беззвучно произносим фразу одними губами и отпускаем клавишу. 5. Нейросеть распознаёт движения губ и вставляет текст в активное поле. 💡 Бонус: двойное нажатие горячей клавиши включает режим без удержания кнопки. А для повышения точности можно подключить Claude, Codex CLI или Ollama. ❗️ Важно: при установке скачиваются модели объёмом около 1,2 ГБ. Для базового распознавания интернет после настройки не нужен. ⚡️ Особенно интересно для работы в тишине, экспериментов с компьютерным зрением и альтернативного управления компьютером. Важный нюанс: технология пока не идеальна. Похожие движения губ могут соответствовать разным словам, поэтому ошибки возможны, особенно при полностью беззвучной речи. Именно для этого предусмотрена дополнительная AI-коррекция. 💬 По сути, это диктовка нового поколения: вы молча шевелите губами, а компьютер печатает за вас. ⚙️ GitHub/Инструкция #python #github #soft