[PYTHON:TODAY]
Фотография
🔥 Нейронка, которая превращает обычные фотографии в 3D-сцену за считанные секунды
VGGT (Visual Geometry Grounded Transformer) — open-source модель, способная восстановить геометрию реального пространства по одной, нескольким или даже сотням фотографий.
Загружаем снимки объекта, комнаты, здания или локации — VGGT может определить:
🔣 положение и параметры камер;
🔣 карты глубины — Depth Maps;
🔣 3D Point Maps;
🔣 соответствующие 3D-точки между разными кадрами.
Есть готовая визуализация через Gradio и Viser, а результат можно экспортировать в COLMAP и дальше использовать, например, в пайплайнах NeRF / Gaussian Splatting.
⚙️Установка:
git clone [email protected]:facebookresearch/vggt.git
cd vggt
pip install -r requirements.txt
▶️ Пример запуска:
import torch
from vggt.models.vggt import VGGT
from vggt.utils.load_fn import load_and_preprocess_images
device = "cuda" if torch.cuda.is_available() else "cpu"
# bfloat16 поддерживается на Ampere GPU
# с Compute Capability 8.0+
dtype = (
torch.bfloat16
if torch.cuda.get_device_capability()[0] >= 8
else torch.float16
)
# Загружаем модель.
# При первом запуске веса автоматически
# скачаются с Hugging Face.
model = VGGT.from_pretrained(
"facebook/VGGT-1B"
).to(device)
# Указываем собственные фотографии
image_names = [
"path/to/imageA.png",
"path/to/imageB.png",
"path/to/imageC.png",
]
images = load_and_preprocess_images(
image_names
).to(device)
with torch.no_grad():
with torch.cuda.amp.autocast(dtype=dtype):
# Получаем камеры, depth maps,
# point maps и другие предсказания
predictions = model(images)
👨💻 Хотим не возиться с кодом?
Ставим зависимости для готового интерфейса:
pip install -r requirements_demo.txt
И запускаем Gradio:
python demo_gradio.py
Открывается веб-интерфейс, куда можно загружать изображения или видео, запускать реконструкцию и интерактивно рассматривать полученную 3D-сцену прямо в браузере.
Есть и отдельный 3D-viewer:
python demo_viser.py \
--image_folder path/to/your/images/folder
А если нужен результат для дальнейшей работы в 3D, VGGT умеет экспортировать реконструкцию непосредственно в COLMAP:
python demo_colmap.py \
--scene_dir=/YOUR/SCENE_DIR/
После обработки получаем параметры камер и 3D-точки в каталоге sparse, которые можно использовать дальше в соответствующих 3D-пайплайнах.
Очень мощная штука для Computer Vision, 3D, робототехники, AR/VR и Gaussian Splatting.
♎️ Пробуем
#python #soft #github
278 · 7.2K ·