Adept | Машинное обучение | Открытое ПО

В NumPy и PyTorch поддерживаются тензоры, у которых одна или несколько осей имеют нулевую длину. Например: np.zeros((0, 24)) # форма (0, 24) torch.empty((17, 0)) # форма (17, 0) Это полноценные объекты, с которыми выполняются стандартные операции (сложение, умножение, транспонирование, конкатенация при согласованных размерностях). Такие тензоры часто называют «пустыми» (empty tensors), но они не являются None и не требуют специальной обработки на каждом шагу алгоритма. 🔍 Зачем они нужны? Главное преимущество — единообразие кода. Вместо проверок if data is not None на каждом этапе вы создаёте пустой тензор с нулевой длиной по нужной оси и продолжаете работать с ним как с обычными данными. Финальная проверка (например, наличие хотя бы одного элемента в пакете) откладывается до самого конца пайплайна. 💡 Пример из загрузки датасетов При сборке батча некоторые примеры могут не иметь разметки. Вместо пропуска или вставки заглушек вы формируете тензор формы (0, num_features) и объединяете его с остальными через torch.cat – операция корректно обрабатывает пустой тензор, не нарушая размерность. Лишь на этапе подсчёта функции потерь вы проверяете, что размер батча > 0. ⚙️ Другие сценарии использования - Обработка последовательностей переменной длины – пустые последовательности удобно представлять тензорами с нулевой длиной. - Фильтрация данных – если после условий выборки не осталось элементов, результатом становится пустой тензор. - Агрегация в группах – группы без данных возвращают пустые тензоры, упрощая универсальные функции редукции. 🚧 Проблема при портировании на Adept В Adept концепция тензоров с нулевой размерностью не поддерживается. Библиотека проверяет размерности на этапе выполнения и генерирует исключение при обнаружении оси длины 0. Это существенно затрудняет перенос кода из NumPy/PyTorch. Я столкнулся с этим при реализации DataLoader для тренировки модели YOLO. В исходной PyTorch-версии пустые тензоры свободно использовались для т

Реализация DataSet для YOLOv11 на базе Adept завершена! Рассказываю, как я наступил на грабли с разделяемой памятью в многопроцессном DataLoader’е. 🔍 Предыстория В Adept есть модуль shared_mem_manager.cpp, который отвечает за межпроцессное взаимодействие через разделяемую память. При указании num_workers > 0 в DataLoader каждый воркер — отдельный процесс, и они синхронизируются через общий буфер. Всё шло гладко, пока я не запустил тренировку с несколькими воркерами. И тут — segmentation fault 💥. Не в логике обработки данных, а в коде синхронизации. ⚠️ Симптомы Ошибка валилась в коде: struct ShmInfo { std::atomic<int> ref_counter; }; class SharedMemoryBuffer : public SharedBuffer { void close() { ShmInfo* shm_info = static_cast<ShmInfo*>(ptr_); if (--shm_info->ref_counter == 0) { // ... } }; Сначала я грешил на гонку потоков или двойное освобождение буфера. ref_counter — atomic, всё должно быть потокобезопасно. Но почему тогда падает? Я потратил несколько часов, перепроверяя логику счётчика, синхронизацию процессов, порядок создания и удаления буферов. Всё выглядело корректно. Но segfault упрямо появлялся при обращении к shm_info. 🧠 Истина оказалась прозаичнее Если посмотреть на размер при создании и удалении отображения: Конструктор: SharedMemoryBuffer(void* ptr, const std::string& filename, size_t size, bool create) : ptr_(ptr), filename_(filename), size_(size + shm_alloc_offset) { ... } Тут размер буфера увеличивается на shm_alloc_offset — это нужно для хранения метаданных (в том числе ShmInfo) в начале сегмента. Деструктор / close: CHECK(munmap(ptr_, size_ + shm_alloc_offset) == 0, ...); В close() мы снова прибавляем shm_alloc_offset к size_, но size_ уже включает это смещение. В итоге munmap пытается освободить больше памяти, чем было выделено. Итог: выход за границы отображённой области, повреждение служебных структур, падение в самом неожиданном месте. 💡 Уроки 1. Двойное смещение — классика. Легко запутаться, когда

Привет! За неделю в ветке yolo-impl мы расширили набор слоёв в Adept. Новая функциональность: групповые свёртки, Winograd на CPU и GPU, транспонированная свёртка и апсемплинг. Всё — с поддержкой CPU и Vulkan GPU, без фолбэков, с автоградом и Python-биндингами. 🚀 Групповые свёртки Добавили параметр groups в Conv2d. Теперь можно эффективно резать каналы на группы — и на CPU (per-group im2col + GEMM), и на Vulkan (аналогичные шейдеры). ONNX-импорт и Python-биндинги — на месте. Тесты покрывают forward/backward для разных конфигураций. ⚡ Winograd: CPU с группами, GPU для 3x3 Доработали CPU-версию Winograd, чтобы она поддерживала групповые свёртки — вынесли буферы за цикл по группам, избежав лишних аллокаций (это критично для depthwise с большим числом групп). А следом завезли Vulkan-шейдеры для Winograd с ядром 3x3: три шейдера (преобразование входа, весов и обратное). Это даёт выигрыш в количестве умножений против im2col. Выбор пути — динамический, под капотом на основе аргументов операции. 🔄 Транспонированная свёртка (ConvTranspose2d) Нужна для апскейлинга в декодерах — в первую очередь для UNet и подобных архитектур. Реализована через im2col/col2im и GEMM с транспонированными весами. Оба прохода (forward/backward) — на CPU и на Vulkan. Инициализация Kaiming-He, тесты с наивной референсной реализацией, Python-биндинги. 📐 Upsample (Nearest + Bilinear) Два режима интерполяции, поддержка align_corners. Реализация - 4 Vulkan-шейдера (forward/backward для каждого метода) и оптимизированный CPU-код. Биндинги в Python — есть, так что можно использовать в питоновских скриптах. Итог: Мы закрыли ключевые потребности детекторов (YOLO) и добавили фундамент для генеративных/сегментационных сетей (UNet). Code review и идеи по оптимизации приветствуются! 👨‍💻 #YOLO #UNet #Conv2d #ConvTranspose2d #Upsample

⚡ Forward pass YOLOv11 — готов! За неделю с лишним закончил сквозной forward pass для модели YOLOv11 на Adept! 🚀 Добил тензорный движок до состояния, когда его можно использовать для реальных нейросетей. Основные изменения — по коммитам: 🧠 Core Tensor Operations - N-мерный transpose, concatenation, stacking — теперь и на CPU, и на Vulkan; - chunk / split с автоградом; - софтмакс на произвольной размерности с autograd; 🔧 Backend и Python-биндинги - reshape и view теперь принимают вариадик (можно писать view(1, -1, 4) как в PyTorch); - новые биндинги для тензоров и параметров Linear/Conv2d; - переработал контейнеры — Sequential, ModuleList стали ближе к torch; 📦 Neural Networks & Models - починил перенос внутренних индексов в MaxPool2d между устройствами; - адаптировал модель YOLO под обновлённое API тензоров. 🧩 Что было самым сложным Главная боль — изначально я не заложил в тензор полноценную поддержку slices, то есть смещения и шагов (strides). И реализовал базовые операции transpose, concat, stack только для одномерных случаев (по сути, только dim=1). Этого хватало для простых экспериментов, но для полноценного YOLO с многомерными тензорами потребовалась поддержка произвольных размерностей. Если бы я добавил strides с самого начала, то реализация этих операций и chunk / split для произвольных размерностей была бы существенно проще через использование slices и ядер типа scatter и gather. Теперь всё на месте и операции работают для любых размерностей — код стал проще и единообразнее. По биндингам — их тоже пришлось расширять, потому что без полноценного Python API удобный интерфейс не построить. Хотелось, чтобы модель на Adept писалась так же естественно, как на PyTorch и NumPy. Вроде получилось. 🎯 Что дальше Следующая остановка — функция потерь и цикл тренировки. Нужно: - реализовать loss (скорее всего, комбинация box + cls + dfl, как в оригинальном YOLO); - собрать тренировочный пайплайн с батчами. Дальше — боль

Привет! На этой неделе, 1 августа, в Москве будет проходить конференция Back to Back. Я с коллегой в 16:30-19:00 буду проводить воркшоп «Реализация CUDA-расширения для PyTorch: ускоряем работу LLM». Кто будет на конференции присоединяйтесь, участие бесплатное но надо зарегистрироваться, на офлайн часть это можно сделать до конца завтрашнего дня. На воркшопе участники на практике познакомятся созданием расширения для популярного фреймворка PyTorch использующего CUDA ядра. В качестве примера мы запустим локальную LLM и измерим её производительность в реальном тесте. Начнём с краткой теории GPU, узнаем немного про работу LLM и познакомимся с инфраструктурой PyTorch для создания расширений на С++ и связыванием их с Python API. После чего реализуем оптимизации для работы модели как расширение для PyTorch. Участники: - напишут CUDA-ядра для функции активации GeLU - познакомятся с реализацией матричного умножения для GPU - реализуют расширение для PyTorch на С++ с интегрированными CUDA ядрами - используют созданное расширение в реализации LLM модели GPT2 написанной на Python API В конце сравним производительность базовой и оптимизированной версии модели посчитав количество токенов в секунду. Требования: уверенное владение C++, CMake и понимание Python.

Привет! Последние две недели занимаюсь расширением тензорного API и развитием функциональности, необходимой для обучения YOLOv11. Часть времени на прошлой неделе ушла на подготовку к конференции, поэтому темп оказался ниже, чем планировал. Но, несмотря на это, работа над задачами для YOLOv11 продолжается. Что сделано: 🔹 Тензорные операции Добавил arange для генерации последовательностей, утилиты создания тензоров и element-wise min/max. Реализовал clamp с forward/backward и Python-биндингами. Для sum() и mean() добавил keepdim, чтобы поведение было ближе к привычным ML-фреймворкам. 🔹 Скаляры и типы Перешёл от явных типов в аргументах к более гибкому std::variant для поддержки всего набора используемых типов. Сделал типизированную поддержку скаляров в Tensor::full() и Tensor::item(), включая динамический вывод формы. Это уменьшило количество неявных преобразований и сделало API более предсказуемым. 🔹 Boolean и unsigned integer Отдельная история — поддержка boolean. Сначала она выглядела как небольшая задача, но на практике потребовала заметно больше времени. Нужно было аккуратно продумать хранение bool в тензорах, взаимодействие со скалярами, приведение типов, проверки на уровне backend и корректный проброс в Python. Плюс добавил поддержку unsigned integer. В результате эти изменения затронули не одну точку в коде, а потребовали согласованной работы нескольких слоёв. 🔹 Контроль памяти Добавил проверки на contiguous-тензоры в backend-операциях. Это помогает раньше ловить ошибки, связанные с layout и памятью, и делает поведение операций более явным. 🔹 Python bindings Продолжаю приводить в порядок Python-слой. Добавил биндинги для новых операций, и сделал skill создания Python-биндингов для LLM агентов. 🔹 GPU backend Подготовил skills для разработки GPU-шейдеров и регистрации dispatcher. Это больше инфраструктурная работа, поэтому неплохо автоматизируется агентами. 🔹 YOLOv11 Продолжаю двигаться к обучению YOLOv11: обновил план реализации, добав

Привет! Я уже несколько недель работаю над тем, чтобы фреймворк Adept мог обучать YOLOv11 полностью на GPU и без NumPy. Я наконец-то довёл Adept до состояния, в котором он может полностью тренировать YOLOv11 на GPU без NumPy. Делюсь тем, что пришлось починить и дописать. 🛠 Ядро и Автоград • In-place broadcast: a -= b больше не падает, левый операнд корректно ресайзится. • Редукция градиентов: при broadcast для + - * / градиенты теперь сворачиваются к форме операндов. • Matmul backward: поддержка 1D тензоров (вектор-матрица и т.д.). • Vulkan Convs: переписал накопление bias-градиента (считается один раз, без лишних аллокаций). 🧩 API для YOLO-loss (прощай, CPU) Чтобы IoU и assigner работали на GPU, реализовал: • Индексация: gather, scatter/add, masked_select/fill, where, topk, unique. • Форма: expand, permute, flatten, cat, stack, reshape. • Математика: clamp, pow, arctan, min/max, argmax. • Скаляры: перегрузки операторов типа 2 * tensor • Создание: arange, detach. 📉 Loss, Оптимизатор и Модули • Добавлены BCE (для DFL) и CE без усреднения (per-position loss). • Фикс Python-операторов: a + b теперь возвращает новый тензор, а не мутирует a (сохраняет граф!). • SGD с momentum и weight decay. • BatchNorm: инициализация дисперсии = 1 (убрал деление на ноль). • Чекпоинты: префиксы имён корректно пробрасываются во вложенные модули. ⚙️ Пайплайн тренировки • Loss, IoU и assigner переведены на нативный clamp`/`min`/`max. Сетки координат - через adept.arange. • Warmup + Cosine LR, логирование box/cls/dfl loss. • Упаковка нескольких GT через scatter_add (меньше синков). • Инференс: новый CLI (`--image`, --weights и т.д.). Починил letterbox — confidence вернулась с 0.08 до 0.61. 📊 Результаты и Перф Тренировал на синтетике (геометрические фигуры). Eval total loss стабильно упал с 13.2 (эпоха 1) до 6.5 (эпоха 24). Градиенты сходятся, детектор учится. ⚡ Оптимизировал Vulkan memory pool: выравнивание 4096, кэш 10000 буферов - заметно меньше аллокаций в train-loop. 🎯 Планы Стек

Привет! После первых запусков конвейера тренировки YOLO11 я сосредоточился на устранении узких мест в производительности, стабилизации процесса обучения и реализации модели и инференса на С++ API. ⚡️ Производительность: два существенных улучшения 1. Прямые групповые свертки (Vulkan) Ранее групповые свертки — основа depthwise-separable блоков backbone'а YOLO — выполнялись на GPU циклом по парам (batch, group). Для каждой пары отдельно диспатчились im2col и GEMM. На малых тензорах оверхед от запусков ядер доминировал в общем времени вычислений. Я реализовал single-dispatch прямую свертку для groups > 1. Добавлены три новых compute shader'а (forward, input-grad, weight-grad), которые аккумулируют свертку напрямую, без использования im2col. Это существенно сократило количество запусков ядер и ускорило работу backbone'а. 2. Оптимизация функции потерь Здесь было два критических узких места: • Distributed-focus loss: ранее считался через dot, который диспатчил batched GEMM и выполнял итерации по хосту для каждого среза (batch, anchor, 4). Заменил на broadcast-multiply и редукцию по оси дистрибуции - получилось ускорение в несколько раз. В Adpet пока есть проблемы с эффективным пакетным GEMM. • Синхронизации с хостом: тензоры anchor points, stride и input-size теперь кэшируются между шагами. Гистограмму label-assignment переписал с unique() + scatter_add_ (требовала синхронизации) на прямой per-batch scatter_add_. Сумму target-score теперь считает GPU max вместо чтения .cpu().item(). Вычисление loss теперь ставится в очередь асинхронно и не блокирует пайплайн. 🔧 Vulkan backend и фреймворк • Выделил отдельный fence pool для host-read copies, чтобы трансфер данных не блокировал основной поток сабмишена. • Устранил edge-cases в strided reductions для случаев, когда размер не кратен размеру рабочей группы. • Добавил поддержку broadcasting для операторов eq/ne. • Убрал проверки границ индексов в scatter из fast path, снизив поэлементный оверхед. • Добавил Sequential и Modu

Привет! Я закончил реализацию и проверку всей функциональности которую планировал для публикации следующего релиза Adept! 🎉 Помимо основных задач, провел важное кросс-платформенное тестирование: ✅ Успешно протестировал распределённое обучение (DDP) на связке из двух RTX 2080Ti. ✅ Проверил сборку и работу на Android с GPU Adreno 650 и Snapdragon 870. 💡 Также в планах на новый релиз: помимо стандартных Python wheel, мы подготовим RPM-пакет для Alt Linux. 📝 Что нового с 6 сентября: 🎮 GPU / Vulkan Backend • Перешли на сегментированный аллокатор памяти для GPU устройств (`vksegalloc`) вместо выделения буферов на каждый тензор. Добавили отдельные абстракции staging-буферов. • Интегрировали это в Vulkan device/manager, GPU API и Python-биндинги. • Реализовали graceful fallback для устройств без поддержки опциональных расширений (на уровнях device, shader и submit). 🎯 YOLO v11 и распределённое обучение • Добавили опцию выбора Device-ID в Python CLI и C++ примере для инференса YOLO. • Реализовали поддержку распределённого обучения (DDP) для YOLO v11, включая корректировки функций потерь под распределённые вычисления. 📦 Сборка и пакетирование • OpenMPI runtime теперь бандлится в wheel, добавлен лаунчер adeptrun. • Настроили пайплайн сборки manylinux wheel. • ⚠️ Важно: Минимальная требуемая версия Python повышена с 3.11 до 3.12. • Починили зависимости MPI и добавили возможность сборки под Android с помощью clang. 🧹 Очистка и адаптация API • Удалили легаси и неструктурированные примеры. • Адаптировали актуальные примеры (LeNet, MLP, ResNet, импорт ONNX) под свежее API. В ближайшее время всё залью в основную ветку, сделаю тег 0.2.0 и опубликую Python пакет для x86_64 в GitVerse 🛠 #Adept #MachineLearning #Vulkan #YOLOv11 #DistributedTraining #AltLinux #Android #OpenSource #C++ #Python #GPU

Привет! С радостью сообщаю что наконец-то вышел Релиз 0.2.0 Основные изменения: - Тензорный движок переработан с использованием смещений и представлений(strides and views). - Добавлена индексация в стиле PyTorch. - Типизированные скалярные аргументы. - Упрощен API редукции. - Переработан формат записи checkpoints. - Переработана система сборки. - Использование Python 3.12. - Переработано управление памятью в Vulkan. - MVP для импорта моделей ONNX. - Распределенное обучение. - Централизованное логирование. - И много новых операций. Больше деталей в описании релиза. Установить новую версию для Linux x86_64 можно так: pip install https://storage.yandexcloud.net/adept-releases/adept-0.2.0-cp312-cp312-manylinux_2_34_x86_64.whl Также репозиторий проекта перенесен из моего личного профиля в организацию adept-platform, там также будут размещаться связанные проекты. Новый адрес проекта: https://gitverse.ru/adept-platform/adept В связи с этим тем кто работает с кодом надо изменить remote origin для рабочей копии в git: git remote set-url origin [email protected]:adept-platform/adept.git #Release #Updates #NewFeatures

Проект стал доступен в индексе пакетов pypi.org. Установка стала проще: pip install adept-platform

Доделал скрипты для сборки библиотеки под Android, исправил ошибки и немного в очередной раз оптимизировал свёртку. Всё уже на мастер ветке. Выложил проект с демкой для Android, там в релизах можно скачать apk и попробовать. В приложении веса самой маленькой модели YOLOv11 получившиеся тренировкой на урезанном для балансировке датасете MS COCO. Тренировка длилась 200 эпох на 4х GPU(3 AMD + 1 Nivida), конечно же с реализацией на Adept. В результате получилось ~7 FPS на CPU и ~5 FPS на GPU. Что вполне сравнимо с NCNN и мобильным libtorch для YOLOv5, особенно учитывая существенно более тяжелую архитектуру в 11 версии с блоком внимания и работу в FP32.

Весте с лабораторией YADRO на факультете информационных технологий НГУ поучаствовали в «Двадцать второй конференции разработчиков свободных программ». Матвей Сорокин студент кафедры Систем Информатики подготовил тезисы для сборника на тему «Развитие библиотеки Adept: сборка RPM-пакета для ALT Linux».