Пост🐟 Sakana AI выкатили DiffusionBlocks - способ обучать нейросеть по одному блоку за раз, не держа в памяти всю модель цел…

🐟 Sakana AI выкатили DiffusionBlocks - способ обучать нейросеть по одному блоку за раз, не держа в памяти всю модель целиком. Работу приняли на ICLR 2026. При обычном обучении градиенты проходят через весь граф, а память под активации растёт вместе с глубиной модели. DiffusionBlocks предлагает разрезать сеть на отдельные блоки и обучать каждый независимо. Каждому блоку дают свою локальную задачу: сдвинуть представление чуть ближе к целевому состоянию, чем это сделал предыдущий блок. Формально это похоже на один шаг диффузионного процесса, поэтому каждый блок оптимизирует собственный лосс и не зависит от соседних блоков. Главный плюс - память. Для тренировки нужна память под один блок, а не под всю сеть целиком. Авторы проверили подход на разных архитектурах: - ViT - DiT - masked diffusion - авторегрессионные трансформеры - recurrent-depth / Looped-трансформеры По качеству результаты сопоставимы со сквозным обучением, но с куда меньшими требованиями к памяти. В Looped-трансформерами один и тот же блок прогоняется много раз подряд, как будто модель «думает» несколькими итерациями. Обычно для обучения приходится разворачивать весь этот процесс через BPTT, из-за чего память и вычисления быстро дорожают Это ещё один аргумент в пользу идеи, что диффузия - не только про генерацию картинок, а более универсальная рамка для обучения моделей. Если модель упирается в VRAM из-за глубины, DiffusionBlocks выглядит как подход, за которым стоит следить. Пейпер: arxiv.org/abs/2506.14202 Код: github.com/SakanaAI/DiffusionBlocks @ai_machinelearning_big_data #sakana #ai #ml