TensorFlow

🖥 Introducing ASPIRE for selective prediction in LLMs Google представили ASPIRE - фреймворк, который расширяет возможности предсказания больших языковых моделей, позволяя им выдавать ответ в паре с оценкой уверенности. Узнайте, почему он превосходит современные методы на различных наборах данных QA. https://blog.research.google/2024/01/introducing-aspire-for-selective.html @ai_machinelearning_big_data

TimesFM is a forecasting model, pre-trained on a large time-series corpus of 100 billion real world time-points https://blog.research.google/2024/02/a-decoder-only-foundation-model-for.html

🔥 Графовые нейронные сети (ГНС) стали мощным методом работы с уникальными и разнородными данными из графов. Google объявили о выпуске TensorFlow GNN 1.0 (TF-GNN), проверенной на практике библиотеки для построения GNN в масштабе. ▪Анонс: https://blog.research.google/2024/02/graph-neural-networks-in-tensorflow.html ▪Colab: https://colab.research.google.com/github/tensorflow/gnn/blob/master/examples/notebooks/ogbn_mag_e2e.ipynb ▪Github: https://github.com/tensorflow/gnn @data_analysis_ml

⚡️ AutoBNN: Probabilistic time series forecasting with compositional bayesian neural networks Autobahn сочетает интерпретируемость традиционных вероятностных подходов с масштабируемостью и гибкостью нейронных сетей для построения сложных моделей прогнозирования временных рядов с использованием сложных данных. Узнайте больше и попробуйте готовый код → https://blog.research.google/2024/03/autobnn-probabilistic-time-series.html @tensorflowblog

💨 Scaling hierarchical agglomerative clustering to trillion-edge graphs Кластеризация графов объединяет похожие элементы в группы, что помогает лучшему понять взаимосвязи в данных. В этой статье инженеры Google рассказывают о ключевых методах, которые позволили им построить мощнейший алгоритм, позволяющий группировать графы с триллионами ребер. https://research.google/blog/scaling-hierarchical-agglomerative-clustering-to-trillion-edge-graphs/ @data_analysis_ml

🌟SALSA: Стабильная адаптация линейного поиска Armijo. SALSA (Stable Armijo Line Search Adaptation) — метод, разработанный для оптимизации Learning Rate (LR) во время обучения. Основная концепция метода построена вокруг выполнения линейного поиска для определения наилучшего возможного LR для каждого шага обучения, что дает быструю сходимость и улучшенное обобщение. Чтобы уменьшить вычислительную нагрузку, Salsa предлагает пошаговый миниатюрный линейный поиск. В нем LR постепенно увеличивается с каждым шагом, а критерий линейного поиска постоянно переоценивается. Дополнительно, Salsa включает экспоненциальное сглаживание в процесс линейного поиска и устанавливает два экспоненциальных скользящих средних для скорости обучения. Это помогает стабилизировать оптимизацию и уменьшить нестабильность от мини-пакетирования. Экспериментальные результаты показывают, что Salsa превосходит другие методы оптимизации: 50% сокращение final loss и 1,25 average rank в языковых и графических задачах. Вычислительные издержки Salsa всего на 3% выше, чем у базового LR метода, что можно воспринимать как незначительным увеличением, учитывая показатели производительности. Salsa достаточно универсален, чтобы использоваться с различными оптимизаторами, и особенно эффективен при обучении современных архитектур, которые чувствительны к скорости обучения. ▶️Локальный запуск: # Clone repository: git clone https://github.com/TheMody/No-learning-rates-needed-Introducing-SALSA-Stable-Armijo-Line-Search-Adaptation.git # Create & activate env: conda env create -f environment.yml conda activate sls3 # Install dependencies: pip install pytorch numpy transformers datasets tensorflow-datasets wandb # NOTE: custom optimizer is in \salsa\SaLSA.py,comparison version are in \salsa\adam_sls.py: from salsa.SaLSA import SaLSA self.optimizer = SaLSA(model.parameters()) # NOTE: typical pytorch forward pass needs to be changed to: def closure(backwards = False): y_pred = model(x) loss = criterion(y

🔥 Курс Математика Машинного обучения: Что такое тензоры. 📌 Видео 📌Colab с кодом @tensorflowblog

⚡️ Введение в тензорные сети 📌 Видео 📌 Урок 1 / Урок2 / Урок3 / Урок4 / Урок5 📌 Colab @tensorflowblog

CUDA 12.8 just dropped with Blackwell support. TensorCore 5th Generation Family Instructions: https://docs.nvidia.com/cuda/parallel-thread-execution/index.html#tensorcore-5th-generation-instructions

🧠 Разбираем Функцию Радемахера. Машинное обучение Курс математики - Видео - Урок 1 / Урок2 / Урок3 / Урок4 / Урок5 / - Урок6/ Урок7/ Урок8 / Урок9 - Colab -Полный курс

⚡️ EasyR1 – эффективный и масштабируемый фреймворк для обучения с подкреплением (RL) с поддержкой мультимодальных данных. Чем интересен EasyR1? EasyR1 сочетает в себе алгоритм GRPO, продемонстрированный в DeepSeek R1, и расширение системы veRL для поддержки vision-language моделей, таких как Qwen2.5-VL. Уже после 30 шагов обучения фреймворк показал прирост производительности на 5% в экспериментах на тестовом наборе Geometry3k. Это делает его привлекательным инструментом для исследователей и разработчиков, работающих с задачами, где объединяются визуальные и текстовые данные. Фреймворк спроектирован так, чтобы быть масштабируемым и легко интегрироваться с различными алгоритмами RL, что открывает широкие возможности для дальнейших исследований. Ожидайте будущих обновлений – в них планируется интеграция дополнительных алгоритмов RL и новых архитектур VLM. ▪ Github @ai_machinelearning_big_data #EasyR1 #opensource #GRPO #VLM

🔎 Alibi Detect — библиотека, которая замечает подозрительные изменения в поведении входных данных или предсказаний у ML моделей. Проект довольно универсален — он работает с табличными данными, текстами, изображениями и временными рядами, поддерживая как TensorFlow, так и PyTorch. Особенно ценно, что система умеет ловить не только очевидные выбросы, но и едва заметные изменения в распределениях. 🤖 GitHub