Токены на завтрак

⚡️ Google представила Gemini 4 Argon - разбираем детали 30 сентября Google объявила Gemini 4 Argon — первый флагман за почти год. Сейчас модель доступна только проверенным киберзащитникам по программе Fairwind, а Google параллельно участвует в добровольном госпроцессе США по предрелизному доступу. Ждали её долго: в мае Сундар Пичаи обещал большой релиз в июне, но вместо него вышли три Flash-модели подряд, а Gemini 3.5 Pro отменили. Вводная цена Argon — $2 за миллион входных токенов и $10 за миллион выходных, кэш — со скидкой 95%. После промо акции цена вырастет в 2 раза Бенчмарки - DeepSWE v1.1 — 77.9% (Claude Opus 5.5: 74.2%, GPT-6 Astra: 74.1%) - AutomationBench — 51.3% (Opus 5.5: 42.5%) - GraphWalks, вход 256K–1M — 84.2% (Astra: 71.8%) - LVBench, длинное видео — 91.7% (Astra: 87.5%) - Harvey's Legal Agent — 19.6% (Fable 5.1: 6.7%) — лучший результат, но всё равно лишь одна задача из пяти - CWE-bench v1, поиск уязвимостей — 68.0%: ничья с GPT-6 Astra и Grok 4.7 - FrontierSWE v2 — 55.0% (Astra: 65.5%) — последнее место - Terminal-bench 4.0 — 57.4% (Opus 5.5: 66.4%) — последнее место - Terminal-Bench Science 0.1 — 57.6% (Astra: 68.1%) По подсчёту The New Stack, Argon берёт 13 тестов из 18. Но именно заявленные кодинг и кибербез — самое спорное: в двух софтверных тестах отставание 9–10.5 пункта, а в кибербезопасности ничья, а не победа. Зато в «знаниевой работе» — финансах, праве, длинных документах — отрыв настоящий: 51.3% на AutomationBench почти на 9 пунктов выше Opus 5.5. Что Argon уже сделал внутри Google - Квантовые алгоритмы: обошёл опубликованный бейзлайн на 40% «за минуты». - Память дата-центров: агенты сами нашли оптимизации и освободили 300+ ТиБ, ожидаемая экономия — от 500 ТиБ до 1 ПиБ. - Модель переписывает C/C++ на Rust — от библиотек re2 и libgav1 до ядра Zircon операционной системы Fuchsia (800K+ строк). В libgav1 агенты заменили 32K строк SIMD-кода: декодер стал в 2.7 раза быстрее прежнего Rust-порта при идентичном видео. - Лимит вывода

BAAI выложила 27B-агента AREX-2 — монстра для ML задач BAAI открыла AREX-2 — агентную модель на 27B: dense, база Qwen3.8-27B, контекст 262 144 токена, мультимодальная, Apache 2.0. Рядом пейпер и репозиторий с харнессом и конфигами для шести бенчмарков. Модель учат тратить раунды на улучшение того же решения: попробовал → измерил → понял, что менять → переписал. Траектории для обучения синтезировали: ML-инженерия и алгоритмическое программирование, среды собирали из GitHub-репозиториев и онлайн-судей. Отбор шёл не только по финальному счёту, но и по качеству процесса — провалы и регрессии оставались в контексте, а учили модель на решениях «диагностируй — почини — улучши». Потом эти данные смешали со старым deep-research-датасетом AREX и дообучили Qwen3.8-27B. Приятный бонус: тренировали на коде и ML, а прирост пришёл в research. Без единой новой поисковой траектории AREX-2 обошёл предыдущий AREX на 122B по всем четырём research-бенчмаркам. Числа (замеры самих авторов, независимых прогонов пока нет) - MLE-Lite — 81.8 (GPT-5.6 Sol: 72.7; Kimi-K3, 2.8T: 72.7; Naive-N0.5-Flash, 309B: 73.7) - Frontier-CS — 70.7 (GPT-5.6 Sol: 76.4; GPT-5.5: 72.1; DeepSeek-V4-Pro, 1.6T: 44.7) - BrowseComp — 84.0 (GPT-5.6 Sol: 90.4; Claude Opus 4.8: 84.3; Kimi-K2.6, 1T: 83.2) - DeepSearchQA — 93.8 (Claude Fable 5: 94.2; Kimi-K2.6: 92.5) - GAIA — 92.2 (Qwen3.5-35B: 80.0) - HLE, только текст — 52.6 (GPT-5.6 Sol: 58.0) Мы протестировали эту модель в Q6 - не самом мощном кванте на llama.cpp. Модель действительно очень хорошо ориентируется в ML-задачах, предлагает решения, которые не мог продумать даже Opus 5.5 и часто с ней соглашается, когда просишь его отревьюить задачи #открытые модели #агенты #BAAI #benchmarks 🔗 BAAI/AREX-2 на Hugging Face @tokenbreakfast

Лучший агент решает 35% задач настоящей дата-команды Лучший агент в мире закрывает 34.8% реальных задач дата-команды. Argo-Bench от TextQL прогнал тринадцать моделей на симуляции нью-йоркской доставки еды — восемь из них не дотянули до 30 баллов из 100. • 210 задач из пяти отделов: trust & safety (67), маркетплейс (46), FP&A (54), бухгалтерия (23), growth (20) • Склад — 235 таблиц Oracle EBS, 7.49 млрд строк, 81 млн заказов за 2024 год • Opus 5.5 — 59.5 балла и ≥95 на 34.8% задач; GPT-6 Astra и Sonnet 5.5 — по 51.8, Kimi K3 — 28.4 • GPT-6.1 Sol — 49.5 балла за $0.49 на задачу против $4.71 у Opus 5.5 • Свои 80-процентные интервалы модели накрывают реальность в 44.8% случаев (4553 ряда) Агент тут файлит решение: бан аккаунтов, бюджет, прогноз, проводку. Грейдер сверяет его с последствиями в симуляторе, состояние которого скрыто. Задачу про перехваченные выплаты ресторанам решили 6 из 47 настроек моделей. Публичные text-to-SQL бенчмарки мерят запрос, и аудиты уже находили их ключи неверными. Склад и задачи открыты — 71 ГБ Parquet на HF, лидерборд и пейпер тоже. 🔗 Argo-Bench: Evaluating Data Agents on Enterprise-Scale Workflows @tokenbreakfast

Открытая модель для поиска уязвимостей в 31 раз дешевле Opus 5 Cantina Security выложила apex-flash-1 — открытую модель (MIT) для поиска и эксплуатации уязвимостей. Это RL-дообучение GLM-5.3-Flash: 320B параметров, 18B активных. • 40 из 60 отложенных кейсов, 66.7% — у Claude Opus 5 High 43/60 (71.7%) • $2.38 за прогон 60 задач против $74.68 у Opus 5 — в 31 раз дешевле • 60% и $4.56 у базовой GLM-5.3-Flash: дообучение обыграло свою базу • GRPO и rank-256 LoRA по всем экспертам, 150 задач из 50 реальных кейсов Учили её в харнессе Codex и советуют гонять там же — исполнителем под управлением агента побольше. Рядом выложен abliterated-вариант. Числа — из отчёта самих авторов на своих отложенных кейсах, независимых прогонов нет. Релизный пост. 🔗 apex-flash-1 — открытые веса для поиска уязвимостей @tokenbreakfast

Соавтор AlphaGo ушёл из DeepMind строить рассуждающую модель Соавтор AlphaGo Тор Граепель ушёл из Google DeepMind и объяснил в MIT Technology Review, почему нынешние LLM не рассуждают. • Ход 37 с Ли Седолем: сеть-интуиция оценила его как 1 шанс из 10 000, выбрал его перебор по дереву • Нет явного состояния: не видно, какие гипотезы модель держит и насколько в них уверена • Chain of thought — тот же next-token, только длиннее: нередко ответ приходит одним путём, а отчёт пишется другим • Предлагает AlphaGo-схему для фронтира: политика подсказывает, оценка взвешивает, дерево смотрит вперёд Граепель собирал AlphaGo, AlphaGo Zero, AlphaZero и MuZero, а до DeepMind делал TrueSkill для матчмейкинга Xbox Live. У него теперь новый проект — AlphaGo-style reasoning для фронтир-моделей, плюс кафедра ML в UCL. Весов и API у проекта пока нет. 🔗 Don’t be fooled—LLMs don’t reason @tokenbreakfast