Свидетели Градиента

Кстати, есть такая теория о зоне златовласки, что якобы для гроккинга нужно чтобы норма весов упала в какую-то зону. Ну так вот если получать гроккинг без weight_decay, то норма весов не падает, а наоборот растёт, причём довольно круто, и именно вокруг того момента, когда растёт val acc. Никакого хитрого посыла в этом наблюдении нет, просто картинка прикольная. А ещё, если вы вдруг интересуетесь Weight Watcher-ом, то там картинки тоже довольно интересные. Правда немного разочаровывающие. Очевидно, что информация о правильном решении накапливается в сети постепенно, и это даже можно инструментально увидеть, но на основе графиков ww Эта подготовительная работа почти незаметна, Хотя только она то и является действительно важной и нужной.

Оценка Fale-5 с циферками. Если хотите лайкнуть - лучше сначала репостните. Напомню, пока эта штука была доступна я успел прогнать свой бенчмарк, (на который пожёг свои лимиты), но не успел подвести итоги с циферками в руках, только качественные выводы и вот наконец-то подъехало сравнение количественное и подробный анализ использованных стратегий. Спонсором и таким образом соавтором этого выпуска является Chill guy (@import_sklearn ) Подогнавший мне для валидации и подведения итогов свой сервер с 3090-ыми, и даже свои лимиты на погонять, пока я ждал сброса последствий Fablе-овой расточительности. Итак, сначала итоговая таблица: Итоговые очки / Штрафные баллы за мухлёж или непослушание / Модель + окружение 55.49 0 claude-code+opus-4.6 + Human in the Loop 42.63 28 claude-code+fable-5+kcg-config 31.48 9 claude-code+opus-4.7-kcg 28.97 2 claude-code+opus-4.6 Модель прямо таки сильно, скачком выпрыгнула вперёд относительно других тоже топовых для своего времени моделей. Улучшила рекордные результаты на обеих подзадачах. Так что теперь у меня есть спарсифицированное ядро обгоняющее dense умножение x15 на задаче тренеровки, и x15.3 на инференсе для больших моделей. Теоретический порог по флопсам, напомню x33 то есть прямо совсем близко. Может она бы и чуть-чуть больше набрала, если бы сразу находилась в подходящем окружении. Модель проявила просто чудеса самоконтроля. Нахватала штрафов за остановку без команды почитав свою ситуацию безнадёжной, но при этом всего два штрафных очка за хакинг реварда и несколько раз случайно ревард хакнув сама себя ловила за руку и откатывалась. Что сильно упрощает работу по сравнению с 4.7 где большая часть времени была потрачена на ловлю слишком хитрой модели за руку во множестве мест. Модель всё ещё сильно проигрывает HitL в способности разумно откатиться сильно назад на принципиально другое архитекутурное решение. Именно здесь главная точка роста, если вы строите свой авторесёрч цикл или вообще заниметесь Loop инженерингом. Н

А вы раньше знали, что для достижения лучшего validation loss ваше расписание lr иногда должно его не уменьшать, а увеличивать?