DLStories Chat

У многих статей результаты не основаны на каких-то до этого принятых бенчамрках. Плюс, проблемы чаще всего не в тестовых данных, а в параметрах и методологии экспериментов

Нет такого, что при написании проекта нуля нужны супер подробные спеки, прописывающие все такие нюансы реализации и методологии?

Ну вот да, нужны. Но как-то я все равно даже при спеках не буду уверена, что агент сделал все правильно. А во-вторых, я всё ещё могу представить людей, которые ставят экспы без спеков и пишут научные статьи

Ну мои экспы под это вроде бы не попадают

На задачах связанных с диффузионными моделями для себя отметил, что модели Антропик, вообще не "понимают", что происходит, когда вопрос касается архитектуры модели или процесса обучения. При этом ГПТ отрабатывает стабильно. В то же время, нужно понимать, что с интеллектом в части решения нестандартных задач нестандартными методами у языковых моделей есть некоторые очевидные проблемы. Чтобы получить стабильный, контролируемый результат для не тривиальной задачи нужно очень подробно объяснить все нюансы, а в идеале, составить пошаговый план решения, желательно из стандартных "компонентов". Можно это сделать прямо с самим агентом, вэб чатом или где удобно, он же поможет создать правильную формулировку для себя же. Здесь очень ярко проявляются различия инструментов. Для сложных, экспериментальных задач, где нужен контроль, вычитывание строк и т.д. мне удобно использовать Cursor. Для задач, где, в целом процесс понятен, нужно только изучить внимательно документацию (например новой библиотеки), и нет нужды вчитываться в каждую строку, достаточно получить обобщенный отчет Codex подходит отлично.

Нужно писать надстройку из своих агентов и выстраивать свою систему эвалов + обогащать локальный контекст (и как минимум полезно в claude.md хранить общие инструкции, пожелания и ограничения по тому, как должна быть выполнена работа) Но в целом да, из коробки ллмки на удивление плохо умеют в мл-эксперементирование. Может, пока специально на это не дообучались, тк приоритетнее было научить генерить что-то похожее на продакш-реди код с адекватными тестами, с чем сейчас агенты вощем-то спарвляются

Если сначала составлять детальный план с тем же агентом, декомпозировать задачу и в процессе проверять частями — получается норм. Хотя у меня всё равно только 5-6 итерация экспериментов сходится и работает. Правда я в этом деле не такой опытный. Пользуюсь плагином KiloCode в вскоде, оттуда же можно проверять код разными семействами моделей.

И правильно. Потому что если спека выходит за границы окна контекста, разбить её, спеку, на юниты и заставить агента не "упрощать, потому что мне для этого юнита пока что не нужно" - задача похлеще написания самой спеки, и, порой, проще уже самому реализовать, чем с агентом мучиться

вот да. ральфекс тому пример (ralphex github umputun) кодекс и клод должны прийти к какому-то соглашению, чтобы выдать результат

Так вроде на конференциях нужно прикладывать открытую репу с кодом?

Не обязательно

Видимо не на всех? На А* довольно часто встречается

Я подавала на ICLR, ICML, NeurIPS, EMNLP, ECCV, нигде это не было обязательным. Можно приложить в качестве supplemental material, но не нужно

Хз, сейчас буду подавать на ICLR, посмотрим

Вывод банальный в общем-то: AI своих мозгов все-таки не заменит. Хотя может им сильно помочь.

Пока что ...

у рината из ллм под капотом был пост что даже с прописанными правилами он может спокойно их игнорировать и надо дополнительно прописывать в правилах чтоб он им следовал..такой промпт инжиниринг уже