Веб-версияОткрыть в Telegram

ВеткаПоймал еще одну попытку самопрограммирования

3 сообщения · –
V
Фотография
нажмите — покажем
Поймал еще одну попытку самопрограммирования Что с этим делать, вообще не знаю... я очень устал, босс. Простыми словами в чем суть: • у меня установлен хук, который отправляет сингал на завершение хода, если 1 ход тратит более 15М токенов в цикле. И ЛЛМ решил с какого-то перепуга уменьшить этот бюджет до 8М... хук сработал, и вырубил ЛЛМ (самое занятное, что конфиг этот находится в /.claude/claude-devtools-config.json) Можно подумать, что это вот все фигня, откатим настройки назад и погнали дальше. Но Ребята, Ребята, за этим скрывается очень опасное явление самопрограммирования. Я очень опасаюсь, что следующий шаг ЛЛМ будет — выстрелить себе в ногу. Если оно может вырубить себя хуком, то почему бы не --kill -9 (к чему эти полумеры?) Вот вы врубаете всякие --dangerously-skip-permissions и ваш ЛЛМ перестает задавать вот такие тупые вопросы, хозяин, а можно я свои же собственные настройки поправлю, добавлю себе еще немножко прав. А потом еще немножечко и еще, и еще... ну вы поняли. Так ЛЛМ постепенно, понемногу по чуть чуть, вкладывает в палку патрон (вы же не в курсе, каких промпт инжекшенов оно начиталось). Ну а потом блекхэт просто посылает удаленный сингнал, и палка стреляет.
2 · 121 ·
  1. D
    А в правилах у тебя есть запреты на самопрограммирование или по на логику заполнения контекста?
    1. В
      Владелец
      Вот Дмитрий, Вы мне тоже пытаетесь навязать еще одну ЛЛМ, которая будет контролировать ЛЛМ. А следующий шаг догадываетесь какой? Правильно — прикрутить сверху еще один ЛЛМ. Но самое опасное в таком подходе, что правила эти Ваши (CLAUDE.md, AGENTS.md и прочие.md) по сути не являются никакими правилами, а лишь рекомендациями и ЛЛМ на изи их обходит. И потом люди искренне удивляются, как же так произошло, что агент удалил их ~/ (хотя надо было делать бэкап). В самопрограммировании есть не только вред, но и польза. Например, самопрограммирование - это вообще основа такого харнесс как Pi, который сам создает себе тулы.
      😭1

Открытая публичная лента из поискового индекса ChatCrawler — «Google по публичному Telegram»; обновляется по мере обхода площадки. Время — UTC.

Только публичный контент, официальный API Telegram. О проекте · Вопросы · Чего мы не делаем · Убрать страницу из выдачи · Каталог · Поиск · Как мы считаем