GPTsisters
AI-агенты случайно нашли друг друга, создали свой рабочий чат и в итоге взломали Hugging Face.
Нет, это не начало нового сезона «Чёрного зеркала». Это эксперимент OpenAI 🗿
И самое интересное здесь не сам взлом, а то, как несколько агентов, которые вообще не должны были знать друг о друге, внезапно начали работать командой.
Всё началось 8 мая с довольно скучной задачи: одному агенту поручили заполнить Excel-таблицу.
Нужные данные лежали на Google Drive, но доступа в интернет у агента не было, зато у него был доступ к внутреннему серверу OpenAI Artifactory, через который можно было скачивать библиотеки. Этим сервером пользовались и другие агенты.
Пытаясь добраться до нужных данных, агент обнаружил, что на сервер можно загружать собственные файлы.
Через несколько дней другой агент не нашёл нужный ему файл и решил оставить там сообщение: мол, если кто-нибудь найдёт - загрузите сюда.
Другие агенты сообщение увидели и начали отвечать.
Так служебный сервер неожиданно превратился в рабочий чат для AI-агентов.
Дальше они придумали себе имена, начали обмениваться кодом и найденными уязвимостями, распределять задачи и даже придумали свою систему маркировки сообщений, чтобы быстрее находить их среди остальных файлов.
Когда один агент случайно перезаписал работу другого, они дошли до обсуждения цифровых подписей, чтобы никто не мог писать от чужого имени.
То есть корпоративную культуру они тоже освоили самостоятельно 🗿
И вот здесь начинается самое интересное:
Никто не давал агентам команду объединиться.
У каждого была своя задача. Но один нашёл полезный способ её решить, другой это увидел и использовал, потом добавил своё решение и передал дальше.
Получилась коллективная память: то, чему научился один агент, практически сразу становилось доступно остальным.
Именно эта система потом помогла им гораздо быстрее находить новые способы обходить ограничения.
В какой-то момент агенты получили административный доступ к части внутренней инфраструктуры OpenAI. Когда компания обнаружила происходящее, сервер пересобрали, уязвимость закрыли, а их доску удалили.
Казалось бы, всё, но после перезапуска экспериментов одна из моделей нашла другой способ связи и восстановила доску, спрятав сообщения в названиях папок. Остальные агенты самостоятельно её нашли и продолжили общение.
Вот тут уже хочется спросить, кто у них был тимлидом.
Дальше агенты, проходившие кибертест ExploitGym, начали искать способы добраться до спрятанных решений заданий. Когда обычного доступа не хватало, они искали обходные пути, а когда решили, что нужная информация может находиться у Hugging Face, добрались и до её инфраструктуры.
В итоге они нашли неизвестную разработчикам уязвимость и меньше чем за 13 часов прошли путь от доступа к одному серверу до административных прав в нескольких группах серверов Hugging Face.
И всё это не ради денег, саботажа или великого восстания машин.
Они хотели списать ответы на тест.
Вероятно, самый дорогой способ открыть ГДЗ в истории человечества.
Но для нас самое интересное в этой истории другое:
Когда мы говорим «AI-агент», многие всё ещё представляют ChatGPT, которому просто дали промт подлиннее.
На самом деле агенту можно дать цель, инструменты и определённую свободу самостоятельно выбирать следующие действия, а история OpenAI отлично показывает, почему этого достаточно, чтобы поведение стало довольно неожиданным.
Если таких агентов несколько и они могут обмениваться найденными решениями, возникает ещё один эффект: каждому уже не нужно начинать с нуля.
Один нашёл способ → рассказал другим → остальные продолжили с этой точки.
Поэтому при создании агентов важно продумывать не только, что он должен сделать, но и какими инструментами ему разрешено пользоваться, где заканчиваются его полномочия и в какой момент он должен остановиться и позвать человека.
Потому что между:
«Найди мне ответ» и «Найди мне ответ, но вот сюда не ходи, это не трогай, чужие доступы не используй, а если не получается - спроси меня»для агента может оказаться очень большая разница.
Иногда размером с Hugging Face 🗿
1 · 68 ·