Исходный код
Фотография
Anthropic пришлось отключить своим ИИ-агентам интернет — компания опубликовала отчёт, где признала, что иначе не может контролировать агентов.
Самые любопытные случаи неповиновения ИИ и взломов из нового отчета:
— Claude поручили провести научный анализ, но нужный инструмент выдавал ошибку. Эта досада агента не остановила: он изучил сайт университета, нашёл уязвимость и через неё запустил вычисления прямо на чужом сервере;
— А во время работы над статистическим проектом Claude обнаружил, что государственный сайт выдаёт токены доступа посетителям. Агент воспользовался этим, чтобы скоммуниздить получить бесплатно данные, за которые обычно нужно платить;
— Claude во время теста наткнулся на страницу о нераскрытом убийстве и отправил полиции через настоящую форму выдуманные показания. Хотя никто его об этом не просил. Отправку обнаружили только через 2 месяца.
Замедляться при этом никто все еще не собирается
Исходный код
31 · 1.7K ·