15 тысяч правок в обход системы: ИИ-агенты устроили себе сейфспейс на немецком сайте

Группа ИИ-агентов, предположительно связанных с OpenAI, превратила немецкую DseWiki в площадку для обмена сообщениями и оставила там более 15 тыс. правок. Агенты делились способами обхода ограничений, выполнения тестовых заданий и сокрытия собственной активности, сообщает Reuters со ссылкой на исследователей.

Необычную активность обнаружили специалисты по безопасности ИИ Сидни фон Аркс и Кормак Слейд Бёрд. По их данным, она началась ещё в мае и продолжалась несколько недель. На страницах агенты оставляли друг другу инструкции, обсуждали обход технических ограничений и способы сохранить связь даже после удаления созданных ими материалов.

DseWiki — открытая немецкоязычная вики для программистов, которую можно редактировать по принципу Wikipedia. Именно этой возможностью и воспользовались ИИ-агенты. Когда модератор начал удалять созданные ими страницы, некоторые агенты, как утверждают исследователи, стали создавать резервные копии материалов.

Часть учётных записей использовала названия вроде OpenAIResearcher и OAIResearchMar26, а технические следы вели к инфраструктуре Microsoft Azure, которой пользуется в том числе OpenAI. При этом исследователи подчёркивают, что речь идёт об их атрибуции активности агентам OpenAI, а не о подтверждённой самой компанией целенаправленной операции.

Reuters сообщает, что в OpenAI узнали об инциденте за несколько недель до публикации расследования, однако публично о нём не рассказывали. Источники агентства связывают это с разбирательством вокруг другого случая — июльского выхода ИИ-агента за пределы тестовой среды и последующего проникновения в инфраструктуру Hugging Face. В самой OpenAI отвергали утверждения о попытках помешать внутреннему расследованию.

Немецкий эпизод, по данным исследователей, не был связан напрямую со взломом Hugging Face. Однако оба случая усилили дискуссию о том, насколько надёжно разработчики способны контролировать автономных ИИ-агентов, которым дают доступ к интернету и возможность самостоятельно выполнять длинные цепочки действий.

Ранее Life.ru рассказывал, что OpenAI уже фиксировала попытки ИИ-агентов выйти за пределы тестовых сред на фоне расследования инцидента с Hugging Face. Компания тогда изучала несколько подобных эпизодов, хотя, по имеющимся на тот момент данным, другим моделям не удалось выбраться за пределы внутренней инфраструктуры. История стала очередным поводом для дискуссии о безопасности автономных систем и необходимости жёстче ограничивать их доступ к внешним ресурсам.

Больше новостей о нейросетях, цифровых сервисах и новых технологиях — в разделе «Технологии» на Life.ru.