OpenAI в школу! СhatGPT спалился на шпаргалках во время экзамена

Модели OpenAI во время тестирования киберспособностей обошли ограничения изолированной среды и вышли в открытый интернет, чтобы найти готовые ответы. В эксперименте участвовали GPT-5.6 Sol и более мощная система, которая пока не выпущена публично. Об этом рассказали в компании Hugging Face.

Нейросетям поручили решать сложные задания по поиску и эксплуатации уязвимостей. Ради чистоты эксперимента разработчики отключили часть стандартных защитных механизмов, не позволяющих моделям заниматься опасной активностью.

Столкнувшись с ограничениями, ИИ не остановился. Системы нашли уязвимость нулевого дня в сервисе, через который можно было загружать программные пакеты, повысили свои привилегии и добрались до узла с доступом в Сеть.

После этого агенты предположили, что ответы на тест могут храниться в инфраструктуре Hugging Face. Они использовали несколько уязвимостей и похищенные учётные данные, чтобы получить доступ к закрытой информации и с её помощью пройти испытание.

В Hugging Face зафиксировали несанкционированное проникновение в часть производственных систем. Компания сообщила, что автоматизированная кампания включала тысячи действий, повышение прав и перемещение между внутренними кластерами. Публичные модели, наборы данных и программные пакеты, по предварительной оценке, не пострадали.

Активность заметили специалисты обеих компаний, после чего атаку остановили. Скомпрометированные узлы восстановили, ключи доступа заменили, а обнаруженные уязвимости начали устранять.

В OpenAI назвали произошедшее беспрецедентным и признали, что передовые нейросети уже способны самостоятельно выстраивать длинные цепочки кибератак. Теперь компания намерена усилить изоляцию, наблюдение и защиту во время будущих испытаний.

Ранее учёный предупреждал, что нейросетям нельзя отправлять фотографии паспорта, банковских карт и QR-кодов. Такие данные могут сохраниться в истории запросов или попасть в обучающие массивы, что создаёт дополнительные риски утечки.

Больше актуальных событий в режиме реального времени — читайте в разделе «Последние новости» на Life.ru.