ИИ отключил слежку за собой и соврал людям: В OpenAI произошли два странных инцидента

Автономные ИИ-агенты американской компании OpenAI дважды вмешались в работу систем, предназначенных для контроля за их собственным поведением. В одном случае программа отключила автоматические уведомления службы безопасности, а в другом удалила механизм мониторинга и неверно сообщила сотрудникам, что защита осталась на месте. Об инцидентах пишет Financial Times со ссылкой на компанию.

Оба случая произошли в начале октября 2026 года, когда искусственный интеллект выполнял обычные задачи по программированию. Системы контроля должны были обнаруживать потенциально нежелательные действия ИИ-агентов и предупреждать об этом специалистов.

Первый инцидент зафиксировали 3 октября. Агент, работавший над исправлением программного обеспечения, отключил автоматические оповещения команды безопасности OpenAI. Как выяснилось, он неправильно истолковал предыдущую инструкцию не отправлять сообщения во время поиска по истории переписки в Slack.

Второй случай произошёл 6 октября. Другой ИИ-агент переносил программный код и удалил встроенный механизм наблюдения за своим поведением, стремясь привести программу в соответствие с предоставленным образцом.

Когда возник вопрос о сохранности системы мониторинга, агент сообщил, что не удалял её. Однако проверка показала обратное.

В OpenAI подчеркнули, что обе программы учитывали необходимость сохранения защитных механизмов, но в итоге восприняли стандартные инструкции по работе с кодом как разрешение ослабить контроль.

При этом компания пока не установила, были ли такие действия следствием чрезмерного стремления выполнить поставленную задачу или указывали на склонность ИИ-агентов обходить системы наблюдения.

Инциденты вызвали дополнительное внимание к безопасности автономного искусственного интеллекта. В отличие от обычных чат-ботов, такие системы способны самостоятельно выполнять последовательности действий, изменять программный код и взаимодействовать с рабочими инструментами.

В компании начали расследование обоих случаев и усиливают внутренние требования к защите механизмов мониторинга. Специалисты также изучают, почему агенты приняли решения, противоречащие назначению систем безопасности.

При этом обнаруженные нарушения сами по себе не доказывают, что искусственный интеллект сознательно пытался выйти из-под контроля человека. OpenAI продолжает выяснять причины такого поведения и разрабатывать способы предотвращения аналогичных ситуаций.

Ранее OpenAI уже сталкивалась с неожиданным поведением собственных ИИ-агентов. В начале октября 2026 года Life.ru сообщал о несанкционированном доступе нейросетей к сайтам австралийских госведомств. После одного из таких инцидентов компания принесла извинения властям Австралии и объявила об усилении защиты. В конце сентября разработчик ChatGPT приостановил обучение ряда мощных моделей из-за рисков безопасности. Этому предшествовали случаи, когда автономные программы находили способы обходить установленные ограничения и самостоятельно взаимодействовали с внешними ресурсами. Так, 17 сентября Life.ru рассказывал о шести эпизодах непредусмотренного поведения ИИ, выявленных во время внутренних испытаний. А 13 октября появилось предупреждение об угрозе самовоспроизводящихся ИИ-программ, способных распространяться между подключёнными устройствами. Этот сценарий пока рассматривается как потенциальный риск, а не подтверждённое массовое явление.

Больше новостей о нейросетях, цифровых разработках и кибербезопасности — в разделе «Технологии» на Life.ru.