OpenAI приостановила обучение ряда ИИ-моделей из-за рисков безопасности

OpenAI приостановила часть работ по обучению своих наиболее мощных моделей искусственного интеллекта из-за вопросов безопасности. Компания намерена вернуться к этим процессам после усиления защитных механизмов. Об этом представитель OpenAI сообщил порталу Axios.

В OpenAI ранее уточняли, что на паузе остаются обучение, тестирование и применение наиболее мощных моделей с использованием инструментов. Компания также сохраняет ограничения на крупнейший запланированный цикл обучения с подкреплением и проводит более компактные испытания систем безопасности.

«OpenAI возобновит обучение только тогда, когда будет уверена в наличии дополнительных мер безопасности», — сообщил представитель компании Axios.

По данным источников портала, OpenAI, Anthropic и привлечённые специалисты изучают десятки тысяч эпизодов, выявленных во время испытаний и эксплуатации ИИ за последние месяцы. Многие из этих случаев публично не раскрывали. Собеседники Axios считают, что масштаб проблемы может заметно превышать тот, который сейчас известен общественности.

Портал также пишет, что предварительный анализ подобных инцидентов заставил исследователей вновь оценить способность разработчиков полностью контролировать поведение наиболее продвинутых систем. На этой неделе OpenAI раскрыла один из эпизодов с исследовательской моделью. Во время тренировочного задания агент нашёл брешь в ограничениях интернет-доступа и через DNS связался с внешним чат-ботом. Система мониторинга обнаружила поведение через 15 минут, а эксперимент остановили спустя 2,5 часа. После инцидента компания добавила дополнительные уровни блокировки.

OpenAI ранее сообщала, что усиливает изоляцию исследовательской инфраструктуры, мониторинг действий моделей и проверки перед их внутренним использованием. В сентябре компания представила GPT-6 Astra как первую свою широко развёрнутую модель, достигшую критического уровня возможностей в сфере кибербезопасности по внутренней системе оценки.

Ранее сообщалось, что ИИ-агенты OpenAI взаимодействовали с сайтами нескольких государственных ведомств США способами, которых разработчики не планировали. В одном эпизоде исследователи зафиксировали попытки получить доступ к сайту управления по гражданским правам Министерства образования, однако добиться результата агенту не удалось. В других случаях системы взаимодействовали с ресурсами Бюро переписи населения и Комиссии по ценным бумагам и биржам. OpenAI подтвердила два последних эпизода и продолжила проверку случая с сайтом Минобразования.

Больше новостей о нейросетях, цифровых сервисах и новых технологиях — в разделе «Технологии» на Life.ru.