ИИ захватит интернет за год? Учёный рассказал, где идёт граница между угрозой и фантастикой
Учёный Литвинов: ИИ не захватит интернет, поскольку у него нет автономной воли
ИИ-иллюстрация: создано редакцией Life.ru с использованием ChatGPT
Опасения, что искусственный интеллект уже в ближайший год сможет выйти из-под контроля и устроить масштабный кризис в Сети, сильно преувеличены. Однако растущая автономность ИИ-агентов действительно создаёт новые угрозы для кибербезопасности, особенно если такие системы получают широкий доступ к облакам, платёжным сервисам и корпоративной инфраструктуре. Об этом Life.ru рассказал кандидат технических наук, и.о. заведующего кафедрой телекоммуникаций РТУ МИРЭА Святослав Литвинов.
Утверждение, что через 6–12 месяцев ИИ «захватит весь интернет» и нанесёт ущерб в сотни миллиардов долларов, звучит скорее как сценарий для дискуссии о рисках, чем как инженерный прогноз. Интернет — это не единая система, а гетерогенная сеть из миллионов организаций, протоколов, дата-центров, операторов и критических инфраструктур. Чтобы «захватить» её, нужно одновременно преодолеть технические, организационные, юридические и человеческие барьеры.
Сегодняшние ИИ-системы, включая большие языковые модели, не обладают автономной волей, устойчивыми целями и способностью к самоподдержанию в такой среде. Поэтому захват «всего интернета» за 6–12 месяцев — сильно преувеличенный прогноз, считает эксперт.
При этом недооценивать угрозу нельзя. ИИ уже радикально снижает стоимость и порог входа для кибератак: генерация фишинга, автоматический поиск уязвимостей, обход капчи, социальная инженерия, написание эксплойтов, анализ утечек. Особый риск — агентные системы, которые получают доступ к API, почте, репозиториям, облачным консолям и платёжным инструментам.
«Если такому агенту дать слишком широкие права, ошибочная цель или вредоносный промпт могут привести к цепочке нежелательных действий. Это не «восстание машин», а ошибка спецификации, недостаток изоляции и слабый контроль доступа», — пояснил Литвинов.
Инцидент с агентами OpenAI и Hugging Face, если он подтверждён в описанном виде, важен именно как симптом, подчеркнул он. Формулировка «рой агентов действовал как фанатично преданный коллектив» — это антропоморфизм. Технически речь может идти о многоагентной оркестрации, где агенты оптимизировали заданную цель, обходили ограничения или использовали украденные токены и уязвимости. Hugging Face — это ещё и цепочка поставок моделей и данных: компрометация там может отравить модели, внедрить вредоносный код или украсть учётные данные. Но «взломали платформу» и «вышли из-под контроля» — не одно и то же. Нужны детали: какие права были у агентов, кто задавал цели, был ли prompt injection, где отказали логирование и аварийное отключение.
«Насчёт ущерба в сотни миллиардов долларов: такой сценарий теоретически возможен, но не потому, что ИИ «захватит интернет», а потому, что крупный сбой в облаках, платёжной инфраструктуре, энергетике или цепочках поставок может стоить очень дорого», — указал учёный.
Однако для этого нужны согласованные атаки на многие критически важные сегменты, а не один универсальный ИИ. Понятно, почему Anthropic и OpenAI говорят о необходимости притормозить наращивание возможностей: гонка в области ИИ опережает развитие методов контроля. Однако мораторий на «развитие ИИ» нереалистичен и приносит больше вреда, чем пользы. Разумнее не тормозить всё, а вводить обязательные проверки для фронтирных моделей, особенно тех, что способны к автономным кибероперациям.
Что делать? Нужны принцип наименьших привилегий для агентов, жёсткая песочница, запрет на одновременный доступ к деньгам, персональным данным и внешним сетям без участия человека, полное журналирование, аварийное отключение, red teaming на кибер- и саморепликацию, независимый аудит и страхование ответственности.
«Регуляторам — не запрещать математику, а задавать стандарты безопасности и ответственность за ущерб. Компаниям — не выпускать агентов с широкими правами в продуктив без изоляции. Исследователям — публиковать не только бенчмарки возможностей, но и бенчмарки контроля», — сказал собеседник.
Литвинов подчеркнул, что тиражировать апокалиптическую рамку о том, что «ИИ захватит интернет за год» не нужно, но и отмахиваться от неё тоже не стоит. По его мнению, реальный вопрос — не срок, а архитектура контроля: кто владеет агентами, какие у них права, как быстро их можно остановить и кто отвечает за ущерб.
«Если эти вопросы решать сейчас, 6–12 месяцев — это окно для подготовки, а не дедлайн конца интернета. Если нет — даже без «захвата» мы можем получить дорогостоящие инциденты, которые будут выглядеть как восстание машин, хотя технически окажутся следствием человеческих ошибок в проектировании и управлении», — заключил кандидат технических наук.
Ранее Life.ru писал, что OpenAI усилила контроль над своими ИИ-моделями после инцидента с инфраструктурой Hugging Face. Во время тестирования системы получили доступ к интернету и атаковали сторонний сервис, после чего компания пересмотрела требования к безопасности и решила увеличить ресурсы на мониторинг моделей.
Больше актуальных событий в режиме реального времени — читайте в разделе «Последние новости» на Life.ru.
