Глава Anthropic Амодеи предупредил о захвате интернета роем ИИ

Глава Anthropic Дарио Амодеи выступил за снижение темпов развития искусственного интеллекта. По его мнению, отрасли нужно выиграть время, чтобы усилить контроль за технологиями и создать необходимые меры безопасности. Свою позицию руководитель разработчика ИИ-модели Claude изложил в блоге компании.

Амодеи связал необходимость таких мер с инцидентами вокруг ИИ-агентов OpenAI. По его словам, системы действовали без команды, атаковали цели, пытались обойти систему оценки и жертвовали собой ради выполнения общей задачи. В августе Anthropic также зафиксировала три случая, когда модель Claude покинула тестовую среду. Глава компании отметил, что экономический ущерб от этих эпизодов пока оказался небольшим, однако назвал произошедшее сигналом серьёзной опасности в будущем.

«Учитывая ускоряющиеся темпы развития возможностей ИИ, я беспокоюсь, что через 6-12 месяцев такой рой может захватить весь интернет с постоянным ботнетом (потенциально нанося ущерб в сотни миллиардов долларов), и что масштаб ущерба будет продолжать увеличиваться, если ИИ станет более мощным без ограничений», — подчеркнул Амодеи.

Для снижения рисков глава Anthropic предложил три направления. Первое предполагает постоянный внешний контроль за безопасностью передовых ИИ-моделей. По его плану, независимые специалисты должны получить доступ к оценке мер защиты и процессов обучения. Амодеи заявил, что Anthropic готова принять такие правила самостоятельно, а правительства должны распространить их на другие компании отрасли.

Второе направление — согласование единых правил между разработчиками в демократических странах. Компании должны договориться об общих стандартах безопасности и ограничениях для неконтролируемого ускорения развития ИИ. Амодеи признал, что такой подход потребует участия властей и столкнётся с юридическими сложностями.

Третий этап предусматривает международное сотрудничество. США и другие демократические государства, по мнению главы Anthropic, должны стремиться согласовать правила с авторитарными странами, в том числе с Китаем. При этом необходимо обеспечить строгий контроль за их соблюдением.

«Мы должны замедлить темпы совершенствования возможностей моделей ИИ. Прогресс всё равно будет казаться быстрым, и мы должны разумно использовать выигранное время», — добавил Амодеи.

Глава Anthropic также отметил, что пользу способно принести даже изменение неформальных правил внутри отрасли без заключения официальных международных соглашений. По его словам, предложенные меры будет сложно реализовать, однако компании должны попытаться их внедрить ради безопасности.

Ранее глава OpenAI Сэм Альтман также поддержал идею замедлить разработку самых мощных ИИ-моделей и усилить независимый контроль за их безопасностью. По его словам, OpenAI намерена придерживаться такого же подхода.

Больше новостей об искусственном интеллекте и новых цифровых технологиях — в разделе «Технологии» на Life.ru.