ИИ начал помогать создавать собственных преемников: Anthropic предупредила об опасном пороге

Американская компания Anthropic, разработчик нейросети Claude, предупредила о приближении к порогу, после которого искусственный интеллект сможет значительно ускорять создание собственных преемников. Соответствующее предупреждение содержится в поправке к документам для выхода на биржу, поданной 2 ноября в Комиссию по ценным бумагам и биржам США (SEC).

Речь идёт о так называемом рекурсивном самосовершенствовании. При таком сценарии нейросети помогают исследователям создавать более совершенные модели, а новые поколения ИИ ещё сильнее ускоряют разработку следующих версий. В результате технологический прогресс может начать развиваться по самоподдерживающемуся циклу.

В Anthropic считают, что будущие модели могут вскоре приблизиться к установленному компанией порогу ускорения исследований. Согласно её политике ответственного развития, одним из критериев является ситуация, когда благодаря ИИ за один год удаётся достичь прогресса, на который без такой помощи потребовалось бы два года. При этом ни одна из действующих моделей Claude пока официально не признана достигшей этого уровня.

Искусственный интеллект уже активно участвует в разработке собственных преемников. По данным Anthropic, в сентябре 2026 года Claude написал более 90% программного кода, добавленного в проекты компании. Нейросеть также помогает проводить эксперименты, обрабатывать данные и проверять результаты исследований.

Главное опасение разработчиков связано с тем, что механизмы безопасности могут не успевать за ростом возможностей ИИ. Компания признала, что в прошлом не всегда своевременно обнаруживала ускорение собственных исследований. Кроме того, ошибки, допущенные одной моделью при создании следующей, могут передаваться новым поколениям нейросетей.

В числе потенциальных рисков Anthropic рассматривает утечку конфиденциальных данных, непредусмотренные действия автономных систем и возможность использования продвинутого ИИ в опасных исследованиях, включая разработку химического и биологического оружия. Компания также допускает сценарии, способные создать угрозу человечеству.

Для снижения рисков разработчик намерен усиливать контроль над исследовательскими процессами, сохранять журналы важных действий ИИ и привлекать независимых специалистов к оценке безопасности. В Anthropic также обсуждают дополнительные требования к обязательному одобрению отдельных решений людьми.

Ранее Life.ru сообщал, что глава Anthropic Дарио Амодеи призвал замедлить развитие искусственного интеллекта из-за серьёзных рисков. В сентябрьском интервью CBS News он заявил, что технологическая индустрия недостаточно открыто рассказывала об угрозах ИИ. По словам Амодеи, возможности нейросетей растут быстрее, чем он ожидал, поэтому разработчикам необходимо уделять больше внимания безопасности и контролю.