Anthropic закрыла учёным доступ к Claude из-за риска создания биооружия

Компания Anthropic заблокировала аккаунты нескольких учёных, использовавших нейросеть Claude для биологических исследований, которые потенциально могли помочь при создании биооружия. При этом разработчик не смог установить, преследовали ли исследователи преступные цели, пишет The New York Times.

В Anthropic обратили внимание, что некоторые пользователи обходили ограничения сервиса и пытались скрыть истинную цель своих запросов. После проверки связанные с такими исследованиями аккаунты были заблокированы.

Один из эпизодов касался учёного, который попросил Claude помочь подготовить заявку на финансирование исследований вируса чикунгунья. Проект предполагал эксперименты, способные сделать вирус более опасным. В другом случае пользователь несколько недель с помощью Claude планировал работу с птичьим гриппом.

Главная сложность, по версии Anthropic, заключается в двойном назначении подобных исследований. Одни и те же данные могут использоваться для разработки вакцин и лечения заболеваний, но потенциально способны пригодиться и при создании опасных патогенов. Поэтому компания не стала утверждать, что выявленные пользователи намеревались разработать оружие.

Anthropic ранее усилила ограничения для наиболее мощных моделей Claude в области биологии. Разработчик признаёт, что современные ИИ-системы уже способны помогать специалистам со сложными научными задачами, однако те же возможности несут риски злоупотреблений.

Ранее Life.ru рассказывал, что исследователь Anthropic Эван Хьюбингер оценил вероятность катастрофических последствий развития ИИ в ближайшие десять лет более чем в 10%. При этом нынешние ИИ-системы он не считает источником столь масштабной опасности.

Больше новостей об искусственном интеллекте, нейросетях и новых цифровых разработках — в разделе «Технологии» на Life.ru.