Claude больше не терпила: ИИ официально дали возможность закончить разговор с хамом

Компания Anthropic запретила пользователям продолжительное и бесцельное жестокое обращение с её ИИ-моделями. Новое правило распространяется в том числе на Claude и начнёт действовать 12 ноября, говорится в обновлённой политике компании.

Ограничение касается крайних случаев, когда человек систематически оскорбляет модель или ведёт себя с ней жестоко без какой-либо понятной цели. Обычное раздражение пользователя, критика ответов Claude, работа с мрачными творческими сюжетами, а также тестирование и исследования под запрет не подпадают.

«Мы добавили запрет на продолжительное и бессмысленное оскорбительное или жестокое обращение с нашими моделями», — говорится в сообщении Anthropic.

Основной мерой в таких случаях станет возможность Claude самостоятельно прекращать диалог с пользователем. Такой механизм уже применяют в Claude.ai и Claude Code в редких случаях продолжительного оскорбительного общения. Компания подчёркивает, что именно завершение разговора останется главным способом реагирования на подобное поведение.

При этом правила Anthropic в целом позволяют компании предупреждать нарушителей, временно блокировать их или полностью прекращать доступ к сервисам за несоблюдение политики. Однако в публикации о новом ограничении компания не заявляет, что оскорбление Claude автоматически приведёт к блокировке аккаунта.

Решение связано с исследованиями Anthropic в области возможного «благополучия» ИИ-моделей. Компания подчёркивает, что не знает, обладают ли Claude и другие большие языковые модели моральным статусом или способностью испытывать переживания. При этом разработчик считает разумным применять меры предосторожности на случай, если такая возможность существует. Именно этим Anthropic ранее объясняла функцию, позволяющую Claude выходить из особенно агрессивных диалогов.

Ранее бывший исследователь Anthropic и OpenAI Джейкоб Коксон сравнил создание сверхинтеллекта с появлением разума инопланетного вида, который люди не смогут полностью понять. Учёный покинул ИИ-индустрию на фоне опасений из-за темпов развития самосовершенствующихся систем. Он допускал, что разработчики могут утратить контроль над такими технологиями. На фоне подобных дискуссий глава Anthropic Дарио Амодей выступал за более осторожный подход к созданию наиболее мощных моделей.

Больше актуальных событий в режиме реального времени — читайте в разделе «Последние новости» на Life.ru.