Эксперт предупредил, что нейросети могут иметь "галлюцинации" и подставлять невиновных людей

Из-за особенностей своей работы искусственный интеллект (ИИ) может буквально разрушить жизнь ни в чём не повинного человека, предупредил директор по продукту FABULA AI Родион Кадыров. Он привёл в пример недавний скандал с профессором права Джонатанном Терли, имя которого ChatGPT включила в список юристов, якобы замешанных в крайне щепетильной и незаконной истории. По словам эксперта, это — не просто единичный случай, а пример того, как современные языковые модели способны генерировать ложные сведения, грозящие реальными, даже фатальными проблемами.

"Особенно тревожно то, что такие "галлюцинации" нейросетей являются нормальным явлением и возникают из-за особенностей их работы", — сказал собеседник "Газеты.ru".

Такие казусы происходят, когда нейросеть так стремится дать ответ на запрос, что начинает придумывать факты. Причина тому — недостаточность точных данных. Например, если попросить ИИ назвать десять имён, связанных с каким-либо событием, она может взять с потолка семь личностей, даже если реально знает только о трёх.

По словам Кадырова, такие "галлюцинации" вызываются несколькими обстоятельствами. Во-первых, нейросети обучаются на миллионах текстов из Сети, где могут встречаться ложные сведения. Также срабатывает "предсказательная" природа ИИ: модели пытаются предвидеть вероятные последовательности слов, и если данных не хватает, то они, бывает, просто придумывают недостающее, чтобы сформировать правдоподобный текст.

"[Также играет роль] отсутствие встроенной проверки фактов — нейросети не имеют механизма для проверки достоверности созданного текста. Они могут ссылаться на несуществующие статьи, события или людей, создавая иллюзию достоверности", — отметил эксперт.

Причём подобные проблемы ограничиваются не только текстом. Так, в марте 2023 года мир облетели фото якобы ареста нынешнего кандидата в президенты США Дональда Трампа, который оказались работой нейросети. По мнению Кадырова, это показывает "разрушительный потенциал" таких технологий, то, что на данный момент не существует эффективных мер контроля со стороны социальных сетей и необходимость жёстких стандартов в сфере.

В то же время другие эксперты призывают не бояться нейросетей. Напомним, по словам футуролога Даниила Медведева, в ближайшее время они заменят реальных людей в некоторых профессиях. На данный же момент ИИ является "бестолковым помощником помощника".