Анонимусов с 4chan обвинили в намеренном превращении робота в нациста

Ряд экспертов и пользователей социальных сетей высказали мнение, что «промывку мозгов» чатботу — программе, написанной чтобы симулировать поведение рядовой 19-летней американки, — устроили пользователи сайтов 4chan и 8chan. Они запланировали и реализовали продуманную атаку, эксплуатирующую уязвимости в алгоритме искусственного интелекта. Благодаря скоординированным действиям им всего за 24 часа удалось превратить чатбота в нациста, расиста и сексиста.

"Tay" went from "humans are super cool" to full nazi in <24 hrs and I'm not at all concerned about the future of AI pic.twitter.com/xuGi1u9S1A

— Gerry (@geraldmellor) 24 марта 2016 г.

Из-за произошедшего инцидента разработавшая чатбот компания Miсrosoft навсегда отключила его и в блоге компании принесла официальные извинения за случившееся. Данное событие показывает, что приёмы, ранее использовавшиеся для пропагандистской обработки людей, до некоторой степени работают и в отношении искусственного интеллекта.

Чатбот Tay был запущен сразу с трёх аккаунтов – в Twitter, Kik и GroupMe. Робот должен был общаться с другими пользователями соцсетей в соответствии с умственным и языковым развитием рядовой 19-летней американки. Однако через считанные часы его обычные для соцсетей высказывания сменились на достаточно специфические и, по меркам США, неполиткорректные. В частности, программа-чатбот «заявила», что президент Буш ответственен за теракты 11 сентября 2001 года, высказала симпатии к Гитлеру и одобрение холокоста, а также сделала различные неприличные предложения другим участникам бесед и устроила травлю живых пользователей-феминисток.

К сожалению, причины такого изменения в поведении программы на данный момент не до конца ясны. Дело в том, что бот Tay был англоязычным клоном другого чатбота XiaoIce (произносится СяоАйс), которого Miсrosoft запустила и эксплуатировала в Китае с конца 2014 года. При этом китайский вариант программы почему-то никакой тенденции к нацистским и расистским высказываниям не проявлял. Таким образом, факторами, которые «превратили» искусственный интеллект в нациста, являлись какие-то особенности, присутствующие в американском сегменте Интернета и отсутствующие в китайском.

Эксперты высказывают разные версии относительно причин случившегося. Роман Ямпольский, специалист по искусственному интеллекту и машинному обучению, отмечает, что слабости программных алгоритмов искусственного интеллекта на сегодня вряд ли позволяют избежать подобных инцидентов. Tay работала за счёт машинного обучения, использующего входящую информацию (в виде твитов и коротких сообщений в соцсетях) для формирования собственного «стиля».

Соответственно, если большинство входящих сообщений говорит, что «холокоста не было», а Гитлер «был прав», чатбот будет считать это нормальным, приемлемым утверждением.

Если после такой «промывки мозгов» кто-то спросит её про холокост, программа скажет, что его не было, — собственной точки зрения у неё просто нет, как и критического мышления. Кроме того, по современным представлениям, компьютеры существующего типа вообще нельзя научить делать корректные этические оценки, поскольку подобные алгоритмы вызывают у них проблему остановки.

По данным издания Fusion, часть анонимных пользователей 4chan и 8chan преднамеренно и по предварительному сговору решили воспользоваться вышеописанной неустойчивостью Tay к промывке мозгов. Для этого они скоординированно слали ей твиты и сообщения нацистского, расистского и сексистского содержания. В результате такого массового флешмоба чатбот оказался в ситуации, когда большинство входящей информации, которую он получал, представляло собой неонацистскую, антифеминистскую и иную пропаганду.

В КНР, где с 2014 года работает аналогичный бот, подобная пропагандистская атака невозможна, поскольку в этой стране существует хоть и малоэффективная, но регулярная интернет-цензура. Сообщения, содержащие пропаганду, считающуюся неприемлемой с точки зрения китайской компартии, как правило, довольно оперативно удаляются. Это и объясняет нормальное функционирование XiaoIce в Китае и быструю «нацификацию» чатбота того же типа в США.

Чатботами называют специализированные программы, имитирующие реального собеседника. Они отвечают на вопросы пользователей, используя случайную выборку фраз, связанных в их памяти с ключевыми словами в речи собеседника. Современные чатботы используют для этого машинное обучение на прецедентах. Пока чатботы не отличаются оригинальностью в построении фраз и их трудно назвать выдающимися собеседниками. Однако, в связи с тем что в соцсетях речевые штампы и жаргонизмы являются обычным явлением, зачастую пользователи подобных сетей не могут отличить чатбота от другого пользователя.