Оруэллу и не снилось: когда нейронные сети станут инструментом правосудия?

Е. ВОЛКОВ: Сейчас процедура поменяется: не АНБ будет приходить к Facebook, а робот Facebook будет оповещать АНБ, что в их сети, похоже, существует человек — возможный террорист. Сбывается мечта спецслужб, и к каждому гражданину приставлен наблюдатель.

С. КОРОЛЁВ: Разве те люди, которые впоследствии будут анализировать этот объём данных: да, нейронная сеть отбирает, но потом куда-то отсылает или более пристально следит? Это не значит, что за каждым потенциальным террористом тут же будет объявлена слежка или он будет схвачен, задержан, посажен?

Е.В.: "Схвачен и задержан" в идеальной картине мира будет происходить с теми людьми, которые прошли дополнительный контроль и были признаны террористами. Я всегда смотрю на развитие технологий с шагом немного вперёд, я связываю несколько фактов. Факт, который мне очень нравится, — о том, что сейчас в Штатах проводятся эксперименты по поводу того, как нейронные сети принимают решения о выпуске людей под залог.

С.К.: Как?

Е.В.: Эффективнее человеческих судей. Процент рецидивов в решениях, которые принимают нейронные сети, на 5% ниже, чем в тех случаях, когда решение о выпуске под залог принимает обычный человеческий судья с большим опытом. Это звоночек. Мы сейчас находимся на пороге ситуации, когда нейронная сеть уже не просто в состоянии анализировать информацию и вычленять из большого объёма паттерны, она способна принимать решения. Если отстраниться от эмоций и представить себе, что есть общество, в котором вопросами правопорядка занимается нейронная сеть. У неё есть гарантированный процент ошибки, 1% или 2%. Вопрос общественного договора: либо мы принимаем правила игры и говорим, что 2% осуждённых будут сидеть безвинно, но нейронная сеть позволит нам выявлять преступления на ранней стадии. 

С. КОРОЛЁВ: Традиционно два раза в месяц по средам в нашей студии появляется Евгений Волков, digital-директор "Лайфа". Женя, добрый вечер!

Е. ВОЛКОВ: Добрый вечер! Очень приятно снова всем рассказывать интересное и оптимистичное про наше будущее.

С.К.: Мы говорим про будущее, которое во многом стало уже настоящим. Наверное, для любителей и сторонников теории заговоров будет масса пищи для размышлений.

Е.В.: Возможно.

С.К.: Женя так сформулировал тему: "Мыслепреступления и Большой Брат". Я ничего не путаю?

Е.В.: Нет.

С.К.: Сейчас разберёмся, о чём идёт речь. Есть несколько информационных поводов. Начнём с новости, пришедшей из-за бугра. Вслед за текстовыми данными Правительство США берёт под контроль разрозненные доселе потоки данных соцмедийных медиа: Facebook, Microsoft, Twitter, YouTube — самых популярных интернет-ресурсов. Что это меняет? Казалось бы, и сейчас вся информация в соцсетях общедоступна. Кроме того, они сами себя мониторят на предмет запрещённого контента и пограничных, незаконных веществ, блокируют, банят пользователей. И второй вопрос: разве они уже не сотрудничают, с кем надо?

Е.В.:

Официальный текст звучит примерно следующим образом.

С.К.: Это будет приложение?

Е.В.: Технически это будет большая нейронная сеть, которая будет анализировать все загруженные на ресурсы "большой четвёрки" изображения, видео, аудио на предмет обнаружения в них чего-то, что напоминает террористическую активность. Сейчас они договорились, что у каждого аудио- и видеоролика будет цифровая подпись, в которой будет зашифрована вероятность наличия террористического контента внутри ролика или изображения.

Ни для кого не секрет, когда Сноуден публиковал свои сливы, работа АНБ с Facebook выглядела следующим образом: у АНБ в разработке какая-нибудь ячейка, они отправляли в Facebook официальный запрос: "Уважаемый Facebook, нам кажется, что вот такой гражданин США является террористом, сдай нам, пожалуйста, все его контакты, переписку". Facebook послушно исполнял распоряжения АНБ и предоставлял профиль пользователя. Я видел эту пэдээфку, она гуляла по Сети, там много всего: помимо переписки, которую ведёт пользователь, все фотографии, на которых он был отмечен, пересечение с другими пользователями, чекины в одних и тех же местах — очень много информации.

Сбывается мечта спецслужб, и к каждому гражданину приставлен наблюдатель. Смысл этой инициативы ровно в этом. Критерии оценки террористической опасности в этом документе, который опубликован, заданы очень размыто. Кто будет формулировать критерии, по которым будет оцениваться опасность контента и, как следствие, опасности человека, который его производит или размещает, нам неизвестно. Подобная инициатива является первым шагом к возникновению того самого Большого Брата и преследованию за мыслепреступления, о которых мы сегодня будем разговаривать.

С.К.: Разве те люди, которые впоследствии будут анализировать этот объём данных: да, нейронная сеть отбирает, но потом куда-то отсылает или более пристально следит? Это не значит, что за каждым потенциальным террористом тут же будет объявлена слежка или он будет схвачен, задержан, посажен?

Е.В.: "Схвачен и задержан" в идеальной картине мира будет происходить с теми людьми, которые прошли дополнительный контроль и были признаны террористами. Я всегда смотрю на развитие технологий с шагом немного вперёд, я связываю несколько фактов. Факт, который мне очень нравится, — о том, что сейчас в Штатах проводятся эксперименты по поводу того, как нейронные сети принимают решения о выпуске людей под залог.

С.К.: Как?

Е.В.: Эффективнее человеческих судей.

Мы сейчас находимся на пороге ситуации, когда нейронная сеть уже не просто в состоянии анализировать информацию и вычленять из большого объёма паттерны, она способна принимать решения.

С.К.: Можно я буду переводить на русский? Некая нейронная сеть заподозрила на основе двух фотографий, трёх высказываний, двух репостов и пяти лайков, что через семь лет этот пользователь Facebook с вероятностью 93% устроит теракт в Нью-Йорке. Его надо взять, скрутить и расстрелять или бросить в тюрьму пожизненно? Например?

Е.В.: Это крайний случай.

С.К.: Я правильно перевёл?

Е.В.: Да.

С.К.: Но это же бред.

Е.В.: Нет. В этом-то и беда. 

С.К.: Ты ничего не совершил. 

Е.В.: Все суды периодически выносят обвинительные приговоры, которые не имеют никакого отношения к реальности, осуждают невиновных.

С.К.: Обычно по ошибке.

Е.В.: Но ошибок может быть много: на уровне следствия, суда. В тюрьме оказывается невиновный человек. У нейронной сети тоже будет процент ошибок, но он будет ниже, чем у человеческой машины правосудия.

С.К.: Машина правосудия судит за уже совершённые преступления. Мы сейчас говорим про прогноз. Можно ли судить за будущее, за то, что ещё не произошло и может измениться, не произойти?

Е.В.: Про это снят не самый хороший фильм "Особое мнение", но проблема в нём обозначена достаточно чётко. Если вы хотите знать, что будет в будущем, смотрите фильмы категории В и вы обязательно найдёте в них интересное. 

С.К.: Запущу голосование: вас пугает Большой Брат, тотальный контроль, о котором мы сейчас говорим, или нет, вам нечего скрывать, технологиям дорогу? "Сколько времени они обучали сети для такой достоверности?" — спрашивает слушатель.

Е.В.: Каждый год закон Мура по-прежнему никто не отменял. Вычислительная мощность современных компьютеров растёт. Если раньше содержать нейронную вычислительную сеть было дорого, сейчас нейронные сетки может позволить себе даже не очень большая компания для решения своих задач. Если говорить про "большую четвёрку", которая в состоянии выделить выделить несколько огромных data-центров по несколько тысяч серверов на решение таких, казалось бы, странных задач — здесь не стоит вопрос о времени обучения и количестве мощностей, которые выделены на подобную задачу. 

С.К.: "А я не боюсь иностранных спецслужб, а вот свои не внушают доверия", — пишет слушатель. Спорное утверждение. "Кого бояться? Миллионов у меня нет", — Дима из Питера пишет. Останавливаю голосование: 82% наших слушателей боятся Большого Брата.

Е.В.:  Это логично.

С.К.: 18% — нет. Большой Брат был всегда, разве нет?

Е.В.: Большой Брат в качестве механизмов наблюдения за обществом был всегда, но почему Большой Брат именно Оруэлла стал нарицательным? Потому что его присутствие в каждой сфере жизни, это писалось в 1948 году, он не мог спрогнозировать, насколько технологии войдут в нашу жизнь всего-то через 70 лет. Но именно Большой Брат, который с тобой всегда, — это та концепция ужаса, которая и создала его книгу.

С.К.: Если мы понимаем, что это происходит, мы видим опасность в том, к чему это может привести, если мы признаём всё это, почему мы не можем пойти ва-банк? В один прекрасный день достать с антресолей запылившуюся кнопочную Nokia, выбросить айпад в помойку, разбить свой Macbook, уехать в лес, как Стерлигов, порубить дров, завести коров и заняться натуральным хозяйством?

Е.В.: И отключить Интернет.

С.К.: Он предлагал отключить электричество, но для начала отключить Интернет.

Е.В.: Нам не дадут это сделать наши дети. Пока мы можем их насильно вывезти в лес и заставить доить корову, но то поколение, которое растёт, привыкло к тому уровню технологий, которые есть. Это всё равно что сказать моему поколению, которое росло в 80-е, что с завтрашнего дня у них не будет телевизора и телефона, потому что они признаны опасными. Я представляю, какой вой поднялся бы среди моих сверстников.

Если отстраниться от эмоций и представить себе, что есть общество, в котором вопросами правопорядка занимается нейронная сеть. У неё есть гарантированный процент ошибки, 1% или 2%. Вопрос общественного договора: либо мы принимаем правила игры и говорим, что 2% осуждённых будут сидеть безвинно, но нейронная сеть позволит нам выявлять преступления на ранней стадии. Следующая цепочка — не просто выявление террористов, это очень хорошо, это правильно. Но человек с подобным профилем поведения, который выкладывает фотографии, который фотографирует архитектурные памятники под определённым углом всю жизнь, — я генерю признаки — и нейронная сеть понимает, что десять предыдущих серийных маньяков — убийц фотографировали архитектурные произведения под таким же углом. А ещё они ходили примерно в такие заведения и все просыпались в 4:30 утра. И на основании подобного паттерна нейронная сеть принимает решение, что этот человек с высокой долей вероятности станет серийным маньяком — убийцей. Если нейронная сеть обладает такой информацией, может ли она принять решение, что этого человека надо превентивно изолировать от общества? Сохранить ему жизнь, но не дать возможности сойти с ума и начать убивать в реальной истории. Это вопрос общественного договора, если общество на это готово.

С.К.: А вирусы, злоупотребления? Человек не сможет вмешаться в эту историю? Такой инструмент, захватив который можно прийти к управлению всем миром, наверное.

Е.В.: Мы к этому потихонечку идём. Сейчас, как я уже говорил, роль государственного управления потихоньку размывается.

С.К.: В России это пока не очень заметно, особенно если за пределы МКАД выехать.

Е.В.: Всё быстро меняется. Буквально на днях сформулировал мысль: похоже, что через некоторое количество лет произойдёт столкновение в мире, похожее на столкновение цивилизации белых европейцев, например, с Африкой и Америкой. И задача всех стран в данный момент — подтянуть свой технологический уровень так, чтобы при столкновении тебя сочли белым европейцем, у которого есть порох, а не туземцем, которого можно подвинуть с его земель и отправить куда-то ещё добывать золото на новых владельцев. 

С.К.: Давай оценим наши арсеналы и сравним их с арсеналами наших западных партнёров, как принято говорить.

Е.В.: Для меня западные партнёры, на которых я сейчас смотрю очень внимательно, — это не США, это те же самые Facebook, YouTube, Twitter, Google.

С.К.: А это не синонимы?

Е.В.: Нет, пока что это разные компании.

С.К.: Я говорю, что все они — синоним слова "Запад".

Е.В.: Есть ещё и Китай.

С.К.: У Китая нет своего Google.

Е.В.: Вообще, есть, но он локальный китайский. Сейчас я наблюдаю, как китайские компании достаточно агрессивно начинают выходить на российский рынок. Китайские смартфоны, которые сейчас продаются в любом магазине, на них по умолчанию стоит UC Browser, который по количеству собираемой информации ничем не уступает Chrome от Google. 

С.К.: Меня пугает, что скоро все будут запуганы, жить станет страшно, неуютно и неинтересно, может, даже опасно, как в сталинское время", — пишет слушатель. Есть какой-то инструментарий, если мы хотим обращать меньше внимания? Как рекомендации, чтобы не заразиться заболеваниями, передающимися половым путём, надевайте соответствующие изделия?

Е.В.: Не вступайте и не употребляйте.

С.К.: Я понимаю, что крайнее — взять семью, как Стерлигов, уехать и жить без электричества в лесу или в поле. Но мы всё же хотим пользоваться современными технологиями, значит, не пользуемся соцсетями или фильтруем то, что там выкладываем, используем браузер Tor?

Е.В.: Сейчас я не могу дать никакого совета. Первый совет — выкиньте смартфон. Бесполезно говорить: не пользуйтесь соцсетями или пользуйтесь определённым браузером.

Вы можете пользоваться смартфоном без Интернета, выдрать вай-фай-антенну и не вставлять в него сим-карту — но зачем тогда такой смартфон? К сожалению, обезопаситься в данный момент от сбора персональных данных о вас и от передачи их куда-то вы уже не можете. Либо лес, корова, дрова, уголь, Герман Стерлигов. Других вариантов, к сожалению, нет.

С.К.: "А как же получение root-прав в смартфоне?" — спрашивают у  вас.

Е.В.: Вы можете получить root-права в смартфоне, которые как бы дают возможности управлять вашим смартфоном, но вы не в состоянии проанализировать весь код, который использует ваша операционная система. А собирать данные с акселерометра, который рассказывает телефону о том, как он движется в пространстве, может, какая-нибудь маленькая библиотечка, которая запихнута в клиент чтения сообщений. То, что крутится на наших смартфонах, — это очень большие и очень сложные программные комплексы, пользователь, даже очень высоко квалифицированный, не в состоянии проанализировать всё.

С.К.: "У меня нет смартфона и бояться нечего, из социальных сетей удалился". Интересно, вы откуда нам пишете? Слушатель через Telegram пишет, а это тоже соцсеть. 

Е.В.: В общем, уже да. Судя по всему, человек пишет с персонального компьютера, на котором стоит операционная система Windows.

С.К.: Ubuntu.

Е.В.: Это не самый плохой вариант, надо сказать.

С.К.: "Я пользуюсь смартфоном без Интернета, потому что дорого, Интернет только на компе".

Е.В.: Но при этом человек приходит домой и подключается к домашнему вай-фаю.

С.К.: "Ubuntu Phone и VPN?" — спрашивает Владимир.

Е.В.: Как вариант, может быть, потому что код Ubuntu доступен и в нём минимальное количество закладок. Но Ubuntu чистая, без проприетарного софта.

С.К.: "Запрещаю исходящий трафик, только с разрешения, как Firewall".

Е.В.: Да, но вы запрещаете трафик инструментом операционной системы. Но если операционная система хочет что-то передать, она сама у себя разрешение будет спрашивать?

С.К.: "Похоже на фильм "Матрица". Давайте создавать человеку иллюзию счастья, тебе ничего не нужно, и ты счастлив от того, что ты работаешь. А то, что ты беден, — неважно".

Е.В.: Достаточно романтическое сообщение.

С.К.: Tor я понимаю, а Gentoo — это что?

Е.В.: Gentoo — это один из дистрибутивов Linux в айтишной среде.

С.К.: Типа Ubuntu?

Е.В.: Ubuntu — это Windows, который легко ставится. 

С.К.: Вы можете сами выстроить логическую цепочку.

Е.В.: Можно просто погуглить.

С.К.: А как она устанавливается?

Е.В.: Сложно.

С.К.: Вход в систему не с той стороны?

Е.В.: Практически.

С.К.: Мы поняли, дальше не будем развивать аналогии. Лучше обратимся к Наталье Касперской, умной женщине, гендиректору InfoWatch. Дала большое интервью нашим коллегам из ТАСС. Говорит, большие пользовательские данные граждан России в Интернете должны быть признаны собственностью государства. И эти большие данные пользовательские — это и есть то, что будут анализировать нейронные сети и уже это делают?

Е.В.: В том числе.

С.К.: А как признать их собственностью государства? И как государство реализует своё право собственности?

Е.В.: У меня плохо получается контролировать лицо, когда я слышу удивительные вещи.

С.К.: Она ведь очень умная женщина.

Е.В.: Я не спорю с этим ни секунды. 

С.К.: Я прочитаю: "Моё мнение, что эти данные должны являться собственностью государства, потому что пользователи этими данными не обладают. Пользователь отпустил их в информационное пространство, и утекло всё, что он там написал. Значит, это не их принадлежность". Правда, логично?

Е.В.: В переводе на русский язык это звучит примерно следующим образом: нам очень хотелось бы анализировать пользовательские данные, которые собирает Google и Apple, но у нас нет в распоряжении инфраструктуры, которая позволит их собирать. Уважаемые Google и Apple, поделитесь. Для меня это звучит ровно таким образом.

С.К.: Она не к Google и Apple обращается. Она обращается к Герману Клименко, который посоветует Владимиру Путину, а тот озадачит парламент принять какой-то закон, который обяжет Google и Apple передавать большие данные.

Е.В.: Не вопрос. Конечно, такой закон с точки зрения защиты национальной безопасности — это очень важная история.

На уровне государства — хорошо. Представьте, что завтра Google говорит "не вопрос" и отгружает 100 500 тысяч терабайт информации, которая собрана андроидовскими смартфонами на территории России. Дальше я вижу, как садится очень большая бригада аналитиков и пытается понять, что передали, а главное — что с этим делать. Данные передали, но без инфраструктуры, которая эти данные анализирует и обслуживает, они достаточно бесполезные.

С.К.: Big Data Cambridge Analytical. Сегодня на Facebook наш слушатель Сергей Кузнецов прочитал об этом. С помощью Cambridge был проведён Брексит и выборы Трампа.

Е.В.: Это очень похоже на правду, это хороший кейс. Но если коммерческие компании пользуются для увеличения эффективности рекламы газировки и памперсов механизмы big data, то при любых выборах уже понятно, что кандидаты должны этими инструментами пользоваться.

С.К.: "Допустим, я написал музыкальное произведение, склепал видео, залил во "ВКонтакте", на YouTube и так далее — оно больше мне не принадлежит?" Давай объясним, о каких данных идёт речь.

Е.В.: Здесь есть некоторая путаница. У меня сейчас в кармане телефон. Я сижу и непроизвольно совершаю движения, передвигаюсь в пространстве: подвинулся направо-налево. В этот момент у меня в телефоне срабатывает акселерометр, который записывает, что в такое-то время произошло движение туда-то с такой-то скоростью. Когда таких данных накапливается какое-то количество, они все собираются и сваливаются в Google. Туда падают данные с GPS-датчиков, как я передвигался, туда же падают голосовые записи. Если у вас на телефоне активирована Siri или ассистент Google, значит, телефон имеет право записывать всё, что происходит вокруг него. Голосовой трафик, который происходит вокруг телефона, тоже записывается, это тоже данные. Температура, влажность, атмосферное давление — это всё данные, которые генерят наши смартфоны. И это огромное количество данных и есть big data.

С.К.: Температура воздуха за бортом мне не очень важна или скорость моей машины в пробке на проспекте Мира.

Е.В.: Вам нет, а Google, который строит маршруты…

С.К.: Он строит маршруты, подсказки мне, но если он будет когда-нибудь измерять мою температуру тела или давление, а какие-то смартфоны, наверняка, уже измеряют, мне это жалко.

Е.В.: Я хороший пример приводил в прошлый раз. Если вы занимаетесь сексом на кровати в Apple Watch или телефон лежит на кровати, то по определённому паттерну сотрясений поверхности, на которой находится телефон, можно определить, что этот телефон сейчас лежит на поверхности, где возможно два человека или более занимаются сексом. После того как эта информация будет привязана к ID вашего устройства…

С.К.: И что?

Е.В.: Дальше представьте себе, что вы, например, политик.

С.К.: Я про другое. Мы много нарисовали сценариев.

Е.В.: Когда эти данные могут быть использованы?

С.К.: Да, хакерами, злоумышленниками?

Е.В.: А вы не допускаете, что злоумышленником может являться обладатель данных?

С.К.: Государство?

Е.В.: Нет, государство нет.

С.К.: А почему?  Компания. Хорошо, и как с этим бороться-то?

Е.В.: Двумя способами.

С.К.: Мы не рассматриваем Стерлигова.

Е.В.: Это один из способов.

С.К.: Мне интересен второй.

Е.В.:

Например, мы согласны, что Google и "Яндекс" меряют скорость нашего перемещения в пространстве, чтобы создать более точную карту пробок и при прокладывании маршрута отправить наш автомобиль, который, как кажется Google и "Яндексу", менее загружен. Это общественный договор: мы разрешаем Google и "Яндексу" собирать данные о пробках, о скорости передвижения нас в автомобиле, чтобы потом нам стало проще. Я согласен, чтобы все данные, которые я создаю, анализировались на предмет наличия в них потенциальной опасности, чтобы нейронная сеть могла эффективно задерживать потенциальных преступников. Это такой же общественный договор, как и сбор данных с GPS, чтобы мне меньше стоять в пробках. Это сложно сейчас представить, потому что кажется адским вмешательством в личную жизнь и во всё прочее, но я думаю, что через некоторое время мы к этому придём.

С.К.: Короткий блиц: Google или Яндекс?

Е.В.: Я патриотично настроен — конечно, "Яндекс".

С.К.: "Андроид" или iOS?

Е.В.: "Андроид".

С.К.: Windows или Linux?

Е.В.: Хороший вопрос. Не знаю, у меня две операционки стоят на машине.

С.К.: Хорошие ответы. Универсального рецепта мы, как всегда, не предложили, но вооружили вас знаниями, я надеюсь.

Е.В.: И почвой для размышлений.

С.К.: Кстати говоря, мыслепреступления мы не раскрыли.

Е.В.: 

С.К.: Спасибо, Евгений!