В Госдуме готовят "намордники" для роботов и правила для беспилотных машин

"Нужны намордники для роботов"

— Насколько я знаю, планируются инициативы, которые будут направлены на регулирование роботов. Расскажите, пожалуйста, об этом подробнее.

А. Черногоров:

Мы поняли, что роботы существуют и требуют регулирования уже далеко не только в автомобильной отрасли. Есть ещё ряд отраслей, где проникновение роботов является уже доминирующим, — в первую очередь это финансовый рынок, где есть так называемая алгоритмическая торговля. Она сейчас составляет более 80% объёма торговли. Таким образом, решения по транзакциям на миллиарды рублей проходят через алгоритмы, притом всё это находится до сих пор в зоне регулирования финансовых властей.

В отличие от США в России никаких требований к алгоритмам финансовых рынков нет. Что такое High-frequency trading? Если это простой алгоритм, тогда он выдаёт однозначный результат. А может быть и в виде "слабого" искусственного интеллекта — нейронная сеть, самообучающийся алгоритм, который выдаёт некий новый результат. То есть то, как он поведёт себя в той или иной ситуации, — это его решение на некоторую долю, это не 100% заложено человеком, оно непредсказуемо для человека. Например, шахматный компьютер DEEP BLUE, который победил в 1997 году Каспарова, — это простой перебор комбинаций. В шахматах это возможно за ограниченное количество операций. А уже в этом году компьютер победил чемпиона мира по ГО. Там компьютер должен обучаться на истории, на ходах противника и предлагать инновационные ходы. Только так можно перехитрить  противника.

Что это означает с точки зрения законодательного регулирования? Это означает, что появляется некий новый субъект ответственности — алгоритм, который начинает мыслить сам. И кто-то должен нести ответственность за него. Это чем-то похоже на законы о бойцовских собаках. Собака как бы сама принимает решение, укусить или не укусить. Но её должен контролировать хозяин: держать собаку в наморднике, на поводке, не допускать на детские площадки и т.п. С алгоритмами такого нет, хотя общественная опасность намного выше. К примеру, на финансовых рынках, где неподконтрольный сбой может привести к достаточно глобальному дисбалансу экономики.

— Были уже подобные примеры?

— Да, в США произошёл случай, когда у одного робота случился сбой алгоритма, он сделал большую продажу и вызвал цепную реакцию остальных команд по продаже. Цены пошли вниз, произошёл обвал на рынках. И всё это случилось за долю секунды. Надо понимать, что буквально три-четыре года назад алгоритмы на финансовых рынках были простые: вы вводите А, получаете Б, просто он это сделает за вас. Сейчас же эти алгоритмы другие: вы вводите А, а получаете неизвестно что. 

Если проводить банальную аналогию с бойцовскими собаками, то собака должна проходить сертифицированный курс обучения и обладать средствами контроля за её деятельностью. Тот же намордник, например. Роботам тоже нужны "намордники" и обучение, они должны контролироваться. Для сравнения, деятельность банков жёстко регулируется: их финансовая система проходит проверку, за ними надзирает ЦБ. А кто смотрит за алгоритмами торговли? Никто. Обладают ли они общественной опасностью? Обладают. Алгоритмы применяются и у сотовых операторов: для расчёта тарифов, для оценки результатов ЕГЭ и т.д. Довольно много сфер, где решения человека отчасти отданы машинам. И сейчас этот вопрос не регулируется. Мы хотим ввести некоторое универсальное правило регулирования "слабого" искусственного интеллекта.

— У каждого алгоритма свои особенности, в каждой области они применяются по-разному, и в связи с этим вопрос регулирования очень сложен. Возможно ли создать тут некое универсальное правило? И не приведёт ли это к каким-либо проблемам с реализацией?

— Здесь скорее надо говорить о правиле аудита. Существует директива Евросоюза: во время сбоя или разбора проблемной ситуации можно потребовать от владельца алгоритма раскрытия объяснения его действия. Мы считаем, что эта норма достаточно пустая, потому что нельзя от нейронной сети потребовать объяснения её действий. Вы не знаете однозначно, почему нейронная сеть приняла то или иное решение. Европейское правило уже устарело. Но что можно сделать здесь? Можно, например, проверить алгоритмы на отсутствие различных уязвимостей и, так сказать, жучков, чтобы подтвердить, что это в чистом виде нейронная сеть, без элементов контроля. Это первый уровень аудита.

Второй уровень подразумевает, чтобы у алгоритма была так называемая красная кнопка: в случае лавинообразного процесса, например на финансовом рынке, она сама выключается. Как датчик пожаротушения. Третий уровень говорит о том, что мы должны чётко понимать, кто является владельцем алгоритма. Он должен быть внесён в реестр. Чтобы не было ситуации "а кто виноват"? Уже эти три элемента позволяют управлять ситуацией в критически важных зонах: беспилотные авто, алгоритмы на финансовых рынках. С проникновением ИИ в новые области регулирование будет расширяться: например, уже сейчас в РЖД рассматривают возможность применения нейронных сетей для оптимизации пассажиропотоков. Если к этому процессу подключается ИИ, то появляется и потенциальный риск — столкновение поездов. То же самое с авиадиспетчеризацией и с умными светофорами.

— И это надо регулировать уже сейчас, несмотря на то что пока эти направления активно не представлены?

— Сейчас существует две зоны, которые требуют регулирования уже сейчас и срочно. Это беспилотники и финансы. Остальные сферы — нужно посмотреть, как они развиваются. Не надо бежать впереди паровоза. Нужно чтобы сначала создалась база прецедентов. Если мы видим, что все города внедряют светофоры или все электростанции перешли на smart grid (умные сети электроснабжения с повышенной надёжностью и эффективностью за счёт применения информационных и коммуникационных сетей. — Прим. ред.), то их надо регулировать.

Но в любом случае, если создать нормальное правило работы с алгоритмами, то оно будет самовоспроизводиться и дальше, а уполномоченные органы будут заниматься разработкой технических регламентов. То есть у алгоритма есть владелец, нет закладок и жучков, он имеет красную кнопку, и дальше, например, Министерство энергетики, имея закон, может разработать порядок работы со smart grid.

— И как дать определение такому алгоритму?

— Есть уже определение "слабого" ИИ. "Сильного" ИИ, который бы мыслил как человек, ещё не изобрели. Но есть тесты, как, например, тест Тьюринга. Систему тестирования разработать довольно легко. У любого алгоритма должен быть проверочный тест.

— То есть вы хотите обязать роботы проходить специализированные тесты и заноситься в реестр?

— Да.

— А подобные бюрократические процедуры могут ли оттолкнуть разработчиков от создания потенциальных технологий на ИИ?

— Уже есть здесь хороший пример — реестр отечественного ПО. Мы полтора года назад выдвинули эту инициативу и предлагали более жёсткие меры, но и общественность, и государство были готовы на более лёгкие шаги. Поэтому сделали реестр российского ПО и стали рекомендовать отечественное ПО. И этот формат работает: в реестре уже 1000 программ. Первый шаг — реестр. И понимание картины. До того как появился реестр отечественного ПО, было много разговоров, что нет российских программ. Ничего нет в России. А теперь более 1000! Так же и с алгоритмами. Где они есть? Где они используются?

Уверяю вас, если начать их регулировать, вы увидите их в тех местах, где не ожидали встретить. Думаю, что на первом этапе бюрократия на пользу. Понятно, что не должно быть перегибов, коррупционных цепочек. Очень важно, чтобы критерии включения в реестр были формальными, как в реестре отечественного ПО: если есть российские учредители, право собственности у российского юрлица и т.п. — ты в реестре, так же и с алгоритмами. Проходишь тест онлайн, подал заявку на авторов алгоритма, записал себя в этот реестр пока в уведомительном режиме — и можешь функционировать. Речь не идёт про санкции. Речь идёт о том, чтобы мы начали это отслеживать и регулировать хотя бы на уровне учёта и создания правовой базы. Если мы дальше увидим, что создаются общественные потери от какого-то вида неправильного использования, придётся регулировать санкциями, но санкции обычно накладывают органы исполнительной власти.

— Не очень понятно, по каким критериям будут попадать подобные алгоритмы в соответствующий реестр. То есть, например, любое приложение на нейронной сети тоже должно регистрироваться?

— Если оно носит общественно значимый характер.

— И как это определить?

— Это просто. Здесь надо основываться на законе об информации и на определении Государственной информационной системы. Сейчас все системы по определённым критериям попадают в реестр ГИС. Если она издаётся и у неё есть такие критерии — она ГИС и к ней автоматически применяется набор регулирующих мер. То же самое с алгоритмами. Есть набор критериев: это количество пользователей (например, свыше 10 тыс. чел.), возможность интеграции, например со смежными важными системами, взять, к примеру, интегрированную систему диспетчеризации транспортных потоков.

Важно понимать, что законодательная основа даёт очень мощный импульс в развитии технологий. Чтобы мы перешли к их широкому общественному использованию, государство должно быть уверено в их безопасности. Тогда власти начнут их поддерживать, ведь у нас самые значительные инвестиции делают либо госорганы, либо компании с госучастием. Это достаточно консервативные инвесторы, и они будут инвестировать только в те зоны, которые хорошо зарегулированы.

На чём погорела Tesla

— А какие уже сейчас есть идеи по регулированию беспилотных машин? 

— Мы хотим создать законодательную базу, внести определения, что такое беспилотник, что такое субъект ответственности, что такое оператор, а что — водитель. Например, оператор — это любой субъект, который может повлиять на траекторию движения. А уже ГИБДД должна дать определение и сертифицировать их по определённой программе.

Говоря о наземных беспилотниках, стоит уточнить, что есть шесть классов автономности (по классификации SAE International), от ADAS 0 (Advanced Driver Assistance Systems. — Прим. Лайфа) до ADAS 5. 0 — это полностью ручное, 5 — это полностью беспилотный автомобиль. 0,1 — есть уже на наших с вами машинах, а 3 — это очень "скользкий" этап, как раз на нём погорела Tesla. Я считаю, что 3 — это самый опасный уровень автономности, потому что ты вроде сам ведёшь машину, но в то же время и нет. Вот кто отвечает за аварию — алгоритм, который тебя направил туда, или ты, потому что ты должен был руки держать около руля? Но при этом эта секунда или миллисекунда, которая проходит до того момента, как ты понимаешь, что алгоритм пилотирования ошибся, и хватаешься за руль, она критическая.

— То есть сейчас предлагается пока регулировать уровень 2?

— Да, предлагаем остановиться на уровне 2 и не пускать на уровень 3. И вообще уровень 3 пропустить. На уровне 3 получается две сферы ответственности: за что-то отвечает алгоритм, а за что-то — человек. И не очень понятно, кто за аварию в итоге ответит.

Если оставить такой дуализм ответственности, то начнутся резонансные аварии, и в угоду общественному мнению какие-нибудь популистские чиновники всё запретят, и развитие важнейшей технологии в России будет заблокировано. Как было, к примеру, с гражданской малой авиацией: там был некий вакуум в регулировании, начали падать самолёты, случилось несколько аварий и вообще всё запретили. И теперь, по оценкам многих экспертов, мы находимся в каменном веке в плане малой авиации. Поэтому тут очень важно остаться в той зоне, которая понятна, и уже будучи в ней оценить, когда мы будем готовы перейти на настоящую "беспилотность", а затем переходить на неё, когда мы будем готовы. 

— А пропуск уровня 3 никак не скажется на производителях?

— Уровень 3 в технологическом плане ничего такого нового не даёт производителю. Уровень 2 уже позволяет им нарабатывать статистику и ездить по дорогам общего пользования. Начинает набираться база прецедентов: снимает дорогу на камеру, нарабатывает себе базу данных. При этом уровень 2 от уровня 3 отличается только тем, что в данном случае человек всё-таки держит руки на руле и не отпускает их. То есть отличие уровня 2 от уровня 3 чисто юридическое, оно не технологическое. Тогда как переход на более высокий уровень 4 и 5, соответственно, носит революционный характер.

Свободное ПО как шаг к импортозамещению

— Если перейти к вашей инициативе в рамках импортозамещения — переходу госучреждений на свободное программное обеспечение. Эксперты называют основной проблемой тут трудности с поддержкой такого ПО.

— Вы делаете тендер на то, чтобы привлечь компанию на поддержку такого ПО, и любой желающий может оказать вам соответствующую услугу. Можете взять программиста себе в штат, который будет его поддерживать, есть также и специализированные компании. То есть нет ограничений, в том-то и разница с закрытым ПО. Например, вы купили себе Microsoft Windows Office и осуществлять его поддержку могут только сертифицированные партнёры, то есть это компании, которые получили статус от производителя (Microsoft).

Если вы используете сертифицированное решение, вы не можете привлекать несертифицированных разработчиков. Тем самым получается, что есть монополия у того, кто владеет правами, то есть вы уже закрыты. К примеру, санкции — на территории Крыма Microsoft не поддерживается официально, хотя это является территорией России. Вот прецедент, как одна точка прекратила поддержку своих продуктов. Мы понимаем, что они де-факто используются, потому что были закуплены ещё до санкций, но что теперь с ними делать?

— А какой процент проникновения свободного ПО в России на данный момент?

— Доля использования свободного ПО в России — около 5%. В Америке, в Европе — этот показатель 60%. В той же Германии на свободное ПО перешли почта, бундесвер (Вооружённые силы ФРГ. — Прим. ред.). А у нас Министерство обороны до сих пор использует карточки личного состава российской армии в системе на базе SAP. То есть, называя вещи своими именами, карточка личного состава российской армии — в системе вероятного противника! Напомню, у нас в Стратегии, в Доктрине написано, что наши вероятные противники до сих пор — это Германия и США, но мы держим карточки личного состава российской армии в системе закрытого вендора, который является немецкой компанией.

— Но и сам переход госструктур на новое ПО подразумевает немалые затраты.

— У меня уже третий год стоит LibreOffice, он абсолютно бесплатный. Никаких затрат на переход. У нас в России есть 320 тысяч государственных органов, в каждом из которых стоит MS Word. MS Word стоит примерно $100 в год на человека. В каждом госсекторе работает около 1 млн человек — можно посчитать примерно, какие затраты уходят только на текстовый редактор. При этом никаких затрат на переход с Word на что-нибудь другое я вообще не вижу. Это пример. На самом деле ещё много таких аналогов. Поэтому свободное ПО — это очень важно. И здесь мы находимся очень близко именно к принятию закона по стимулированию и использованию свободного ПО в государственном секторе. И планируем внести его в эту сессию.

— И в чём будет выражаться стимулирование?

— Будут даны преференции при закупках. Плюс будет сказано, что до закупки надо проверить наличие свободного аналога и обосновать закупку.

Нужен ещё один элемент поддержки российской отрасли. Мы понимаем, что российские компании развиваются "догоняющими" темпами. Конечно, если бы у нас были свои компании уровня Microsoft, SAP и Oracle, не было бы нужды в какой-то поддержке. Они бы сами нас поддерживали. Но нам нужно вырастить такие компании. Т.е. мы должны дать стимулирующие меры для выращивания этих компаний. Для этого мы должны потеснить крупных конкурентов, которые де-факто монополизировали рынок. Свободное ПО — это один из способов реализовать импортозамещение.