Голосовой помощник научился понимать пользователя без слов

С помощью специальных алгоритмов система анализирует положение губ владельца устройства и выполняет соответствующие команды.

Исследователи из Китая разработали мобильное приложение с поддержкой голосового помощника. С ним цифровой ассистент распознаёт команды по движению губ и нет необходимости произносить слова вслух. Программа представлена на конференции UIST 2018.

Для пользования приложением необходимо активировать камеру. Алгоритмы распознают лицо в кадре и определяют 22 точки в области рта. Исследователи записали 44 положения, которые может распознать ассистент. Так, владелец смартфона может дать команду выделить текст, открыть приложение, включить, выключить, переключить аудиозапись.

Такое приложение создано для комфортного пользования голосовым помощником в общественном месте. Голосовые команды могут раздражать окружающих, но умение ассистента анализировать движение губ, а не голос должно решить эту проблему. Пока система работает только на мощном компьютере, в будущем её оптимизируют под смартфоны.

Крупные компании также активно занимаются развитием голосовых ассистентов. К примеру, Apple, судя по слитому в Сеть патенту, научит Siri узнавать хозяина по голосу.