Работники университета Торонто представили новую технологию под названием нейронное караоке. Изобретение позволяет компьютеру создавать композиции на заданную тематику, основываясь на медиаданных: изображениях, музыке и текстах.
Прототип технологии родился из идеи создать компьютерную программу, которая сможет писать песни, сочинять стихи и даже создавать танцевальные движения. Профессор университета Ракель Уртасун рассказала, что видит будущее проекта, например, как функцию в музыкальном приложении, которая сможет писать песни на основе фотографий пользователей.
В качестве испытания алгоритму поручили написать рождественскую песню. Для этого он просканировал 100 часов композиций разных жанров, чтобы научиться составлять мелодии и создавать ритмы. После начального обучения программа смогла создавать простые композиции на скорости 120 ударов в минуту и добавлять к ним мелодию и ударные.
После уроков музыки программу заставили учиться танцам. В базу добавили час видео из танцевальной видеоигры Just Dance, на основе которой программа научилась соединять музыку и движения. После обработки данных алгоритм научился двигать человечка в такт музыкальным композициям. По отзывам исследователей, танцы мало походили на профессиональные, а были куда больше похожи на неловкие ужимки, но тем не менее в ритм фигурка попадала.
В конечном итоге программа взялась за написание рождественской песни. Разработчики предоставили компьютеру фотографию новогодней ёлки, а обученные алгоритмы принялись составлять "словарь" будущей песни: сначала распознавая предметы на изображении, а затем находя к ним синонимы и обрабатывая ряды ассоциаций. Затем машина написала финальный текст, создала к нему музыку и сделала несколько аранжировок. Получившимся результатом исследователи поделились с интернет-общественностью.
Ниже приводится перевод придуманного компьютером текста на русский язык:
"Комнату нужно сильно украсить.
Рождественская ёлка наполнена цветами.
Клянусь, это канун Рождества.
Надеюсь, тебе тоже так кажется.
Лучший подарок на праздник — благословение.
Я всегда был рядом, всю нашу жизнь.
Сто с половиной часов назад.
Рад встретить тебя.
Я слышу музыку, идущую из коридора.
Это сказка. Это ёлка. Вокруг много-много-много цветов."
Многие посчитали текст слегка пугающим. Журналисты The Guardian и Huffington Post назвали получившуюся композицию "рождественской песней из ада" или "пением машин, которые сотрут человечество с лица земли". Да, эта песенка точно не возглавит рождественские хит-парады и вряд ли обрадует детей на утреннике, но, по крайней мере, служит доказательством того, что даже машины могут написать песню не хуже, чем у группы "Мумий Тролль".
