Новая программа может создавать тексты для инструментальной музыки

Технологии IT/Игры 02.07.2021, 08:28 Новая программа может создавать тексты для инструментальной музыки Исследователи представили программу LyricJam — передовую вычислительную систему, которая может генерировать тексты для живой инструментальной музыки. Она поможет авторам писать тексты, которые хорошо сочетаются с музыкой, которую создают композиторы. Никита Шевцев редакция Тэги:

Искусственный интеллект
Музыкальные инструменты

Новая программа может создавать тексты для инструментальной музыки FB VK OK Link Unsplash

Новый искусственный интеллект может придумывать слова к песне прямо в тот момент, пока она играет. Получившиеся тексты несут даже больший смысл, чем у большинства современных исполнителей

За последние несколько десятилетий ученые разработали вычислительные инструменты, которые могут генерировать определенные типы данных, такие как изображения, слова или аудиозаписи. Эти системы могут иметь множество применений, особенно в творческих областях, связанных с созданием новых произведений искусства.

Ученые Университета Ватерлоо уже несколько лет проводят исследования, посвященные генерации лирической музыки. Совсем недавно инженеры также начали исследовать возможность генерации текстов для звуковых дорожек инструментальной музыки. В своем новом исследовании ученые представили систему LyricJam, которая может генерировать тексты, подходящие под конкретную музыку.

Система ученых преобразует необработанные аудиофайлы в спектрограммы, а затем с помощью моделей глубокого обучения генерирует тексты песен, соответствующие музыке, которую они обрабатывали в режиме реального времени. Архитектура модели состоит из двух вариационных автоэнкодеров, один из которых предназначен для анализа звуковых паттернов в мелодии, а другой — для анализа сгенерированного текста.

После этого ученые разработали две новые программы, которые позволяют совмещать результаты работы двух энкодеров, подгоняя таким образом слова под музыку. В конечном счете, эти механизмы позволяют программе с машинным обучением узнать, какие типы текстов хорошо сочетаются с конкретной мелодией.

Главная особенность, которая отличает LyricJam от других систем генерации текстов, разработанных в прошлом, заключается в том, что она может создавать подходящие тексты в реальном времени — прямо в тот момент, пока исполнитель играет мелодию вживую. «Поиграться» с новым искусственным интеллектом или использовать его для своей работы можно через сайт проекта.

Препринт статьи опубликован на сайте arXiv.org.

обсудить Комментарии Текст комментария ОТПРАВИТЬ

Источник

31.03	37-й IT talk »
17.11	MBLTdev #2 »
16.11	GeekWeek-2015 »