Это интересно

Новая программа может создавать тексты для инструментальной музыки

Новая программа может создавать тексты для инструментальной музыки

Технологии IT/Игры 02.07.2021, 08:28 Новая программа может создавать тексты для инструментальной музыки Исследователи представили программу LyricJam — передовую вычислительную систему, которая может генерировать тексты для живой инструментальной музыки. Она поможет авторам писать тексты, которые хорошо сочетаются с музыкой, которую создают композиторы. Никита Шевцев редакция Тэги:

  • Искусственный интеллект
  • Музыкальные инструменты

Новая программа может создавать тексты для инструментальной музыки FB Новая программа может создавать тексты для инструментальной музыки VK Новая программа может создавать тексты для инструментальной музыки OK Новая программа может создавать тексты для инструментальной музыки Link Unsplash

Новый искусственный интеллект может придумывать слова к песне прямо в тот момент, пока она играет. Получившиеся тексты несут даже больший смысл, чем у большинства современных исполнителей

За последние несколько десятилетий ученые разработали вычислительные инструменты, которые могут генерировать определенные типы данных, такие как изображения, слова или аудиозаписи. Эти системы могут иметь множество применений, особенно в творческих областях, связанных с созданием новых произведений искусства.

Ученые Университета Ватерлоо уже несколько лет проводят исследования, посвященные генерации лирической музыки. Совсем недавно инженеры также начали исследовать возможность генерации текстов для звуковых дорожек инструментальной музыки. В своем новом исследовании ученые представили систему LyricJam, которая может генерировать тексты, подходящие под конкретную музыку.

Система ученых преобразует необработанные аудиофайлы в спектрограммы, а затем с помощью моделей глубокого обучения генерирует тексты песен, соответствующие музыке, которую они обрабатывали в режиме реального времени. Архитектура модели состоит из двух вариационных автоэнкодеров, один из которых предназначен для анализа звуковых паттернов в мелодии, а другой — для анализа сгенерированного текста.

После этого ученые разработали две новые программы, которые позволяют совмещать результаты работы двух энкодеров, подгоняя таким образом слова под музыку. В конечном счете, эти механизмы позволяют программе с машинным обучением узнать, какие типы текстов хорошо сочетаются с конкретной мелодией.

Главная особенность, которая отличает LyricJam от других систем генерации текстов, разработанных в прошлом, заключается в том, что она может создавать подходящие тексты в реальном времени — прямо в тот момент, пока исполнитель играет мелодию вживую. «Поиграться» с новым искусственным интеллектом или использовать его для своей работы можно через сайт проекта.

Препринт статьи опубликован на сайте arXiv.org.

    обсудить Комментарии Текст комментария ОТПРАВИТЬ

    Источник

    Автор: Влад Кулиев
    2.07.2021 (09:18)
    Информер новостей
    Расширение для Google Chrome
    Пишите нам

    Редакция: contact@supreme2.ru

    Реклама: adv@supreme2.ru

    Зеленые технологии

    Лента новостей

    Все права защищены © 2005-2021

    "Supreme2.Ru" - новости для гиков

    Контакты  | Policy  | Map Index

    Использование любых материалов, размещенных на сайте, разрешается при условии ссылки на Supreme2.Ru. Для интернет-изданий - обязательна прямая открытая для поисковых систем гиперссылка. Ссылка должна быть размещена в независимости от полного либо частичного использования материалов. Материалы в рубрике "Новости партнеров" публикуются на правах рекламы.