Google показал сэмплы от MusicLM — генератора музыки из текста

Исследователи Google создали ИИ-генератор музыки из текста MusicLM. И хотя саму программу компания пока не выкладывает в открытый доступ, она выгрузила ряд сэмплов, которые были созданы с помощью новинки.

Google показал сэмплы от MusicLM — генератора музыки из текста Екатерина Алипова

Генератор «пишет» музыкальные произведения продолжительностью в несколько минут по текстовым подсказкам или преобразуя мелодию, которую насвистывают или напевают в микрофон, в полноценные инструментальные композиции, сообщает The Verge.

Среди обнародованных примеров — 30-секундные «песни» (текста в них нет, только имитация). Причем программа придерживается заданного жанра и использует указанные инструменты.

Если задавать формат в режиме story, указывая последовательность тех или иных музыкальных фрагментов, то ИИ генерирует максимально близкий к техзаданию музыкальный микс.

На демонстрационном сайте также представлены варианты 10-секундных имитаций конкретных инструментов, 30-секундных музыкальных произведений, созданных по описаниям знаменитых картин, и 8-секундных зарисовок определенного жанра (есть даже музыка, подходящая для побега из тюрьмы, или «аккордеонный death-metall»).

Из приверов видно, что MusicLM может имитировать человеческий вокал, который правильно передает тон и общее звучание голосов, хотя по сути это даже не набор слов, а скорее, набор букв.

Ранее различные технологические компании уже делали попытки создать подобные генераторы: есть программы, которым приписывают сочинение поп-песен, копирование Баха лучше, чем это мог сделать человек в 90-е годы, и сопровождение живых выступлений. 

Заставь искусственный интеллект самообучаться и совершенствоваться – выбирай онлайн-курсы в каталоге курсов по машинному обучению.

Одна из последних версий использует механизм генерации изображений AI StableDiffusion для преобразования текстовых подсказок в спектрограммы, которые затем превращаются в музыку. 

В Google уверяют, что это все «прошлый век», и MusicLM может превзойти все прочие программы с точки зрения «качества и соответствия заявке», а также благодаря умению воспринимать аудио и копировать мелодию.

Впрочем, в компании пока осторожно относятся к разработке: в открытый доступ она не поступит из-за «риска потенциального незаконного присвоения творческого контента».

Таким образом, на данный момент единственные люди, которые смогут использовать результаты исследований и работы MusicLM, — это другие разработчики ИИ-генераторов музыки: в Google готовы делиться данными для обучения коллег и для аналитики.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!