Блог
Искуственный интеллект

Нейросети генерируют музыку: как это работает и где попробовать самостоятельно

Даша Лейзаренко уже отошла от привычки наслаждаться настоящей музыкой.

В последние годы нейросети начинают все шире распространяться в различных сферах творчества. Они уже достигли впечатляющих результатов в генерации текстов и изображений, и теперь настало время для музыки.

В следующем году, в 2023 году, было представлено впечатляющее достижение - три новых алгоритма, способных генерировать музыку исходя из текстовых запросов. Ранее нейронные сети ограничивались только дополнением исходных треков или созданием новых на основе предоставленной мелодии.

Искусственный интеллект (ИИ) предоставляет новые возможности для музыкантов и создателей спецэффектов, сокращая временные и творческие затраты. Однако, компании еще сомневаются в безопасности открытого доступа к сервисам, основанным на обучении по реальным музыкальным данным. Мы расскажем вам, какие изменения происходят в индустрии и где уже сегодня можно попробовать самостоятельно создать собственный трек.

Что вы узнаете

* Как искусственные нейронные сети творят музыку * Прогресс музыкальных нейросетей с течением времени * Новые возможности и потенциал музыкальных нейросетей * Исследуйте впечатляющий ассортимент музыкальных нейросетей уже сейчас

УЧЕБНИК Т⁠—⁠ЖH3: Новинка: курс отом, как получить права

Вышеуказанная программа предоставляет возможность бесплатного курса, который позволит вам стать уверенным владельцем вне автомобильной обстановки, как в автошколе, так и на дороге.

Как нейросети создают музыку

"Инновационные нейросети, специализированные на музыке, претерпевают обучение при помощи обширного аудиоархива. Эти ценные данные подвергаются систематизации и затем передаются удаленному искусственному интеллекту. Конечно, первоначальные результаты могут быть недостаточно впечатляющими, однако по мере продвижения в обучении нейросети звуковое качество только улучшается, что приносит значительные преимущества."

Изучив различные композиционные шаблоны, нейросеть приобретает возможность создавать аналогичные мелодии. Важную роль в этом процессе играет база данных, поскольку, если обучать искусственный интеллект на произведениях Элвиса Пресли, результатом будут лишь композиции, напоминающие его знаменитые песни.

Создание музыкальных нот с помощью нейросетей представляет собой формирование символьной последовательности. Этот подход позволяет получить партитуру, включающую ноты, аккорды и звуки. Сама нейросеть создает визуальное представление произведения, которое затем может быть воспроизведено.

OpenAI применила такой подход в своей нейросети MuseNet, которая была выпущена в апреле 2019 года. Благодаря обширной обучающей выборке, она способна создавать композиции и сочетать различные жанры. Возможно, она сможет исполнить Симфонию № 5 Бетховена в будоражащем стиле Леди Гаги.
Симфония №5 Бетховена в стиле Леди Гаги, сгенерированная Muse Net

Такой подход имеет свои ограничения: нейросеть способна лишь генерировать ноты и не удовлетворяет потребностей в разнообразии человеческих голосов, тонов, эмоциональности и утонченности звучания, которые играют важную роль в музыке.

Создание аудиосигнала позволяет использовать разнообразные символьные генераторы, не ограничиваясь лишь последовательностью нот. Такие алгоритмы могут легко производить различные звуки, вокальные партии, аудиоэффекты и переходы. Однако для обучения модели требуются значительные вычислительные мощности.

Кстати, если вам нужны модели, текстуры и звуки для создания игр, вот десять сайтов, где вы сможете найти все необходимое: [ссылка на сайт](https://journal.tinkoff.ru/short/free-game-assets/)

Одной из проблем заключается в том, что музыка представляет собой длинные последовательности. Например, даже четырехминутная песня в студийном качестве содержит десятки миллионов звуковых значений. Именно это препятствовало разработчикам в создании нейросетей, способных создавать музыку с нуля.

Что «музыкальные» нейросети умели раньше

Готовьтесь к новым высотам творчества с инновационными инструментами для генерации музыки. В наши дни возможно создать трек всего за несколько секунд, даже не имея специальных навыков в музыке. Существуют программы, которые генерируют музыку в соответствии с жанром или настроением, позволяя вам легко менять инструменты или изменять мелодию трека. Создание уникальной и качественной музыки теперь доступно каждому!

Тем не менее, управление самим процессом создания в таких сервисах ограничено - невозможно задать собственный запрос, приходится оперировать готовыми настройками.

Нейросети смогли добиться значительного прорыва в технике разделения дорожек в музыкальных треках. Теперь возможно легко удалить вокал или переместить бас из одной песни в другую, благодаря использованию этой инновационной технологии. Это значительно упростило процесс создания ремиксов и мэшапов, предоставляя новые возможности для музыкальных творческих экспериментов. Прочитать подробнее о приложении CapCut и понять, почему оно пользуется такой популярностью вы можете перейдя по ссылке: [link]

Ранее, для получения доступа к оригинальным записям треков или приемуша фильтрации частот, диджеям и музыкальным продюсерам приходилось прилагать много усилий. Однако, с появлением программных решений, таких как Serato Stems 3.0 или Аudioshake, эти задачи теперь стали намного проще. Представленные инструменты значительно упрощают работу сэмплерам и помогают им в выполнении своих профессиональных обязанностей.
Пример ремикса пяти популярных песен вSerato Stems3.0

Генерация длительных музыкальных фонов стала возможной благодаря прогрессу искусственного интеллекта. Недавно стартап Endel представил новое приложение, способное в реальном времени создавать бесконечные аудиоландшафты, которые помогают пользователям сконцентрироваться на работе или учебе. Аналогичное решение, предложенное «Яндексом», также позволяет насладиться идеально подобранной фоновой музыкой. Этот тип композиций как правило относится к жанрам эмбиент и лоу-фай хип-хоп.

Что «музыкальные» нейросети умеют теперь

Недавно команда исследователей Google представила удивительный инновационный проект - нейросеть MusicLM. Это уникальное творение способно сгенерировать музыкальную композицию продолжительностью до пяти минут.

Аудиосигнал разрабатывается моделью путем прямой генерации. Новый алгоритм выполнения сокращает объем аудио за счет отбрасывания бит информации, которые не являются существенными для восприятия музыки. Затем звук формируется в этом уменьшенном пространстве и на выходе проходит кодирование обратно в стандартное аудио.

Обученная на 5500 парах аудио с соответствующими текстовыми описаниями, система MusicLM имеет огромный потенциал. Благодаря анализу 280 000 часов аудиозаписей, данная нейросеть обладает непревзойденной способностью генерировать контент. Хотя прямого доступа к ИИ, к сожалению, нет, компания щедро представила нам примеры его поразительных возможностей.

Музыку можно создавать по описанию с помощью MusicLM. Этот инструмент способен генерировать треки на основании кратких запросов, таких как "мелодичное техно" или "клуб музыка 80-х", а также по целым абзацам описания текста. Если вы интересуетесь, как пользоваться Midjourney для генерации рисунков и правильного составления запросов, прочитайте статью на сайте журнала Tinkoff. В ней вы найдете полезные советы и инструкции.

Например, MusicLM представляет аудио, соответствующее следующему текстовому описанию: "Энергичный саундтрек аркадной игры, с быстрым темпом и живым ритмом, акцентированный запоминающимся рифом электрогитары. Музыка легко западает в память благодаря своему повторяющемуся мотиву, однако в ней также присутствуют неожиданные звуки, вроде ударов тарелок и барабанной дроби, добавляющие непредсказуемости и динамичности".
Саундтрек для аркады, сгенерированный MusicLM

Это уже можно попробовать?

Google не планирует предоставлять общественный доступ к MusicLM, чтобы избежать возможных нарушений авторских прав. Имея в виду, что ИИ был обучен на музыке, принадлежащей реальным исполнителям. Проблемы с нарушениями авторских прав возникали и у нейросетей, которые генерируют изображения. Например, Midjourney и Stable Diffusion были поданы в суд художниками, чьи произведения использовались для обучения сервисов. Тем не менее, компания представила базу данных, которую разработчики могут использовать для обучения своих собственных нейронных сетей.

Разработчики также задали нейросети уникальную возможность создавать музыку, следуя специальному сценарию. На данном этапе были сгенерированы звуковые композиции, которые начинаются с медитативной атмосферы, постепенно переходят к пробуждению и заключаются в энергичной мелодии для пробежки. Эта техника позволяет описывать любые истории, а нейросеть автоматически производит интеллектуальные переходы в заданные временные отметки.
Звуки, призванные в жизнь мелодией: время для медитации — время для пробуждения — время для бега — время для отдачи на все сто процентов.

Существует сервис SingSong, разработанный компанией Google на основе технологии MusicLM, который позволяет генерировать музыку на основе вокала. Этот уникальный сервис функционирует, сделавши караоке наоборот: вместо того чтобы петь под трек, пользователи создают песню, полагаясь исключительно на свой голос.

Создатели утверждают, что данная услуга даст возможность каждому, кто обладает вокальным талантом, воплотить свою музыкальную идею с использованием разнообразного музыкального инструментария. Пока что сам алгоритм недоступен для практического применения, но можно ознакомиться с примерами сгенерированной музыки.
Демo SingSong

Звуковые эффекты могут быть созданы с помощью мощной нейросети AudioLDM, которая использует инновационную модель скрытой диффузии. Невероятно, но факт: Stable Diffusion основана на этой революционной технологии. Вся магия начинается с кодирования текстового запроса с помощью предварительно обученной языковой модели. Затем, в зависимости от указанных требований, модель создает сжатый сигнал, используя диффузионный генератор, который далее преобразуется в потрясающую звуковую волну.

Новая технология нейросети, разработанная компанией, предлагает уникальные возможности генерации звуков. Несмотря на то, что непосредственное использование нейросети недоступно для большинства пользователей, компания представила увлекательные примеры ее работы. С помощью AudioLDM были созданы реалистичные звуки, такие как голос человека под водой, звуки битвы космических кораблей, мурлыканье кота и шум проезжающего автомобиля.

AudioLDM способен воспринимать тонкие детали различных материалов: звук нарезки помидоров на деревянной доске заметно отличается от звука нарезки картошки на металлическом столе. Более того, AudioLDM имеет возможность создавать звуковую картину на основе спектрограмм.
Голос мужчины под водой
Сражение космических кораблей
Мяуканье кота
Звук проезжающего автомобиля
Звук нарезки помидоров на деревянной доске
Звук нарезки картошки на металлическом столе

Какие «музыкальные» нейросети можно попробовать уже сейчас

На данный момент большинство сервисов не обладают способностью генерировать музыку с помощью текстовых запросов. Представители Google и команда AudioLDM не планируют предоставлять доступ к своим моделям, в то время как OpenAI и другие разработчики опубликовывают свой код на GitHub, однако люди без навыков программирования не смогут им воспользоваться.

Если умеете программировать

OpenAI выставила на общий доступ алгоритм под названием JukeBox, который даёт возможность создавать цельные песни. Для этого требуется указать жанр, имя исполнителя и текст композиции. Искусственный интеллект также может создавать полноценные композиции на основе 12-секундных образцов или генерировать тексты для вымышленных песен. Здесь вы можете ознакомиться с примерами созданных треков.

Moûsai, открытая нейросеть, основанная на принципе скрытой диффузии, использующей Stable Diffusion, позволяет создавать высококачественную стереомузыку с частотой 48 кГц. Стоит отметить, что это эквивалентно студийному качеству.

Подобрали несколько сервисов— генераторов музыки, которые доступны вудобных интерфейсах.

Riffusion - это новаторская концепция создания музыки, основанная на визуальных образах. Вместо традиционного подхода, мы предлагаем вам придумывать текстовые запросы, по которым генерируется уникальная спектрограмма, а затем преобразуется в потрясающую музыку. Наша нейросеть была обучена на связке "аудио - текстовое описание", что позволяет ей создавать такие жанры, как афробит, джаз, кей-поп и множество других. Привнесите свежий ветер в мир музыки с помощью Riffusion.

Riffusion - это потрясающий инструмент, который открывает безграничные возможности для творческого сочетания жанров. Представьте себе, что если вы напишете "бас стука печатной машинки", то благодаря инновационной нейросети этот звук будет превращен в уникальную музыку. Теперь вы сможете поделиться своими треками со всем миром в социальных сетях, хотя скачивание пока что недоступно. Хотя, возможность создания полноценных композиций вам не предоставляется, вы можете с легкостью исследовать музыкальные миры, полностью погрузившись в них.

Вам нужен профессиональный и опытный копирайтер? Тогда вы обратились по адресу! Наша команда специалистов готова предложить вам качественные тексты, которые точно подойдут для вашего бизнеса. Наш опыт и креативность позволят нам создать уникальный и привлекательный контент, который привлечет внимание вашей аудитории. Мы гарантируем точное соответствие вашим требованиям и срокам. Сделайте правильный выбор и обратитесь к нам уже сегодня - ваш бизнес заслуживает самого лучшего!
На главной странице Riffusion вы найдете лишь одну страницу, но она является основной. Просто введите свой запрос в соответствующее поле и нажмите "Воспроизвести". Эта информация доступна на официальном сайте riffusion.com.

Magenta is a collection of demo tools and mini-games created using the open-source code from Google's machine learning project. While they don't have practical applications, they simply showcase the capabilities of machine learning. For example, DrumBot plays drums based on melodies inputted by the user through the keyboard, while MidiMe generates music based on an uploaded track.

В мире существует множество захватывающих инструментов, которые не оставят равнодушными даже самых требовательных пользователей. Вот несколько примеров: в приложении Runn уровни игры создаются на основе трека, который вы прослушиваете, Sornting требует от вас создавать великолепные мелодии с помощью интерполяции звуков, а мобильное приложение Piano Genie дарит вам возможность почувствовать себя настоящим пианистом.

Я нашел сегодня интересную статью на тему создания веб-контента, и хотел бы поделиться некоторыми полезными советами с вами. Многие люди, работающие в сфере маркетинга и продвижения сайтов, считают, что написание хорошего контента является ключевым фактором успеха в интернете. Однако, не всем дано умение создавать привлекательные и информативные тексты. Поэтому, в этой статье, я расскажу о некоторых методах, которые помогут вам улучшить свое копирайтинговое мастерство и создавать качественный контент для своего веб-сайта или блога. Основной секрет в том, чтобы писать так, чтобы ваши читатели были заинтересованы и вовлечены в вашу тему. В этом мне помогло правило трех "П" – письмо, пунктуация и печенье. Итак, начнем!
Чем убедительнее вы воплощаете образ пианиста, тем более захватывающе зазвучивает мелодия. Источник: piano-genie.glitch.me

Mubert. Эта служба специализируется на создании фоновой музыки для видеороликов на платформе "YouTube" или коротких рекламных роликов. Вам предоставляется возможность выбора из различных жанров и настроений, таких как чиллвейв или эмбиент. Вы также можете указать свои предпочтения в текстовом виде, но автономные нейросети не смогут создать запросы в стиле дэт-метал или джаз-фьюжн - они предложат вам софт-рок или обычный джаз.

При регистрации на нашей платформе вы получаете возможность бесплатно генерировать до 25 треков в месяц с продолжительностью до 25 минут каждый. Чтобы скачать эти треки, вам необходимо просто добавить ссылку на канал, где вы хотите использовать полученную музыку.

Я с радостью встречаю новые вызовы и всегда готов развиваться. Постоянно стремлюсь к самосовершенствованию и открыт для новых идей. Моя цель - представить информацию в интригующем и увлекательном формате. Благодаря креативному подходу и вниманию к деталям, я всегда готов заполучить внимание аудитории и вдохновить их на дальнейшие действия. Тем самым, я гарантирую успешное продвижение и привлечение целевой аудитории.
Поле, где можно прописать запрос. Источник: mubert.com

Soundraw - инструмент без вокала для создания музыкальных треков, который позволяет вам выбрать желаемое настроение, жанр, тему, темп и инструменты, а также установить требуемую продолжительность композиции. Этот генератор также оснащен редактором, который позволяет вносить изменения в мелодию, темп, ритм и тональность. Однако, важно отметить, что генерация треков по текстовому запросу не предусмотрена.

Музыкальное творчество теперь доступно каждому! Хотите создавать прекрасные мелодии бесплатно? Но чтобы скачивать свои произведения, всего лишь за 16.99 $⁣ (1243 Р) в месяц, вы получаете возможность раскрыть свой потенциал без ограничений. Чтобы произвести оплату, у вас есть удобные варианты: «Пэйпэл» или международные карты «Виза» и «Мастеркард». Важно отметить, что с нашей подпиской количество генераций и скачиваний вашей музыки неограничено. Если вам знаком сервис Boomy, то с нашим предложением вы точно не останетесь равнодушными.

Возможно, вы уже слышали о недавнем всплеске интереса к здоровому образу жизни. Все больше людей стремится к здоровому питанию и активному образу жизни. Но иногда нам трудно следовать этим принципам из-за занятости и других повседневных обязанностей. Однако я хочу предложить вам решение - здоровое питание в удобной упаковке. Мы предлагаем широкий выбор здоровых снеков, напитков и приготовленных блюд, которые можно употреблять в любом месте и в любое время. Теперь у вас нет никаких оправданий не питаться правильно. Здоровый образ жизни становится доступным для каждого благодаря нашей продукции.
Сервис Avia.AI предлагает возможность создавать музыку в желаемой тональности, выбирая из разнообразных предустановленных жанров или загружая собственные треки. Удивительная особенность этого сервиса — возможность редактирования треков непосредственно в интерфейсе. Вы можете легко удалить или добавить инструменты, растянуть или сжать музыкальные партии, изменить темп или добавить эффекты реверберации и задержки. Avia.AI станет незаменимым помощником для тех, кто ищет гибкость и творческую свободу в создании своей музыки.

Теперь вы можете скачать до трех треков абсолютно бесплатно! Но если вам нужно больше - до 200 треков, чтобы быть точными - мы предлагаем вам несколько привлекательное предложение. За всего 49 €⁣ (или 3860 Р) в месяц, вы получите не только доступ к нашей богатой библиотеке саундтреков, но и авторские права на все скачанные треки. Это означает, что вы можете использовать нашу музыку в кино, сериалах и видеоиграх, а не только в своих роликах на "Ютубе". Не упустите возможность воплотить в жизнь свои творческие идеи с нашими превосходными треками!

Ваш иммиграционный партнер в стране, который поможет вам успешно переехать и основать новую жизнь. Что бы вы не решили — учиться, работать, воссоединиться с семьей или просто начать все с чистого листа — мы готовы помочь вам в каждом этапе вашего иммиграционного процесса. Наш опытный и профессиональный персонал обеспечит вам всю необходимую информацию, подготовку документов и юридическую поддержку, чтобы ваш переезд стал максимально гладким и удачным. Не откладывайте свои мечты на потом, обратитесь к нам сегодня и начните свой путь к новой и лучшей жизни.
Редактор аудио вAvia.AI. Источник: avia.ai

Присоединяйтесь к нашей замечательной телеграм-сообществу, где мы постим интересные карточки, захватывающие новости о технологиях и поп-культуре. Вас ждут красивые кружочки информации, заполненные увлекательным контентом. Не упустите возможность оставаться в курсе всех событий, подписывайтесь на наш канал @t_technocult уже сегодня.