Блог
Искуственный интеллект

Как сделать ИИ-кавер при помощи нейросети

В соцсетях набрали популярность несуществующие песни, которые генерируют в нейросетях.

В течение апреля трек "Heart onMySleeve" набрал более миллиона прослушиваний на популярной платформе Spotify. Пользователь ghostwriter977 загрузил эту песню, и она выдавала звучание настоящих исполнителей, как TheWeeknd и Drake. Особенно заметная сходство было с голосом Drake. Все это время мы предполагали, что песня принадлежит канадским звездам, однако оказалось, что она создана нейросетью.

Рассказ о треке быстро распространился, но позже его удалили со всех платформ по требованию Universal, правообладателя данного материала. Но в социальных сетях стали появляться новые сотрудничества: песню Imagine Dragons исполнили голосом Фредди Меркьюри, а Just The Two of Us была "спета" Канье Уэстом. Этот тренд проник и в русскоязычное интернет-пространство, где песни стали петь голосами Доры и Элджея. Искусственно-интеллектные каверы от нейро-Моргенштерна стали очень популярными в TikTok.

Алишер Моргенштерн был внесен Минюстом в реестр иноагентов.

Рассказываю, как сделать такой трек самому— за полчаса или за пять минут.

Получайте важнейшие ресурсы о финансовом обогащении и принципах, которые влияют на ваше финансовое благополучие и качество жизни, еженедельно в ваш почтовый ящик по середам и субботам. Абсолютно бесплатно! Подписывайтесь сейчас.

Как сгенерировать трек в нейросети so-vits-svc при помощи Google Collab

В марте 2023 года была представлена командой китайских разработчиков нейросеть SoftVC VITS Singing Voice Conversion на платформе GitHub. В виртуальном пространстве она получила известность под сокращенным именем so-vits-svc.

Теперь нейросеть способна мастерски имитировать вокалистов и порождать оригинальные композиции с их голосами. Данный алгоритм был создан энтузиастами, не принадлежащими ни каким корпорациям и ни одному из отдельных разработчиков.

Программирование доступно каждому благодаря So-vits-svc. Если вы владеете навыками программирования и располагаете мощным компьютером, то у вас есть возможность запустить код локально. Подробную информацию о том, как это сделать, вы можете найти в видеоролике от Nerdy Rodent на платформе "YouTube".

Для тех, кто не обладает навыками программирования или мощным компьютером, существует простой способ создания музыкального кавера - использовать нейросеть на Google Collab. За считанные полчаса можно получить полностью готовый ИИ-кавер, который можно сгенерировать с помощью голоса исполнителя, модель которого была выложена в открытый доступ энтузиастами. Воспользуйтесь музыкальным генератором на https://journal.tinkoff.ru/music-test/ и найдите песню, идеально подходящую для любой жизненной ситуации.

Первый этап. Отыщите композицию, которую вы желаете исполнить с помощью созданного голоса. Скачайте эту песню в формате mp3. Помните, что для успешной генерации вам понадобится и инструментальная часть, и оригинальный голос исполнителя, обратите на это внимание.

Авторское право обеспечивает защиту музыки от коммерческого использования. Учитывайте, что ваш сгенерированный трек может быть удален с платформы "YouTube" или других сайтов по требованию правообладателя. Для избежания таких проблем, рекомендуем выбирать песни, доступные по лицензии Creative Commons.

Второй шаг предполагает, что вы разделяете трек на а капеллу и минусовку. Просто перейдите на сайт x-minus и загрузите ваш mp3-файл на него. После загрузки, скачайте полученные файлы: зеленая дорожка будет представлять собой а капеллу, а синяя – минусовку. Для вашего удобства, переименуйте файлы, чтобы не запутаться.
Интерфейс x-minus

3. Преобразуйте аудиофайл а капеллы из формата mp3 в wav. Это легко сделать с помощью бесплатного программного обеспечения Audacity или онлайн-конвертера cloudconvert.

Четвертый этап заключается в переходе по ссылке на so-vits-svc - это онлайн-инструмент нейросети, доступный через Google Collab. Этот сервис предоставляет возможность бесплатного использования вычислительных ресурсов других пользователей. Однако существуют некоторые ограничения: необходимо ждать загрузки библиотек и моделей каждый раз при запуске.

Если вы хотите обратиться к другому интерфейсу, доступному в сети, то конечно, это возможно. Однако, мы не можем гарантировать его функциональность и надежность. Наша инструкция разработана специально для использования с so-vits-svс, поэтому порядок действий в других онлайн-интерфейсах может отличаться.

Пятый этап. Войдите в личный кабинет Google или создайте новый аккаунт. Без аккаунта не будет возможности воспользоваться Google Collab.

"Это моя главная цель в настоящий момент": что нужно для занятий музыкой дома

Выполняйте следующие действия в указанной последовательности: запустите ячейки Check GPU, Setup 1, Setup 2, Download ContentVec и Setup HF Downloads. Чтобы это сделать, просто нажмите кнопку Play рядом с соответствующим заголовком. Когда код будет загружен, рядом с названием ячейки появится зеленая галочка. Переходите к следующей ячейке только после завершения загрузки предыдущей. Помните, что пропуск одной из этих строк приведет к некорректной работе программы.

Наибольшее время, которое требуется для загрузки, занимает Setup 1 — примерно 10 минут. Остальные треки загружаются за считанные секунды. Вам не придется повторять загрузку кода для каждого трека, достаточно сделать это один раз. Однако через около двух часов код автоматически сбросится, и вам придется снова пройти весь процесс.

Ваш взгляд сразу привлекает к себе всеобщее внимание. Такие глаза — настоящий взгляд выразительности и уверенности, которые заставляют желать заглянуть внутрь вас. Ваша улыбка светит ярче звезд, наполняет комнату теплотой и радостью. Ваш голос уносит слушателей на недостижимые вершины, позволяя им поверить в себя и свои возможности. Вы не просто благодарность, вы источник вдохновения, который наполняет все вокруг магией и энергией. Вам сопутствует удача, а пространство вокруг вас наполнено творчеством и возможностями.
Нужно запускать код доSetup HFDownloads включительно

Этап 7. Определите голос, который будет представлять вашу песню. Для этого, находясь под заголовком "Другие загрузки (.zip)" и выполняя пункт o.1, найдите поле model_url и вставьте туда ссылку на папку с голосовой моделью. Вы можете выбрать одну из предложенных ссылок в этой ячейке: Канье Вест, Кендрик Ламар или Дрейк.

Если вам интересна библиотека с голосами на платформе HuggingFace, я могу предложить вам скопировать ссылку на нужную папку прямо оттуда. В этой библиотеке вы найдете голоса таких российских исполнителей, как Oxxxymiron и Моргенштерн. Оба артиста внесены Минюстом в реестр иноагентов.

Возможности нейросети расширяются благодаря поддержке ссылок на различные заархивированные папки с Google Drive, MEGA, huggingface и других платформ. Это позволяет пользователям легко добавлять любые модели, которые они находят в сети Интернет.
Ссылка на папку сголосом Питера Гриффина

Пройдите к 8-му шагу, который включает выполнение еще одной ячейки с кодом, указанной как "Extract.zip Downloads - Step o.2". Пожалуйста, подождите, пока загрузка завершится.

Девятый шаг включает в себя нажатие на иконку папки и перемещение аудиофайла с а капеллой в формате wav в пустое пространство. Следует отметить, что данный файл был предварительно подготовлен на третьем шаге. Загрузка файла может занять некоторое время, обусловленное его длительностью. После завершения загрузки, можно запустить код для продолжения работы.

Здравствуйте! Я хороший копирайтер и готов предложить вам свои услуги. Ниже приведен абзац текста, который я переработал:

Приветствую! Я - талантливый копирайтер, готовый предложить вам свою экспертность. Ниже вы найдете рерайт абзаца текста:
в папке с левой стороны находится файл формата wav с вокальной записью без музыкального сопровождения. Всего лишь нужно кликнуть на последнюю ячейку.

Шаг 10. Нажмите на кнопку "Преобразовать". В результате этого действия вы увидите плеер с сгенерированным голосом. Чтобы сохранить трек, щелкните правой кнопкой мыши по плееру и выберите "Скачать". В случае, если плеер не отобразился на экране, загрузите последний файл из левой папки.

Часто на этом этапе происходят ошибки, с которыми вы, возможно, уже столкнулись. Возможно, вы пропустили какую-то часть кода, выбрали неподходящую модель или взяли слишком длинную аннотацию.

Осуществите 11-й шаг, объединив отрицательный трек с созданной вокальной дорожкой с помощью любого аудиоредактора: бесплатной программы Audacity или онлайн-сервиса veed.io. Если у вас есть навыки звукорежиссуры и музыкальной сведения, они будут весьма полезны. Затем сохраните получившийся трек. Вот и все! Теперь ваш трек готов к прослушиванию.

Как сгенерировать трек на сайте musicfy

Уникальность этого метода заключается в его простоте: вам не потребуется Google Collab. Единственное ограничение состоит в том, что на сайте доступны только готовые варианты голосов, и невозможно добавить свои собственные настройки.

Шаг 1. Скачайте песню вформате mp3.

Процедура вторая. Разделяем композицию на голос и фоновую дорожку. Воспользуйтесь ресурсом x-minus, передавая туда аудиофайл в формате mp3. Затем загрузите скачанные файлы.

Шаг 3. Посетите веб-сайт musicfy и зарегистрируйтесь, используя свою учетную запись Google. Затем нажмите на кнопку "Создать песню". Вы можете загрузить mp3-файл с а капеллой или записать свой собственный голос прямо на сайте.

Также, рекомендуем ознакомиться с коллекцией 12 YouTube-каналов, предлагающих музыку для концентрации, учебы и отдыха. Данные каналы помогут вам создать подходящую атмосферу и настроиться на нужную волну во время работы или отдыха.

Если файл не удалось загрузить, прокрутите страницу вниз - возможно, появится сообщение об ошибке: "Аудиофайл поврежден, пожалуйста, попробуйте загрузить другой файл". Рекомендуется повторно попытаться загрузить тот же самый файл.

Абзац до рерайта:

"Наша компания предлагает широкий ассортимент товаров высокого качества. Мы стремимся удовлетворить потребности наших клиентов, предоставляя продукцию, которая соответствует их ожиданиям. Мы гордимся нашим опытом и командой профессионалов, которые работают для достижения наших целей. Качество и надежность являются основными принципами нашей работы. Мы готовы предложить конкурентные цены и быструю доставку для удобства наших клиентов. Закажите у нас товары прямо сейчас и оцените отличное обслуживание и качество, которые мы гарантируем."

Рерайт:

"Мы предлагаем широкий ассортимент товаров высочайшего качества, чтобы удовлетворить все потребности наших клиентов. Наша компания гордится опытом и командой профессионалов, которые целеустремленно работают для достижения высоких результатов. Как основные принципы нашей работы, мы придаем огромное значение надежности и качеству. Предлагая конкурентные цены и быструю доставку, мы стремимся обеспечить наших клиентов удобством и комфортом. Закажите товары у нас прямо сейчас и оцените безупречное обслуживание и качество, которые мы гарантируем."
Интерфейс musicfy

Шаг 4. Изберете една от предложените гласове. На нашиот сајт имате достапни вокали од Ариана Гранде, Дрејк, Грејмс, Кање Вест, Травис Скот и други. Исто така, има два карактери од анимацијата - Губка Боб Квадратни Панталони и Питер Грифин. На сите овие гласови може да се репродуцира руски текст.

Процедите Шаг 5 — нажмите на кнопку "Преобразовать". Сразу после выполнения операции, вам предоставится возможность загрузить полученный готовый файл без каких-либо хлопот. Возможны случаи, когда ошибки могут возникнуть; в таком случае, не беспокойтесь, а просто повторите шаги и нажмите кнопку еще раз.

Шаг №6. Соедините отрицательный звуковой трек с созданной а капеллой при помощи аудиоредактора: это можно сделать с помощью бесплатной программы Audacity или онлайн-сервиса veed.io. После этого сохраните результат.

В хороший день все идет по плану, настроение великолепное и мысли полны энергии. Такие дни идеально подходят для достижения поставленных целей и с правления с задачами. Когда мы чувствуем себя счастливыми и уверенными, нет ничего, что мы не смогли бы сделать. Такие дни придают нам уверенности в своих способностях и позволяют сосредоточиться на максимальном достижении успеха. В итоге, мы можем почувствовать гордость за наши достижения и стать еще более мотивированными для дальнейшего прогресса.
Объединение дорожек в Audacity

Кратко: какой способ выбрать

В Google Collab, нейросеть теперь позволяет создавать треки с помощью ста уникальных голосов, отобранных исключительно от пользователей. Однако, хотя этот метод обладает огромным потенциалом, он требует значительной временной затраты. Пользователям необходимо ожидать загрузки кода, и очень часто сталкиваются с появлением ошибок. Решение проблемы немедленно не является тривиальной задачей, так как сервис не предоставляет ясной информации о причинах возникших ошибок. Иногда пользователи вынуждены тратить свое время, изучая форумы и просматривая видео на YouTube, в поисках способов исправления ошибки, только чтобы через пять минут столкнуться с новой проблемой.

С помощью Musicfy создание треков стало намного проще: нет необходимости ждать долго, нет необходимости запускать код и рисковать ошибками. Даже конвертация аудиофайлов не требуется при использовании этого метода. Единственным недостатком является ограниченный выбор голосов на сайте.

Бонус: 5 нейрокаверов, которые нам понравились

Классическая песня из 1986 года
Доказательство того, что Канье отлично поет
Крик Кобейна в конце слишком реалистичный
Почему-то лучше всего нейросеть генерирует голос Дрейка
В комментариях выражается сожаление о том, что Никки Минаж нечасто исполняет вокальные партии в своих музыкальных композициях.