Что за кавер?
В сети завирусился кавер Винни Пуха на песню System of a Down «Toxicity». Конечно, актер Евгений Леонов, который озвучивал героя в серии советских мультфильмов, не имеет к видео никакого отношения — его голос воспроизвела нейросеть.
Аудио появилось 15 мая на канале Mashup.hk — это сообщество в «ВК», собирающее подобные нейрокаверы. Автором идеи админ называет пользователя Аджена Милдена. В самом паблике даже есть отдельный плейлист каверов от Винни Пуха, где можно найти «Владимирский централ», «Кто такие фиксики», «Убийца плачет» Stigmata и многие другие.
На ютубе песня собрала всего 53 тыс. просмотров на момент написания материала. В ночь на 17 мая его репостнул твиттер-аккаунт «Маркетинг под лупой», там оно собрало уже в 2 раза больше зрителей и 2000 лайков. Позже его разнесли более крупные сообщества вроде «Двача» и «Топор 18+», подхватили мем-паблики и новостные издания.
Как сделать свой нейрокавер? Сложная инструкция
Сначала нужно разделить исходный трек на две отдельные дорожки: с а капелла (партией вокалиста) и с инструментальной партией. Понадобятся обе. Сделать это можно с помощью приложений Vocal Remover или Ultimate Vocal Remover.
Следом нужно скачать генератор вокальных партий So-Vits-Svc. Он может создать новую, используя исходный вокал и набор голосовых дорожек необходимого героя.
Самая сложная часть — обучение, для него понадобится около ста коротких (до 10 секунд) речевых семплов героя, который в дальнейшем будет исполнять песню, желательно высокого качества и без обработки. Это требует минимальных знаний в программировании, самую простую инструкцию можно посмотреть на ютубе.
Внимание: этот способ подходит только для пользователей Mac OS и видеокарт от Nvidia. Для графики AMD придется либо запустить Linux, либо воспользоваться версией нейросети на Google Collab. Это медленнее, но работает независимо от платформы. Вот текстовая инструкция, а вот и видео.
Чтобы совместить голос и инструменты, понадобится аудиоредактор. Чаще всего используют FL Studio. Обе партии должны получиться одинаковыми по длине и темпу, поэтому, скорее всего, будет достаточно просто вырезать и вставить.
Некоторое время назад процесс можно было сильно упростить, воспользовавшись ботом в дискорд-сервере AI World. Он позволял просто загрузить а капелла и выбрать одну из популярных вокальных моделей реальных артистов, чтобы получить вокальную партию. На данный момент работа бота прекращена без новостей о возвращении.
А можно еще примеры?
Сообщество авторов нейромэшапов велико. Достаточно просто вбить AI Cover в поиске ютуба и добавить к нему любимого артиста, чтобы погрузиться в мир невероятных каверов. Например, Егор Летов неожиданно ласково поет «Девочку с каре», Моргенштерн учит песни Пугачевой и дуэтом с Екатериной Мизулиной исполняет тикток-хит «Заставляла», Дрейк примеряет роль Федука, и даже Адольф Гитлер почему‑то ревет «Втюрилась». Кто‑то особенно постарался и заставил Оксимирона и Моргенштерна перезаписать «Bandana» целиком.
Сами артисты никогда не записывали этот трек, он был создан парой блогеров просто для демонстрации возможностей искусственного интеллекта. Однако правдоподобный текст и отсылка на реальные отношения Абеля Тесфайе с Селеной Гомес заставили многих поверить в подлинность записи.
«Heart on My Sleeve» добралась до стриминговых площадок и заработала больше 2 млн прослушиваний, прежде чем ее удалил лейбл Universal.
«Обучение генеративного ИИ с использованием музыки наших артистов (что представляет собой нарушение наших соглашений и закона об авторском праве), а также доступность контрафактного контента, созданного с помощью генеративного ИИ на DSP [платформах спроса], заставляет задуматься, на какой стороне истории хотят быть все участники музыкальной экосистемы: на стороне артистов, поклонников и творческого самовыражения человека, или на стороне дипфейков, мошенничества и отказа артистам в положенном вознаграждении», — отреагировали представители компании в комментарии NPR.
