Нов AI на Meta създава чисто нови песни за по-малко от три минути
Изследователският екип на Meta – Audiocraft, представи MusicGen - езиков модел за дълбочинно обучение с отворен код, който може да генерира нова музика въз основа на текстови подсказки и дори проектът му да бъде съобразен със съществуваща песен, съобщава The Decoder.
Той прилича много на ChatGPT за аудио, като приканва потребителите да опишат стила на музиката, която искат, да пуснат съществуваща мелодия по избор и след това да кликнат върху бутона "Генерирай". След около 160 секунди платформата представя кратък семпъл от изцяло нова музика въз основа на текстовите подсказки и подадената мелодия.
Демонстрационната версия на сайта Hugging Face на Meta позволява да опишете музиката, която искате, като предоставя няколко примера, един от които е "поп песен от 80-те години с тежки барабани и синтезаторни подложки на заден план". След това можете да дадете пример на изкуствения интелект като въведете точно определени 30 секунди от дадена песен. Извадката, която получава потребителят, е с дължина до 12 секунди.
We present MusicGen: A simple and controllable music generation model. MusicGen can be prompted by both text and melody.
— Felix Kreuk (@FelixKreuk) June 9, 2023
We release code (MIT) and models (CC-BY NC) for open research, reproducibility, and for the music community: https://t.co/OkYjL4xDN7 pic.twitter.com/h1l4LGzYgf
Миналия месец Google пусна подобен музикален генератор, наречен MusicLM, но MusicGen изглежда дава малко по-добри резултати. Изследователи доказват това, след като сравняват резултатите на MusicGen с MusicLM и два други модела - Riffusion и Musai.
Новата платформа на Meta може да бъде стартиран локално на компютъра на потребителя (препоръчва се графичен процесор с поне 16 GB оперативна памет) и се предлага в четири размера - от малък (300 милиона параметъра) до голям (3,3 милиарда параметъра) - като последният има най-голям потенциал за създаване на сложна музика.