大家好!这里是炜娓道来程序人生。今天带给大家一个Text2Music的开源项目 - Audiocraft。
近日,Meta公司在开源网站Github上,发布了一个PyTorch库——Audiocraft。它是一个基于深度学习音频处理和生成库。同时,Meta公司还发布了一款基于Audiocraft名为MusicGen的人工智能音乐模型。
MusicGen被描述为“一个简单且可控的音乐生成语言模型”。你不仅可以通过给它提供你希望创作的音乐的文本描述,也可以提供给它一个参考的音频内容作为依据提交给它,它就会生成一个12秒的音乐样本作为响应。
MusicGen是一个单级自回归Transformer模型。MusicGen的训练数据来自20,000小时的授权音乐。它依赖于一个内部数据集,包含10,000首高质量的音乐曲目,以及ShutterStock和Pond5音乐库的数据。
由于产品刚刚推出,使用用户较多,音频生成排队及时间较长,Demo服务的稳定性也不是特别好,需要小伙伴们耐心多尝试几次。
MusicGen 示例演示
示例一:提示词 + 参考音频
An 80s driving pop song with heavy drums and synth pads in the background
参考音频&#