腾讯推出的M2UGen是一款多模态音乐生成框架,结合音乐和多模态任务,支持从文字、图像、视频生成音乐,并具备强大的编辑功能。
多模态模型将更多地用于文档处理(但首先需要降低成本/延迟)。
这一功能的背后是阿里通义实验室自研的视频生成模型Animate Anyone。在Github上,该项目的Star数短短数日就超过1万,被认为是近期大模型领域最受欢迎的大模型算法之一。
就像我们做荣耀绿洲护眼屏,当做出突破的时候我们发现,其他厂家都会跟进,但是我觉得这种卷是一个好的现象。
模型下载地址:https://huggingface.co/damo-vilab/dreamtalk