Meta开发出文生图模型CM3Leon

【资料图】

近日，Meta公司宣布开发出一款名为CM3Leon的文生图模型，该模型可以根据文本生成高质量的图像，也可以为图像生成文本描述，甚至可以根据文本指令编辑图像。

据介绍，CM3Leon是首个使用纯文本语言模型配方改编和训练而成的多模态模型，并经历了大规模检索增强预训练和随后的多任务监督微调（SFT）阶段。与Stable Diffusion、DALL-E、Midjourney等文生图模型依赖于扩散（Diffusion）模型技术不同，CM3Leon采用了基于token的自回归模型方法。

Meta公司表示，尽管训练时的计算量仅相当于以往基于Transformer方法的五分之一，但CM3Leon在文本到图像的生成方面还是获得了同类领先的性能。CM3Leon既具备自回归模型的功能多样性和有效性，也保持着较低的训练成本和较高的推理效率。作为一套因果掩码混合模态（CM3）模型，它能够以其他图像和文本内容的任意序列为条件，生成相应的文本与图像序列。这极大突破了以往大模型只能从文本到图像或者只能从图像到文本的功能局限。