就在华尔街周一紧张评估“DeepSeek风暴”之际✿◈ღ★，这家中国公司再度甩出新品✿◈ღ★：在图像生成基准测试中超越OpenAI“文生图”模型DALL-E 3的多模态大模型Janus-Pro✿◈ღ★，同样也是开源的✿◈ღ★。

　　除夕凌晨钟声敲响前不久✿◈ღ★，DeepSeek工程师们在“抱抱脸”平台上传了Janus Pro 7B和1.5B模型✿◈ღ★。这俩模型是对去年10月发布的Janus模型的升级✿◈ღ★。

　　15亿和70亿的参数量✿◈ღ★，意味着这两个模型具备在消费级电脑上本地运行的潜力✿◈ღ★。与R1一样✿◈ღ★，Janus Pro采用MIT许可证✿◈ღ★，在商用方面没有限制✿◈ღ★。

　　据DeepSeek介绍✿◈ღ★，Janus-Pro是一个新颖的自回归框架✿◈ღ★，统一了多模态理解和生成✿◈ღ★。通过将视觉编码分离为“理解”和“生成”两条路径✿◈ღ★，同时仍采用单一的Transformer架构进行处理✿◈ღ★，解决了以往方法的局限性✿◈ღ★。这种分离不仅缓解了视觉编码器在理解和生成中的角色冲突✿◈ღ★，还提升了框架的灵活性✿◈ღ★。

　　虽然DALL-E 3是OpenAI在2023年发布的一款“老模型”✿◈ღ★，同时Janus Pro目前只能分析和生成规格较小的图像（384 x 384）✿◈ღ★。DeepSeek在如此紧凑的模型尺寸中依然展现了令人印象深刻的性能✿◈ღ★。

　　技术报告显示✿◈ღ★，在视觉生成方面✿◈ღ★，Janus-Pro通过添加7200万张高质量合成图像✿◈ღ★，使得在统一预训练阶段真实数据与合成数据的比例达到1✿◈ღ★：1✿◈ღ★，实现“更具视觉吸引力和稳定性的图像输出”✿◈ღ★。在多模态理解的训练数据方面✿◈ღ★，新模型参考了DeepSeek VL2并增加了大约9000万个样本✿◈ღ★。

　　作为一个多模态模型✿◈ღ★，Janus-Pro不仅可以“文生图”✿◈ღ★，同样也能对图片进行描述✿◈ღ★，识别地标景点（例如杭州的西湖）✿◈ღ★，识别图像中的文字✿◈ღ★，并能对图片中的知识（例如下图中的“猫和老鼠”蛋糕）进行介绍✿◈ღ★。