根据消息显示，文心 ERNIE—ViLG 参数规模达到 100 亿，是目前为止全球最大规模中文跨模态生成模型，该模型首次通过自回归算法将图像生成和文本生成统一建模，增强模型的跨模态语义对齐能力，显著提升图文生成效果。

小编带你体验文心 ERNIE—ViLG 图像创作能力:

在文字生成图像上，文心 ERNIE—ViLG 可以根据用户输入的文本，自动创作图像，生成的图像不仅符合文字描述，而且达到了非常逼真的效果。

文心 ERNIE—ViLG 不仅能创作建筑，动物等单个物体:

还可以创作包含多个物体的复杂场景:

甚至能根据用户输入的文字要求脑洞大开:

对于具有无限想象力的古诗词，文心 ERNIE—ViLG 也能生成恰如其分的画面，并根据不同的图画风格也有所调整:

油画风格

中国画风格

水彩画风格

而在图像到文本的生成上，文心 ERNIE—ViLG 能够理解画面，用简洁的语言描述画面的内容:

在这些能力的背后，究竟蕴含着怎样的 AI 技术秘密。

跨模态生成:AI 领域极具挑战性的一道难题

跨模态生成，指的是将一种模态 转换成另一种模态，同时保持模态之间的语义一致性。

春江水暖鸭先知

近些年来，基于生成对抗网络 的方法在人脸，风景等受限领域的文本到图像生成任务上已取得了不错的效果，DALL—E 通过超大规模的自回归生成模型，在图像片段之间建立了前后依赖的关系，从而具备多样性生成的建模能力，在多样性更强，难度更大的开放领域文本到图像生成上取得了亮眼的效果。

文心 ERNIE—ViLG 技术原理解读:图文双向生成统一建模

百度文心 ERNIE—ViLG 使用编码器 — 解码器参数共享的 Transformer 作为自回归生成的主干网络，同时学习文本生成图像，图像生成文本生成两个任务。

基于图像向量量化技术，文心 ERNIE—ViLG 把图像表示成离散的序列，从而将文本和图像进行统一的序列自回归生成建模在文本生成图像时， 文心 ERNIE—ViLG 模型的输入是文本 token 序列，输出是图像 token 序列，图像生成文本时则根据输入的图像序列预测文本内容两个方向的生成任务使用同一个 Transformer 模型视觉和语言两个模态在相同模型参数下进行相同模式的生成，能够促进模型建立更好的跨模态语义对齐

文心 ERNIE—ViLG 图文双向生成统一建模框架

已有基于图像离散表示的文本生成图像模型主要采用两阶段训练，文本生成视觉序列和根据视觉序列重建图像两个阶段独立训练，文心 ERNIE—ViLG 提出了端到端的训练方法，将序列生成过程中 Transformer 模型输出的隐层图像表示连接到重建模型中进行图像还原，为重建模型提供语义更丰富的特征，对于生成模型，可以同时接收自身的抽象监督信号和来自重建模型的原始监督信号，有助于更好地学习图像表示。

文心 ERNIE—ViLG 构建了包含 1.45 亿高质量中文文本 — 图像对的大规模跨模态对齐数据集，并基于百度飞桨深度学习平台在该数据集上训练了百亿参数模型，在文本生成图像，图像描述等跨模态生成任务上评估了该模型的效果。

文本生成图像任务效果

文心 ERNIE—ViLG 文本生成图像的能力在开放领域公开数据集 MS—COCO 上进行了验证评估指标使用 FID， 在 zero—shot 和 finetune 两种方式下，文心 ERNIE—ViLG 都取得了最佳成绩，效果远超 OpenAI 发布的 DALL—E 等模型

文心 ERNIE—ViLG 在 MS—COCO数据集上的效果

图像描述任务效果

文心 ERNIE—ViLG 在 AIC—ICC 数据集上的效果

生成式视觉问答任务效果

在生成式视觉问答方面，文心 ERNIE—ViLG 也展示了不俗的实力生成式视觉问答要求模型根据图像内容和对应的问题生成答案，模型需要具备深度的视觉内容理解能力和跨模态的语义对齐能力，并需要生成简短的答案文本，难度极高文心 ERNIE—ViLG 在 FMIQA 数据集上取得了最好的效果，图灵测试的通过率达到了 78.5%，优于当前最好方法 14 个百分点

文心 ERNIE—ViLG 在 FMIQA 数据集上的效果

结语