Midjourney

《零-shot文本-to-图像生成：DALL-E的革新之路》文章指出，从DRAW到GAN的发展展示了文本生成图像技术的进步，特别是零样本能力的实现。近年来，研究主要聚焦于模型优化和数据集扩展。CLIP、DDPM等代表作出现，但受限于数据量和参数规模。openAI提出Backbone为120亿参数量自回归transformer的大规模模型"DALL-E"，通过两阶段训练，首先压缩图片并离散化特征，然后结合BPE将文本与图像编码输入Transformer，实现高效果零样本生成，显著超越前人。这一突破性工作标志着文本-to-image生成技术的新高峰。

DALL·E通过集成dVAE模型降低图片分辨率以处理高计算需求，该模型将256x256的RGB图像压缩成32x32的token序列，每个token有8192种可能性，编码了图片的基础特征。接下来，BPE Encoder负责文本预处理，将文本转化为固定长度的256个或更多token，与图像tokens结合。Transformer在此阶段进行自回归训练，整合所有数据以生成超现实主义风格的图像。CLIP则作为一个对比学习工具，可能在后期训练中辅助模型理解真实世界和超现实图像间的关联。

OpenAI's DALL-E, a smaller GPT-3-based neural network with 120B parameters, successfully generates images from text descriptions by specializing in text-to-image data. It resembles GPT-3 and can edit image attributes, even controlling multiple objects, demonstrating impressive image comprehension and complex task execution. With the ability to change...

DALL-E 是一个两阶段模型，首先通过dVAE压缩图像为token，然后用Transformer进行自回归生成，利用BEiT和CLIP方法优化思路。该模型以文字生成图像为目标，通过设计将文本与图像token序列化，用Transformer处理降低计算复杂性，并采用分步训练策略，展现了强大的多模态生成能力。