Midjourney
每经记者:文巧 郑雨航 或许,能打败OpenAI的只有OpenAI。 2022年底,OpenAI推出人工智能聊天机器人ChatGPT,开启了大模型领域的“竞速跑”模式。2024年2月15日,随着视频生成模型Sora的横空出世,OpenAI再度掀起热潮。 Sora将视频生成内容拉到了一个全新的高度,逼真的视频效果刷新了社会对AI能力边界的认知。它的问世,就如同一枚深水炸弹,瞬间引爆全球科技圈。 不少业内人士直言,Sora的到来标志着一次质的飞跃。英国皇家工程院国际院士、欧洲科学院院士许彬(Pan Hui)在接受《每日经济新闻》记者采访时表示,“目前Sora在视频生成品质上面绝对是无可匹敌的。Sora生成的视频可以从小特写切大全景,变换不同的机位。” 值得注意的是,文生视频大模型并不是一条全新的赛道。为了更直观地呈现Sora的文生视频能力,《每日经济新闻》记者采用OpenAI官方公布的5条Sora视频提示词,对Pika、Runway和PixVerse的文生视频能力进行了测试,并将生成结果与Sora视频进行了对比,测试场景涉及人物特写、电影预告片等5类。 对比结果显示,Sora在生成长度、连贯性和视觉细节方面表现出明显的优势,几乎实现了“降维打击”。 从ChatGPT到Sora,为何OpenAI能连续打造出“王炸级神器”? 加州大学伯克利分校计算机科学 PHD、知乎作者SIY.Z分析称,“如果必须用一个词来展现OpenAI最核心的技术,我觉得是scaling law——即怎么样保证模型越大,数据越多,效果就越好。”从文本生成模型 GPT、文生图模型 DALL·E,到文生视频模型 Sora,OpenAI或许已经打造出了一条自己的AGI通用技术路线。 5大场景实测: Sora在时长等4个维度上实现“降维打击” 2月15日,OpenAI正式发布了首款文生视频大模型Sora。演示视频一经发布迅速引发业内热议,部分网友更是哀嚎,“要失业了”。 华大集团CEO尹烨在一篇文章中写道,“从这一刻,可拟合更多真实物理定律的数字孪生世界走进了人类社会。我愿意将其类比为,开启了AI发展的牛顿时代。” Sora的文生视频能力到底有何突出之处? 由于Sora并未开放测试账号,因此《每日经济新闻》记者采用OpenAI官方公布的5条Sora视频提示词,在街头、卡通动画、人物特写、动物特写以及电影预告片这5大场景下对同类模型Runway、Pika和Pixverse进行了效果测试。同时,将OpenAI官方公布的Sora视频与前述3个文生视频大模型进行了对比。 效果测试对比发现,Sora在生成视频的时长、连贯性和视觉细节方面表现出明显的优势,几乎达到“吊打”的程度。 英国皇家工程院国际院士、欧洲科学院院士许彬(Pan Hui)在接受《每日经济新闻》记者采访时也表示,“Sora的核心优势可以总结为,生成高清晰度的长视频。不论是清晰度,还是时长,目前都是第一。OpenAI更专注在照片写实主义的技术,虽然现在去讨论它会否引领新浪潮可能为之尚早,但是目前Sora在视频生成品质上面绝对是无可匹敌的。” 不过,需要说明的是,本次效果对比仅基于5个场景下的提示词,场景和提示词的数量均较为有限,并且不同模型生成的结果可能存在随机性。 一位技术从业者也向每经记者表示,尽管Sora与其他文生视频大模型的结果对比非常强烈,但不排除Sora的视频是OpenAI多次生成后选取最好的一条予以发布,因此展示效果更优。 (1)更长的视频时长 在与Runway、Pika和PixVerse的对比中,Sora生成的视频平均长度将近16秒,最长达到20秒,而相比之下,其他三个模型生成的视频长度均在3~4秒左右。Sora最长可以生成长达一分钟的视频,这使得Sora能够更完整地呈现视频内容,使其更适合制作短片、广告和其他应用。 (2)更强的视频连贯性 Sora生成的视频具有无缝过渡、自然的摄像机移动和流畅的角色动画,增强了整体观看体验。而相比之下,其他模型制作的视频经常会出现场景突变、画面不流畅等问题,影响观看体验。 许彬表示,“Sora可以改变视频的视角。Sora生成的视频,可以像一镜到底一样,从小特写切大全景,变换不同的机位,但是保证画面中的人物/物品。同时,(Sora生成的视频中)物体的一致性很强。一致性一向是在视频生成的领域里比较挑战性的一环,而Sora在此方向表现很好。” (3)更丰富的视觉细节 此外,每经记者发现,Sora生成的视频视觉细节丰富,物体纹理清晰,色彩逼真,整体视频质量更高。相比之下,其他模型生成的视频通常显得模糊、细节不足、色彩不那么鲜艳。 例如,在生成的“女人眨眼睛”的视频中,Sora对女性眼部的特写十分到位,从眉毛、睫毛、眼皮褶皱、眼袋、卧蚕和细纹的细节来看,已经达到以假乱真的效果。 (4)更能满足不同的场景 从上述5大不同场景的呈现效果不难看出,Sora明显更能够满足不同创作者的需求,无论是创作科幻场景、动画人物,还是模拟真实场景,都可以轻松实现。 华鑫证券研报称,Sora的核心技术是基于OpenAI在自然语言处理和图像生成方面的深厚积累,与Runway、Pika等相比,Sora在视频生成的真实感、细节表现上均具标志性价值。AI视频生成虽不是新事,但Sora的推出有望推高AI多模态的热度,可关注AI多模态应用塑造数字内容生产与交互新范式,赋能视觉行业,从文字、3D生成、动画、电影、图片、视频、剧集等方面,有望带来内容消费市场的繁荣发展。 从GPT到Sora,OpenAI打通AGI技术栈 从Sora身上,可以看到OpenAI沿袭了过往大语言模型训练的许多成功经验。 Sora视频的逼真和连贯程度着实令人惊叹,而帮助Sora实现能力飞跃的是该模型的两项核心突破。 首先在底层架构上,Sora采用的Diffusion Transformer(DiT,或扩散型 Transformer)架构。 OpenAI的文本模型,例如GPT-4,就是采用的Transformer模型,传统的文本到视频模型通常是扩散模型(Diffusion Model),Sora采用的DiT架构则融合了GPT和传统的扩散模型架构。...