文章主题:颠覆·AIGC, 产业发展峰会, 肖欣延, 跨模态大模型
在5月23日,36氪成功举办了「颠覆·AIGC」产业发展峰会。此次盛会汇聚了各行各业的顶尖力量,旨在共同探讨企业在面对深度变革时如何制定有效的应对策略。在这场分享思考的盛宴中,与会者一起探索并发掘产业内部最具发展潜力和价值的企业和技术。在充满挑战的环境里,大家携手寻找前进的道路。
在一场盛大的会议上,我国知名科技公司百度的总架构师肖欣延,以《跨模态大模型赋能智能内容生成》为题,发表了一场深入浅出的主题演讲。在他的观点中,他认为我们正处于一个生成式人工智能的时代,内容生成有望成为新一代的生产方式,为行业的发展带来新的机遇。为了具体阐述这一理念,肖欣延详细介绍了百度在两大核心领域——图片生成与视频生成的研究成果:百度AI作画系统文心一格以及基于文心大模型的视频创作系统。这些成果充分展示了AIGC(人工智能创意生成)强大的内容生成能力与发展潜力。
在智能内容生成领域,AIGC的重要性显而易见。肖欣延阐述道,展望未来,算法、算力和数据的进步将为AIGC的内容生成能力带来实质性的提升。首先,AIGC与语言模型的深度融合,将优化用户的语言交互体验;其次,AIGC在高维度的内容生产能力,例如3D生成和长视频生成等方面,将取得显著的改进;最后,随着AIGC效果和易用性的提升,内容生成流程将实现极致简化,操作更加便捷。在演讲结尾,肖欣延也强调了,面对当前AI所面临的事实一致性、不可控等问题,未来的技术范式需要融入知识维度,通过精确事实知识和多形态知识推理等技术手段,确保AI走向可信可控,从而更好地服务于用户。
![1701703456190.jpg 1701703456190.jpg](https://aigc666com.oss-cn-shenzhen.aliyuncs.com/1701703456190.jpg)
百度文心一格总架构师肖欣延
以下为肖欣延演讲实录(经36氪整理编辑):作为一名文章写作高手,我将按照您的要求对原文进行改写。在此,我非常荣幸地出席AIGC产业发展峰会。今天,我所要分享的主题是《跨模态大模型赋能智能内容生成》。在这次报告中,我将主要从跨模态的角度,详细介绍百度在智能内容生成领域所取得的突破性成果。
近期,人工智能成为众人瞩目的焦点。然而,这一领域并非从天而降,其发展历程可追溯至70多年前。早在1950年,图灵测试便提出了人工智能的概念。在接下来的40年里,人工智能的研究主要集中在逻辑推理和专家系统上,经历了许多曲折和起伏,历经两次寒冬。随着时代的变迁,机器学习、神经网络和深度学习等新技术逐渐崛起,使得人工智能的应用效果日益显著。如今,AlphaGo、Transformer、GPT等技术已广为人知,人工智能的实用价值不断提升。到了2022年,人工智能不仅在分类判别方面表现出色,同时也能进行创作和生成,标志着生成式人工智能时代的来临。
AIGC(人工智能辅助内容生成)这一概念,尽管有多种定义,但总体来说,它代表了一种新型生产方式,是人工智能带来的新一代生产力。它可以显著提高内容生产的效率,从而推动内容产业的发展。以下图片则生动地展示 content production 的演变历程,从早期的 PGC(专业内容生产)到 UGC(用户内容生产),再到近年来兴起的 AIGC 元年,借助 AI 技术的内容生产或自动生产已经逐渐成为主流。我们可以清晰地看到,每一次内容生产方式的革新,都能带来巨大的内容生产力释放,为消费者带来全新的消费模式体验。因此,我们对 AIGC 的未来充满期待,相信它将为我们带来许多前所未有的新机遇。
AIGC能够取得今天的成就,其中大模型技术的进步起到了关键的推动作用。自AI2 ELMo和BERT等基础模型出现以来,随着百度文心ERNIE和GPT等高级模型的诞生,大模型技术在过去五年多的时间里,几乎每年都会有众多新模型问世。这股强大的创新力量不仅推动了AIGC领域的发展,同时也为整个行业带来了前所未有的繁荣景象。
作为一家走在科技前沿的领军企业,百度在大型模型领域的发展堪称领先者,且一直在不断深化研究。早在2019年,百度便开始涉足预训练模型的开发,逐步推出了ERNIE 1.0、ERNIE 2.0、PLATO以及ERNIE 3.0等一系列研究成果。凭借这些技术的累积,今年3月,百度成为全球首个在大型厂家中发布大语言模型的公司,推出了“文心一言”。此外,跨模态模型也是百度关注的一个方向。例如,OpenAI所推出的Dall-E,以及百度发布的ERNIE-ViLG等模型,都得到了广泛的关注和研究。
今天的报告从更具体内容介绍基于语言的跨模态内容生成,只要用人类擅长的语言就可以用机器帮我们生产图片和视频等内容。
首先介绍一下百度AI作画系统产品——文心一格。
文生图近年来进展非常惊人,最早在2018年时候基于GAN的图像生成方法只能生产模糊简单的图片,到2021年基于序列生成Transformer的框架,能比较好理解语言,根据语言生成意境还不错的图片。2022年扩散模型出来之后,能做像素级建模,既可以生成非常宏大的图片,也可以生成细节非常精美的图片。
也是在这个阶段百度推出”文心一格”,从技术角度来讲不是只有大模型,而是基于知识和大模型的文生图系统,综合利用知识图谱、跨模态生成和编辑模型,实现高效易用的创作。从理解用户需求,原创生成图片,到用户对图片进行编辑二次生成,对每一块我们都有相应技术满足。
首先是prompt学习。怎么输入一个比较好的文本描述,让模型生成好的图片,这一步对不少用户来说使用门槛比较高。为此,我们通过基于知识图谱的AI模型,理解用户的输入,然后对用户输入的prompt自动进行多种维度上的智能扩充,当然这两步我们也会端到端生成模式实现。右边展示的例子中,用户输入简单的描述,模型自动从视觉、质感、风格、构图等角度智能补充,从而生成更加精美图片。
接下来的扩散图像生成就是跨模态大模型发挥的地方。我们主要通过自研文生图大模型ERNIE-VILG实现。通过语言、视觉、跨模态进行知识增强,利用混合专家模型自动选择最优生成网络,在结合超过百亿的参数规模,就实现非常领先的效果。ERNIE-ViLG在MS-COCO的公开评估上以及人工评估中,取得了领先于DALL-E、stable Diffusion等竞品的效果。
基于上面技术,文心一格能够生成风格多样,更懂中文的图片。不管是关于茶道、京剧,还是中式建筑,文心一格的生成效果都非常好。除了比较真实图片的生成,在创意图片的生成上,比如这里的有一只慵懒的猫在粉色的家里面,一个狐狸骑摩托车,未来的绿色空中花园等,文心一格也可以实现对创意图片的畅想。我们已经上线了文心一格的小程序,大家可以现场体验一下。
如果生成一张图片之后不那么满意,文心一格有更多功能可以帮助用户进行二次编辑。首先,涂抹功能,用户可以涂抹不满意的部分,让模型重新调整生成。另外也有一个很有意思的图片叠加功能,用户给两张图片,模型会自动生成一张很有意思的创意图,比如给到水晶样式的花和小怪兽,我们就可以自动生成一张叠加后的创意图。我们还支持用户输入图片的可控生成,我们根据图片的动作或者线稿等生成新图片,让图片生成的结果更可控。
如果前面步骤没有办法满足用户的需求,文心一格还可以做小样本学习,快速获得一个优质的个人定制模型。只要提供几张相同概念图片到系统,经过几分钟微调就可以获得定制模型,能够保证想要的风格、主体都是一致。
第二部分介绍下文章转视频技术,也就是视频创作系统。
文章转视频是输入图文信息,输出视频内容。输入文本可以是网页文章、百科页面、ppt文档,甚至是搜索query,都可以自动生成视频。这个功能看起来非常的简单,但是简单背后是需要大量技术来实现的。
视频是当下信息最丰富的载体,它涉及到文本、字幕、脚本,还涉及到视频素材,以及如何编排这些素材,是一个很复杂的流程。参照人们的视频创作流程,我们将视频创作系统设计成三大块,文案理解与生成、素材分析与处理、素材扩充与编排,这每一步做的任务都很多,这背后是基于文心大模型统一建模的跨模态大模型来实现。
这个大模型就是百度发布的ERNIE-UNIMO,我们希望模型利用文本、图像、图文对数据做统一的预训练,通过这样的训练,模型能够实现通用的语言与视觉的理解与生成。从实际效果来看,不管在公开数据集还是评测榜单上,UNIMO模型比很多具体领域和模态的预训练模型,在每个领域都做得更好。这样的技术我们也用在刚才说的TTV生产当中,统一去执行各种各样的任务。
最后,探讨下AIGC的价值,展望下未来技术的发展。
首先AIGC正在大幅提升内容创作的质量和效率。我相信应该很多人现在做内容创作时候,首先想的都是先去用这些AIGC的工具,不再自己从头开始一点点做,这种AI辅助的方式使得整个生产效率得到大幅度提升。比如以海报制作来说,以前做海报成本比较高,通过AIGC的方式成本能降低50%-80%,制作时间从周级别到天级别。如果放到视频生成角度,成本制作节约的幅度更大。
除了提升效率,AIGC还能助力想象力涌现,创造出独特的AI作品。比如最左边画是一个猫穿唐装在有柳树的湖边,还可以用AI创作戒指、蛋糕这样的创意商品,创作力超乎我们的想象。
展望未来,大模型将进一步使得AIGC效果有质的提升。其实得益于算法、算力和数据的进展,现在AIGC效果已经有不错的进展了。将来,通过更强、更统一的算法,更高性能的算力和更高质量的大规模数据,整个AIGC的内容生成还将有质的提升。一方面,和语言模型有更加深度结合,提供更强的语言交互,用户可以通过语言更好更便捷的进行创作。第二,在更高维度的时空生成上,不管在时间上还是空间上,比如3D生成、长视频生成等等,都将取得突破。最后,AIGC将从辅助向自动发展,随着AIGC效果和易用性的提升,过去需要诸多步骤才能生成的图片,到时候AI一步就可以实现。
同时,现在AI也经常面临事实一致性、不可控等问题,将来整个技术范式还需要加上知识维度,在算法、算力和数据的基础上,通过精准事实知识、多形态知识、知识推理等确保AI走向可信可控,为用户提供更好服务。
相信AIGC在未来将创作出更多的价值。谢谢。
颠覆·AIGC, 产业发展峰会, 肖欣延, 跨模态大模型
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!