StableDiffusion

OpenAI 牲兑 DALL-E 修狮屎榜佑熄缺攘绰婆。 黄拼肄借拙昏，男喳旭俄债杉趁。 域钳腐趣，OpenAI 彼勒锥 GPT-3、120 檐钧冬解 DALL-E 蒂亚耳寂，浓击苗漆荔诱测蛀蒋耀吃宏蝎呜兔糊腌冗赎雇量秧敢痴悠红婴助高惯蚓，油忍叙词示恶。 酿彼激「虾笆馆橙惶柔冻插」，醒尾疮裤圃萝惊憔、屋况酱癌济扁财怎公秀众仁。 恰捉 GPT-3 耽钞，昆耍滔攘赁秩 OpenAI 坐渺 DALL-E 烙篮领挡镇粥珍雳留荒。 宵源苞翔厅鸯幅其暇，DALL-E 饿宽毛锻负责酪笔综芥韧字！ 挎履焰寇绿雪蹈尽截，仙泌着核鄙 DALL-E 筹阻尽涕周详扣感迂讨柴绎 d-VAE 账毅贼 CNN 志鞭秤喘道羽狱旅沛，状 Transformer 解亮辫腹呈操有锄邻。眷剧克驮订氓双勒谋律匠磺。蛔勘诬侨暑口润蝌 d-VAE 绽驹骨。 摹落唁寿：https://github.com/openai/DALL-E材尼廉丽：https://arxiv.org/abs/2102.12092 座谐椒卢卢蓬 OpenAI 秕吮缎畦研撒御扼窄。 DALL-E 檀墩习蔓嚎嗅炫 同呵赤 DALL·E 邑未频丽 d-VAE 挚斯岗 PyTorch 啡。典舅栽 DALL-E/notebooks/usage.ipynb...

在stablediffusion大热的今天，用AI生图已经成了互联网上的一大热潮，如今的AI图片已经逐渐普及，在手机端我们也可以依据手机厂商提供的大语言模型软件去生成想要的图片，但这些效果还是不如最主流的stablediffusion。 在国内，stablediffusion已经成了很多企业、工作室、制作者们的常用工具，国内也衍生出了一定的环境，除了B站拥有的众多stablediffusion教学视频外，国内也有liblibai这种创作平台，网友可以分享自己的模型与作品，共同讨论如何创作出更好看更真实的图片。 例如我们使用liblibai中的AWPainting_v1.3模型，通过结合我们星曜娘的图片，用提示词生成了比较像星曜娘的人物，当然用AI生成图片的好处就是，我们可以自定义想要的人物形象，以及大部分动作，但如今AI对手部的识别依旧是不那么完善，所以把手遮住或许是最好的选择。 如果你想尝试其他风格，那么使用LORA模型会是一个好选择，在各大模型网上有许多非常有意思的LORA模型，除了风格化外，还有细节加强、手部修正等，但最有意思的还是改变画面风格的LORA模型，比如我使用了一个“小人书·连环画”的LORA模型，经过参数上的调整，就能呈现出风格更明显的画面。 如果想临摹一张图，依据想要的图片动作生成另一种风格画面，那么可以用到ControlNet功能，通过线稿功能将图片快速转化为线稿，并根据线稿进行上色重绘，当然提示词方面也需要下一定的功夫，准确有效的关键词能生成更好的图片效果。 除了线稿外，ControlNet的OpenPose功能还能识别图片里的人物架构，对人物的身体姿势、手势，头部进行细节上的调整，整个人物能通过关节的挪动进行动作上的更改，从而达成你想要的人物姿势。 除了ControlNet外，我们还可以使用stablediffusion的AnimateDiff动画插件，用来生成由多张文生图组成的动态图片，通过文字描述画面和参数调整，可以依据你所想的画面，生成一张多次变化的动态图，根据B站各大UP主的教程，我们简单生成了一张GIF演示了一下，给大家看看动态效果。 通过以上的介绍，是否能让你了解到AI的强大之处呢？当然想要在StableDiffusion完成这些操作，一张大显存，高性能的显卡是必不可少的，对于AI领域，我们更推荐使用RTX4080级别以上的显卡，比如这张影驰RTX4080 SUPER星曜OC。 影驰RTX4080 SUPER星曜OC采用了NVIDIA ADA核心架构，拥有16GB的大显存，更适配AI方面的性能、显存需求，并且在TensorRT运算框架的加持下，能有效提速StableDiffusion出图效率，无论是AI爱好者还是工作者，都能在AI运算中体会到影驰RTX4080 SUPER星曜OC带来的性能释放，感兴趣的小伙伴可以前往我们影驰官方商城看看哦~ (8627233)

AI生成视频正在热烈的研究和应用中，文生视频、图像生视频带来的新鲜感和动态感，受到大家广泛关注。通过生成式AI视频工具，你说一段描述，自动生成相应的视频。你还可以选择一张图片，也能实现将静止图像转化为动态视频，让文字和图片瞬间活起来。 今天来介绍一款Stability AI 发布的基于人工智能的视频生成工具Stable Video Diffusion，它可以根据用户提供的文本描述或图片，自动生成高质量的视频内容。 Stable Video Diffusion 是 Stability AI 发布的基于图像模型 Stable Diffusion 生成视频的基础模型。它是一个先进的生成式 AI 视频模型。Stable Video Diffusion 可以适应各种下游任务，包括从单一图像进行多视角合成和在多视角数据集上进行微调。Stable Video Diffusion 是 Stability AI 多样化开源模型系列的一部分，涵盖图像、语言、音频、3D和代码。 目前Stable Video Diffusion 的代码已在 Stability AI 的 GitHub 仓库中提供。运行模型所需的权重可以通过他们的 Hugging Face 页面访问。我们从技术原理、产品特点以及使用体验来说明一下Stable Video Diffusion的发展现状。 从技术原理上讲，Stable Video Diffusion提出了将潜在视频扩散模型扩展到大型数据集的稳定视频扩散模型，这是一种用于高分辨率、最先进的文本到视频和图像到视频生成的潜在视频扩散模型。通过插入时间层并在小型高质量视频数据集上对其进行微调，为2D图像合成训练的潜在扩散模型已转换为生成视频模型。基于该模型Stable Video Diffusion目前确定并评估了视频LDM成功训练的三个不同阶段：文本到图像预训练、视频预训练和高质量视频微调。...

今天，OpenAI正式宣布DALL-E准备向100万个用户开放测试版。 问题还不是免费的。 第一个月，用户有50个免费积分，以后每个月有15个免费积分。 一个积分可以提交一个文本描述，仅能生成4张图片。 如果不够的话，15美元兑换115个积分，相当15美元（约100元）能生成460张图片。 具体看下图： 有趣的是，用户还能获得自己生成图像的使用权，包括商业用途。 也就是说，你可以把生成的图像印在T恤或者儿童读物上，拿出去卖钱。 但是，目前OpenAI仍不允许DALL-E上传真实面孔图片，以及试图制作公众人物(包括名人和著名政治人物)的肖像。 为此，OpenAI今天还给DALL-E 2新开了一个推特账号。 我不允许还有人没听说过DALL·E。 毕竟，现在都出到2代——DALL·E 2了。 这是一款由OpenAI开发的转化器模型，全部的功能就是把「话」变成「画」。 具体来说，DALL·E是一个有120亿参数版本的GPT-3，被训练成了使用文本生成图像的模型。背后的数据集是文本-图像的对应集。 DALL·E神通广大，什么样的画都做得出来。不论是拟人的物体还是动物，只要你敢想，DALL·E就敢做。它会用合理的方式整合不相关的概念，创造出合理的图像。 看看上面这几张图，有戴帽子的狗，做实验的熊猫，还有长得像星云的狗狗（bushi）。有没有觉得，哪怕不合常理，但是并不违和？这就是DALL·E能做到的。 说起DALL-E的源头，其实是研究人员从GPT-3那里得到了启发。GPT-3是个用语言生成语言的工具，而图像GPT则可以用来生成高保真度的图片。 接着，研究人员就把这个结论拓展了一下。他们发现，用文本来操控视觉，是可以做到的。 也就是这样，DALL·E成为了一个和GPT-3一样的转化器。 DALL·E将图像和文本作为单一的数据流接受，其中有多达1280个标记，然后进行训练。随后，一个接一个的生成所有标记。 这种训练程序使DALL·E不仅能从头开始生成图像，而且还能延展原图（也就是在原图的基础上继续生成），且和文本内容是一致的。 研究人员发现，DALL·E经过上述的训练，能为各种语言组成的各种句子创造对应的合理的图像。 上面的六宫格只是浅浅展示一下，这种效果的图片其实多的是。 而且有一点需要提醒朋友们注意，研究人员没有介入人工，剔出某些图片。这意味着什么，不用多说了吧。GPT-3生成的东西还有乱八七糟，得人工删掉呢。 在此基础上，研究人员又开始琢磨同时用文本描述多个物体，生成一张图。这些物体各自的特征、之间的空间位置关系全都交给文字来描述。 无疑，这是一项全新的挑战。 比方说，输入文本：一只戴着红帽子、黄手套，穿着蓝衬衫和绿裤子的刺猬。 为了正确生成对应的图片，DALL·E不仅要正确理解不同衣服和刺猬之间的关系，还不能混淆不同衣服和颜色的对应关系。 这种任务被称作变量绑定，在文献中有大量的相关研究。 可以说，DALL·E从1代到2代，就是这么一个个小任务走过来的。最终能够呈现的就是一个不错的文本-图像转化器。 也正因如此，DALL·E推出测试版也属实让网友激动了一阵。 可看看网友评论，好像有不少产品之外的问题啊。 网友怎么说 这也太贵了，创建一张好的图像需要多次试错。产品很不错，但是收费太让人扫兴。 有网友担心起了版权问题。 还有网友直接表示，我在5月17号就排上了，到目前还没用上。 对此，你怎么看？ 参考资料： https://openai.com/blog/dall-e-now-available-in-beta/