Midjourney

大数据文摘受权转载自夕小瑶科技说作者 | 小戏单说大模型 AI 的发展对人们想象力释放的助力，基于 Stable Diffusion 模型的方法首当其冲。透过文本描述到图像生成技术，大模型为我们的想象力打开了一个恢弘的梦幻世界。透过点滴文字，就有可能重现禁锢在我们脑海中无法释放的光怪陆离。而最近，Stable Diffusion 持续进化，打个响指加一个框架使用 AnimateDiff，文本图像生成便可以由静到动，一次性的将个性化文本生成的图像进行动态化，实现一键生成 GIF 动图！首先，来展示一下 AnimateDiff 的动图生成效果，当我们希望生成展示一个在客厅高兴的穿着自己新盔甲的女孩的图像时，捕捉关键词 cybergirl，smiling，armor，living room 等等，稍作修饰输入如下 Prompt：long highlighted hair, cybergirl, futuristic silver armor suit, confident stance, high-resolution, living room, smiling, head tilted.即可以得到一段自然逼真的动态图像：类似的，使用 Prompt：1 girl, anime, long pink hair, necklace, earrings, masterpiece, highly detailed, high...

新智元报道   编辑：Aeneas 润【新智元导读】Stability AI又来卷了AI视觉圈了！Stable Animation震撼发布，动画效果令人惊叹。Stability AI又放大招！现在，Stable Diffusion也能生成视频了。AI届，实在是太卷了。昨天，Stability AI发布了一款专为艺术家和开发人员设计的工具——Stable Animation SDK。用户可以通过多种方式创建令人惊叹的动画效果。此前，Runway的Gen-2就相当炸裂，宣传词非常霸气——「say it，see it」。现在，Stability AI也有比肩Gen-2的视频生成工具了！Stable Diffusion能做视频了 借助Stability AI的动画端点，美术师可以使用所有Stable Difusion模型来生成动画，包括Stable Diffusion 2.0和Stable Diffusion XL。 不过，有别于之前发布的开源模型，Stable Animation目前仅能通过SDK和付费API使用。现在，用这三种方式，都可以创建动画了——经典的prompt就像使用Stable Diffusion、Midjourney或DALL-E 2一样，用文本生成动画。输入prompt，调整各种参数，就能生成动画。prompt+图像提供一个初始图像，作为动画的基础。之后，结合prompt和这个初始图像，就能生成最终输出的动画。prompt+视频提供一个初始视频，作为动画的基础。同样，通过各种参数的调整，外加prompt的引导，最终得到输出的动画。 1块钱，就能生成100帧动画 该软件似乎仍处于测试阶段。Stability AI并没有通过他们的浏览器平台（如DreamStudio或ClipDrop）提供，而是仅提供软件开发套件（SDK）和付费API。 当然，这并不妨碍第三方通过服务提供这种动画模型。不过，目前想试用这个功能的话，门槛还比较高，因为SDK和API要通过Python脚本来调用。与Stability AI的图像模型类似，Stable Animation也可以设置许多参数，例如step、sampler、scale或seed。此外，还提供了诸如outpainting或prompt interpolation等功能。不同的参数也会影响价格。所以创建一个视频要花费多少钱，并不确定。Stability给出的报价范围是，在不同设置下，每100帧的价格从3美分到18美分不等。Stability AI以输出动画的积分值作为收费的依据，用户生成的动画会被换算成一个积分，每1000个积分消耗1美元。小编算了一下，根据官方公布的积分计算方法，一块钱人民币大概能生成一段100帧的1024*1024分辨率的动画。但是其他的参数也会影响价格，官方给了一个表来说明支持调整的参数，以及是否会影响到生成动画的价格。 与Stable Diffuision XL兼容 Stable Animation可以与每个版本的Stable Diffusion结合使用。 它的默认版本是1.5，但我们也可以选择使用新版的Stable Diffusion XL。里面有很多样板，包括动漫、漫画书、低多边形、像素艺术。原始分辨率是512 x 512像素，可以增加到1,024 x 1,024像素。此外，可以使用升频器。Stable...

一、背景 最近两年图像生成领域受到广泛关注，尤其是 Stable Diffusion 模型的开源，以及 DALL-E 系列模型的不断迭代更是将这一领域带到了新的高度。我们决定从头开始，逐步了解这些模型的演化过程，以便更好地理解 Stable Diffusion 以及 DALL-E 3 等最新的图像生成模型。在之前文章中，我们逐步回顾了 VAE 系列生成模型和 Diffusion 系列模型，针对 Diffusion 系列模型我们也按照 OpanAI 模型，Google 模型以及 Stable Diffusion 系列模型分别做了具体介绍。 在这里，我们对这一系列模型进一步的总结，包括任务场景、评估指标、模型类型、效率优化、局限性等 11 个方面分别总结，以便更好地对比和理解。 文本生成图相关总结也可参考： 1. 文生图模型演进：AE、VAE、VQ-VAE、VQ-GAN、DALL-E 等 8 模型2. OpenAI 文生图模型演进：DDPM、IDDPM、ADM、GLIDE、DALL-E 2、DALL-E 33. Google 图像生成模型 ViT-VQGAN & Parti-20B4. Google 图像生成模型 MaskGIT & Muse, 并行解码...

#头条首发大赛 快速导读Midjourney，知名的AI图像生成公司，近日宣布进军硬件开发，邀请求职者加入新部门。创始人大卫·霍尔茨拥有硬件背景，曾任Leap Motion CTO，并邀请前同事阿哈迈德·阿巴斯担任硬件项目负责人，阿巴斯在苹果公司有五年经验，参与Vision Pro耳机开发。尽管尚未明确硬件类型，Midjourney在社交媒体上与科技爱好者互动，暗示即将推出的设备“不会是挂件”，并表示正在进行多个项目，未来有更多可能性。霍尔茨曾提到受奇幻元素启发的“球体”概念，但需谨慎对待这些想法。目前尚无具体时间表，意味着我们可能需要等待一段时间才能见到该公司的硬件成果。 Midjourney的新硬件探索 Midjourney，这家以其先进的AI图像生成工具而闻名的公司，近日公开宣布其进军硬件开发的计划。该消息今天早些时候在公司官方的X账号上发布，邀请求职者申请这一新硬件部门的职位。这一举措标志着公司在探索超越软件的新技术领域时，迈出了重要的一步。 硬件领域的领导与专业 Midjourney的创始人大卫·霍尔茨（David Holz）拥有硬件开发的背景，曾担任Leap Motion的首席技术官（CTO）。最近，他邀请了前Leap Motion同事阿哈迈德·阿巴斯（Ahmad Abbas）来领导硬件项目。阿巴斯在苹果公司担任硬件经理五年，参与了Vision Pro耳机的开发，拥有丰富的经验。他在LinkedIn上的当前职位标注为“Midjourney硬件负责人”。 猜测与未来计划 虽然关于Midjourney计划开发的硬件类型仍不明确，但该公司在其X账号上积极互动，提供了一些可能引发科技爱好者兴趣的线索。例如，他们澄清即将推出的设备“不会是挂件”，尤其是在其他公司推出类似挂件的AI硬件设备屡遭失败之后。此外，Midjourney表示他们正在进行“多个项目”，并且“绝对有更多形态的机会”。尽管霍尔茨曾调侃创造一个受奇幻元素启发的“球体”的想法，但对这些声明应持谨慎态度，因为该公司和霍尔茨在社交媒体上的互动一向充满玩乐。目前尚未提供时间表，这意味着我们可能需要一段时间才能看到这一硬件探索的成果。