Midjourney

AI绘画软件Stable Diffusion文生图详解 一、Stable Diffusion概述 Stable Diffusion是一种先进的深度学习模型，由CompVis、Stability AI和LAION的研究人员和工程师共同创建。该模型于2022年发布，是文本到图像生成领域的一个里程碑。Stable Diffusion利用文本描述生成高质量图像，不仅运行速度快，而且对资源和内存的要求相对较低，使其在实际应用中具有广泛的前景。 二、文生图原理 Stable Diffusion文生图的原理基于扩散模型（Diffusion Model），这是一种生成式模型，通过逐步添加或去除噪声来生成或还原图像。具体来说，Stable Diffusion文生图的原理可以细分为以下几个关键部分： 1. 文本编码器（Text Encoder） 文本编码器是Stable Diffusion模型中的第一个组件，负责将输入的文本描述转换成计算机可理解的数学表示。这通常是通过一种特殊的Transformer语言模型（具体来说是CLIP模型的文本编码器）实现的。输入文本被转换成一系列嵌入向量，每个向量包含丰富的语义信息，用于指导后续的图像生成过程。 2. 图像信息创建者（Image Information Creator） 图像信息创建者是Stable Diffusion模型的核心部分，它负责根据文本编码器的输出和初始噪声生成图像信息。这一过程在潜在空间（Latent Space）中进行，避免了直接在像素空间操作的高计算成本。图像信息创建者主要由UNet神经网络和一个调度算法组成，通过多步迭代逐步去除噪声并注入语义信息，最终生成包含丰富图像信息的潜在向量。 3. 图像解码器（Image Decoder） 图像解码器是Stable Diffusion模型的最后一个组件，负责将图像信息创建者生成的潜在向量转换成最终的像素图像。解码器仅在生成过程的最后阶段运行一次，根据潜在向量绘制出高质量的图像。 4. 扩散过程（Diffusion Process） 扩散过程是Stable Diffusion模型的核心机制，它模拟了物理学中的扩散现象。在前向扩散阶段，模型向原始图像中逐步添加噪声，使其逐渐变为纯噪声图像。在逆扩散阶段，模型则逐步去除噪声，同时根据文本编码器的指导生成与文本描述匹配的图像。通过这一过程，Stable Diffusion能够在保持图像特征的同时增强图像细节。 三、使用方法 Stable Diffusion的使用方法相对直观，主要包括以下几个步骤： 1. 准备环境 首先，需要准备一个支持Stable Diffusion运行的环境。这通常包括安装必要的库和框架（如PyTorch、CUDA等），以及下载预训练的Stable Diffusion模型。用户也可以选择使用云端服务或本地部署的方式来运行Stable Diffusion。 2....

机器之心原创 作者：杜伟 如今，随着将大模型塞进手机的进程加快，普通用户也能亲自体验生成式 AI 的魅力了。 2023 已经行至尾声，这一年大模型和生成式 AI 成为人工智能圈的主流趋势。自 ChatGPT 出现以来，各式各样通用、专业的 AI 大模型层出不穷，喷涌之势已经不可阻挡。随着量化、网络剪枝和知识蒸馏等模型压缩技术进步，手机等终端设备 AI 算力持续增强，大模型在云端部署之外正在向终端落地迈进。 对于这场已经拉开了序幕的「终端侧革命」，芯片巨头和手机厂商们成为主力军，他们不断尝试在手机等终端设备上部署运行生成式 AI 大模型，时不时给人们一点小小的惊喜和震撼。 今年 2 月，我们第一次看到了在手机上运行超过 10 亿参数的文生图大模型 Stable Diffusion。那是在一部搭载高通第二代骁龙 8 移动平台的安卓手机上运行的，不到 15 秒的时间执行 20 步推理，生成了一张 512×512 像素的图像。这也创造了当时智能手机上最快的推理速度。 你以为这就是手机运行 Stable Diffusion 的速度极限了吗？显然不是。在上个月举行的 2023 骁龙技术峰会上，不到 15 秒的生成时间又被整整缩短数十倍。高通最新旗舰移动平台第三代骁龙 8（以下简称骁龙 8 Gen 3）让速度飞升成为可能。 在峰会现场，高通用搭载了骁龙...

大家都知道SD是一个基于Python的应用。但运行起来需要好多的依赖。即使作为程序员出身的我也有很多不知道是干什么用的。今天我就挨个儿去罗列了一下。以备存。大家有需要的也可以看一下哦 GitPython: 允许使用Python轻松处理Git存储库，实现对Git命令的封装，方便进行版本控制和代码管理。Pillow: Python图像库（PIL）的一个友好分支，提供了丰富的图像处理功能，如打开、操作、保存各种格式的图像文件。accelerate: 用于加速深度学习模型训练和推理的库，支持多GPU和分布式计算，简化模型加速和部署。basicsr: 基础图像超分辨率的实现库，提供了一些常用的图像超分辨率模型和工具。blendmodes: 用于图像混合模式的库，支持Photoshop风格的混合模式（如multiply、screen、overlay等）。clean-fid: 用于评估生成模型质量的库，通过计算Frechet Inception Distance (FID)来衡量图像生成质量。einops: 提供了一种直观的方式来进行张量（tensor）操作和重塑（reshape），简化了复杂的张量变换。fastapi一个现代的、快速的（高性能）Web框架，用于构建API，具有简洁的语法和自动生成文档的功能。gfpgan: 用于面部修复和增强的GAN模型，能够自动修复低质量和模糊的人脸图像。gradio 快速构建机器学习模型的Web界面，使得模型展示和交互变得简单直观。inflection: 提供了将单词进行单复数转换、驼峰命名法与下划线命名法转换等功能的库。jsonmerge: 用于合并多个JSON对象的库，按照指定的策略合并不同来源的JSON数据。kornia: 基于PyTorch的计算机视觉库，提供了丰富的图像处理和变换功能。lark: 用于解析和转换文本的库，支持LALR(1)解析器和多种语法定义方式。numpy: 数值计算库，提供了高效的数组和矩阵操作，广泛应用于科学计算和数据分析领域。omegaconf: 强大的配置管理库，支持分层配置、动态类型和配置继承，适合管理复杂项目的配置。open-clip-torch: OpenAI CLIP模型的PyTorch实现，用于图像和文本的对比学习和特征提取。piexif: 用于操作EXIF数据的库，支持从图像中读取和写入EXIF元数据。psutil: 提供了跨平台的系统和进程管理功能，能够获取系统运行状态和进程信息。pytorch_lightning: 一个轻量级的PyTorch封装库，简化了深度学习模型的训练和部署流程。realesrgan: 基于GAN的图像超分辨率增强模型，能够提升低分辨率图像的清晰度和细节。requests: 简洁易用的HTTP库，用于发送HTTP请求和处理响应，广泛用于网络编程和API交互。resize-right: 提供高质量的图像缩放功能，支持各种插值算法和抗锯齿处理。safetensors: 用于安全地存储和加载PyTorch张量数据，确保数据完整性和安全性。scikit-image>: 基于SciPy构建的图像处理库，提供了丰富的图像处理算法和工具。timm: PyTorch图像模型库，包含了大量预训练模型和模型架构，方便进行图像分类和特征提取。tomesd: 提供了离散时间和连续时间上的ODE和SDE求解器，用于科学计算和建模。torch: PyTorch深度学习框架，提供了灵活的张量计算和自动求导功能，广泛用于机器学习和深度学习研究。torchdiffeq: 用于求解微分方程的库，集成了PyTorch，支持各种ODE和SDE求解器。torchsde: 提供了在PyTorch中处理随机微分方程（SDE）的工具和求解器。transformers: Hugging Face的Transformers库，提供了各种预训练的Transformer模型，用于自然语言处理和生成任务。 32.torchvision: PyTorch的一个图像处理库，包含了常用的数据集、模型架构以及图像处理转换工具，广泛用于计算机视觉任务。 33.aiohttp: 基于异步I/O的HTTP客户端和服务器框架，支持异步请求处理，适合构建高性能网络应用。 34.pyyaml: 用于解析和生成YAML格式文件的库，简化了配置文件的读写操作。 35scipy: 科学计算库，基于NumPy构建，提供了大量的数学、科学和工程计算功能。 tqdm:...

如今设计工具的访问量，用户、使用时间位列全球AI产品总榜前三。 6月28日，D20全球设计院长峰会（简称D20峰会）在杭州召开。作为首个AI设计主题的产学峰会，这次会议邀请了来自国内外20多所设计院校的院长，和来自AI产业、设计行业的产业代表，共同探讨“AI时代的设计”如何更好地连接“产”和“学”，更好培育出面向未来的数字化设计人才。 阿里国际数字商业集团副总裁、阿里巴巴设计委员会负责人杨光在开幕演讲中表示，他是二十年的老设计师，经历了互联网时代，然后到现在AI时代，“对AI的感受从兴奋，到现在逐渐转为迷茫和恐慌”。“如今设计工具的访问量，用户、使用时间位列全球AI产品总榜前三。在这个时代，我们一边关注我们的AI产品，同时我们更应关注会使用AI的设计师。” 杨光提出，要打通学校和企业之间标准的壁垒，“这样的产学融合才是具有颠覆性的”。 峰会现场，阿里国际AI设计产品“堆友”正式发布教育版。据悉，堆友作为一站式设计平台，被誉为国产版Midjourney，并入选中国知名设计平台UISDC揭晓的“2023年度十大AIGC工具”。目前，堆友已有超100万活跃用户，日均生成作品数量突破10万张。 杨光表示：“堆友可以为院校提供强大的算力和算法，它将是提供这样的能力的一座 AI设计大厦。” 据官方资料显示，目前国内TOP20的设计院校都已经上线堆友的高校合作专属频道。其中，浙江大学、江南大学、广东工业大学、青岛黄海学院、海南软件职业技术学院等5个院校，已经与堆友深度共建“人工智能+设计教育”产教融合新范式，将共建产教合作实验室、实训基地等。以浙江大学为例，在与堆友的深度共建中，已经获得了浙江省教学创新大赛产教融合特等奖。2024年7月，双方还将共同主办亚洲创新设计工坊。 海量资讯、精准解读，尽在新浪财经APP