跳转至

2.1 工作流与节点图

2.1.1 节点与连线的语义

2.1.1.1 Checkpoint加载器

Checkpoint即 “检查站、关卡”，可以理解为 加载大模型。

在这里，Checkpoint加载的模型就是图片模型，常见的是由Stable Diffusion发布的通用模型版本。

当然，还有个人或者其他团队发布的 大模型，如：

1、Liblib

2、Civitai

3、Hugging Face

有些模型的扩展名是.pth，有些模型的扩展名是.safetensor。这两者的区别如下：

基础说明

  • .pth（也常见 .pt / .ckpt）：PyTorch 默认保存格式，底层基于 Python‑Pickle 序列化存储模型权重
  • .safetensors：Hugging‑Face推出的新一代安全张量格式；SD、LoRA现在优先使用该格式

📊核心区别

对比项 .pth (.pt/.ckpt) .safetensors
安全性 存在风险；pickle加载时可以执行嵌入的恶意Python代码，下载外网模型有中毒风险 安全；只保存张量权重+元数据，不允许存放可执行代码，不会运行恶意脚本
加载速度 较慢；完整反序列化对象；内存占用更高 更快；支持内存映射零拷贝加载；大模型优势明显
跨框架 基本仅适配PyTorch(Python) 跨语言、多框架(PyTorch、TensorFlow、JAX等)均可读取
文件体积 两者文件大小基本接近 体积与pth差不多，无明显压缩优势
SD生态现状 旧版LoRA、老底模较多；新资源逐步减少 现在Liblib、Civitai、HF优先分发safetensors版本的LoRA与底模

💡AI绘画实操要点

  1. 优先下载 .safetensors，外网社区下载模型规避恶意文件风险；
  2. 同一套模型，同时存在pth和safetensors版本时，二者出图效果是一样的，只是存储格式不同；
  3. 本地SD/ComfyUI两种后缀都可以识别加载；
  4. 注意：不要手动直接改后缀名互相转换！需要专用工具进行格式转换，改名会损坏模型。

⚠️小结建议

外网下载LoRA、底模，优先选择safetensors；仅在找不到该版本时再使用pth/ckpt，并且尽量从可信作者处获取模型文件。

2.1.1.2 CLIP文本编码器

这个节点是用来 输入描述词（prompt） 的。

这一个过程有个专用名词 embedding，embedding的作用是将高维的输入数据（如文本描述或图像）转换成固定大小的向量表示，从而使模型能够更有效地理解和生成图像。

例子：当用户输入 “ a beautiful sunset over the ocean ”（一幅美丽的海上日落）时，文本嵌入会将这个文本转换为一个向量，模型根据这个向量生成符合描述的图像。

在计算机图像生成、机器学习和深度学习领域，向量通常用来表示数据、特征或信息的数字化形式。

向量的基本属性是纬度，例如，二维向量包含两个数字（1，2），三维向量包含三个数字（1，2，3），以此类推。

在ComfyUI中，向量通常用来表示以下信息。

  • 图像的特征：如颜色、纹理、形状等视觉信息。
  • 文本的语义：如输入的文字描述（提示词）在嵌入空间中的数字化表示。
  • 潜在空间中的点：在生成图像时，模型会在一个高维空间中寻找一个“点”，这个点对应着图像的某种特征或样式。 潜在空间是一个高维空间，其中的每个点都代表一种图像的潜在特征，模型通过在这个空间中寻找合适的向量来生成图像。 通过在潜在空间中移动或者调整向量，可以控制图像的变化。例如，改变向量的某些维度，可以生成不同的风格、内容或构图的图像。 注意，在ComfyUI中，需要输入正向和负向两种类型的描述词，也就是两类向量，这意味着用户不仅要告诉计算机自己需要什么，还需告诉它自己不需要什么，只有这样，输出的图片才能尽可能符合需求。

2.1.1.3 空Latent

潜在空间，这个节点主要用于告诉ComfyUI，用户需要的图片尺寸。

在默认情况下，ComfyUI出图的尺寸是512px x 512px的正方形。“批次大小”定义的是一次出几张图，默认情况下出一张图。

但是，“空Latent”并不表示什么都没有，相反，它是“一个无限巨大、丰富的画面”，这就好比人们看到的自然光，看起来是没有颜色的，但是在三棱镜的折射下就会出现7种颜色。

什么是潜在空间？潜在空间是一个高维空间，其中每一个点都代表一个可能的图像或数据的特征。潜在空间的核心作用是将输入数据（如文本描述、图像或其他信息）映射为一个抽象的、低维度的向量表示，然后模型可以基于这些表示生成或者修改图像。

下面介绍潜在空间的4个核心概念：

  • 低维度的表示：潜在空间并不是直接使用图像的像素值来生成图像，而是使用一个更加抽象的低维向量来表示图像的特征。这个向量捕捉了图像中的高层次特征（如风格、内容、色彩分布等）。
  • 向量的作用：在潜在空间中，每一个点都是一个由多个数字组成的向量。模型可以在这个空间中操作这些向量，以生成不同的图像。例如，如果想要修改某个图像的特定特征（如增加风景的阳光感），可以在潜在空间中对该向量进行微调。
  • 生成过程：潜在空间是产生图像的核心机制。模型从潜在空间中随机采样一个点，然后通过解码器（Decoder）将该向量转换回实际的图像。通过在潜在空间中操作这个点，模型可以生成多种不同的图像。
  • 降维与重建：潜在空间的构建通常是通过一种降维技术来完成的，模型首先将图像压缩成一个低维的潜在向量，然后通过解码器重建图像。这一过程能够保留图像的高层次特征，而忽略不必要的细节，又能大大压缩图像的大小。

2.1.1.4 K采样器

当我们利用ComfyUI进行图像生成时，实际上是从一张遍布噪声的“初始Latent”图像开始的，可以将其想象成一张空白的画布。随后，通过一个逆向扩散的过程，逐步去除画布上的噪声，类似于沙画艺术家用指尖细腻地抹去多余的沙粒。这个过程是一个连续的减法艺术，不断地提炼和完善，直至最终呈现出一幅清晰、生动的图像。

K采样器的主要参数包括：随机种子数、运行后操作、步数、CFG、采样器、调度器、降噪。

2.1.1.5 VAE编码器

2.1.1.6 保存图像

2.1.2 数据流的执行顺序

（笔记待补充）

2.1.3 潜空间与 VAE

（笔记待补充）