0%

20240219-sd模型

20240219-sd模型

常见的模型有以下几类:

  • Base 模型: 就是最常见的 AI 文生图模型,输入一段文字指令,AI 会根据你的指令生成图片。较常见的有 Stable Diffusion v1.5,Stable Diffusion XL 等。
  • LoRA 模型: 你可以简单将其理解为一种滤镜模型。通过它能生成更特殊的图片,比如在 Workflow 中加载线稿 LoRA 模型,就可以生成线稿风格的图片。甚至还有一些 LoRA 模型能让 AI 生成特定样貌的人物,比如一些名人的 LoRA,加载这种模型后,就可以生成特定的名人。但需要注意,这种模型没法脱离 Base 模型使用,这就意味着你需要先下载 Base 模型,然后再下载对应的 LoRA 模型才行。
  • Inpainting 模型: 如果你想要修改某张图片,比如去掉某个物体,或者修复某个物体,那么你就需要使用 Inpainting 模型。这种模型输入一张图片,然后输入一个遮罩,AI 会根据遮罩修复图片。这个模型可以单独使用。
  • Upscale 模型: 如果你想将一张图片放大,那么你就需要使用 Upscale 模型。这种模型输入一张图片,然后输入一个倍数,AI 会根据倍数放大图片。这个模型也可以单独使用。
  • ControlNet 模型: 如果你想控制图片中某个物体出现的位置,或者人物的站姿,那么你就需要使用 ControlNet 模型。但需要注意这个模型和 LoRA 类似,不能脱离 Base 模型使用。
  • 图生视频模型: 这种模型输入一段文字指令,AI 会根据你的指令将图片转为视频。

AI 生图模型需要大量的计算资源,如果你的电脑配置不够,那么即使你下载了模型,也可能无法运行,或者运行起来会很慢,生成一张图片可能要 30 ~ 40 秒。按照前面提到的类型,不同类型的模型对电脑配置的要求也不同。

对配置影响最大的应该是 Base、Inpainting 还有图生视频模型。目前,市面上没有一个官方统一的 AI 模型运行配置要求,但根据我的经验:

  • Base & Inpainting 模型:
    • 如果你是 Windows 电脑,显存小于 6G,或者是 M 系列的 MacBook 内存小于 16G,我会推荐你使用 Stable Diffusion v1.5 或者基于此模型微调后的模型。
    • 如果你的电脑配置比较好,显存大于 8G,或者 M 系列的 MacBook 内存大于 16G,我则会推荐你使用 Stable Diffusion XL 或者基于此模型微调后的模型。
  • 如果你想使用图生视频模型,或者图片生视频模型,那么你的显存最好大于 16G,且最好使用 Nvidia 的显卡。不然基本很难将模型运行起来。

如果你是初学者,我会推荐你使用 DreamShaper 这个模型,它有基于 SDv1.5 的 Base 模型,也有基于 SDXL 的版本。同时配套也很不错。有 Inpainting 模型,也有 LCM 模型等。而且生成的效果也很不错。

DreamShaper 系列模型

如果只推荐一个模型的话,我会推荐 DreamShaper,首先它的成像质量不差,整体质感有点像 Midjourney。

其次,它的 SD v1.5 版本模型大小也不是很大,甚至比基础模型还要小一点点。

最后,也是我最喜欢的一点,它的配套模型比较丰富。有 LCM、Inpainting 模型,还有基于 SDXL Turbo 微调的模型。 对于电脑配置较差的朋友,我推荐你们使用 SD v1.5 的模型,即它的 V8.0 版本。

DreamShaper XL

https://civitai.com/models/112902/dreamshaper-xl

Realistic 风格模型

如果你主要是以生成人像为主,那么 Realistic 风格模型是一个不错的选择。他们生成的人像质量比较高,且看起来更加真实。以下是两个基于 SD v1.5 微调的模型。

https://civitai.com/models/43331/majicmix-realistic

一般你会看到两种后缀的模型:

  • safetensors:这种模型一般用的是 numpy 格式保存,这就意味着它只保存了张量数据,没有任何代码,加载这类文件会更安全和更快。
  • ckpt:这种文件是序列化过的,这意味着它们可能会包含一些恶意代码,加载这类模型就可能会带来安全风险。

所以在上述的案例中,我会推荐你下载 safetensors 格式的模型。

另外,我建议你在搜索模型的时候,需要看看是不是该模型的官方发的,一般我会看模型的下载数,一般下载数越多的模型,越有可能是官方发的。