Stable Diffusion的模型选择,采样器选择,关键词

本文介绍了StableDiffusion中的多种模型选择,包括全能模型、现实模型等,以及十几种采样器的区别,如DDIM、DPM和Euler等。同时讲解了prompt提示词的权重设置和六要素,为用户在使用时提供指导。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、Stable Diffusion的模型选择:

模型下载地址:https://civitai.com/,需要科学上网。

  • Deliberate:全能模型,prompt越详细生成的图片质量越好
  • Realistic Vision:现实模型,生成仿真式图片,它的真实性搭配任何人物的Lora,就可以生成照片级的作品
  • DreamShaper:V5版本有真实感和噪声抵消的优化,模型初衷是为了肖像画,善于复杂的细节和鲜艳的色彩,梦幻的插画效果
  • Counterfeit:高质量的动漫风格模型,建议搭配easy negative,能生成精确和令人惊讶的结果,动漫创作者很适合
  • MeinaMix:生成动漫人物效果非常好,较少提示下,完成出色的艺术创作
  • bad-picture negative embedding for ChilloutMix:咳咳咳

二、Stable Diffusion十几种采样器的区别:

采样是指图像去噪的过程,从而产生清晰的图,理论上采样步数越多图片细节越多,但过多的采样会造成过拟合。

  • Euler:欧拉方法最简答直接的采样器,非常受欢迎
  • Heun:改进欧拉方法,提高了精度但耗时比欧拉方法多一倍
  • LMS:线性多步法,速度与质量与欧拉方法相差不多
  • 以下三个是常微分方程(ODE)的老式求解器,已经存在一百多年了,推荐设置步数在20-30之间
  • DDIM:去噪扩散隐式模型,是最早为Stable Diffusion设计的采样器之一,
  • PLMS:伪线性多步法,是LMS更新更快的替代方案,已落后,不再广泛使用。
  • DPM:2022年新发布的采样器,优秀的收敛和图像质量。
  • DPM2:相比DPM更准确但更慢一些
  • DPM++:是对DPM系列的改进
  • DPM fast:我感觉没存在的必要,除非步数设置在40+,否则很难跑出能看的图
  • UniPC:新开发的采样器,收敛速度略慢于欧拉方法,但质量相当,推荐使用较高的步数

说明:

  1. -a:后缀带a的采样器为祖先采样器,区别在于它们会在每步中添加随机噪声,如果需要出更多元的图像,可以选择带a的采样器。如果在意可控性、稳定性、可重现的图像,就要避免选择带a的方法。所有的祖先采样器都是不收敛的,所以在相同参数和种子的情况下,生成的图片会有不同
  2. -karras:所有后缀带有karras的采样器是使用了karras噪声调度,使用karras噪声会产生更好的图片质量

建议:

  1. 想要快速、融合、新颖且质量不错的东西,最好的选择是DPM++ 2M karras、UniPC,搭配20-30步数
  2. 想要高质量、且不关心收敛性,推荐DPM++ SDE karras,搭配8-12步数;DDIM搭配10-15步数
  3. 简单图像,Euler,Heun是不错的选择,推荐设置步数在20-30之间

三、prompt提示词权重设置

a dog, a cat:越靠前的提示词,权重越高

  • 加权重方法——小括号():(a dog), a cat:一个小括号相当于权重乘1.1倍,两个小括号相当于乘1.1倍后再乘1.1倍,小括号越多权重越高
  • 去权重方法——中括号[]:[a dog], a cat:相当于除1.1倍,多个中括号以此类推

调整权重更方便的写法:(prompt1:数字),(prompt2:数字)——(a dog:0.5),(a cat:1.5)——0.5权重狗,1.5权重猫


四、prompt提示词六要素:

推荐两个提示词网站:
元素法典
Danbooru 标签超市

人物,画风,场景,环境,画质,视角
1、人物:

  • 性别:1 girl, 2 boys, loli, cat girl
  • 服饰:long sleeves, gloves coat, bangle, armband
  • 发型:long hair, bangs, black hair,
  • 五官:cat ears, small eyes, big mouth, blue eyes
  • 表情:smile, open mouth, tears, blush
  • 动作:standing, lying, head tilt, tying hair

2、画风

  • 插画风:illustration, painting, paintbrush
  • 二次元:anime, comic, game CG,
  • 写实系:photorealistic, realistic, photograph
  • 复古风:close-up,upper body, pov, retro artstyle
  • 手绘风:traditional media
  • 赛博朋克:cyberpunk,

3、场景

  • 室内室外:indoor outdoor
  • 大场景:forest city, street, field, garden, village
  • 小细节:tree, bush, flower, tower, fences

4、环境

  • 白天黑夜:day night
  • 时段:morning, sunset
  • 光线:sunlight, bright, dark
  • 天空:blue sky, starry sky, shooting star, full moon

5、画质

  • 正向高画质:highres, absurdres, official art, best quality, 8k,masterpiece, game cg, original
  • 负向低品质:lowres, parody, scan, parody, bad anatomy, bad hands, fewer digits, extra digit, missing arms, watermark, signature, text,

6、视角

  • 距离:close-up, distant
  • 人物比例:full body, upper body
  • 观察角度:from above, from below, view of back, form side
  • 镜头类型:wide shot, Sony A7 3, fish eye

### Stable Diffusion 模型架构和框架介绍 Stable Diffusion模型依赖于扩散概率模型这一数学框架来实现图像生成任务[^1]。这种模型通过逐步向输入数据添加噪声,再学习如何逆转这个过程从而去除噪声,最终能够从随机噪声中合成逼真的图像。 #### 扩散过程与逆扩散过程 在扩散过程中,初始的真实样本逐渐被高斯噪声淹没;而在逆扩散阶段,则是从纯噪声出发,经过一系列去噪步骤恢复成清晰的图像。此机制允许模型捕捉复杂的分布特性并有效地建模自然图像中的细微结构。 #### 训练流程概述 对于Stable Diffusion而言,在非常大的图像-文本配对的数据集上进行训练是至关重要的环节之一[^3]。在此期间,不仅需要精心准备高质量的数据源,还要考虑计算资源的有效利用以及超参数的选择等问题以达到最佳性能表现[^2]。 ```python import torch from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler model_id = "stabilityai/stable-diffusion-2" scheduler = EulerAncestralDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler") pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler, torch_dtype=torch.float16) pipe.to("cuda") prompt = "A photograph of an astronaut riding a horse" image = pipe(prompt).images[0] image.save("astronaut_rides_horse.png") ``` 上述代码展示了如何加载预训练好的Stable Diffusion管道,并使用它根据给定提示词生成一张图片。这里选择了特定版本(`stable-diffusion-2`)作为基础权重文件,并指定了调度器用于控制采样策略。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

月涌大江流丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值