【FLUX教程】Flux官方重绘+扩图+风格参考+ControlNet,要一统江湖?(附工作流)

原本就很强的Flux,日前公布了一批官方工具,涵盖常用的绘图功能,使其媲美(甚至超过)闭源工具。

首先你需要已在ComfyUI中安装最新版本的Flux,

下面逐项列出在ComfyUI中使用的方法和模型/工作流的下载路径。


一、Flux重绘(Fill Inpainting)

需要下载flux1-fill-dev.safetensors这个模型:

将下载的模型放在ComfyUI/models/diffusion_models/文件夹下。

下载Flux重绘工作流:

解压后,将扩展名为json的文件拖到ComfyUI界面,就得到下面的工作流:

用这张图进行测试:

在ComfyUI的Load Image窗口中,右键点击图像,选择“Open in MaskEditor”,然后在要修改的部分涂抹:

完成后点击“Save to node”保存:

之后填写关键词,把人物换成金发碧眼的泳装女郎,开始生成:

再比如把这个女生拿的大刀,重绘成大锤:

或是在天空添加一艘飞船:


**
二、Flux扩图(Fill Outpainting)**

用到的模型和上面一样,也是flux1-fill-dev.safetensors。工作流从这里下载:
https://education.civitai.com/wp-content/uploads/2024/08/Flux-Fill-Basic-Workflow-Outpaint.zip

操作和重绘差不多,唯一需要注意的是“Pad Image for Outpainting”窗口,这里控制扩图范围,比如下图是左边扩展400像素,右边扩展400像素:

官方扩图工具的效果相当好,下面看几个测试结果:

将背景的沙滩延伸

扩展后汽车内部装饰基本符合逻辑

二次元扩图表现也不错

真人电影剧照,加入提示词“后方摆放摩托车”

提示词中加入“床上坐着穿西装的男人”,难辨真伪


**
三、Flux风格参考(Redux)**

下载sigclip_vision_patch14_384.safetensors模型:

![](https://i-blog.csdnimg.cn/img_convert/44e323fc9821e594475e64550c78b695.jpeg)

将该模型放在ComfyUI/models/clip_vision/文件夹。

下载flux1-redux-dev.safetensors模型:

![](https://i-blog.csdnimg.cn/img_convert/3c6b9b41695189bc7323a9b6b84e92c7.jpeg)

将该模型放在ComfyUI/models/style_models/文件夹。

下载Flux风格参考工作流:
https://education.civitai.com/wp-content/uploads/2024/08/Flux-Redux-Basic-Workflow.zip

风格参考主要作用是在当前图像基础上,生成相似的变体,比如下面的例子:

另外,风格参考还可以同时引入多幅图像。

多图工作流下载页面:

多图可以产生一些有趣的效果,比如让女孩背上大刀:

让两个角色的特征产生融合:

真人变成二次元,放在动漫背景里:


**
四、Flux ControlNet**

ControlNet是AI绘画不可缺少的模型,这次Flux推出了自有版本,包括Canny(边缘检测)和Depth(深度控制)。

Canny下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev/tree/main

Canny LoRA下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev-lora/tree/main

Depth下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev/tree/main

Depth LoRA下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev-lora/tree/main

注意,LoRA版本是从完整版中提取,容量更小,效率更高,效果需要自行对比体会。

Canny工作流:
https://education.civitai.com/wp-content/uploads/2024/08/Flux-Canny-Basic-Workflow.zip

Depth工作流:
https://education.civitai.com/wp-content/uploads/2024/08/Flux-Depth-Basic-Workflow.zip

简单看一下效果,Canny可以较好的保留原图的整体结构,并做出修改:

Depth则更适合用来控制图像中的景深效果:


总的来看,Flux这批官方工具包的效果出色,如果你是AIGC爱好者,必不可错过!

文章涉及的网址:

Flux工具官方网站:
https://blackforestlabs.ai/#get-flux

ComfyUI代码页面:

* * *

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
### 配置与使用多个ControlNet进行工作流处理 在FLUX模型中支持多种类型的ControlNet模块,这些模块可以被组合起来用于增强像生成的效果。当涉及到配置并使用多个ControlNet时,主要通过定义不同ControlNet的功能角色来完成特定的任务需求。 对于想要利用`Flux ControlNet Depth`以及其他类型的ControlNets构建一个多ControlNet工作流来说,可以通过设置参数指定各个ControlNet的作用范围及其权[^2]。具体操作如下: #### 定义多ControlNet架构 首先,在初始化阶段就要明确哪些ControlNet会被加载到网络结构之中。这通常是在创建实例的时候完成的,比如下面这段Python代码展示了如何同时引入两个不同的ControlNet——一个是负责深度感知(`Depth`),另一个可能是边缘检测(`Canny Edge Detection`)。 ```python from flux_model import FluxModel, ControlNetWrapper depth_controlnet = ControlNetWrapper('controlnet_depth') edge_detection_controlnet = ControlNetWrapper('controlnet_canny') model = FluxModel(control_nets=[depth_controlnet, edge_detection_controlnet]) ``` 这里假设`FluxModel`类接受一个名为`control_nets`的列表作为输入之一,该列表包含了所有要使用的ControlNet对象。 #### 调整各ControlNet的影响程度 接着就是调整每一个ControlNet在整个合成过程中的影响力大小。这种调节通常是通过对每个ControlNet分配相应的比例因子实现的;也就是说,可以让某些ControlNet对最终输出有更大的贡献度而让其他的相对次要一些。这部分逻辑可能体现在训练过程中动态改变或是静态设定好固定的比例关系。 ```python # 假设set_weight方法用来给定某个ControlNet要性系数 depth_controlnet.set_weight(0.7) # 更视深度信息 edge_detection_controlnet.set_weight(0.3) # 边缘特征辅助作用 ``` 上述例子表明了给予深度控制网更高的优先级(即更大影响),而在一定程度上也保留了一些来自边缘检测的信息以帮助改善细节表现。 #### 执行带有多个ControlNet工作流 最后一步则是执行这个已经配置好的含有多个ControlNet工作流。一旦所有的准备工作都完成了之后,只需要调用相应的方法即可启动整个流程,并获得预期的结果片或其他形式的数据输出。 ```python output_image = model.process(input_image) ``` 综上所述,就是在FLUX框架内实现多ControlNet协同工作的基本方式[^1]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值