【ai绘画】controlnet插件补图

本文介绍了如何利用ControlNet v1.1.237的局部重绘功能(inpaint)结合lama处理器进行AI作画的补图操作。通过选择缩放后填充空白模式,确保补图与原图紧密结合。对于图生图,这种方法能产生较好的效果。为减少违和感,建议使用同一模型并调整参数。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

controlnet版本v1.1.237,预处理器中文是局部重绘,英文inpaint,没有就是controlnet需要更新。

 选择inpaint_only+lama处理器,这个处理器相比inpaint_only少了一个用ps补空白图的过程,并且会给多出来的空白区域加重绘蒙版。

文生图和图生图都可用这个功能,个人认为图生图生成的效果好一点。以下是以图生图为例的流程:

首先要补的图片传入图生图区域,本图是428*1024;想要补成800*1024的图

图生图下方的缩放模式选择缩放后填充空白(填充),可以使得补出来的区域和原图关联紧密一些。

在controlnet插件处传入该图片

LLAMA(Language Model Applications in Alignment and Modeling Agreements)框架下,如果你想要使用`llama.cpp`文件来启动一个模型并指定使用GPU 2 GPU 3,通常这个过程会涉及到深度学习库(如PyTorchTensorFlow)的配置。具体步骤可能会因库的不同而有所差异,但一般包括以下几个步骤: 1. **环境设置**:确保你的系统已经安装了支持GPU计算的版本,比如CUDA相应的深度学习库(例如PyTorch 1.x TensorFlow 2.x)。 2. **选择适当库**:如果是在PyTorch中,可以创建一个运行脚本,通过`torch.cuda.set_device()`函数来指定设备。例如: ```python import torch torch.cuda.set_device(2) model = YourModelClass() # 你的模型类,假设它有一个cuda属性支持GPU训练 model.to('cuda') ``` 对于TensorFlow,你可以使用`tf.config.set_visible_devices()`来指定显卡: ```python import tensorflow as tf gpus = tf.config.experimental.list_physical_devices('GPU') if gpus: try: tf.config.experimental.set_visible_devices(gpus[2:], 'GPU') # 使用索引从0开始 logical_gpus = tf.config.experimental.list_logical_devices('GPU') print(len(gpus), "Physical GPUs,", len(logical_gpus), "Logical GPUs") except RuntimeError as e: # Visible devices must be set before GPUs have been initialized print(e) model = YourModelClass() # 你的模型实例,需要支持TPUGPU训练 strategy = tf.distribute.MirroredStrategy(devices=['/device:GPU:2']) # 其他设备地址 with strategy.scope(): model.compile(...) ``` 3. **模型配置**:在`llama.cpp`文件中,你需要将上述Python代码转换成相应语言的API调用,这取决于你使用的编程接口库的API文档。 4. **运行脚本**:最后,在`llama.cpp`中,通过调用包含GPU设置的程序者在适当的地方引入配置,然后执行模型加载训练。 请注意,实际操作中,你需要查看具体的LLAMA示例代码以及你所使用的工具的官方文档,因为代码细节可能因库的具体实现而有所不同。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值