Datawhale X 魔搭 AI夏令营 AIGC文生图方向 Task3笔记

最新推荐文章于 2024-09-24 09:40:31 发布
最新推荐文章于 2024-09-24 09:40:31 发布
阅读量156 收藏
点赞数 3
文章标签： 人工智能 AIGC 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zy19155090415/article/details/141269577
版权

part1：工具初探一ComfyUI应用场景探索

  1. 初识ComfyUI
  2. 20分钟速通安装ComfyUI
  3. 浅尝ComfyUI工作流
  4. 自我学习，快速提升

part2：Lora微调

1.Lora简介 

LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整，使其能够适应特定的任务或领域，同时保持良好的泛化能力和较低的资源消耗。这对于推动大规模预训练模型的实际应用至关重要。

 2.Lora详解

学习结果：

 

zy19155090415
关注
Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task01笔记
08-09
Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task01笔记
Datawhale X 魔搭 AI0夏令营 魔搭-AIGC文生图方向 Tsak 3 就要完成了
08-16
111
Datawhale X 魔搭 AI夏令营 AIGC文生图方向Task3笔记
Representative的博客
08-17 655
LoRA引入了两个矩阵A和B，如果参数W的原始矩阵的大小为d × d，则矩阵A和B的大小分别为d × r和r × d，其中r要小得多(通常小于100)。LoRA的最大的优点是，与微调相比，训练的参数更少，但是却能获得与微调基本相当的性能。ComfyUI-AnimateDiff-Evolved改进了ComfyUI 的AnimateDiff集成，以及可在 AnimateDiff 之外使用的被称为“进化采样”的高级采样选项。在完成这一部分内容的学习之后，本期夏令营的主要学习内容就大致完成了。
Datawhale X 魔搭 AI夏令营 - AIGC文生图方向Task3笔记
2301_79387683的博客
08-17 1290
翻译：“SCEPTER 是一个开源代码库，致力于生成式训练、微调与推理，涵盖了诸如图像生成、迁移、编辑等一系列下游任务。SCEPTER 整合了热门的社区驱动实现以及阿里巴巴集团通义实验室的专有方法，为 AIGC 领域的研究人员和从业者提供了一个全面的工具包。这个多功能的库旨在促进创新，并加速生成式模型这一快速发展领域的发展。GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。ComfyUI。
Datawhale X 魔搭 AI夏令营-AIGC文生图方向Task3笔记
Songyuhang0516的博客
08-16 1676
GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。ComfyUI是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术，ComfyUI 的特别之处在于它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。
Datawhale X 魔搭 AI夏令营 - AIGC文生图方向Task2笔记
2301_79387683的博客
08-14 1476
首先，我们来看下它的自我介绍。通义千问是具有信息查询、语言理解、文本创作等多能力的AI助手。我们可以看到，编程与技术支持能力是它的强项之一。接下来我们把场景聚焦到编程与技术支持这个方向，让他详细介绍下自己可以如何帮助大家编程。话剧场景结合AI内容，自己在AI结果上做一些调整，最终整理出来场景表格图片编号场景描述正向提示词反向提示词图片1女主正在上课古风，水墨画，一个黑色长发少女，坐在教室里，盯着黑板，深思，上半身，红色长裙丑陋，变形，嘈杂，模糊，低对比度图片2开始睡着了。
Datawhale X 魔搭 AI夏令营 - AIGC文生图方向Task1笔记
2301_79387683的博客
08-11 956
文生图主要以SD系列基础模型为主，以及在其基础上微调的lora模型和人物基础模型等。
Datawhale X 魔搭 AI夏令营 - AIGC文生图方向 task03笔记
yanghb17的博客
08-17 993
本文主要介绍AIGC中的Lora微调和ComfyUI工具。一、comfyUI是什么？俗话说：工欲善其事，必先利其器。ComfyUI是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术，ComfyUI 的特别之处在于它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。（后续在ComfyUI上进行微调）
Datawhale X 魔搭 AI夏令营-AIGC文生图方向Task2笔记
2201_75885536的博客
08-14 1413
pip install`命令安装了一系列Python包，包括`simple-aesthetics-predictor`、`data-juicer`、`peft`、`lightning`、`pandas`、`torchvision`以及`DiffSynth-Studio`。定义`CustomDataset`类，继承自`torch.utils.data.Dataset`，用于构建自定义数据集，实现`__init__`, `__len__`, 和 `__getitem__`方法。
Datawhale X 魔搭 AI夏令营-AIGC文生图方向Task1笔记
2201_75885536的博客
08-11 1238
点击个人云账号授权实例，复制UID，点击去授权，点击同意授权，粘贴复制的UID，点击确定。Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程。运行完成后，别忘了回到魔搭，【关闭】实例，否则会一直消耗你的试用额度！点击创建实例、起名，选择第二个【支持资源包折扣】，下一步，创建实例。如果试用的额度不可用，可使用魔搭的免费Notebook实例。使用微调后的模型，生成用户指定的prompt提示词的图片。使用Data-Juicer处理数据，整理训练数据文件。每小时消耗大概7个试用额度。
Datawhale X 魔搭 AI夏令营-AIGC文生图方向 task03笔记
ICaozei的博客
08-16 1254
LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整，使其能够适应特定的任务或领域，同时保持良好的泛化能力和较低的资源消耗。这对于推动大规模预训练模型的实际应用至关重要。
中国AIGC产业联盟_无界AI：中国AIGC文生图产业自皮书.pdf
07-02
- **定义与概念**：AIGC（Artificial Intelligence Generated Content），即人工智能生成内容，是一种利用人工智能技术自动生成文本、图片、视频等内容的技术。文生图作为AIGC的一个分支，特指将文字描述转化为图像...
2023中国AIGC文生图产业自皮书.pdf
08-02
2023中国AIGC文生图产业自皮书.pdf2023中国AIGC文生图产业自皮书.pdf2023中国AIGC文生图产业自皮书.pdf2023中国AIGC文生图产业自皮书.pdf2023中国AIGC文生图产业自皮书.pdf2023中国AIGC文生图产业自皮书.pdf2023中国...
中国AIGC文生图产业白皮书
09-11
中国AIGC文生图产业白皮书.
零售业的数字化转型与消费者体验升级
最新发布
weixin_58820787的博客
09-24 561
在数字化浪潮的推动下，零售业正经历着前所未有的变革。数字化转型不仅为零售商带来了新的商业模式和运营效率的提升，更重要的是，它极大地提升了消费者的购物体验。金智维将探讨零售业如何通过数字化转型，实现线上线下融合、智能推荐、个性化服务等方面的升级，以满足消费者日益增长的需求。
音频3A——初步了解音频3A
山河君的分享博客
09-23 1389
在日常的音视频通话过程中，说话的双端往往会面对比较复杂的场景，比如：环境存在较大的噪声，扬声器需要开启外放导致麦克风重新采集到，麦克风固定而人物需要走来走去等等的场景。而为了面对这些复杂的场景，音频通话不得不引入算法对于声音进行预处理，再进行发送给远端。而3A是对于音视预处理的三种算法的统称。AEC（Acoustic Echo Cancellation）：声学回声消除AGC (Automatic Gain Control)：自动增益控制。
【LLM论文日更】| 俄罗斯套娃嵌入模型
qq_59084968的博客
09-22 1054
适应性图像检索也达到了效率和精度的权衡，16维度做粗排，2048维度做精排的准确率已经和直接使用2048维度做排序的精度还高，但计算量大幅减小。：为了提高效率，MRL采用了权重绑定技术，即所有线性分类器的权重相同，从而减少内存成本。每个嵌入的前几个维度是一个信息丰富的低维向量，随着维度的增加，表示逐渐变得粗糙。本文将MRL/MRL-E模型与单独训练的低维表征（FF），SVD分解，子网络[2]方法进行了比较。16-32-64-128-256-2048 对前200-100-50-25-10个样本的。
UIKit-Camera
qq_43535469的博客
09-23 218
负责将AVCaptureDevice 转换为输入流，方便captureSession捕捉。
ai大模型之以文生图
03-14
"以文生图"是一个基于AI技术的文本生成模型，它可以根据输入的文本内容生成相应的图像。这个模型的核心思想是将文本转化为图像，通过学习文本与图像之间的关联，实现文本到图像的转换。 具体来说，"以文生图"模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值