StoryDALL-E复现（基于预训练文本到图像Transformer的故事续编）

最新推荐文章于 2024-11-23 09:25:56 发布
最新推荐文章于 2024-11-23 09:25:56 发布
阅读量939 收藏 1
点赞数
分类专栏： 深度学习 内容生成 自然语言处理 文章标签： transformer 深度学习 人工智能 内容创作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhuxiaoyang2000/article/details/126907514
版权
本文档介绍了如何复现StoryDALL-E项目，涉及数据集下载、模型训练、环境配置等步骤。项目使用预训练的Text-to-Image Transformer进行故事续编，数据集包括pororo和flintstones，模型基于minDALL-E。训练环境需Ubuntu 22.04，CUDA 11.3，修复了train_t2i.py中的一些问题。
摘要由CSDN通过智能技术生成

一、项目概述

最近突然对基于AI的内容生成大感兴趣，会复现大量相关项目，看当前的研究现状。

1. 代码地址

StoryDALL-E: Adapting Pretrained Text-to-Image Transformers for Story Continuation

2. 数据集下载

这里有两个数据集已经开放，分别为 pororo 和 flintstones。其中 pororo 约为 15.1GB，flintstones 约为 5.3GB。
下载完成后，将其分别放入相应目录，并解压缩。

# 解压缩
unzip data.zip
# 重命名
mv data pororo

目录结构如下所示：

最低0.47元/天 解锁文章
cgnerds
关注
专栏目录
人工智能-图像分类-基于Swin-transformer训练图像分类并部署web端
07-27
由于Swin-transformer现在只支持训练ImageNet，导致用起来不方便，自己改了下代码，可用于训练自己的数据集 具体包含以下几个步骤： 1.加载预训练权重√ 2.图片数据集准备√ 3.训练√ 4.推理测试√ 5.新的数据...
基于Pytorch复现Point-Transformer，用于ShapeNet数据集点云分割
04-25
基于Point Transformers复现点云分割任务 ## 准备数据： 使用连接下载 **ShapeNet** 数据集 ## 训练： ```bash python train.py ``` ## 实验结果： | Models | Accuracy | cat.mIOU | ins.mIOU | | -------...
StoryVisualization系列（5）StoryDALLE：将预训练的T2I的Transformer适应于故事延续
believe__m的博客
11-02 25
StoryVisualization系列（5）StoryDALLE：将预训练的T2I的Transformer适应于故事延续
ECCV 2022｜文本图像分析领域再起波澜，波士顿大学联合MIT和谷歌提出全新多模态新闻数据集NewsStories
TechBeat人工智能社区博客
09-05 651
一种新的新闻视觉摘要场景
Openai神作Dalle2理论和代码复现
Allen_人工智能与大数据
08-16 1万+
Openai神作Dalle2理论和代码复现
基于win10复现swin-transformer图像分类源码
努力毕业的博客
06-18 9401
复现模型是一件痛苦的事，在win10上成功复现swin-transformer图像分类并训练自己的数据集不是梦！！！
BLIP2-图像文本预训练论文解读
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
02-26 1万+
BLIP-2，基于现有的图像编码器预训练模型，大规模语言模型进行预训练视觉语言模型；BLIP-2通过轻量级两阶段预训练模型Querying Transformer缩小模态之间gap，第一阶段从冻结图像编码器学习视觉语言表征，第二阶段基于冻结语言模型，进行视觉到语言生成学习；BLIP-2在各种视觉-语言模型达到SOTA。比如在zero-shot VQAv2上超越Flamingo80B 8.7%，也证明该模型可以根据自然语言指引进行zero-shot图像到文本生成；
【 LayoutLM】 LayoutLMv3---统一的文本和图像掩码来预训练文档 AI 的多模态 Transformer
h661975的博客
04-02 2689
从而缓解了这个问题。比较模型 #3 和模型 #2 的结果，MIM 目标有利于 CORD 和 RVL-CDIP。由于简单地使用线性图像嵌入改进了 FUNSD，因此 MIM 不会进一步对 FUNSD 做出贡献。通过在训练中结合 MIM 目标，在微调 PubLayNet 时损失会收敛，如图 4 所示，并且获得了理想的 mAP 分数。结果表明，MIM 可以帮助规范训练。因此，MIM 对于 PubLayNet 上的文档布局分析等视觉任务至关重要。
大模型应用解决方案：基于ChatGPT和GPT-4等Transformer架构的自然语言处理
热门推荐
努力是为了站在万人之中，成为别人的光
04-08 12万+
随着深度学习技术的发展，自然语言处理（NLP）领域取得了显著的进步。其中，基于Transformer架构的预训练模型，如ChatGPT和GPT-4，已经成为了解决各种NLP任务的主流方法。本文将介绍如何使用这些大模型来解决自然语言处理问题，并提供相应的代码示例。首先，我们需要安装一些必要的库，如PyTorch、Transformers等。我们可以使用Hugging Face提供的预训练模型和分词器。我们需要将文本数据转换为模型可以接受的格式。以上代码将输出与输入文本相关的回答。
文本生成图像工作简述1--概念介绍和技术梳理
白洞，白色的明天在等着我们
10-14 8107
文本到图像的 AI 模型仅根据简单的文字输入就可以生成图像。用户可以输入他们喜欢的任何文字提示——比如，“一只可爱的柯基犬住在一个用寿司做的房子里”——然后，人工智能就像施了魔法一样，会产生相应的图像。
多模态模型学习1——CLIP对比学习 语言-图像预训练模型
Bubbliiiing的学习小课堂
04-05 4万+
学了一些多模态的知识，CLIP算是其中最重要也是最通用的一环，一起来看一下吧。CLIP的全称是Contrastive Language-Image Pre-Training，中文是对比语言-图像预训练，是一个预训练模型，简称为CLIP。该模型是 OpenAI 在 2021 年发布的，最初用于匹配图像和文本的预训练神经网络模型，这个任务在多模态领域比较常见，可以用于文本图像检索，CLIP是近年来在多模态研究领域的经典之作。该模型大量的成对互联网数据进行预训练，在很多任务表现上达到了目前最佳表现（SOTA）
人工智能-Transformer-图像分类-基于Swin-transformer训练图像分类并部署web端
04-09
1.加载预训练权重√ 2.图片数据集准备√ 3.训练√ 4.推理测试√ 5.新的数据增强调优 6.部署在web端√ 服务器端部署：运行flask_demo， 客户端测试：运行client.py 也可以使用postman测试服务器端
3-2+CogView：文本到图像生成预训练.zip
03-18
《3-2+CogView：文本到图像生成预训练》 在当今的AI领域，文本到图像生成是一项极具挑战性的任务，它旨在通过理解输入文本的语义信息，创造出与之对应的真实或抽象图像。这项技术的应用广泛，涵盖插图创作、虚拟...
深度学习是什么？
H_P10的博客
11-20 363
一文介绍深度学习是什么？
PlncRNA-HDeep：使用基于两种编码风格的混合深度学习进行植物长非编码 RNA 预测
Int321的博客
11-20 437
长链非编码 RNA （lncRNAs） 在调控生物活动中起着重要作用，其预测对探索生物过程具有重要意义。长短期记忆 （LSTM） 和卷积神经网络 （CNN） 可以自动从编码的 RNA 序列中提取和学习抽象信息，以避免复杂的特征工程。集成模型从多个角度学习信息，并显示出比单个模型更好的性能。将 RNA 序列分别视为句子和图像来训练 LSTM 和 CNN，然后将训练好的模型杂交以预测 lncRNAs，这是可行且有趣的。到目前为止，lncRNAs 有多种预测因子，但很少有预测因子被提议用于植物。
卷积神经网络CNN
m0_67761835的博客
11-20 803
以上就是卷积神经网络的相关知识。卷积神经网络（CNN）详细介绍及其原理详解-CSDN博客11。
Python + 深度学习从 0 到 1（00 / 99）
哒哒哒哒 哒哒
11-22 431
⭐ 什么是深度学习？ 人工智能、机器学习与深度学习的关系 💜 图解深度学习的工作原理 💜
深度学习：神经网络中线性层的使用
m0_73640344的博客
11-20 547
在神经网络中，线性层（也称为全连接层或密集层）是基础组件之一，用于执行输入数据的线性变换。通过这种变换，线性层可以重新组合输入数据的特征，并将其映射到新的表示空间，这是实现复杂模式识别和学习的关键步骤。
【Python · PyTorch】循环神经网络 RNN（基础概念）
最新发布
茶色喵的博客
11-23 846
本文介绍经典循环神经网络的基础概念，为博主自用笔记提纲。
transformer算法复现与预训练模型运行教程
预训练模型的一个著名例子就是BERT（Bidirectional Encoder Representations from Transformers），它是基于Transformer的预训练模型，通过双向编码器表示，在多种NLP任务中取得了突破性的效果。 知识点五：机器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值