基于 GPT2-Chinese 的商品文案自动生成

本文档介绍了如何基于GPT2-Chinese进行商品描述文案的生成。首先,详细讲述了安装环境、模型下载及测试的过程,包括在Ubuntu 20.04系统上配置CUDA 11.3,下载GPT2-Chinese代码并进行模型测试。随后,讨论了商品描述数据集的获取与转换,将淘宝数据集转化为项目所需的json格式。最后,详述了训练过程,包括小词典和大词典模型的训练,以及训练所用的时间和结果。
摘要由CSDN通过智能技术生成

一、安装 GPT2-Chinese

1. 系统与硬件

  • Ubuntu 20.04
  • CUDA 11.3
  • 显卡:GTX 3090
  • 内存:64GB

2. 下载项目代码

GPT2-Chinese 下载代码。

git clone https://github.com/Morizeyao/GPT2-Chinese
cd GPT2-Chinese

3. 配置环境

# 创建基础环境
conda create -n gpt python=3.8
conda activate gpt
# 安装项目依赖项
pip install -r requirements.txt
# 安装CUDA相关代码
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch

4. 下载模型

在该项目的模型分享页面下载感兴趣的模型,如“散文模型”,在项目根目录下创建models文件夹,将下载后的文件夹修改为 sanwen,将其放入models文件夹内。目录结构如下所示:
在这里插入图片描述

5. 模型测试

运行如下命令,进行测试:

python ./generate.py --length=500 --nsamples=1 --prefix='难道我就这样孤独一生' --tokenizer_path models/sanwen/vocab.txt    --model_path models/sanwen  --model_config models/sanwen/config.json --fast_pattern --save_samples --save_samples_path=./dist

其中,参数含义如下所示:

--length=500  # 文本长度
--nsamples=1  # 示例个数
--prefix='难道我就这样过我的一生'  <
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值