keras简单使用bert

最新推荐文章于 2023-06-01 17:24:16 发布
最新推荐文章于 2023-06-01 17:24:16 发布
阅读量3.1k 收藏 17
点赞数 3
分类专栏： 自然语言处理 Python
【博客公式均自己亲自推导和撰写，请转载请注明出处，文章如有侵权、未引用出处等请及时联系[email protected] 或 留言评论】【很多已会但是会忘,写纯粹是为了多总结多向前看看和向后看看】
本文链接：https://blog.csdn.net/zhulinniao/article/details/109059385
版权

文章目录

之前一直使用tf来使用bert，看着keras简单，闲来无事，玩玩。并且总结一下。把各种模型和权重的关系梳理一下。

1 bert库

1.1 bert4keras

keras-bert的github
bert4keras的github
【特别注意】这里是在conda虚拟环境下操作的,请看Could not load dynamic library cudart64_100.dll

pip3 install tensorflow-gpu==1.15.0 keras==2.3.1 bert4keras==0.8.8 # keras_bert==0.86.0
# keras4bert要求keras为2.3.1
# pip3 install keras==2.4.3

1.2 标准测试数据集

为了测试，总结了一些数据集列表。

名称链接
中文文本分类数据集THUCNewshttps://pan.baidu.com/s/1OC2uMoVHAWtX4mfOv6urCg 提取码: qphu
bojone整理的情感二分类数据集https://github.com/bojone/bert4keras/tree/master/examples/datasets
SophonPlus整理的中文各种语料https://github.com/SophonPlus/ChineseNlpCorpus
CLUEbenchmark中文语言理解基准数据集https://github.com/CLUEbenchmark/CLUE

1.3 bert权重列表

这里参考bert4keras总结而来，按照组织划分，非常清楚，对各种自研训练出来的权重可以自行选择。

名称链接
Google原版berthttps://github.com/google-research/bert(一直往下看即可)
Google原版alberthttps://github.com/google-research/ALBERT
Google原版ELECTRAhttps://github.com/google-research/electra
Google原版T5模型https://github.com/google-research/text-to-text-transfer-transformer

brightmart版alberthttps://github.com/brightmart/albert_zh
brightmart版robertahttps://github.com/brightmart/roberta_zh 中文主页
brightmart版转换后的bojone版本alberthttps://github.com/bojone/albert_zh
bojone版本LaBSE[多国语言BERT]https://github.com/bojone/labse
bojone版本Chinese-GEN模型https://github.com/bojone/chinese-gen
追一科技训练的语言模型https://github.com/ZhuiyiTechnology/pretrained-models
GPT_OpenAIhttps://github.com/bojone/CDial-GPT-tf
GPT2_MLhttps://github.com/imcaspar/gpt2-ml

哈工大版robertahttps://github.com/ymcui/Chinese-BERT-wwm
哈工大版ELECTRAhttps://github.com/ymcui/Chinese-ELECTRA

华为的NEZHAhttps://github.com/huawei-noah/Pretrained-Language-Model/tree/master/NEZHA-TensorFlow
华为的NEZHA-GENhttps://github.com/huawei-noah/Pretrained-Language-Model/tree/master/NEZHA-Gen-TensorFlow

CLUE版ELECTRAhttps://github.com/CLUEbenchmark/ELECTRA

【注意】

  • 【1】Google官方发布的BERT-base, Chinese是以中文的字为粒度进行切分训练
  • 【2】Uncased指忽略大小写，在BERT训练时将语料全部小写化处理
  • 【3】bert在训练时，句首添加 [CLS]，句子对<A,B>A后面添加 [SEP] [MASK]用于遮罩
  • 【4】WWM指Whole Word Masking(全词掩盖,全词/整词Mask)，是BERT训练时语料预处理的一个trick,就是在做mask对字时如果是一个完整的词应该也顺带mask掉，比如想把苹果的果给mask，那么应该直接mask苹果
说明样例
原始文本使用语言模型来预测下一个词的probability。
分词文本使用 语言 模型 来 预测 下 一个 词 的 probability 。
原始Mask输入[CLS] 使 用 语 言 [MASK] 型 来 [MASK] 测 下 一 个 词 的 pro [MASK] ##lity 。 [SEP]
全词Mask输入[CLS] 使 用 语 言 [MASK] [MASK] 来 [MASK] [MASK] 下 一 个 词 的 [MASK] [MASK] [MASK] 。 [SEP]

2 keras版本

为了跑通相关的代码，协调keras、tensorflow1.15.0、tensorflow2.3.0、pytorch==1.6.0和cuda10.1，需要安装和配置好一些环境，请参考Could not load dynamic library cudart64_100.dll

如果需要将TensorFlow版本BERT各种权重转换为Pytorch，可使用https://huggingface.co/transformers/converting_tensorflow_models.html

2.1 下载各种权重

权重评价表现参考https://github.com/CLUEbenchmark/CLUE

名称链接
BERT-Base, Chinese来源 Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters
albert_small_google_zh(累积学习10亿个样本,google版本)来源 速度比bert_base快4倍；LCQMC测试集上比Bert下降仅0.9个点；去掉adam后模型大小18.5M；使用方法，见 #下游任务 Fine-tuning on Downstream Task
albert_tiny_google_zh(累积学习10亿个样本,google版本来源 模型大小16M、性能与albert_tiny_zh一致)
Google,albert Base Chinese来源
Google,albert Large Chinese来源
Google,albert XLarge Chinese来源
Google,albert XxLarge Chinese来源
RoBERTa-wwm-ext-large, Chinese来源 chinese_roberta_wwm_large_ext_L-24_H-1024_A-16 密码 u6gC
RoBERTa-wwm-ext, Chinese, Chinese来源 chinese_roberta_wwm_ext_L-12_H-768_A-12 密码 Xe1p

2.2 标准测试example

为做一个完整的总结，这里总结列一下各位优秀开源工作者提供的各种测试example code。

名称支持库链接
追一科技提供的各种bert样例代码kerashttps://github.com/ZhuiyiTechnology/pretrained-models/tree/master/examples README
bert4keras的examplekerashttps://github.com/bojone/bert4keras/tree/master/examples
CLUE中文语言理解测评基准exampletf1.12https://github.com/CLUEbenchmark/CLUE PyCLUE

以前只是浅浅看看paper，后面再一一分析各个模型内部代码，里面到底做了什么事情。

Reference

bert_in_keras
bert4keras

zhulinniao
关注
  • 3
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Python人工智能] 四十四.命名实体识别 (5)利用bert4keras构建Bert-CRF实体识别模型（实体位置）
杨秀璋的专栏
03-21 315
这篇文章将继续以中文语料为主，介绍融合Bert的实体识别研究，使用bert4keras和kears包来构建Bert+BiLSTM-CRF模型。然而，该代码最终结果有些问题，目前还在解决中，但现阶段方法先作为在线笔记分享出来。基础性文章，希望对您有帮助，如果存在错误或不足之处，还请海涵。且看且珍惜！
keras-bert:BERT的实现可以加载官方的预训练模型以进行特征提取和预测
04-13
凯拉斯·伯特 [| ] 实现。 可以加载官方的预训练模型以进行特征提取和预测。 安装 pip install keras-bert 用法 使用热身 下载预先训练的检查点 提取功能 外部链接 Kashgari是可用于文本标签和文本分类的生产就绪NLP转移学习框架 凯拉斯·阿尔伯特 加载官方预训练模型 在特征提取演示中，您应该能够获得与官方模型chinese_L-12_H-768_A-12相同的提取结果。 并且在预测演示中，可以预测句子中丢失的单词。 在TPU上运行 提取演示演示了如何转换为在TPU上运行的模型。 分类演示显示了如何将模型应用于简单的分类任务。 分词器 Tokenizer类用于拆分文本并生成索引： from keras_bert import Tokenizer token_dict = { '[CLS]' : 0 , '[SEP]' : 1
当Bert遇上Keras：这可能是Bert最简单的打开姿势
Paper weekly
06-20 8493
作者丨苏剑林研究方向丨NLP，神经网络个人主页丨kexue.fmBert 是什么，估计也不用笔者来诸多介绍了。虽然笔者不是很喜欢Bert，但不得不说，Bert 确实在 N...
Bert文本分类(基于keras-bert实现)
热门推荐
Asia-Lee
10-27 3万+
目录 一、Bert 预训练模型准备 二、Bert 模型文本分类 1、数据准备 2、代码实现 3、分类过程与结果 一、Bert 预训练模型准备 中文预训练模型下载 当Bert遇上Keras：这可能是Bert最简单的打开姿势 keras-bert 不同模型的性能对比如下（可根据自己的数据选择合适的模型，模型越大需要训练的时间越长） 模型 开发集 测试集...
基于Keras_bert模型的Bert使用与字词预测
qq_44951759的博客
07-26 2287
Keras_bert学习使用
Bert文本分类(基于keras-bert实现训练，保存，加载，预测单个文本）
人生百态361
04-10 9165
Bert 预训练模型准备 中文预训练模型下载 当Bert遇上Keras：这可能是Bert最简单的打开姿势 keras-bert Bert 模型文本分类 1、数据准备 在GitHub中有酒店评论的数据 训练集： 测试集： 2、代码实现 ''' 提示：受GPU性能的影响，只能运行基础版的bert预训练模型，若出现OOM 适当调整batch_size,maxlen...
用keras优雅的使用bert
格拉迪沃的博客
08-10 9609
用keras优雅的使用bert1.概述2.bert的文本分类3.bert做事件主体抽取 1.概述 如果一个比赛或者一个项目可以使用预训练模型，那么好了，bert预训练模型一定是你最好的选择。对于初入深度学习坑的朋友们直接上手tensorflow版的（fine tune）bert可能不太友好，keras会让你发现使用bert预训练模型就像搭乐高积木一样简单。本文主要介绍bert在文本分类和主体抽取中...
深度学习 - 53.Bert 简介与 Keras-Bert 常用示例
BITDDD小栈
06-01 1207
Bert 简介与 Keras-Bert 常用 Demo 展示。
NLP（三十五）使用keras-bert实现文本多分类任务
山阴少年
12-26 6162
  本文将会介绍如何使用keras-bert实现文本多分类任务，其中对BERT进行微调。 项目结构 其中依赖的Python第三方模块如下： pandas==0.23.4 Keras==2.3.1 keras_bert==0.83.0 numpy==1.16.4 数据集   本文采用的多分类数据集为sougou小分类数据集和THUCNews数据集，简介如下： sougou小分类数据集 共有5个类别，分别为体育、健康、军事、教育、汽车。划分为训练集和测试集，其中训练集每个分类800条样本，测试集每个分类
[深度学习] 自然语言处理--- 基于Keras Bert使用（上）
摩登都市天空---专栏
12-23 1万+
1. bert ---- keras keras_bert 是 CyberZHG 封装好了Keras版的Bert，可以直接调用官方发布的预训练权重。 github：https://github.com/CyberZHG/keras-bert 快速安装：pip install keras-bert bert4keras是封装好了Keras版的Bert，可以直接调用官方发布的预训...
win11 + tensorflow 1.14 + keras 2.3.1 + bert4keras 0.9.7
定期分享我的发现和想法，感谢你的陪伴和支持
02-22 5812
我选择的是第一个，其中37代表的是python3.7的版本，如果你的是python3.6及以下的版本，可以自己找对应的tensorflow版本。实验环境：win11 + tensorflow 1.14 + keras 2.3.1 + bert4keras 0.9.7。然后报错，pip下载的只有2以上的版本了，所以只能自己手动下载。然后下载tensorflow 1.14。然后输入命令安装，后接自己的文件路径。
人工智能-项目实践-文本分类-本项目采用Keras和Keras-bert实现文本多标签分类任务，对BERT进行微调。
05-25
人工智能-项目实践-文本分类-本项目采用Keras和Keras-bert实现文本多标签分类任务，对BERT进行微调。 本项目采用Keras和Keras-bert实现文本多标签分类任务。 数据集 2020语言与智能技术竞赛：事件抽取任务 本...
项目实战-Bert文本分类（keras-bert实现）源代码及数据集.zip
04-09
1、内容概要：本资源主要基于bert（keras）实现文本分类，适用于初学者学习文本分类使用。 2、数据集为电商真实商品评论数据，主要包括训练集data_train，测试集data_test ，经过预处理的训练集clean_data_train和...
bert4keras.zip
06-21
简洁优雅的实现和调用bert方式，十行代码
keras-bert-:使用Keras-bert实现二分类
05-11
post 利用Keras-bert 实现 tanh松波 酒店评论 文本分类 程序讲解在 CSDN 上
NLP（三十四）使用keras-bert实现序列标注任务
山阴少年
12-26 5877
  对于不同的NLP任务，使用BERT等预训练模型进行微调无疑是使用它们的最佳方式。在网上已经有不少的项目，或者使用TensorFlow，或者使用Keras，或者使用PyTorch对BERT进行微调。本系列文章将致力于应用keras-bert对BERT进行微调，完成基础的NLP任务，比如文本多分类、文本多标签分类以及序列标注等。   keras-bert是Python的第三方模块，它方便我们使用Keras来调用BERT，借助几行代码就可以轻松地完成模型构建，能依据不同的文本任务进行模型训练，获得不错的效果。
keras-bert学习入门
weixin_46359803的博客
08-02 896
keras-bert笔记
transformer t5代码解读4(主要内容bert4keras实现t5模型)
小姑仔的博客
11-24 2469
继续解读t5代码之中源码的内容回到t5的整体结构之中 回到t5的整体结构之中 回到t5模型的整体的结构之中 (0): T5LayerSelfAttention( (SelfAttention): T5Attention( (q): Linear(in_features=512, out_features=512, bias=False) (k): Linear(in_features=512, out_features=512,
keras bert crt bilstm
最新发布
12-03
在自然语言处理领域，可以使用Keras来构建一个集成了BERT模型的神经网络，其中可以包括BiLSTM模型作为BERT输出的后续处理器，同时结合CRT模型进行序列标注任务。这样的模型可以在文本分类、命名实体识别、情感分析等...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值