为小白创作的第一个bert模型的微调过程

作为一个nlp小白,我在入门的过程之中,遇到了很多的困难和障碍,比如刚开始不知道在哪下载预训练模型文件,不知道到哪去阅读bert模型的源代码,经历了学习之后,如今我已经算是简单的入门了。为了帮助新手更好地入门bert模型,我自己写了一个bert模型的简洁的源代码,方便新手学习
bert分为预训练和微调过程,这里我们只学习微调过程
为了简化操作,只需要进行如下的过程
安装tensorflow==2.x版本之后
安装库的指令

pip install bertforyou==1.1.9

接下来运行下面的对应代码(不需要任何操作,装完库之后直接运行即可)

import models
from models import Bert
from models import Embeddings
import tensorflow.keras as keras
max_seq_len = 48
bertmodel = Bert(maxlen=max_seq_len,batch_size=batch_size)
input_ids      = keras.layers.Input(shape=(max_seq_len,), dtype='int32', name="input_ids")
output = bertmodel(input_ids)
print('output = ')
print(output)

整个模型就被初始化了一遍,源代码的地址
bert项目源代码的地址
源码之中附有详细的文档说明内容
最后,各位看官如果觉得对您有帮助,麻烦在github项目之中点个小星星,谢谢!!!

  • 4
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值