使用BERT获取中文词向量

最新推荐文章于 2024-05-01 18:50:12 发布
最新推荐文章于 2024-05-01 18:50:12 发布
阅读量4.5w 收藏 141
点赞数 17
分类专栏： 自然语言处理 文章标签： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhylhy520/article/details/87615772
版权

BERT其中的一个重要作用是可以生成词向量，它可以解决word2vec中无法解决的一词多义问题。

然而BERT获取词向量的门槛要比word2vec要高得多。笔者在这里介绍一下如何获取BERT的词向量。

笔者在获取BERT词向量的时候用到了肖涵博士的bert-as-service，具体使用方式如下。

  1. 环境要求：python版本>=3.5,tensorflow版本>=1.10（笔者使用的是1.12）
  2. 相关包的安装：pip install  bert-serving-server; pip install bert-serving-client
  3. 下载训练好的BERT中文模型：https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip
  4. 启动bert-as-service :在cmd窗口进入bert-serving-start.exe所在的文件夹，在该文件路径下输入bert-serving-start  -model_dir E:/chinese_L-12_H-768_A-12 -num_worker=2（训练好的中文模型路径，num_worker的数量可以自行选择），如果成功开启则出现以下界面

最低0.47元/天 解锁文章
酸辣螺丝粉
关注
  • 17
    点赞
  • 踩
  • 141
    收藏
    觉得还不错? 一键收藏
  • 61
    评论
专栏目录
用Bert生成中文的字、词向量-附件资源
03-02
用Bert生成中文的字、词向量-附件资源
bert提取词向量比较两文本相似度
木下瞳的博客
01-29 1486
使用 bert-base-chinese 预训练模型做词嵌入（文本转向量）embedding[:, 1:-1, :] 这一行的意是以下，数据类型张量。下面这段代码是一个传入句子转为词向量的函数。
使用bert将中文文本转化成词向量的方法
旧时佑忆的空间
03-21 3万+
方法一： https://github.com/hanxiao/bert-as-service详情参考该github 使用肖涵博士的bert-as-service，这里笔者使用的为python3.5，tensorflow1.13版本，同时还需要pip安装如下几个包， pip install bert-serving-server pip installbert-serving-cli...
NLP（11）--词向量
最新发布
njh1147394013的博客
05-01 583
词向量的发展 优劣
BERT中的词向量指南，非常的全面，非常的干货
热门推荐
AI公园
08-20 7万+
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Chris McCormick编译：ronghuaiyang导读在本文中，我将深入研究谷歌的BERT生成的...
Bert中文提取词向量（GPU）
jufengada9的博客
05-15 5890
环境 Ubuntu 16.04 Python 3.6 TensorFlow >= 1.10 安装 1.下载预训练BERT中文词向量模型 下载下面列出的模型，然后将zip文件解压到要运行的文件夹中 下载链接：https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip 2.安...
Bert 得到中文词向量
每天都要进步的博客
12-29 4398
通过bert模型得到中文词向量
bert获得词向量_BERT烹饪之法：fintune 的艺术
weixin_39586649的博客
11-20 853
大数据文摘授权转载自安迪的写作间作者：ANDYBERT 预训练模型就如宰好待烹的猪，则 finetune 便是烹饪之法，猪头能用来做成香糯浓醇的烧猪头肉，猪蹄能用来做成劲道十足的红烧猪蹄，身上的梅花肉，五花肉，里脊肉也各有各的做法。于是对于 Bert finetune，也就有各种料理之法。序言自去年 BERT 论文发出，正巧半年，不光各大榜单上尽是 BERT 之名，最近公布 NAACL ...
人工智能bert模型详解
03-05
在SBERT模型中，句子embedding的计算方式如下：首先，对输入的两个句子使用BERT模型生成句子向量u和v，然后计算两个向量的绝对值|u-v|，最后，将三个向量在-1维度进行拼接，得到的向量的维度为3*d，d表示隐层维度。...
改进BERT的中文评论情感分类模型.docx
06-24
改进BERT的中文评论情感分类模型 知识点1：自然语言处理 自然语言处理是人工智能领域中一个重要的分支，涉及到计算机处理和分析自然语言的能力。情感分类是自然语言处理任务中的一个子任务，旨在对带有情感色彩的...
基于BERT+BiLSTM+CRF的中文景点命名实体识别
05-06
首先使用BERT语言模型进行文本特征提取获取字粒度向量矩阵, BiLSTM用于上下文信息的提取, 同时结合CRF模型提取全局最优序列, 最终得到景点命名实体. 实验表明, 提出的模型性能提升显著, 在实际旅游领域内景点识别的...
采用BERT-BiLSTM-CRF模型的中文位置语义解析.docx
06-24
5. 基于 BERT-BiLSTM-CRF 模型的中文位置语义解析算法可以将中文位置信息转化为特征向量，并通过 BiLSTM 模型提取向量特征信息，最后通过 CRF 模型的转移概率矩阵得到全局得分最高的标注序列作为最终结果。...
基于tensorflow2.0+使用bert获取中文词、句向量并进行相似度分析
weixin_43730035的博客
07-16 3978
本文基于库，调用bert模型，对中文、英文的稠密向量进行探究开始之前还是要说下废话，主要是想吐槽下，为啥写这个东西呢？因为我找了很多文章要么不是不清晰，要么就是基于pytorch，所以特地写了这篇基于tensorflow2.0+的。............
使用pytorch获取bert词向量
海蓝时见鲸
07-19 1万+
首先安装pytorch-pretrained-bert包： pip install pytorch-pretrained-bert 然后加载预训练模型 from pytorch_pretrained_bert import BertTokenizer, BertModel, BertForMaskedLM # Load pretrained model/tokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
使用transformers框架导入bert模型提取中文词向量
weixin_42280271的博客
12-16 2054
在笔者的上一篇文章中提到了如何将词语转变成计算机能够识别的语言，即将文本数据转换成计算机能够运算的数字或者向量这个概念，并详细阐述了word2vec这个模型的原理，如何在gensim框架下使用word2vec将单词转变成一个能够表达单词特征的向量。但是在gensim框架下使用word2vec模型提取特征向量之前，需要准备一些场景中的语料，同事也需要对语料进行分词操作，然后再输入到模型中进行训练，最后才可以用训练好的模型进行特征提取。
使用bert进行中文文本分类
julac的博客
12-07 3285
使用bert进行中文文本分类
文本向量—使用bert预训练模型获取中文的词向量
qq_45301231的博客
04-25 3747
使用了肖涵博士的bert-as-service，详情请参考https://github.com/hanxiao/bert-as-service 1、使用的环境python=3.6，tensorflow=1.13.2，tensorflow版本不能太高，2.x不支持bert-as-service。 安装需要的包： pip install bert-serving-server pip install bert-serving-client 2、同时还需要下载训练好的Bert中文模型：https://stor
from transformers import BertTokenizer, BertModel import torch from sklearn.metrics.pairwise import cosine_similarity # 加载BERT模型和分词器 tokenizer = BertTokenizer.from_pretrained('bert-base-chinese') model = BertModel.from_pretrained('bert-base-chinese') # 种子词列表 seed_words = ['个人信息', '隐私', '泄露', '安全'] # 加载微博用户文本语料（假设存储在weibo1.txt文件中） with open('output/weibo1.txt', 'r', encoding='utf-8') as f: corpus = f.readlines() # 预处理文本语料，获取每个中文词汇的词向量 corpus_vectors = [] for text in corpus: # 使用BERT分词器将文本分成词汇 tokens = tokenizer.tokenize(text) # 将词汇转换为对应的id input_ids = tokenizer.convert_tokens_to_ids(tokens) # 将id序列转换为PyTorch张量 input_ids = torch.tensor(input_ids).unsqueeze(0) # 使用BERT模型计算词向量 with torch.no_grad(): outputs = model(input_ids) last_hidden_state = outputs[0][:, 1:-1, :] avg_pooling = torch.mean(last_hidden_state, dim=1) corpus_vectors.append(avg_pooling.numpy()) # 计算每个中文词汇与种子词的余弦相似度 similarity_threshold = 0.8 privacy_words = set() for seed_word in seed_words: # 将种子词转换为对应的id seed_word_ids = tokenizer.convert_tokens_to_ids(tokenizer.tokenize(seed_word)) # 将id序列转换为PyTorch张量，并增加batch size维度 seed_word_ids = torch.tensor(seed_word_ids).unsqueeze(0) # 使用BERT模型计算种子词的词向量 with torch.no_grad(): outputs = model(seed_word_ids) last_hidden_state = outputs[0][:, 1:-1, :] avg_pooling = torch.mean(last_hidden_state, dim=1) seed_word_vector = avg_pooling.numpy() # 计算每个中文词汇与种子词的余弦相似度 for i, vector in enumerate(corpus_vectors): sim = cosine_similarity([seed_word_vector], [vector])[0][0] if sim >= similarity_threshold: privacy_words.add(corpus[i]) print(privacy_words) 上述代码运行后报错了，报错信息：ValueError: Found array with dim 3. check_pairwise_arrays expected <= 2. 怎么修改？
05-31
# 预处理文本语料，获取每个中文词汇的词向量 corpus_vectors = [] for text in corpus: # 使用BERT分词器将文本分成词汇 tokens = tokenizer.tokenize(text) # 将词汇转换为对应的id input_ids = tokenizer....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 61
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值