- 博客(3)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 [LLM] 自然语言处理 --- 从BERT, XLNet, RoBERTa, ERNIE2到ALBERT2
谷歌Lab发布了一个新的预训练模型"ALBERT"全面在SQuAD 2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！ALBERT是一种轻量版本的BERT，利用更好的参数来训练模型，但是效果却反而得到了很大提升！ALBERT的核心思想是采用了两种减少模型参数的方法，比BERT占用的内存空间小很多，同时极大提升了训练速度，更重要的是效果上也有很大的提升！...
2020-01-11 10:13:47
4289
1
原创 [LLM] 自然语言处理 --- ALBERT 介绍
一、简介随着Transfomer结构的普及，一时间大语料、大参数量的预训练模型成为主流。当在实际部署BERT等模型时，往往需要使用蒸馏、压缩或其他优化技术对模型进行处理。ALBERT模型来自论文 Google 最近公布的论文 《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》从名字就可...
2020-01-06 18:28:22
7350
1
原创 [LLM] 自然语言处理 --- Bert开发实战 (Transformers）
本文主要介绍如果使用huggingface的transformers 2.0 进行NLP的模型训练除了transformers，其它兼容tf2.0的bert项目还有：我的博客里有介绍使用方法 [深度学习] 自然语言处理--- 基于Keras Bert使用（上）keras-bert（Star:1.4k） 支持tf2，但它只支持bert一种预训练模型 bert4keras （Sta...
2020-01-06 17:14:24
16731
10
distributed-deep-learning-with-horovod.pdf
2020-06-29
Neural Networks and Deep Learning - 神经网络与深度学习 中英双版本
2017-12-13
数据结构的大量程序 相关面试题的源代码！
2009-12-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人