正式开始炼丹
文章平均质量分 72
记录深度学习炼丹过程中遇到的各种有趣事件
Black_And_Black
Just Do It
展开
-
微调(linear probing和 full finetune)技巧
Linear probing 和 full finetune 两种微调过程的区别原创 2022-10-27 14:40:40 · 1966 阅读 · 1 评论 -
BERT代码逐行逐句详解版(pytorch版本)
最近入门BERT,在网上观看了一些网课视频理解了原理,并且找到了pytorch版本的源码,经过一遍阅读有了初步的认知,所以在此记录,温故而知新。本文所解读的源码链接为:https://github.com/daiwk/BERT-pytorch/tree/master/bert_pytorch其整体代码框架如下(有些部分我也略有改动,但整体不影响):解读一个项目的代码,自然要从main开始,所以我们打开main.py(项目中是__main__.py)后看到首先是对一些路径参数的填写:.原创 2021-10-08 19:20:28 · 5413 阅读 · 6 评论