![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
gpt解读
文章平均质量分 63
唐僧爱吃唐僧肉
这个作者很懒,什么都没留下…
展开
-
为什么bert常用于采样和gpt常用于预测
今天在分析源代码的时候发现,bert常常用于采样的过程,而gpt常常用于预测的过程,对于这一机制可以通过bert和gpt的原理来进行理解。采样的过程是中间加入一个[MASK]标志,比如对于“科学是第一生产力”文本,将其中的学字用[MASK]标记出来,变成"科[MASK]是第一生产力",然后继续进行采样之后,下一步又变成"科技是第一生产力"。这与bert结构的特性有关,bert是使用的不带掩码的Transformer,所以遮盖之后再显示出来能够进行下一步的采样。而预测生成的过程是只看下一个汉字的内容,由当原创 2021-04-28 09:00:32 · 258 阅读 · 0 评论 -
排查程序错误The custom_gradient decorator currently supports keywords arguments only when eager execution
本篇文章记录了一次从源代码之中探寻程序报错的原因并修复程序相应bug的思路的过程今天发现了在使用tensorflow的框架之中具体的一个报错的内容:为了找寻错误发生的原因,我们顺着源代码一点一点地去找寻并解读相应的错误:首先我们顺藤摸瓜,查看最底层的调用错误内容这里我们查看相应的输出,发现这个位置的kwargs有具体的内容查看相应的函数内容如下:def _graph_mode_decorator(f, args, kwargs): """Implement custom gradient d原创 2021-04-24 17:52:41 · 407 阅读 · 0 评论 -
使用__setattr__()方法魔改python
setattr()在属性赋值时被调用,并且将值存储在实例字典中,这个字典应该是self的__dict__属性。即:在类实例的每个属性进行赋值时,都会首先调用哦__setattr__()方法,并在__setattr__()方法中将属性名和属性值添加到类实例的__dict__属性中。1、实例属性管理__dict__下面的测试代码中定义了三个实例属性,每个实例属性注册后都print()此时的__dict__class AnotherFun: def __init__(self): s转载 2021-04-07 09:51:34 · 697 阅读 · 0 评论 -
GPT模型与Transformer进行对比
gpt2与gpt的模型结构差别不大,但是采用了更大的数据集进行实验。gpt采用的训练方法分为两步,第一步利用没有标签的文本数据集训练语言模型,第二步是根据具体的下游任务,例如QA,文本分类等对模型进行微调。预训练:和传统的语言模型一样通过上文预测下一个单词例如给定一个句子[u1,u2,…un],GPT在预测单词ui的时候只会利用[u1,u2,…u(i-1)]的信息,而BERT会利用[u1,u2,…,u(i-1),u(i+1),…un]的信息模型效果:GPT因为采用了传统语言模型所以更加适合用于自然语转载 2021-04-06 19:53:20 · 5795 阅读 · 0 评论