优化模型时间
唐僧爱吃唐僧肉
这个作者很懒,什么都没留下…
展开
-
t5模型为什么可以通过传入past_key和past_value值来进行优化模型
t5模型是常用于文本生成部分的一个模型,也是目前我看到的各个nlp模型之中,唯一完整地使用transformer的所有完整结构(encoder部分加上decoder部分)的一个模型,接下来聊一下t5模型的生成优化过程。优化的部分首先对于生成这一块,最慢的速度在于推断而不在于训练,所以t5模型的优化部分在推断内容部分进行优化,推断部分使用的是transformer中的decoder结构,这里我们先看一下t5的decoder主要构成,我将它的结构图简化如下: Deco原创 2022-05-22 21:14:43 · 1398 阅读 · 0 评论 -
python内存溢出机制
之前跑程序的时候,遇到了机箱的红灯一直亮着并且机器卡死的情况,通过排查ubuntu系统之中的系统监视器以及任务管理器之中的显存,排查的结果发现由于内存的不断增长导致机器出现卡死的问题,另外如果出现问题的前面代码运行时间过长导致排查程序的速度过慢,可以考虑优化前面部分的代码,减少前面部分代码的运行时间,从而能够尽快的发现问题。...原创 2021-08-15 17:14:30 · 886 阅读 · 0 评论 -
python中的gc机制
python的del不同于c的free和c++的delete由于python都是引用,而python有GC机制,所以del语句作用在变量上,而不是数据对象上。if __name__=='__main__': a=1 # 对象 1 被 变量a引用,对象1的引用计数器为1 b=a # 对象1 被变量b引用,对象1的引用计数器加1 c=a #1对象1 被变量c引用,对象1的引用计数器加1 del a #删除变量a,解除a对1的引用原创 2021-08-13 17:01:05 · 609 阅读 · 0 评论 -
多线程tqdm进度条显示
首先确保安装了对应的tqdmpython库pip install tqdm对应的p_tqdm教学链接如下:from p_tqdm import p_mapdef add(a,b): return a+badded = p_map(add,['1','2','3'],['a','b','c'])这里的add函数对于数组之中的每一个数值进行操作,此时放入两个对应的数组时可以进行并行操作从中可以看出如果有多个输出内容的话,会以一种dict字典的形式返回出来,此时如果需要多个数组接收的话完整代原创 2021-08-13 11:16:09 · 3937 阅读 · 0 评论