模型预训练过程
文章平均质量分 61
唐僧爱吃唐僧肉
这个作者很懒,什么都没留下…
展开
-
预训练之后分数较低排查错误
达观杯预训练之后分数较低使用标准的tensorflow中的预训练过程进行比较最近在预训练完达观杯基于大规模预训练模型的风险事物标签识别的题目之后,发现分数较低,排查错误的过程整理为一篇对应论文。使用标准的tensorflow中的预训练过程进行比较这里我们首先使用tensorflow之中的微调过程进行比对,训练的结果如下Epoch 1/202021-09-19 16:34:15.721296: I tensorflow/stream_executor/cuda/cuda_blas.cc:1760]原创 2021-09-19 20:26:01 · 2015 阅读 · 0 评论 -
预训练之后微调出现的参数一致(总结:模型训练输出一致有模型的参数问题或者模型的结构问题)
预训练之后微调参数一致设想问题1,后面的padding出现问题今天训练之后发现了相应的问题,即预训练之后微调出现的参数一致。设想问题1,后面的padding出现问题inputs = {'input_ids': tensor([[ 2, 136, 4, 149, 149, 38, 171, 4, 2062, 3, 16, 23, 148, 4, 8249, 3], [ 2, 33, 3044, 130,原创 2021-09-11 21:45:07 · 561 阅读 · 1 评论 -
bert预训练过程
输入的input_ids以及labels的内容为input_ids = [2, 193, 194, 8982, 23, 4, 15, 1073, 3, 418, 43, 13, 319, 8981, 4622, 258, 4937, 4, 36, 864, 339, 1162, 3]labels = [-100, -100, -100, -100, -100, 453, -100, -100, -100, -100, -100, -100, -100, -100, -100, -100, -原创 2021-08-08 16:01:19 · 1295 阅读 · 0 评论