![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kaggle比赛感悟
文章平均质量分 80
唐僧爱吃唐僧肉
这个作者很懒,什么都没留下…
展开
-
NBME比赛总结
NBME比赛总结1.label偏离2. loss出现bug3.pn_history文本加上feature_text特征文本训练4.deberta-v3 切词调用5.BCEWithLogitLoss损失函数的使用6.后期数值概率一样,猜想可能由于batch_size较小导致最近参加了一个NBME的相关比赛NBME相关比赛比赛目前还在进行之中,目前在参加比赛之中踩了一些坑,这里中途作一下小小的总结。首先总结一下题目的含义:题目的意思是给出病人的一段描述文本以及编号pn_num和case_num内容,p原创 2022-05-04 09:36:49 · 757 阅读 · 0 评论 -
Evaluating Student Writing
最近参加了一个ner序列标注比赛Evaluating Student Writing,感觉自己已经很难上分了,也学到了一些知识,在这里做个总结比赛的大意是对于一波学生的文章进行序列标注,标注的标签有Claim,Evidence,Lead几种标签,对于一篇文章中的预测示例如下:id,class,predictionstring1,Claim,1 21,Claim,6 7 8这里predictionstring的结果是以空格切分出来的单词,比如I love you中I就是1,love就是2,这里值得原创 2022-03-02 12:59:40 · 1132 阅读 · 0 评论 -
kaggle Jigsaw Rate有毒评论打分比赛内容总结
游戏本ubuntu21.04装机配置pytorch环境大全maxlen调参深度学习不同的损失函数机器学习方法与深度学习方法线上线下分数不一致最近参加了kaggle上面一个有攻击性言语评论打分的比赛,也学到了很多的内容,这里小小的总结一下比赛链接maxlen调参这里刚开始跑代码的时候我出现了一个错误,就是把字符串的maxlen当成最终的maxlen,实际上的maxlen应该为切分词之后的maxlen,而用roberta切词之后大部分的maxlen都能够限定在一定的范围之内(官方的roberta最大le原创 2022-02-27 21:50:33 · 1376 阅读 · 0 评论 -
bert层次位置编码
今天学习了bert之中的层次位置编码,感觉可以很好地用到maxlen超出512的部分苏神的层次位置编码公式qi∗n+j=αui+(1−α)ujq_{i*n+j} = \alpha u_{i}+(1-\alpha)u_{j}qi∗n+j=αui+(1−α)uj这里的初始alpha最好设定为0.4,也就是说0~511的位置编码不变,从第512的时候,对应的坐标为(1,0),计算公式为512/512 = 1,512%512 = 0,接下来计算公式q512=0.4∗u1+0.6∗u0q_{512} =转载 2021-12-20 16:22:02 · 1237 阅读 · 0 评论 -
深度学习模型训练完之后预测的数据差不多(模型预测输出数据一样)(训练结果一样)
模型训练之后预测的数据内容差不多,第一种可能性是你模型有问题,这种先不谈第二种可能性是某一种数据的分布过多造成数据分布不均匀,比如你的数据集之中特别多的类别0,1,2,3,此时如果数据集中某一类别数量特别多,比如类别0特别多,这种分布不均匀的现象就有可能导致最后预测出来的结果都差不多。...原创 2021-12-14 15:08:04 · 12976 阅读 · 4 评论 -
房产聊天问答匹配高分方案学习1
高分方案上高分方案代码解析Post training(预训练的后操作)进行point-post-training-wwm-sop.py和pair-post-training-wwm-sop.py的训练1.分析point-post-training-wwm-sop.py文件next_sentence_prediction structmlm structPost training(预训练的后操作)首先需要提取出一个新的词表这里面提取词表采用的是最小熵原理具体的操作步骤可以参考苏神的博客最小熵原理转载 2021-11-23 16:18:59 · 322 阅读 · 0 评论 -
文本相似度分类方案研究
原文链接方案讲解(1) cross-encoder类:对一组句对进行编码,编码过程中可以进行句内及句间的信息交互。![cross-encoder](https://img-blog.csdnimg.cn/760541c41ef043f3880f78d95b6a60f0.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5ZSQ5YOn54ix5ZCD5ZSQ5YOn6IKJ,size_转载 2021-11-21 09:27:28 · 748 阅读 · 0 评论 -
剧本角色情感分析赛后总结
datafountain剧本角色情感分析赛后总结模型的搭建整数与浮点数提交之争上下文的选择以及主语的加入验证集和测试集的划分问题多折模型训练及模型融合的方法融合提升的要点预训练操作对抗训练种子的固定修改代码的注意事项增强数据更换主语一些可能有效没时间尝试的方法以及一些在我们的体系下没有用但是在别人的体系下可能有用的方法参考大佬的解题策略,总结一下自己没想到的解题步骤本赛题应该的正确路线总结原创 2021-11-20 13:46:15 · 1823 阅读 · 1 评论 -
训练过程不可复现原因解决
今天在打比赛的过程中,发现代码不能够复现是一个很头痛的问题,相同的代码在同样的电脑上跑两次结果不一样,查阅资料之后发现,可以通过如下的方式解决:torch.manual_seed(seed)torch.cuda.manual_seed(seed)torch.cuda.manual_seed_all(seed) # if you are using multi-GPU.np.random.seed(seed) # Numpy module.random.seed(seed) # Python原创 2021-10-06 17:40:36 · 1871 阅读 · 0 评论