【论文阅读】如何给模型加入先验知识

如何给模型加入先验知识

1. 基于pretain模型给模型加入先验

把预训练模型的参数导入模型中，这些预训练模型在另一个任务中已经p retrain好了模型的weight,往往具备了一些基本图片的能力

2. 基于输入给模型加入先验

比如说鸟类的头部是一个重要的区分部分，那么可以把模型设计的输入设计为两路输入，再把两路输入的信息融合，这样既关注了局部，又关注了整体

3. 基于模型重现给模型加入先验

尝试让模型自己发现先验知识

给鸟类的头部更多的attention

4. 基于CAM激活限制给模型加入先验

鸟出现的背景也是一个重要的参考

基于激活图，通过限制激活图的激活区域，加入目标先验

5. 基于辅助学习给模型加入先验知识

把任务分成主任务和辅助任务

总结

可以通过多种方式来选择加入自己的先验信息

给神经网络的黑盒子里加入一些认为设定的先验知识，这样往往能给task带来一定程度的提升

不过具体的task需要加入怎样的先验知识，需要如何加入先验知识还需要自己探索

https://mp.weixin.qq.com/s/r-eh7XXon96YFqSJ7xYEgw