- 博客(10)
- 收藏
- 关注
RSS订阅原创 DIN相关经典文章
文章 url 备注 DIN 深度兴趣网络介绍以及源码浅析 https://blog.csdn.net/eric_1993/article/details/107882557 ...
2021-01-28 09:58:47
116
原创 搜索中一些工程问题
1、 倒排拉链如果很长如何处理（1）倒排拉链的长度是有限制的，这个长度限制是亿级别的，所以一般不会超出，如果真的超出就会截断（2）可能超出长度的是一些停用词，如果超出就会截断，并且停用词在建立倒排的时候，位置信息只建立一个，因为这些词一般无意义只是为了召回，如果位置信息太多，在后续计算proximity score的时候比较耗时，这些需要处理的词是挖掘好的词表2、如何提升索引检索的性能...
2019-09-24 17:37:53
532
转载 pagerank 算法
背景pageRank 是Google CEO 拉里佩奇提出的一种算法，来计算互联网里的网站的重要性，以对搜索进行排名。此处为啥算法叫pagerank，因为是以Google公司创办人拉里·佩奇（Larry Page）之姓来命名。所以为了出名，大家努力的，发明个算法，以自己名字来命名的。pagerank 基本思想数量假设：一个页面越被其他页面链接，说明他越重要（ps：难...
2019-08-08 10:39:26
507
转载 防止过拟合的方法
正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却不work。为了防止overfitting...
2019-08-06 20:21:46
270
转载 深度语义模型
导语在NLP领域，语义相似度的计算一直是个难题：搜索场景下Query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应用，希望给读者带来帮助。1. 背景以搜索引擎和搜索广告为例，最重要的也最难解决的问题是语义相似度，这里主要体现在两...
2019-08-01 16:18:27
4042
1
原创 链表算法
本文主要总结链表算法中常用技术点有序链表1、合并有序链表将两个有序链表合并为一个新的有序链表并返回，新链表是通过拼接给定的两个链表的所有节点组成的。见https://leetcode-cn.com/problems/merge-two-sorted-lists/该算法主要就步骤是：（1）确定链表头结点 第一种方法可以判断哪个链表头大或者小，选择其中一个座位...
2019-07-23 10:02:11
774
原创 机器学习中的过拟合问题
最近研究一下机器学习中的过拟合问题，看了很多大牛们的资料，写的都不错，我这里面主要是整理，开始正文。什么是过拟合过拟合（overfitting）是指在模型参数拟合过程中的问题，由于训练数据包含抽样误差，训练时，复杂的模型将抽样误差也考虑在内，将抽样误差也进行了很好的拟合。具体表现就是最终模型在训练集上效果好；在测试集上效果差。模型泛化能力弱过拟合产生的原因过拟合主要...
2018-12-25 16:41:53
627
1
转载 神经网络梯度消失和梯度爆炸及解决办法
梯度消失问题主要是由以下几个原因造成的：（1） BP算法；（2）激活函数梯度小；（3）神经网络层数多 BP算法是神经网络中应用最成功的的计算方法，前向计算数值，向后传播误差；在传播误差的时候会更新BP中的参数，更新是通过梯度进行传播的，如果在求解梯度的过程中，梯度值一直很小就会造成整个误差传播变小，一般损失函数的梯度都不小，但是激活函数的梯度会比较小（一般0-1之间，并且小于1比...
2018-12-24 14:29:20
4852
1
原创 损失函数梯度下降的关系
本人在阅读了很多资料后，发现很多博客都在介绍损失函数，梯度下降等方法，但是很多文章没有把二者的关系讲解清楚，本文试着阐述二者关系，希望对大家有帮助损失函数（Loss function）是用来估量你模型的预测值f(x)f(x)与真实值YY的不一致程度，它是一个非负实值函数，通常用L(Y,f(x))L(Y,f(x))来表示。损失函数越小，模型的鲁棒性就越好，常用的最小二乘法，大家可以参...
2018-12-17 20:32:27
7657
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人