- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 A Roadmap to Good Research
听加拿大多伦多大学大牛授李葆春教授如何做研究的报告，略略总结了一下，与各位在学术路上奔波的同志们分享1.什么是研究（RESEARCH）?R ReadE EvaluateS SynthesizeE EducateA ActR RecordC CreateH Heart研究就是由以上几个部分组成，从心开始，首先要保持热情，然后进行文献的阅读，不断复写，然后进
2013-12-07 11:27:23
1072
原创 解读表示学习中的自适应计算时间 Adaptive Computation Time （ACT）
最近在学习网红模型Universal Transformers时接触到了自适应计算时间（Adaptive Computation Time, ACT）这个新奇的算法。查了一下，这个算法其实并不算新，2016年就被Google DeepMind组的Alex Graves在论文《Adaptive Computation Time for Recurrent Neural Networks》中提出。但是...
2019-04-07 10:17:42
3158
5
原创 小评最近很火的BERT模型
应Pattern Recognition审稿人要求，加入最近很火的BERT模型作为我们提出的文本表示模型的对比方法。在此和大家共同学习分析一下最近深度学习在自然语言处理领域的网红模型BERT，尝试品味BERT的精髓，探讨BERT可能的应用的改进方向。模型小解BERT模型全名是Bidirectional Encoder Representations from Transformers. 翻译过...
2019-04-04 14:06:54
6770
1
原创 特征选择方法学习笔记（三）
之前已经看过两种特征选择的方法，一个是从局部结构出发，一个是从整体优化出发。这两中方法都取得了比较好的效果。那么，有没有既考虑局部结构又顾及总体优化呢的方法呢？聪明的研究者们的确想到了这两手抓两手都要硬的方法。今天我们就来看一种先从局部机构考虑，同时进行整体优化的好方法——高维数据分析中基于局部学习的特征选择方法（《Local Learning Based Feature Selection
2013-12-14 15:47:45
1374
原创 特征选择方法学习笔记（二）
之前看过了mRMR的方法了，从特征与目标的最大相似度和特征与特征间的最小冗余出发来寻找特征子集。这样的方法的确是不错的，在实验中取得了鲁棒的效果。但是经过和别的方法对比后发现，该方法目前在选择特征上以及不能算登峰造极了。或许大家仔细思考后可以发现，这个方法最大的一个短板就是对我们定义的相似度函数以及冗余函数敏感。也就是说我们定义不同的相似度函数和冗余函数可能造成差距较大的结果。而我们又如何保证自己
2013-12-11 19:30:46
2766
2
原创 特征选择方法学习笔记（一）
今天开始会持续学习一些state-of-art的特征选择方法，跟大家分享一下学习的心得和这些方法的主要思想，希望能对同志们的工作有所启发。 首先我们看的是一篇2005年发表在PAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence）上的文章《Feature Selection Based on Mutual
2013-12-11 11:27:44
4351
19
原创 谱--从矩阵到图形
这几天看到的各种文章中，总会不约而同的出现一个词——谱（spectral） 一看是看到这个谱，反映出来的是光谱、频谱，这一下把我带到沟里了，怎么想都想不明白。折腾了很久了之后，终于发现，此谱乃数学中的谱。那到底这个神奇的谱是什么呢？ 或许，对于不是学数学出生的同志们来说，第一个接触到谱的概念应该是在线性代数之中的一个角落。可能很多人学过之后就再也记不起来了。现在回忆一下，有
2013-12-11 00:14:23
1947
1
原创 流形正则化学习笔记
早就听说流形正则化能将有监督学习和无监督学习融合成半监督学习，听上去威武霸气，但真正一看就只能高山仰止了。今天硬着头皮学习了一下，浅浅品味往圣先哲的思维魅力。 半监督学习（semi-supervise learning）初一听觉得很迷惑，什么是半监督学习？为什么要半监督学习？平时我们做机器学习的时候，大多数都是人为给定label的有监督学习，大家也都很向往人们毫不费力的无监督学习。但细
2013-12-10 10:13:00
14957
6
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人