机器学习领域近年来有哪些热点

文章转自：https://www.zhihu.com/question/26976414

问题：想要自学下机器学习并将其付之于应用，近几年听到的一直都是Deep Learning，可能正好符合了大数据潮流吧。
           但我需要处理的问题的数据量很小，应该是个典型的小样本问题（样本数远小于特征维数）。
           我想问一下，除了深度学习外，机器学习领域近年来还有什么热点吗？对于典型的小样本问题效果比较好。

回答：

除了深度学习，还有很多领域越来越受关注。
1. MCMC, Variational Inference
如果看今年的ICML，就会发现关于MCMC论文就有10篇左右，大部分都是去解决大数据下的sampling问题。 关于variational method的论文也不少，一个原因就是跟深度学习有关系，因为在深度学习模型里，我们也会需要用这种算法得到近似解， 比如在RBM。
2. 自然语言处理。机器学习（深度学习）在视觉领域上取得了很大的成果。相比之下，在自然语言处理问题上还是有很多难题要攻破。很多深度学习学者们预测下一个重要突破将是机器翻译。 看一下今年被ACL收录的论文(加上best paper)，就会感觉到这个趋势。
3. Sparse, Robust Learning
几年NIPS的很多论文是关于这个方面。
4. Submodularity (Discrete optimization)
这个领域也越来越火。tutorial: submodularity.org: Tutorials, References, Activities and Tools for Submodular Optimization
5. Probablistic programming
这个算是近年来比较流行的话题。
6. Kernel methods, spectral methods.
Kernel是一直比较火的领域，spectral也感觉越来越火
7. Large scale optimization/inference， distributed learning
大数据时代嘛，没的说。
8. Time series problem
这个算是在机器学习领域比较难的问题，深度学习在time series的问题上还需要很多的改进。处理time series的最大的问题是我们不能用bag of words的假设，而且每个样本的长度也不一样。
9. Causal inference
这个问题目前虽然不算是热点，但值得去研究。目前，深度学习还没有办法去有效地解决这种问题。可以想象，在不久的将来，机器学习在医疗上的作用会越来越明显。