近年来深度学习领域的突破与计算能力的大幅进步是分不开的:
- 加快了研究的迭代速度,有更多的机会来优化和调整网络,降低了试错的成本。
- 可以在更大的数据集上进行训练,提高了最终的精度。
相较于通用处理器,GPU 在单位面积/单位功耗上拥有更高的计算能力和吞吐带宽,对于神经网络的训练和分类都可以提供显著的加速效果。因而越来越多的学者和机构会选择 GPU 来加速他们的研究,如下图是这几年来 GPU 在 ILSVRC 中的应用比例:
如何快速的基于 GPU 开发深度学习的应用呢?最直接的方式就是利用 cuDNN 这个计算库。通过将卷积神经网络的计算变换为对更 GPU 友好的矩阵运算,cuDNN 可以有效提高整个网络的训练速度:
即便你对 GPU 一无所知,也可以基于现有的框架来进行开发。如最新版的 Caffe 已经可以完整支持 cuDNN 并在性能上获得了进一步的提高:
最新版的 cuDNN 可以从这里获得: NVIDIA® cuDNN
关于 cuDNN 的更多细节,请参考: http://arxiv.org/abs/1410.0759
最后科普一下什么是深度学习:
原文地址:http://zhuanlan.zhihu.com/madeye/20003419