近年来深度学习领域的突破与计算能力的进步是分不开的,如何更快的处理更大的数据也是我们需要关注的对象。既然是大规模的计算,GPU 的使用也就顺利成章。下图是这几年来 GPU 在 ILSVRC 中的应用比例:
如何快速在 GPU 上开发深度学习的应用呢?一个简单的方法就是使用 cuDNN 这个计算库。通过将卷积神经网络的计算变换为更加规则的(GPU友好的)矩阵乘法运算,cuDNN 可以有效提高整个网络的训练速度:
Caffe 的 CPU 和 GPU 实现与 cuDNN 的性能比较:
参考:
cuDNN 可以从这里下载:
https://developer.nvidia.com/cuDNN一篇更详细的介绍:
http://arxiv.org/abs/1410.0759P.S. 最近我们组在进一步优化 cuDNN,通过应用 Direct Convolution,最多可以达到 90% 的 GPU 利用率,有兴趣的同学可以关注今年 GTC 上的相关 Talk。