如何对深度学习训练进行性能调优？

[gaocegege]

深度学习训练是少见的，既可能是计算密集（ Compute intensive ），又可能是数据密集（ Data intensive ），还可能是内存密集（ Memory intensive ）型的工作负载。这使得它的 profiling 过程非常复杂。当模型使用了超出预期的显存或者是内存，亦或是模型训练发挥不出显卡的计算能力等问题出现时，我们很难搞清楚到底发生了什么。

各位平时都怎么定位训练过程中的问题？

为了能够更好地支持训练指标收集和任务的性能 profiling ，我们设计了一个小规模的调查 机器学习开发可观测性小调查，希望在 envd 中支持更符合算法工程师使用需求的 profiler 功能。欢迎参与！