学院有个集群,但 2 个 144 核 CPU 节点一直被占着,本着质量不够数量来凑的原则,那我就用 12 个 4 核 CPU 节点,也能凑出 48 核(每个账户上限 50 核)。
本小白以为用 qsub -l nodes=12:ppn=4 ,外加一行 mpiexec -n 48 就万事大吉了,它自己就能把 12 个节点合在一起,后来一查才知道还需要手写点对点通讯什么的,好像一时间学不会啊。
小弟在学深度学习,用的是 PyTorch ,同学说 LSTM 也没法用显卡加速,现在集群这种情况,我怎么才能用上多核呢?请各位大佬不吝赐教。
1
MeePawn666 2022-01-09 02:58:54 +08:00 via Android 2
这都哪跟哪啊…… torch 是 torch,mpi 是 mpi 。建议了解一下基础。
|
2
zhoujinjing09 2022-01-09 03:16:14 +08:00 1
建议重修计算机硬件体系……特别是跨机器通讯和单机内 cpu 和内存的通信模式……
以及 LSTM 可以用显卡加速啊…… |
3
dayeye2006199 2022-01-09 07:35:45 +08:00 1
希望有朝一日分布计算框架可以变的和 LZ 描述的这么易用;
言归正传,LZ 如果想用 MPI 搞多机 CPU 并行的化,可以看一下 hovord - https://github.com/horovod/horovod/blob/master/docs/mpi.rst |
4
hertzry OP @MeePawn666 这……难道我表述的有问题。
|
5
hertzry OP @zhoujinjing09 研究生半路出家,不是科班出身,现在是用什么学什么,没有时间钻研基础知识。那我试试显卡计算
|
6
hertzry OP @dayeye2006199 好的,我去看一下。
|
7
lonewolfakela 2022-01-09 11:48:04 +08:00 1
深度学习不可能不能用 GPU 跑的……你用 CPU 跑得跑到哪年哪月去……
|
8
hertzry OP @lonewolfakela 一开始不懂,现在已经用 GPU 跑上了……
|
9
secondwtq 2022-01-09 15:39:37 +08:00 3
楼主或许应该…换个同学?
|