我们在使用公共节点时经常要看每个节点的使用情况,本文可以解决逐个连接才能查看的问题。
nvidia-smi --query-gpu=memory.free,memory.used,utilization.gpu --format=csv
#memory.total:显存大小 #memory.total:显存使用了多少 #utilization.gpu:GPU使用率 #输出 memory.free
[MiB], memory.used [MiB], utilization.gpu [%] 9712 MiB, 1727 MiB, 1 % 9713 MiB,
1726 MiB, 3 % 10160 MiB, 1279 MiB, 1 % 10157 MiB, 1282 MiB, 0 % 10157 MiB, 1282
MiB,2 % 10156 MiB, 1283 MiB, 2 % 10154 MiB, 1285 MiB, 2 % 10154 MiB, 1285 MiB, 0
%10151 MiB, 1288 MiB, 4 % 10149 MiB, 1290 MiB, 5 % 10094 MiB, 1345 MiB, 2 %
10091 MiB, 1348 MiB, 1 %
查看其他节点计算资源
ssh username@ip_address nvidia-smi --query-gpu=
memory.free,memory.used,utilization.gpu --format=csv
或写成脚本
#dispmemory.sh echo '显示节点'$1'内存' ssh hlzhang@$1 nvidia-smi --query-gpu=
memory.free,memory.used,utilization.gpu --format=csv ./dispmemory k231 输出
显示节点231内存 memory.free[MiB], memory.used [MiB], utilization.gpu [%] 10478 MiB,
963 MiB, 90 % 10479 MiB, 962 MiB, 1 % 11430 MiB, 11 MiB, 0 % 11430 MiB, 11 MiB,
0 % 11430 MiB, 11 MiB, 0 % 11430 MiB, 11 MiB, 0 % 11430 MiB, 11 MiB, 0 % 11430
MiB,11 MiB, 0 % 11430 MiB, 11 MiB, 0 % 11430 MiB, 11 MiB, 0 % 11430 MiB, 11 MiB,
0 % 11430 MiB, 11 MiB, 0 %