nvidia-dockerでgpuのリソースを制限する
はじめに
nvidia-dockerを何も考えずに複数動かしてしまうと,後から動き始めた方がメモリが足りないよーとかエラー吐いてしまってまともに動きません.
複数同時に並行して動かしたいときはgpuリソースを制限しながらやってあげないとダメみたいなので制限しましょう.
やり方
nvidia-docker
NV_GPU='0,1' nvidia-docker run -it nvidia/cuda nvidia-smi
nvidia-docker2
docker run --runtime=nvidia -e NVIDIA_VISIBLE_DEVICES='0,1' --rm nvidia/cuda nvidia-smi
↑みたいな感じにすると,コンテナからは指定されたデバイスidの物しか見えなくなるみたいです.
nvidia-docker2の変更点的なのは↓のサイトみたいな感じでまとめてくれてる人がいました.
雑談
今日作業してたら突如としてネットワークに繋がらなくなって焦りました.
原因としてはDHCPサーバーが死んでたのが原因だったのですが,LANケーブルかハブが調子悪いのかなぁとか調べてたら結構時間かかってしまいました.
固定ip取得してるやつだけ生き残ってるっぽかったので最終的にDHCPだとわかりましたが,1年前だったら絶対に気付けなかったので少しづつは成長できてるのかなー.