SmallTrainをAWSのGPUインスタンスで動かす

このセクションでは、AWSのGPUインスタンス上にSmallTrainのインストールとセットアップをし、SmallTrainを体験する手順を説明します。 このチュートリアルでは画像データを使いますが、SmallTrainは汎用性が高く、時系列データなどの他の種類のデータを同様の手順で使うことができます。

前提条件
・AWSのアカウントをすでに作成済みであること
・制限緩和のリクエストの申請が完了していること
・AWSのGPUインスタンスの作成と接続が完了していること

上記の前提条件のもとでご説明します。

ここでは、MacOSを使用してAWSのGPUインスタンス上にSmallTrainをインストールおよびセットアップし、CIFAR-10のサンプルファイルを使ってSmallTrainを動かす手順を説明します。記載部分を適切に変更し、ご自分の環境設定に合わせてやってみてください。

AWSのGPUインスタンス上でDockerを使用してSmallTrain v0.1.2を使ってみる。

docker-composeのバージョンをチェックし、インストールされているかを確認します。

on the host

$ docker-compose -v
$ docker-compose version 1.22.0, build f46880fe

docker-composeのバージョンが確認できない場合は、docker-composeインストールします。

on the host by host sudoers

$ sudo curl -L "https://github.com/docker/compose/releases/download/1.22.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
$ sudo chmod +x /usr/local/bin/docker-compose

SmallTrainリポジトリをクローンします。

on the host

$ mkdir -p ~/github/geek-guild/
$ cd  ~/github/geek-guild/
$ git clone -b release/v0.2.0 https://github.com/geek-guild/smalltrain.git

# $ mkdir -p ~/github/geek-guild/smalltrain/
# $ rsync -avz --delete -e "ssh -i $SSH_KEY_PATH" ~/github/geek-guild/smalltrain/ $USER_NAME@$INS_IP_ADDR:/home/$USER_NAME/github/geek-guild/smalltrain/

GGUtilsリポジトリをクローンします。

on the host

$ mkdir -p ~/github/geek-guild/
$ cd  ~/github/geek-guild/
$ git clone -b release/v0.0.5 https://github.com/geek-guild/ggutils.git

(sudoers権限者の場合、dockerが実行されていない場合は、dockerを実行します。)

on the host by host sudoers

$ sudo service docker start

SmallTrain用のDocker bridge networkを作成します。

  • Bridge network name: smalltrain_network
  • Subnet: 172.28.0.0/24
  • Gateway: 172.28.0.1

on the host

$ docker network create -d bridge smalltrain_network --gateway=172.28.0.1 --subnet=172.28.0.0/24

dockerイメージを実行します。

on the host

# SmallTrain
$ cd ~/github/geek-guild/smalltrain/docker/
$ docker-compose up -d

Building smalltrain
Step 1/18 : FROM nvcr.io/nvidia/tensorflow:19.10-py3
...
Creating smalltrain ... done

命令したSmallTrain containerが実行できたかどうかと、そのCONTAINER IDを確認します。

on the host

$ docker ps -a

CONTAINER ID        IMAGE                     COMMAND                  CREATED             STATUS              PORTS                                              NAMES
YYYYYYYYYYYY        docker_smalltrain-redis   "docker-entrypoint.s…"   15 minutes ago      Up 15 minutes       0.0.0.0:6379->6379/tcp, 0.0.0.0:16379->16379/tcp   smalltrain-redis
XXXXXXXXXXXX        docker_smalltrain         "/usr/local/bin/entr…"   15 minutes ago      Up 15 minutes       0.0.0.0:6006->6006/tcp                             smalltrain

実行中のSmallTrainコンテナーのログを確認します。

on the host

$ CONTAINER_ID=XXXXXXXXXXXX
$ docker logs $CONTAINER_ID

...
Exec operation id: IR_2D_CNN_V2_l49-c64_TUTORIAL-DEBUG-WITH-SMALLDATASET-20200708-TRAIN
nohup: appending output to 'nohup.out'

ホスト上でGPUの使用状況を確認します。

on the host

$ watch -n 1 nvidia-smi

Every 1.0s: nvidia-smi                                                                                                                                                                       gg-sta-20200116-volta: Tue Jan 21 10:42:27 2020

Tue Jan 21 10:42:27 2020
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 418.67       Driver Version: 418.67       CUDA Version: 10.1     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Tesla V100-DGXS...  On   | 00000000:07:00.0  On |                    0 |
| N/A   32C    P0    37W / 300W |    316MiB / 32475MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   1  Tesla V100-DGXS...  On   | 00000000:08:00.0 Off |                    0 |
| N/A   33C    P0    35W / 300W |      1MiB / 32478MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   2  Tesla V100-DGXS...  On   | 00000000:0E:00.0 Off |                    0 |
| N/A   34C    P0   104W / 300W |   2893MiB / 32478MiB |     23%      Default |
+-------------------------------+----------------------+----------------------+
|   3  Tesla V100-DGXS...  On   | 00000000:0F:00.0 Off |                    0 |
| N/A   32C    P0    36W / 300W |      1MiB / 32478MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0      6903      G   /usr/lib/xorg/Xorg                            40MiB |
|    0      7058      G   /usr/bin/gnome-shell                         148MiB |
|    0     40041      G   /usr/lib/xorg/Xorg                            39MiB |
|    0     40082      G   /usr/bin/gnome-shell                          86MiB |
|    2      1441      C   python                                      2879MiB |
+-----------------------------------------------------------------------------+
  • Check that the GPU device which set with environment value (e.g. NVIDIA_VISIBLE_DEVICES=2) is running.

SmallTrain containerにログインします。

on the host

$ docker exec -it $CONTAINER_ID /bin/bash

ここまでの操作ログを確認します。

on the container

# ログを確認します。
$ less /var/smalltrain/logs/IR_2D_CNN_V2_l49-c64_TUTORIAL-DEBUG-WITH-SMALLDATASET-20200708-TRAIN.log

2020-01-20 14:34:45.125276: I tensorflow/stream_executor/platform/default/dso_loader.cc:42] Successfully opened dynamic library libcudart.so.10.1
...
========================================
step 99, test accuracy 0.905491
========================================
test cross entropy 0.336935
save model to save_file_path:/var/data/smalltrain/results/model/IR_2D_CNN_V2_l49-c64_TUTORIAL-DEBUG-WITH-SMALLDATASET-20200708-TRAIN/model-nn_lr-0.0001_bs-128.ckpt
new_learning_rate:0.0001
DONE train data
====================
  • DONE train dataと表示されれば、スモールデータによる学習のデモが完了しています。初回はデータセットを作成するため数分を要します。

TensorBoardを確認します。

  • もし、TensorBoardにアクセスできない場合は、コンテナ上でTensorBoardが実行されているかどうかを確認し、実行します。

on the container

# TensorBoardの実行を確認
$ ps -ef | grep tensorboard
  • 上記の実行結果、下記のような表示がなければ、TensorBoardが実行されていません。
root       361     1  2 04:50 pts/0    00:00:12 /usr/bin/python /usr/local/bin/tensorboard --logdir /var/data/smalltrain/results/logs/
  • TensorBoardを実行します。
$ nohup tensorboard --logdir /var/data/smalltrain/results/logs/ &

ここまでの操作結果を確認します。

on the container

# ファイルやディレクトリの情報を表示します。
$ ls -l /var/data/smalltrain/results/report/IR_2D_CNN_V2_l49-c64_TUTORIAL-DEBUG-WITH-SMALLDATASET-20200708-TRAIN/
total 540
-rw-r--r-- 1 root root  21416 Nov  2 08:32 all_variables_names.csv
-rw-r--r-- 1 root root  77687 Nov  2 08:32 prediction_e49_all.csv
-rw-r--r-- 1 root root  77687 Nov  2 08:32 prediction_e99_all.csv
-rw-r--r-- 1 root root  77687 Nov  2 08:32 prediction_e9_all.csv
-rw-r--r-- 1 root root     28 Nov  2 08:32 summary_layers_9.json
-rw-r--r-- 1 root root 109286 Nov  2 08:32 test_plot__.png
-rw-r--r-- 1 root root  54810 Nov  2 08:32 test_plot_e49_all.png
-rw-r--r-- 1 root root  54743 Nov  2 08:32 test_plot_e99_all.png
-rw-r--r-- 1 root root  54988 Nov  2 08:32 test_plot_e9_all.png
-rw-r--r-- 1 root root   5290 Nov  2 08:32 trainable_variables_names.csv

# 99ステップの学習の後の予測結果を表示させます。
$ less /var/data/smalltrain/results/report/IR_2D_CNN_V2_l49-c64_TUTORIAL-DEBUG-WITH-SMALLDATASET-20200708-TRAIN/prediction_e99_all.csv

DateTime,Estimated,MaskedEstimated,True
/var/data/cifar-10-image/test_batch/test_batch_i9_c1.png_0,1,0.0,1
/var/data/cifar-10-image/test_batch/test_batch_i90_c0.png_0,0,0.0,0
/var/data/cifar-10-image/test_batch/test_batch_i91_c3.png_0,6,0.0,3
/var/data/cifar-10-image/test_batch/test_batch_i92_c8.png_0,8,0.0,8
  • この結果の味方は次の通りです。 結果を表すそれぞれの行は、 “DateTime”、“Estimated”、“MaskedEstimated”、“True” を表しています。 5つの数字で成り立っている"True” の部分は2番目の数字がoutputを表し、最後の数字がtrue labelを表します。つまり、

    この結果はincorrectを示しています。 /var/data/cifar-10-image/test_batch/test_batch_i91_c3.png is 6 but the true label is 3 (incorrect)

    この結果はcorrectを示しています。 /var/data/cifar-10-image/test_batch/test_batch_i92_c8.png is 8 and the true label is also 8 (correct)

これで完了です!