Datalabを”もっと”使おう&

Colaboratoryって何？

GCPUGNov. 18, 2017

Hi there!

● Hayato Yoshikawa @hayatoy @hayatoy82

● Publication!「Google Cloud Platformではじめる機

械学習と深層学習」という本を書きまし

た。

Cloud Datalabとは

● Jupyter Notebookのクラウド版

● ブラウザ上でインタラクティブに

PythonコードやBigQueryのクエリが走る

● GCPのリソースに簡単アクセス

Datalabの構成はどうなってるの？

本体はgcr.io/cloud-datalab/datalab

ユーザー領域はPDをマウント

SSH接続

Datalabにライブラリを追加するには？

startup.shに”pip install xxx”などを記載

startup.sh自体はPDにある。コンテナ起動時に/root配下にコピー＆実行される

startup.shのデバッグ

（たぶん）どこにも書いて無いけど、 /terminals/1 にアクセスするとTerminalを起動できる

例：xgboostをインストール

apt-get updateapt-get install build-essential

git clone --recursive https://github.com/dmlc/xgboostcd xgboost; make -j4

この2つを忘れずに

Swapfile

DatalabはPDにVMメモリと同じサイズのswapfileを生成するPDのサイズを小さくしていると、すぐ容量が足りなくなる

mem_total_line=`cat /proc/meminfo | grep MemTotal`mem_total_value=`echo "${mem_total_line}" | cut -d ':' -f 2`memory_kb=`echo "${mem_total_value}" | cut -d 'k' -f 1 | tr -d '[:space:]'`swapfile="${MOUNT_DIR}/swapfile"

Custom metadataにスクリプトがあるので書き換えればOKかも

datalabコマンドを使わないで接続

datalabコマンドは内部的にSSHを呼んでいるだけ

自分でSSHポートフォワードすればdatalabコマンド・Googleアカウントが無くても接続できる

Cloud Shellだと遅い？

● Boost ModeをONにする● zoneをasia-east1-*にする

体感速度上がるかって？それは気持ちの問題です・・

Colaboratory

Colaboratoryって？

● https://colab.research.google.com/● 機械学習の勉強と研究用のJupyter● 複数人同時編集できる(Google Docsみたいに）

● NotebookはGoogle Driveに保存

● カーネルはGCEで実行

● Python2のみ

＊現時点（2017年11月）では無料で利用可能、ただし許可制

スペック？

CPU 2.2 GHz Intel Xeon E5 v4 (Broadwell) x2

Memory 13GB

n1-highmem-2 ?

Zoneとかその他情報

Metadata覗けなかった・・・(´・ω・｀)

Thank you!