22
2019-04-10 Deep Learning 작업환경 조성 & 사용법 ISL 안재원

Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

2019-04-10

Deep Learning 작업환경조성& 사용법

ISL

안재원

Page 2: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

Ubuntu 설치

작업환경 조성

접속 방법

사용 예시

2019-04-10

2

Page 3: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

Ubuntu 설치2019-04-10

3

- ISO file Download

※ www.ubuntu.com

Page 4: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

Ubuntu 설치2019-04-10

4

- Make Booting USB

※ http://www.pendrivelinux.com/universal-usb-installer-easy-as-1-2-3/

Linux version

ISO file

Select Devicewith Format

Page 5: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

Ubuntu 설치2019-04-10

5

- Install

※ USB Booting

ubuntu Swap

보조 기억장치

- 파티션 설정.

Page 6: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

Ubuntu 설치2019-04-10

6

- Swap partition

※ Swap 파티션

ubuntu Swap

보조 기억장치

- 파티션 설정.

주 기억장치

1. 메모리가 가득 차 프로그램을 실행할 수 없을 때.

2. 최대 절전 모드.

보조 기억장치 소모

Page 7: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

작업환경 조성2019-04-10

7

- Install list

1. SSH server2. 그래픽 카드 드라이버3. CUDA(+cuDNN)4. Anaconda(+ipython)5. OpenCV6. Caffe(+Digits)7. TenserFlow설치

※ Window

※ Ubuntu

1. putty2. Xming

원격 접속 가능

최신버전 업데이트

Deep learning 프로그램

원격 접속 프로그램

GUI환경을 보기위한 프로그램

Page 8: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

작업환경 조성2019-04-10

8

- 그래픽 카드 드라이버 설치

기존 드라이버 삭제Nouveau를Blacklist에 추가.

X 종료 드라이버 설치

$sudo apt-get remove nvidia* && sudo apt-get autoremove

관리자 권한으로 동작

필요 없는 패키지 삭제nvidia의 모든 패키지 삭제

패키지 관리 명령

Page 9: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

작업환경 조성2019-04-10

9

- 그래픽 카드 드라이버 설치

기존 드라이버 삭제Nouveau를Blacklist에 추가.

X 종료 드라이버 설치

$ sudo nano /etc/modprobe.d/blacklist-nouveau.conf

text 편집기

blacklist nouveaublacklist lbm-nouveauoptions nouveau modeset=0alias nouveau offalias lbm-nouveau off

$ echo options nouveau modeset=0 | sudo tee -a /etc/modprobe.d/nouveau-kms.conf$ update-initramfs –u$ sudo reboot

하드웨어 드라이브 로드 정보

기본 그래픽 카드 드라이버

재부팅

시작 프로세스 정보 설정

nouveau를 사용안함으로 설정

nouveau의 설정 내용

Page 10: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

작업환경 조성2019-04-10

10

- 그래픽 카드 드라이버 설치

기존 드라이버 삭제Nouveau를Blacklist에 추가.

X 종료 드라이버 설치

$ service lightdm stop

$ sudo sh NVIDIA-Linux*.run

$ sudo reboot

OS 버전마다 다름

Page 11: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

작업환경 조성2019-04-10

11

- CUDA(+cuDNN) 설치

Nvidia 홈페이지 에서 다운로드

※ https://developer.nvidia.com/cuda-toolkit

- CUDA version 7.5- cuDNN version 4

CUDA Deep Neural Network Library

그래픽 카드 드라이버 설치과정 스킵

최신 버전은 version 5

CUDA설치 cuDNN 파일 이동 .bashrc 설정cuDNN 다운로드

- cudnn.h- libcudnn*

/usr/local/cuda/include/usr/local/cuda/lib64

Page 12: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

작업환경 조성2019-04-10

12

- CUDA(+cuDNN) 설치

CUDA설치 cuDNN 파일 이동 .bashrc 설정cuDNN 다운로드

$ cd && sudo nano .bashrc$ source .bashrc

export PATH=/usr/local/cuda-7.5/bin:$PATHexport LD_LIBRARY_PATH=/usr/local/cuda-7.5/lib64:$LD_LIBRARY_PATH

변경된 환경변수 적용

- bash(Bourne-again shell)의 참고할 내용이 담긴 파일(환경변수, 사용자 지정 명령어)- bash는 유닉스에서 사용하는 커맨드 shell- shell은 운영체제의 기능과 서비스를 구현하는 인터페이스 제공(CLI, GUI)

Page 13: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

작업환경 조성2019-04-10

13

- Caffe 설치

Source 다운로드 make 설정 make

$ git clone https://github.com/BVLC/caffe.git

$ cp Makefile.config.example Makefile.config$ nano Makefile.config

git 서버에 있는 자료를 받아 사용

파일 복사

vi, vim, gedit 등등

USE_CUDNN := 1OPENCV_VERSION := 3.1ANACONDA_HOME := /home/isl/anaconda2PYTHON_INCLUDE := ……PYTHON_LIB := $(ANACONDA_HOME)/libWITH_PYTHON_LAYER := 1USE_PKG_CONFIG := 1

Page 14: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

작업환경 조성2019-04-10

14

- Caffe 설치

Source 다운로드 make 설정 make

$ make runtest

$ make clean$ sudo make all$ sudo make test

$ cd && sudo nano .bashrc$ source .bashrc

export LD_LIBRARY_PATH = $LD_LIBRARY_PATH:/home/isl/anaconda2/libexport PYTHONPATH=/home/isl/caffe/python:$PYTHONPATH

Page 15: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

작업환경 조성2019-04-10

15

- Caffe 설치

Source 다운로드 make 설정 make

$ cd /caffe && make pycaffe$ make distribute$ cd /caffe/python

$ python………>> import caffe

Page 16: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

작업환경 조성2019-04-10

16

- TenserFlow 설치

※ https://www.tensorflow.org

Anaconda 환경에서 사용하기 때문에

Page 17: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

접속 방법2019-04-10

17

- putty

168.188.117.123

설정 저장할 이름

설정 관리

Page 18: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

접속 방법2019-04-10

18

- putty

활성화 설정

: Xming를 Window 백그라운드에 실행

$ xclock

Page 19: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

사용 예시2019-04-10

19

- Digits

Digits 서버 실행 Data 학습 결과 확인Data 업로드

$ sudo stop nvidia-digits-server$ sudo start nvidia-digits-server

- Internet Browser를 통해 접속

(168.188.117.123)

Page 20: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

사용 예시2019-04-10

20

- Digits

Image 정보

Image 위치

Page 21: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

사용 예시2019-04-10

21

- Digits

Dataset 선택

Network 설정

사용할 그래픽 카드 설정이미지 입력

학습결과 다운로드

Page 22: Deep Learning 작업환경조성 사용법 - Image System …...Ubuntu 설치 2019-04-10 6 - Swap partition ※ Swap 파티션 ubuntu Swap 보조기억장치 - 파티션설정. 주기억장치

Q & A

2019-04-10