www.narlabs.org.tw

國網中心HPC及AI運算服務介紹

2017.11.16

全國大專校院資訊行政主管研討會

1全國大專校院資訊行政主管研討會

大綱

全國大專校院資訊行政主管研討會 2

全國大專校院資訊行政主管研討會 3

發展沿革

1991國家高速電腦中心行政院核准隸屬國科會

新竹 台南台中

1993新竹分部

2003改制為財團法人國家實驗研究院國家高速網路與計算中心

2004台灣高品質學術網路10G

2005台南分部

2008台中分部

2011台灣首部百T主機

2016100G網路啟用

2017建置新一代Peta主機

發展架構

5

應 用

雲端服務

核心技術

核心設施

工程與科學 生物醫學 環境災防 社會經濟 數位文創 新興應用

設施即服務(IaaS)• 實體與虛擬計算主機• 儲存• 學術研究網路

平台即服務(PaaS)• 大資料平台(Braavos)

• 算圖農場• 開放式高速計算平台(simPlatform)

軟體即服務(SaaS)• 國研院數位服務

• 遠距學習平台(Co-life)

• 科學計算與工程模擬

高速計算 雲端中介軟體 大資料 網路與資安 視算

高速計算、大資料分析與AI主機 高效能異地儲存 高品質學術研究網路Braavos

TWAREN

資料

• 25,600 計算核心

• 73,728 GB記憶體

• 1074 TB巨量儲存

6

IBM Cluster 1350,1350A2007, 25 TF分散式平行電腦叢集

2011 TOP 500 第42名

2011 Green 500 第25名

•760 計畫/年

•3000 帳號/年

•30 大型計算專案計畫/年

高速計算服務

Formosa 5 Cluster2012, 90 TF自建全台最大GPU叢集系統

Formosa 3 Cluster2011, 9 TF自建虛擬主機雲端服務及台灣第一座算圖農場

ALPS - Acer Cluster2011, 177 TF (0.177 PF)國內最大開放叢集電腦主機

Peta級高速計算主機

預定106.12完成建置

預定107Q2開放服務

全國大專校院資訊行政主管研討會

學研骨幹網路

7TWAREN台灣骨幹連網圖

台灣學術網路TANet (教育部)

• 維運TANet骨幹網路(100G)

• TANET與TWAREN光網路共構

• 約4000所各級學校，約450萬人

• 線路平均可用率達99.99%以上

國際連線

• 20G

• 35個國際研網互連，遍及五大洲

TWAREN跨國連網圖

台灣高品質學術研究網路TWAREN

• 100G國內骨幹

光網路、專屬頻寬、SDN實驗網路

• 12 區網中心

• 94 所大專院校及研究單位，50萬用戶

StorageTek

L5500

EMC Connectrix

Director

8

• 儲存總容量 8.7 PB

• 每年支援30個重要計畫

• 腦科學、基因演算、防災、地科、氣候變遷、人文資料庫等

異地備份儲存平台

新竹本部

台中分部

台南分部

台北

新竹、台中、台南三地互為備援

國內第一座大資料分析服務平台

大資料分析平台Braavos─ 105年1月正式營運

─ 256個計算節點，全系統共計4,096核心，16.38TB 記憶體

─ 1.5PB HDFS儲存空間，具備高速網路架構─ 營運模式

─ 學研界共用平台、政府資料專用平台

服務科技部政府巨量資料推動計畫–科技部已通過7大計畫(部分計畫使用國網服務)

–犯罪趨勢與防治、原住民健康與醫療、住宅租金、勞工薪資、薪資提升、租稅改革等相關研究

–支援「政府巨量資料技術工具研發」計畫(研發成果要移植到國網平台)

–執行「政府資料應用環境與資料市集建構與推動」計畫–完成獨立作業區相關設備與流程

開發去識別化(假名化)與跨部會資料勾稽軟體工具9全國大專校院資訊行政主管研討會

雲端服務及大數據運算平台架構

10

Software Platform

AI

Big

Data/

HPC

Trained NeuralNetwork

Machine Learning

Data analytics

Modal

Simulation

Visualization

Application

智慧機械精準醫療 科技人文

環境災防 民生物聯網 半導體

新農業 綠能科技 數位金融

Data Market

Open DataPrivate Data

雲端資源管理軟體及基礎設施

高速運算主機(CPU、GPU…) 高效能儲存 高品質學術研究網路TWAREN

全國大專校院資訊行政主管研討會

AI研發平台-台灣創新產業推動引擎

11

自動駕駛、無人機、智慧機器人

金融科技

數位健康精準醫療 綠能

智慧機械機器人

新農業

人工智慧機器學習深度學習

環境災防空氣品質

數位文創

智慧城市

前瞻基礎建設計畫:建構雲端服務及大數據運算平台(CPU + GPU + 大數據)

全國大專校院資訊行政主管研討會

全國大專校院資訊行政主管研討會 12

Peta 級高速運算平台計畫簡介

一、期程：106年至108年

二、目標：

► 建置Peta級高速計算設施與環境，紓解國內高速計算資源壓力

► 提供大尺度高速計算之共用研發平台，推升下一波民生與產業應用

三、時程

► 106年完成機電設施建置與主機設備進駐

► 107年Q2上線服務

四、預期效益

► 提供計算合計能量1.7 PetaFLOPS

► 每年提供9.8億SU(Service Unit: 以IBM 1350 每一計算核心小時做為一個SU)

► 支援重點領域大尺度計算研究團隊

13全國大專校院資訊行政主管研討會

主要性能摘要

630台一般節點共25,200個 Intel Xeon 2.4GHz CPU核心；64台加速器節點，共256個NVIDIA P100 GPU。總記憶體容量達157TB。

計算能量CPU部分預估1051TF，加速器部分預估684TF，合計1.735 PF ，計算能力將近ALPS的10倍。

三套平行檔案系統，合計3.4PB，最大頻寬達72GB/s。

主機採水冷技術，大幅撙節機房電費。PUE 值估算達1.28以下，計算能源效率2.86TF/KW(ALPS的七倍) 。僅有18個機櫃，佔地小於50m2。

14全國大專校院資訊行政主管研討會

系統架構

15

630 nodes

25,200 cores

1051 TF

Storage Island Utility Island

Intel Omni-Path (100Gb/s) for both Comm/IO

Shared Ethernet LAN for control and mgmt

40Gb/s10G Eth

NCHC TCGateway

Internet

NCHC tiered storage

2.2PB

250TB

1PB

Est. Rmax：> 1700 TF

20 nodes64 nodes

256 GPUs

684TF

CPU Island GPU BigMem

6TB

Fat node384GB

128 nodes

Thin node192GB

502 nodes

1 nodes

80 cores

6 TB Mem.

3TF

全國大專校院資訊行政主管研討會

節點組態

16

節點種類CPU

GPU BigMemThin node Fat node

Server model Fujitsu CX2550 Fujitsu CX2570 Fujitsu RX4770

單節點CPU數量 2 2 4

時脈 2.4GHz

單節點CPU Core數或GPU數

40 4 80

記憶體GB 192 384 192 6000

Local disk 240GB SSD (for OS only)

節點數 502 128 64 1

總CPU核心數或總GPU數

20,080 5,120 256 80

Rpeak(TF) 1935 1203 6.1

Est Rmax(TF) 1051 684 3

註 有64節點有10G NIC

有64節點有480G SSD

4x P100 w/

NVLINKNGS生醫使用

全國大專校院資訊行政主管研討會

系統軟體環境

OS RedHat 7.3

Cluster mgmt Bright Cluster Manager

Parallel File System Intel Enterprise Edition for Lustre

Queuing System PBS Pro

Compiler GCC、Intel Parallel Studio、PGI Professional

MPI openMPI、Intel MPI、MVAPICH

17全國大專校院資訊行政主管研討會

Peta計算主機規劃與建置時程

107年

106年 1月 3月 4月 5-10月 11月 12月

基礎設施購案決標

主機採購案決標

基礎設施購案建置及驗收

主機採購案硬體驗收及建置

107.4開放服務

107年 1-3月 4月 5月 6-12月

主機整體整合測試及驗收

主機對外上線服務

專案推廣

18

The Present

105年

1. 需求分析2. 系統規劃3. 擬定規格書4. 採購行政作業5. 招標

106.12完成建置

106年

全國大專校院資訊行政主管研討會

全國大專校院資訊行政主管研討會 19

Peta 主機服務模式

申請與管理方式:計算資源服務網

► 提供HPC用戶申請、管理整合式服務

HPC使用方式：simPlatform

► 簡化HPC使用環境，改變高速計算主機的使用方式

彈性資源調度與計價

► 提供團體申購包機或大量計算方案

20全國大專校院資訊行政主管研討會

計算資源服務網

- 以商務服務平台為出發點,提供用戶整合式服務

全國大專校院資訊行政主管研討會 21

資源服務網功能

1. 簡化申請流程- 使用google或fb帳號認證登入平台

(取消個人資料審查)

- 可使用單一帳號使用漫遊所有計算資源服務

2.計畫成員管理管理

-計畫主持人可自行設定或邀請計劃成員

3.文件線上審查

- 計畫文件審查及報價單電子化

4.資源彈性調度

- 可自行設定或限制成員su成用量(多錢包概念)

- 離峰時段彈性計價

- 提供SUMMIT JOB選擇不同帳號之功能全國大專校院資訊行政主管研討會 22

泛用高速計算平台simPlatform

全國大專校院資訊行政主管研討會 23

Web UI + App & Workflow + Solver kernel

Linux

彈性資源調度與計價

24

服務模式 說明 服務對象

隨需On demand 隨時依據需求申請進入排程

• 短期或不確定job狀況之開發測試者

預留Reserved 科技部專題計畫定期定量預約制 • 穩定需求之用戶

專用Dedicate 長期專屬資源、緊急專屬資源

• 需長期或緊急調度大量資源之使用者

全國大專校院資訊行政主管研討會

服務客群

標準

1. 科技部專題計畫

2. 一般學術研究

3. 政府單位與法人

4. 業界研發

專案

1.研究社群共用

全國大專校院資訊行政主管研討會 25

全國大專校院資訊行政主管研討會 26

一、政策依據及重要性

政策依據 行政院科技會報「數位國家‧創新經濟發展方案（106-114）」：透

過建構有利數位創新之基礎環境，鞏固數位國家基磐配套措施，打造優質數位國家創新生態。(106.1.23)

行政院院會報告「前瞻基礎建設計畫」：打造下一世代所需基礎建

設，包含…營造智慧國土的數位建設…等。(106.3.23)

27

重要性發揮共用資源效益，支援創新科技發展

運用AI與雲端技術，扶持產業轉型升級

培育智慧科技軟體與產業創新研發人才

人才

大數據

演算法

運算平台

認知運算電腦視覺

深度學習

機器學習

機器推理自然語言處

理預測運算

擴增實境生物辨識

顯示技術

手勢控制

行動用戶

體驗

虛擬數位

助理

虛擬實境

聲音與語言識別

核心要件

核心技術

使用者介面技術

全國大專校院資訊行政主管研討會

二、計畫目標與績效指標

28

目標1：建置國家級AI 研發與雲端服務基礎建設

績效指標

建置雲端運算基礎設施規模

• 10 Pflops總和計算能量

• 150 Pbytes 儲存容量

帶動國內雲端產業自研自製，技術創新與引導投資

全國大專校院資訊行政主管研討會

績效指標

建立民生、災防、生醫、長照等10個以上重要大數據市集類別，提供數位化政府創新應用與整合服務

以開放API及共享平台加速應用開發時程，促成10家以上公司科技創新

二、計畫目標與績效指標

29

目標2：發展前瞻智能應用之軟硬體技術與服務

全國大專校院資訊行政主管研討會

二、計畫目標與績效指標

30

目標3：產業應用橋接與人才培育

1.推動前瞻設備的共享與鏈結

2.鏈結國內外AI 技術與應用

3.培育創新創業人才

4. 提供創新衍生研究服務

5.帶動國內AI 產業發展

AI及大數據運算平台服務公司

RSC(接受委託)

績效指標

支援至少10個部會及6個縣市政府單位

節省重複建置與維運成本

培育人才3000人以上

成立RSC公司，加強AI科技與產業研發接軌，形成區域創新生態體系與價值

全國大專校院資訊行政主管研討會

106年工作項目

建置先期AI與大數據高速運算平台

鍵結各AI 開發團隊，其應用程式可以在先期系統開發測試

建置雲端基礎設施管理系統

建置雲端使用者管理環境

建置AI的開發環境

建置不同的AI 架構之系統

支援各項智慧科技人才培育計畫

31全國大專校院資訊行政主管研討會

106/107年預計建置之系統

High Performance Network100Gbs Infiniband & 10/40Gbs Ethernet

GPU Cluster (200 nodes)CPU Cluster (250 nodes)

Tier Storage(50PB)

PFS PFS

NCHC

Cloud Service

AI pilot system

1080 CPU cluster

Hyperscale GPU

accelerator

NVIDIA DGX-1

106年採購

107年採購

107年採購

全國大專校院資訊行政主管研討會 32

107.3 開放先期使用107.4 開放服務

AI 先期應用開發平台建置與開放時程

107年

106年 6月 7月 8月 9-10月 11月 12月

系統評估與規劃

RFI 公告

主機採購案採購及決標

主機採購案建置及點收及元件驗收

107年 1-2月 3月 4月 5-12月

主機整體整合測試及驗收

主機對外先期使用與上線服務

專案推廣

33

The Present

106年

1. 需求分析2. 系統規劃3. 擬定規格書4. 採購行政作業5. 招標

107.2完成建置

全國大專校院資訊行政主管研討會

106年建置之先期AI開發測試系統

34

年度

項目 主要規格 開放時間 使用軟體

10

6

人工智慧超級電腦

八台 Nvidia DGX-1 同等品

107年一月 Nvidia GPU Cloud

10

6

多圖形加速卡叢集運算平台

十台8GPU 伺服器同等品

107年四月 國內開發開放軟體

10

6

先進AI計算環境前導實驗主機

Intel Knight Mill同等品

107年六月 國內開發開放軟體

全國大專校院資訊行政主管研討會

服務模式一：Nvidia GPU Cloud 架構

NGCNvidia GPU

Cloud

- Login/User

- Schedule

- Monitor

- Billing

- Nvidia Container

- DL Framework

- Tensorflow

- Caffe

Container

Docker

DGX-1NCHCDGX-1

Azure

AWS

ABCI

Hybrid Cloud

NCHC

本服務可於1月上線服務

全國大專校院資訊行政主管研討會

服務模式二: 國內自建軟體使用流程(四月上線)

Scheduler/B

roker

DGX-1 Nodes

Digits

Agent

Tensor

Flow Agent

Resource

Manager Client

V100/P100/M60

MPIParallel

Software

Resource

Manager Client

Intel-based Nodes

MPIParallel

Software

Resource

Manager Client

NVIDIA-

Docker

NVIDIA-

Docker

NVIDIA-

Docker

AI Services Portal

1.使用者可以透過友善介面派送程式

2.排程管理系統隨即接收到計算需求

3. 透過虛擬化工具VMM 派送使用者Docker/NV-Docker

4. 將計算工作派送至目的機群

全國大專校院資訊行政主管研討會

107年工作項目

大型AI與大數據高速運算平台上線服務

資料與儲存系統上線服務

六個以上AI 開發團隊，其應用程式可以在系統開發測試執行

雲端資源管理系統

資料工具集測試及彙整資料集

支援各項智慧科技人才培育計畫

37全國大專校院資訊行政主管研討會

整體規劃AI雲端大數據平台架構

38全國大專校院資訊行政主管研討會

儲存系統三階層架構圖

39全國大專校院資訊行政主管研討會

40

大型AI 雲端計算主機採購時程

106 107 108/109

106年 1-9月 10月 11-12月

需求分析

系統規劃

RFI/RFP撰寫

107年 1月 3月 4月 5-10月 11月 12月

上簽請採購程序

大型AI主機建置

雲端管理與環境

機電空調改善

We are here!

108/109 Q1 Q2 Q3 Q4

先期測試

上線服務

108.1 開放先期使用108.3 開放服務107.11完成

建置

全國大專校院資訊行政主管研討會

全國大專校院資訊行政主管研討會 41

工具 數學工具與數值程式庫： Matlab, 與各類數值程式庫如IMSL, pCDR, LAPACK, TETSc etc.

工程類應用軟體

電磁學、半導體元件與製程: ANSYS HFSS/Maxwell/SIwave/Designer, Sentaurus TCAD

固體力學與機構：ABAQUS, ANSYS, LS-DYNA, MSC.Marc/Nastran/Adams, Code Aster, Salome_Meca

前後處理/CAD：ANSYS ICEMCFD, Fieldview, MSC.Patran, Gmsh, Salome, Skeinforge, KISSlicer

流體力學：ANSYS CFX, ANSYS Fluent, CFD-ACE+

微機電： CoventorWare, MEMS+, FFTCap, FastCap

科學軟體與資料庫

基因體與生命科學：ABYSS, ALLPATH_LG, Amber, AutoDock, BLAST, BLAT, Bowtie, BWA, CASAVA, Cufflinks, Discovery Studio, ENSEMBL genome browser and pipeline, EMBOSS, ERANGE, Flycircuit, GATK, GROMACS, GSNAP, Genemark, Glimmer, GOLD, IMPUTE2, R, MACH, MAQ, miRExpress, NAMD, SAMTool, SOAP, TMHMM, TopHat, Trinity, Velvet, etc.

生命科學資料庫： ENSEMBL database, PINT, 1000genome, PID, Biomart, ENCODE. etc.

化學與物理：ADF, Molpro, Gaussian09, Materials Studio, Q-Chem, TeraChem, CASTEP, DMol3, NWChem, Quantum-espresso, Siesta, LAMMPS, DL_POLY, AbInit, ORCA, etc.

化學資料庫：CSD, ICSD, CRYSTMET

算圖 算圖：Maya, VRay, Blender, MR standalone, Qube

應用軟體清單(數值資料庫)

42

43

simPlatform : Quantum electronics

• Band structure

• Work function

• Density of state

• Dielectric constant

• …

Database

Material analysis

F=U-TS, (T,V)

G=U-TS+PV, (T,P)

H=U+PV, (S,P)

Density function theory

Molecular dynamics

Energy minimization

delta G or F <0

Band gap (eV)

44

simPlatform : Quantum electronics

• Band structure

• Work function

• Density of state

• Dielectric constant

• …

Database

Material analysis

F=U-TS, (T,V)

G=U-TS+PV, (T,P)

H=U+PV, (S,P)

Density function theory

Molecular dynamics

Energy minimization

delta G or F <0

Band gap (eV)

45

simPlatform : RemoteAPP

• Band structure

• Work function

• Density of state

• Dielectric constant

• …

Database

Material analysis

F=U-TS, (T,V)

G=U-TS+PV, (T,P)

H=U+PV, (S,P)

Density function theory

Molecular dynamics

Energy minimization

delta G or F <0

Band gap (eV)

www.narlabs.org.tw

敬請指教

www.nchc.narlabs.org.tw

4646

全國大專校院資訊行政主管研討會

全國大專校院資訊行政主管研討會