대용량 실험데이터 국내외 활용 동향

[3교]

1. 서 론

1. 서 론 ····················································································· 3

2. 기초과학 분야 대용량 실험데이터 활용

2.1. 고에너지 물리 분야 ······························································ 7

2.2. 천체물리 분야 ··································································· 20

2.3. 바이오 분야 ······································································· 30

2.4. 국내 동향 ·········································································· 33

3. 대용량 실험데이터센터의 인프라 기술

3.1. 주요 대용량 실험데이터센터의 인프라 기술 동향 ··················· 41

3.2. 대용량 실험데이터 활용 관련 기술 ······································· 62

4. 대용량 실험데이터 활용 육성

4.1. 대용량 실험데이터 활용 교육 ·············································· 83

4.2. 대용량 실험데이터 관련 산업 육성 ······································· 91

[부록] 데이터센터 인프라/기술 약어집

▸ 부록 : 데이터센터 인프라/기술 약어집 ·································· 101

<표 1> 포항 3세대 방사광가속기와 4세대 방사광가속기 ·················································33

<표 2> GSDC 데이터 컴퓨팅 스쿨 ···············································································85

<표 3> ATCF (아시아티어센터포럼) ·············································································88

<그림 1> CERN 연구소 월별 실험데이터 규모 추세 ·························································8

<그림 2> CERN 실험 데이터를 분석하기위한 WLCG 이용 프로세서 시간 ·························8

<그림 3> 양성자와 양성자 충돌시 발생한 입자들의 추적 예시 ············································9

<그림 4> CERN의 주요 융합 연구 방향 ········································································11

<그림 5> FERMI LBNF 실험 개념 ··············································································13

<그림 6> 전자빔을 이용한 폐수와 하수 오물처리 기술 ····················································14

<그림 7> 도로 포장용 이동형 전자빔 가속기 기술 ···························································14

<그림 8> 국가 보안 활용 ······························································································15

<그림 9> Z boson을 찾는 실험 ···················································································17

<그림 10> 기본 입자들의 표준 모형 ··············································································17

<그림 11> LIGO 실험시설 개요 ···················································································22

<그림 12> 중력파를 방출하는 2개의 중성자 항성계의 병합 단계 ·····································22

<그림 13> 알려진 펄사를 대상으로 중력파 측정 시도 ·····················································23

<그림 14> 초신성 예시 ································································································23

<그림 15> LSST 픽셀 카메라 ······················································································27

<그림 16> LSST 데이터 프로세싱 ················································································28

<그림 17> ARGO 연구의 주요 요소 ·············································································31

<그림 18> SFX 실험 개요도 ························································································34

<그림 19> 초고해상도 전자현미경(KBSI) ·····································································36

<그림 20> 중성미자 지하검출시설 구축 개요 ·································································37

<그림 21> 한국중성미자관측소 구축 ·············································································37

<그림 22> CASTOR HSM 기능 ·················································································44

<그림 23> CERN의 기존(구) 스토리지 체계 ·································································44

<그림 24> EOS 기능 ··································································································45

<그림 25> Ceph 데이터/스토리지 서비스 ····································································45

<그림 26> 데이터 & 스토리지 서비스 활용 예시 ····························································46

<그림 27> 온라인 스토리지 시스템 레이아웃 ·································································50

<그림 28> KEK 전산 센터 ···························································································60

<그림 29> HEP Software Training ··········································································84

1. 서 론

1. 서 론

3

1. 서 론

가. 조사의 배경

⚫ 과학기술이 선도하는 4차 산업혁명을 추진하기 위해 R&D 활동의 디지털전환이 이루어진 선진 연구사업을 벤치마킹하여 우리나라의 데이터기반 R&D로의 연구패러다임 전환을 촉진

❏ 데이터는 4차 산업혁명의 동력◦ 산업혁명은 연구개발 산출물이 산업과 사회에 전이‧융합됨으로서 사회를 변화 시키는 동력으로 적용될 때 촉발

- 3차 산업혁명인 지식정보화를 촉발한 인터넷은 유럽 원자핵공동연구소(CERN)에서 실험

데이터 교환을 위해 Tim Bernars-Lee가 제안한 것으로 R&D 수행 과정에서 활용되는 방법이

사회적으로 확산되어 산업혁명을 견인한 것임

- 이처럼 과학기술은 산업혁명을 잉태할 수단과 기술을 창출하며 지속적으로 크고작은 사회

변화를 이끌어 왔음

- 4차 산업혁명의 본질은 단순한 정보화(Digitalize)를 넘어선 연구개발, 제조, 서비스 산업

및 사회 각 분야의 디지털 전환(Digital Transformation)을 의미하는 것으로 이미 연구개발

현장에서 활용하는 계산과학, 시뮬레이션 등의 방법이 Big Data 분석과 AI 등의 분야와

접목하여 산업적으로 활용되면서 4차 산업혁명의 사회적 전환이 가능게 된 것임

◦ 데이터 기반 연구개발의 방법론은 기초과학분야에서부터 응용, 산업기술개발분야까지 다양한 분야에서 활용되고 있으며 새로운 산업과 서비스가 제안되면서 그 수요가 폭발적으로 증가

- 입자 물리학 분야의 세계 최고 연구소인 CERN은 가속기 건설, 실험, 데이터 분석 등을 개방형

공동 협력체계를 구축하여 연간 수백 Peta Byte가 넘는 데이터를 분석하는 거대 도전연구를

수행하여 우주의 기원을 연구하고 있는 것은 대표적인 데이터기반 R&D의 전형이라고 보여짐

❏ 대형연구사업에서의 데이터 활용◦ 데이터 중심의 과학의 확산과 차세대 기술혁신을 추동하는 동력으로 자리매김 해감에 따라 세계 선진 연구기관들의 데이터 활용 현황을 분석하여 우리나라 R&D 패러다임 전환과 4차

산업혁명을 추진할 참고자료로 활용해야 할 필요성이 제기 됨

4

◦ 대형 연구시설 및 연구장비에서 산출되는 대용량 데이터의 생산처리분석을 기반으로 하는 데이터 기반 연구개발의 부상은 단순히 ICT 도구의 연구 분야에 새로운 적용이 아닌 과학의

새로운 패러다임의 변화로 인식

- 기존의 인간 오감에 의존한 이론, 실험, 관찰에 의한 웬만한 발견은 이미 완료되었다 할 수

있으며, 고성능의 실험장비와 시설을 통해 새로운 발견의 탐구가 현재 과학기술의 주요 이슈가

되고 있음

- 고성능의 실험시설 및 장비의 활용은 R&D의 대형화와 대형시설에서 생산한 데이터의 처리와

컴퓨팅을 활용하기 위한 ICT융합이라는 필연적인 결과에 봉착

◦ 첨단연구장비 활용으로 인한 대용량 연구데이터의 생산, 데이터 처리 기술 등 디지털 기술의 발달로 연구활동이 본질적으로 변화

- 데이터집약형 연구로의 연구패러다임 전환에 따라 대용량 데이터의 분석 및 처리를 위한

데이터의 공유 및 협력 필요성 증가

나. 조사의 범위

❏ 기초과학 분야 대용량 실험데이터 활용◦ 현재 수행되고 있는 대용량 실험데이터의 생산, 처리, 활용의 대표적인 연구분야인 입자물리 분야와 중력파 등 천체물리 분야 그리고 인간 게놈프로젝트로 촉발되어 연구의 패러다임이

데이터 기반으로 전환되고 있는 바이오분야의 연구사례를 살펴봄

- 스위스에 위치한 유럽가속기연구소의 각 실험을 살펴봄으로써, R&D가 대형화 할 수 밖에

없는 이유와 대형화된 R&D를 수행하기 위해서는 컴퓨팅 역량이 기본적으로 수반되어

협업적으로 R&D가 수행되고 있음을 살펴봄

- 미국 등 천체물리학에서의 난제를 해결하기 위한 지구규모의 초대형 연구개발 동향의 분석

- 고전적 생물학 분야가 ICT와 융합하면서 그동안 미답의 영역에 이르렀던 유전체 연구에

접근하게 되면서 인체의 비밀과 인류를 괴롭히는 질병으로부터의 해방을 위해 추진되고 있는

연구 사업에 ICT 기술이 어떻게 접목되고 있는지 관찰

❏ 데이터센터 인프라와 ICT 기술 동향 분석 및 대용량 실험데이터의 활용 육성◦ 앞서 분석한 대용량 실험데이터를 활용하는 연구사업에서의 데이터센터 인프라 구축과 운영 기술을 살펴 우리나라에서의 과학기술 지원을 위한 데이터센터에서 준비해야 할 기술동향을

살펴봄

◦ ICT기술의 활용과 적용이 어려운 각 도메인 연구자들의 ICT라는 도구를 활용하기 위한 대용량 실험데이터의 활용교육 및 관련 산업육성을 위한 노력에 대해서 검토

2. 기초과학 분야 대용량

실험데이터 활용

2.1. 2.1. 2.1. 2.1. 2.1. 2.1. 2.1. 2.1. 2.1. 2.1. 2.1. 2.1. 2.1. 2.1. 2.1. 2.1. 2.1. 2.1. 고에너지 고에너지 고에너지 고에너지 고에너지 고에너지 고에너지 고에너지 고에너지 고에너지 고에너지 고에너지 고에너지 고에너지 고에너지 고에너지 고에너지 물리 물리 물리 물리 물리 물리 물리 물리 물리 물리 물리 물리 물리 물리 물리 물리 물리 분야분야분야분야분야분야분야분야분야분야분야분야분야분야분야분야분야2.1. 고에너지 물리 분야

2.2. 2.2. 2.2. 2.2. 2.2. 2.2. 2.2. 2.2. 2.2. 2.2. 2.2. 2.2. 2.2. 2.2. 2.2. 2.2. 2.2. 2.2. 천체물리 천체물리 천체물리 천체물리 천체물리 천체물리 천체물리 천체물리 천체물리 천체물리 천체물리 천체물리 천체물리 천체물리 천체물리 천체물리 천체물리 분야분야분야분야분야분야분야분야분야분야분야분야분야분야분야분야분야2.2. 천체물리 분야

2.3. 2.3. 2.3. 2.3. 2.3. 2.3. 2.3. 2.3. 2.3. 2.3. 2.3. 2.3. 2.3. 2.3. 2.3. 2.3. 2.3. 2.3. 바이오 바이오 바이오 바이오 바이오 바이오 바이오 바이오 바이오 바이오 바이오 바이오 바이오 바이오 바이오 바이오 바이오 분야분야분야분야분야분야분야분야분야분야분야분야분야분야분야분야분야2.3. 바이오 분야

2.4. 2.4. 2.4. 2.4. 2.4. 2.4. 2.4. 2.4. 2.4. 2.4. 2.4. 2.4. 2.4. 2.4. 2.4. 2.4. 2.4. 2.4. 국내 국내 국내 국내 국내 국내 국내 국내 국내 국내 국내 국내 국내 국내 국내 국내 국내 동향동향동향동향동향동향동향동향동향동향동향동향동향동향동향동향동향2.4. 국내 동향

2. 기초과학 분야 대용량 실험데이터 활용

7

2. 기초과학 분야 대용량 실험데이터 활용

2.1 고에너지 물리 분야

2.1.1 CERN(European Organization for Nuclear Research) 실험

가. 실험 인프라 개요

❏ CERN 연구소 개요◦ 스위스 제네바에 위치, 세계 최대의 입자가속기 보유. 입자 물리학의 세계적인 선도 연구소- 전세계 24개국, 17,000여의 연구원 참여

❏ 주요 실험 장비◦ 강입자 충돌기(LHC : Large Hardron Collider)- 둘레 27 KM, 지하 100M의 터널에 구축. 양성자 빔은 13 TeV(테라 전자 볼트), 납 원자핵은

574 TeV로 충돌

◦ LINAC4(LINEAR ACCELERATOR 4), ISOLDE, PSB(Proton Synchronization Booster), 등 운영

❏ 데이터 인프라◦ WLCG(World-wide LHC Computing Grid) 구축 운영- 330PB가 넘는 누적 실험 데이터(2018년 말 기준)를 전세계에 분산 공유하고 다국적 연구원들이

공동으로 참여 분석할 수 있도록 WLCG 인프라 구축

- 대용량 데이터 전용 연구망인 LHCOPN(LHC Optical Private Network)을 직접 구축 운영

◦ 2021년 5월부터 시작하는 LHC RUN3, RUN4 실험은 RUN2 실험보다 collision rate를 높일 예정이어서 데이터생산이 50~100배 더 증가될 것으로 예상됨

8

<그림 1> CERN 연구소 월별 실험데이터 규모 추세 (단위 : TB)

<그림 2> CERN 실험 데이터를 분석하기위한 WLCG 이용 프로세서 시간

나. 주요 실험 소개

❏ 주요 실험 방법◦ CERN LHC 장치는 세계 최대 입자 충돌 장치로서, 세계에서 제일 빠른 속도로 입자들을 가속시킨 후 충돌시켜서 발생하는 파편들을 추적

2. 기초과학 분야 대용량 실험데이터 활용

9

- 한번 충돌 실험할 때마다 10억 개의 입자들이 초당 109번의 충돌이 발생함

- 하나의 충돌에서 1MB의 데이터가 탐지되므로, 충돌 실험 동안 초당 1PB의 원시 실험

데이터가 생성됨

- 너무 많은 데이터가 발생하므로 실험에 유용한 데이터만을 추출하여 저장하는 데 그 규모가

1년에 10PB 이상임

<그림 3> 양성자와 양성자 충돌시 발생한 입자들의 추적 예시. 출처 CERN

❏ 주요 과학 실험◦ ALICE 실험 : 대형 이온 입자를 충돌시키는 실험으로 납핵을 충돌시켜 쿼크-글루온 플라즈마

생성 실험

◦ ATLAS 실험 : 도넛 모양의 LHC 장비를 이용하여 우주를 구성하는 기본 물질을 설명하는 표준 모델 이상의 새로운 입자 또는 효과 찾는 실험

◦ CMS 실험 : 물리학에서 컴팩트 뮤온(중간자의 일종) 솔레노이드를 이용하여 ATLAS 실험과 동일한 목적의 실험

◦ LHCb : LHC 유관 실험으로서 비대칭 및 CP 위반과 같은 특정 B-하드론(중간자의 일종) 특성을 측정하는 실험

◦ LHCf : LHC-forward로서 초고에너지 우주선을 이해하기 위한 중성 π0 메손(중간자의 일종) 생산량 측정 실험

◦ MoEDAL : LHC의 단극 및 이국적 입자 검출기 실험◦ TOTEM : LHC의 총 교차면, 탄성 산란 및 회절 분리 실험

10

❏ 주요 실험 성과◦ 세계 최초 반물질 일종인 반수소 입자 생성(1995)◦ 모든 물질의 기본이 되는 힉스 입자 발견(2014)◦ 힉스 입자 질량 및 결합력 측정(2019)◦ 물질과 그 반물질의 비대칭성 발견(2019) ◦ 우주 물질의 구성 관련 표준 모델 연구

❏ 융합 연구◦ 자율 주행을 위한 소프트웨어 - 수십억 입자 충돌에서 분석에 필요한 유용한 데이터를 찾는 기술은, 정상적인 자율주행

상태에서 생성된 무한한 다중 데이터를 빠르게 해석하여 머신 런닝 기술에 적용하는 데에

활용 가능1)

◦ 차세대 이온 치료 센터 추진- CERN 하드론(소립자의 일종) 치료 기술과 연계하여 암 치료분야 의료진과 협력에서 CERN의

초전도 기술, 의료용 선형 가속기 기술, 그리고 갠트리 기술기 기술을 활용하여 참여함

◦ 양자 물리를 이용한 암호 기술 연구- 독일의 GMBH사와 협력하여 보안에 민감한 데이터와 인프라를 보호하기 위하여 양자 암호

기술 연구

◦ 암 분야의 데이터 검출 및 이미지 분석기술 연구 - 암의 임상 진단, 심장 치료, 그리고 신경학적 질환의 검출 및 이미지분석 기술의 개선을 위한

연구 수행

- CERN 실험 데이터의 확득 부분에서부터 전자 장치, 센서 그리고 소프트웨어 통합부분까지의

활용 방안 협력. EU Horizon 2020 프로그램의 ATTRACT 일환으로 추진에 참여

※ ATTRACT(2019)과제는 유럽의 기초연구와 산업계를 연계시키는 선도성 시범 과제임)

◦ 대용량 데이터 중심 IT 인프라 기술 - 스트리밍과 분석 서비스를 위하여 SWAN 통합(SWAN : Service for Web based ANalysis)

- Machine Learning을 위하여 Spark에 기반한 물리 분야 활용 사례를 위하여 분산 딮러닝을

지원하는 full data pipeline을 설치 중

1) Zenuity 사와 협력 중

2. 기초과학 분야 대용량 실험데이터 활용

11

- 스트리밍 서비스를 위하여 multitenancy 연구 중, 주제 관리 및 e-group 지원을 위한

ACLs를 지원하는 self-service portal 서비스 이용을 장려 중

- 스토리지 서비스를 위하여 파일 전송 서비스(FTS v3.9)의 스케쥴러 성능을 개선함2)

- CEPH(free-software storage platform)서비스를 위하여 새로운 Nautilus 버전의 배치가

진행 중임. 블록 스토리지와 CephFS을 위한 서비스 최적화를 진행 중

- Run-3를 위한 3단계 준비 중. LTO(Linear Tape Open)를 100% 설치 완료 중. 테이프에

55PB 이하의 데이터를 저장할 수 있음

<그림 4> CERN의 주요 융합 연구 방향

◦ 주요 성과- WWW(World Wide Web) 개발(1970)

2) 부하가 걸렸을 때 스케쥴링 latency를 10~15%를 감소시킴

12

2.1.2 페르미 연구소 실험

가. 실험 인프라 개요

❏ 페르미 연구소 개관◦ 미국 시카고에 위치. PIP-II(Prototon Improvement Plan – II)를 통하여 페르미 연구소 가속기 연구 단지를 업그레이드 중

- 길이가 1300Km인 세계 최장의 뉴트리노(중성미자, 中性微子, neutrino) 실험 장치(LBNF

: Long-Baseline Neutrino Facility) 건설 중

◦ 선도적 뉴트리노 선도 연구인 DUNE(Deep Underground NEUTRINO Experiment) 프로젝트에 30개국 190개 연구소에 1000명 이상의 연구원 참여 중

❏ 주요 실험 장비◦ 세계 최장의 LBNF를 구축 중. 관련 구성 요소 장비로는 NOvA(뉴트리노 빔 생성), MINERvA (뉴트리노 scattering), MINOS(뉴트리노 oscillation) 등이 있음

- 주요 설치 일정 : 검출기 설치(2024), 빔 장비운영(2026), 최종 모듈 운영(2027)

◦ 정밀 뮤온(전자와 비숫하지만 전자보다 무거운 원자 구성 경입자) 실험 장치인 Mu2e, Muon g-2 등도 구축 중

❏ 데이터 인프라◦ DUNE 실험의 경우 향후 CERN의 LHC 실험 보다 100배 이상 더 큼. 이벤트 당 10억개의 검출기에서 초당 수 테라 바이트의 데이터가 100초 동안 발생이 예상됨

◦ DUNE 실험 데이터의 크기가 매우 크기 때문에 CERN의 WLCG와 같은 글로벌 협업 분석 컴퓨팅 구축 필요. 현재는 Feynman Computing Center(FCC)와 Grid Computing Center

(GCC)를 구축하여 운영 중

◦ 현재 제공하고 있는 페르미 연구소 데이터는 CERN 연구소에서 수행한 RUN2 실험데이터를 저장 및 서비스 중. CERN Tier1 데이터 센터 역할 수행 중

나. 주요 실험 소개

❏ 실험 방법◦ DUNE 실험은 세계에서 가장 강한 뉴트리노 빔을 생성시킨 후 최근접 디텍터에서 이들간의

2. 기초과학 분야 대용량 실험데이터 활용

13

상호 작용을 기록하고 1300Km 떨어진 다른 디택터에서는 양자붕괴 현상을 측정함

<그림 5> FERMI LBNF 실험 개념

❏ 주요 실험◦ DUNE 실험 1 : 물질의 기원 연구- 뉴트리노(중성미자)가 우주를 구성하는 물질이 반물질이 아닌 현재 우주를 구성하고 있는

물질로 이루어진 이유를 설명할 수 있는지 규명

- DUNE은 중성미자 진동현상을 탐구함으로써 중성미자에 대한 이해와 우주에서의 중성미자의

역할에 새로운 사실을 발견하고자 함

◦ DUNE 실험 2 : 물질을 구성하는 입자들을 결합시키는 힘에 관한 연구- 세계 최대 규모의 극저온 입자 검출기가 지하 깊숙한 곳에 위치해 있어 DUNE은 양성자

붕괴의 징후를 찾아낼 수 있음

- 이것은 물질의 안정과 힘의 대통일 사이의 관계를 발견할 수 있고, 아인슈타인의 이론을 확인

할 수 있게 할 것임

◦ DUNE 실험 3 : 블랙홀 형성 연구- DUNE이 은하수의 핵폭발 초신성으로부터 발생한 수천의 중성미자를 관측할 수 있게 함

- 이것은 새로 형성된 중성자 별의 내부를 관찰할 수 있게 하고 블랙홀의 탄생을 잠재적으로

목격할 수 있게 해줄 것임

◦ 현재 및 단기 실험 계획- Neutrinos : Long baseline 실험으로는 NovA(최근 끝난 실험 : MINERvA, MINOS). Short

baseline 실험으로는 MicroBooNE, ICARUS(2019), SBND(2020)

- 정밀 뮤온 물리학 : 뮤온 g-2, Mu2e(2021)

14

❏ 융합 연구◦ 의료 기술 연구- 가속기 기술을 이용한 의료 장비의 실시간 소독 기술 연구

- 비방사능 대체 기술로서의 실시간 의료 장비 소독 기술 연구

◦ 환경 기술 연구- 전자빔을 이용한 폐수와 하수 오물처리 기술 연구

<그림 6> 전자빔을 이용한 폐수와 하수 오물처리 기술

◦ 적층 금속 제조(Additive Metal Manufacturing) 연구- 적층 금속 제조 기술은 빠르게 성장하는 산업. 주요 시장은 고부가가치 부품, 툴링 및

항공우주, 터빈 블레이드와 같은 일회성 부품 생산임

- 부품의 크기와 구성품을 만들 수 있는 속도는 전자빔 용해(EBM) 기계의 빔 파워에 의해

제한됨. 따라서, 에너지 효율이 뛰어난 빔 파워의 증가는 EBM 기계의 매력적인 방안이 됨.

◦ 특수 목적의 도로 코팅 기술- 도로 포장용 이동형 전자빔 가속기 기술 연구

<그림 7> 도로 포장용 이동형 전자빔 가속기 기술

2. 기초과학 분야 대용량 실험데이터 활용

15

- 페르미연구소에서는 포장된 도로 표면의 수명을 연장하는 기술을 연구함

- 도로의 변형된 아스팔트나 다른 접착제를 교차 포설한 후 이동식 트럭 장착 전자 가속기를

사용하면, 새로 건설된 포장 표면을 견고하고 오래 지속되는 물질로 변형시켜서 공공 도로와

공항 활주로의 수명을 크게 연장할 수 있음

◦ 국가 보안에 활용 - 매년 20억 톤 이상의 화물이 미국의 항구와 수로를 통과함. 이들 항구의 상당수는 화물 검사를

위해 코발트-60 스캐너에 의존하고 있으며 코발트-60이 방사능이기 때문에 업계는 입자

가속기에 의해 생성되는 고에너지 X선을 사용하는 쪽으로 기울고 있음

- 개선된 가속기 및 검출기 기술은 특정핵물질(SNM)이나 무기 등이 선박이나 화물 컨테이너를

통하여 미국 항구로 들어오기 전 대기 거리에서 탐지하는 데 사용될 수 있음

<그림 8> 국가 보안 활용

◦ 과학기술분야에서 컨테이너 컴퓨팅 이니셔티브 - 컨테이너 컴퓨팅은 이미 여러 서비스에서 사용 중 : FermiGrid/CMS Tier 1에서 현재 모든

배치 작업이 도커 컨테이너 내부에서 실행되고 있음

- 컴퓨팅 작업들을 서로 격리할 수 있고, 작업당 자원의 한계를 늘릴 수 있음. HAProxy

소프트웨어 로드 밸런서가 도커화되어 여러 서비스에 사용됨

◦ 컨테이너 컴퓨팅를 위한 컨테이너를 제작, 테스트 및 저장하는 도구 : 기본 이미지에서 빌드할 서버 플랫폼. On-site Docker registry(VMWare Harbor). Harbor(VMWare)는 서버 간에

프로젝트 복제가 내장되어 있으므로 프록시 서버 뒤에 Active-Active 쌍이 있음. Jenkins를

사용하여 다양한 용도로 CI/CD 컨테이너 워크플로우 테스트 수행

- 여러 사용자를 위한 컴퓨팅 컨테이너 관리(managing)/조정(orchestration) : Red Hat

OpenShift의 오픈소스 버전인 OKD를 사용함

- CMS 개발자들이 최대 100개까지의 구형 작업 노드를 가지고 실험하기위해서 훨씬 더 큰

OKD 클러스터 설치를 시작하려고 함. 멀티 테넌트(여러 사용자 지원/분리). SDN 관리

(소프트웨어 정의 네트워크) 등 많은 워크플로우를 수용할 수 있을 정도로 유연함

- 컴퓨팅 컨테이너 관련 서비스 및 인프라에 대해 다른 기관과 논의 및 협력하는 데 관심이

있음

16

2.1.3 KEK 연구소 실험

가. 실험 인프라 개요

❏ KEK 연구소 개관◦ 일본 쓰쿠바 시에 위치. 세계 최고의 광도(luminosity)를 발생시키는 가속기(SuperKEKB)를 구축 운영

◦ 26개 국가에서 113개 연구소 900여명이 KEK Belle2 실험에 참여

❏ 주요 실험 장비◦ SuperKEKB(전자와 양성자의 충돌을 세계 최대의 광도로 충돌시키는 입자가속기)- 원주가 3Km인 회전링 형태의 가속기로서, 7GeV로 전자를 가속시키고 4GeV로 양성자를

가속시켜서 충돌시키는 이중 링 구조의 충돌기임.

◦ STF(Superconducting RG Test Facility), cERL(Compact Energy Recovery Linac), MLF(Materials and Life Science Experimental Facility) 등 운영

❏ 데이터 인프라◦ Belle 2 실험은 이벤트당 원시 데이터가 300KB 정도 생성되고, 유효한 데이터만 필터링해서 고수준으로 정제한 후에는 이벤트 당 10KB 정도로 저장됨

- 기존 Belle 실험보다 40배이상 향상된 Belle2 실험은 2018년도에 첫 충돌 실험이 있었고,

Belle 2 실험으로 고도화하기위하여 계획하였던 성능을 구현하기 위한 테스트 실험들이 현재

지속적으로 진행 중

◦ Belle 2 실험의 최종 목표는 약 100PB(누적 데이터)의 원시 데이터에 해당하는 50 ab-1 실험임. 이것은 이전의 Belle 실험보다 50배 큰 데이터 크기임. 따라서 매년 수십 PB씩

데이터가 생성될 것으로 추정됨

나. 주요 실험 소개

❏ 실험 방법◦ 전자와 양성자의 충돌을 세계 최대의 광도로 충돌시켜서 Z boson을 찾는 실험을 수행함- 물질과 반물질 사이의 비대칭적 발현과 우주의 25%를 구성하는 암흑물질을 규명3)하는

실험을 수행함

2. 기초과학 분야 대용량 실험데이터 활용

17

- Z boson은 암흑물질과 가시물질 사이의 가교 역할을 할 것으로 추정함

<그림 9> Z boson을 찾는 실험

❏ 과학 실험◦ 기본적으로 소립자의 표준 모델을 연구하기위한 연구가 주를 이룸

<그림 10> 기본 입자들의 표준 모형

3) 우리가 보고 있는 물질은 우주 구성의 5%를 차지하고 있음

18

◦ 뉴트리노(Neutrino) 연구- 가속기를 이용하여 뉴트리노의 질량과 혼합에 대해서 연구. 이를 위하여 일본의 두 도시인

토카이시와 카미오카시를 지하로 연결하는 295Km의 long based neutrino experiment 구축

◦ B-Factory 연구 - 물질과 비물질 사이의 대칭성 규칙 위반을 연구. 가속기에서 생성된 대량의 B meson을 연구

◦ hadron beam dynamics 연구- 빔(Beam) 전송과 빔 광학을 연구함. 하드론 실험 장치에서 세계에서 최대의 intensity를

갖는 Kaon 빔을 생성하는 연구를 수행함

◦ CERN LHC 실험에서 ATLAS 실험에 참여◦ CMB(Cosmic Microwave Background) 연구 - 우주의 기원을 탐구하기위한 양자시공 물리학을 연구

◦ 희귀 K-meson 감쇠 연구- K-meson(Kaon)들이 변이하여 더 가벼운 입자들로 변하는 것을 측정하는 연구

◦ 뮤온(Muon) 희귀 감쇠 모드 연구- 기본 입자 표준 모델에서 금기시 되어 있는 뮤온의 희귀 감쇠를 찾는 방법을 통하여 입자

물리의 대통합 이론을 연구함

❏ 융합 연구◦ 생명 과학 연구- 단백질들은 많은 아미노산으로 연결되어있고 연결된 모양이 복잡한 방법으로 접혀서 연결

되어있음. 따라서 그 구조가 알려져 있지 않음

- synchrotron radiation facility를 이용하여 단백질 구조를 빠르게 이해할 수 있음. 단백질

구조 파악은 단백질 기능을 관찰하는 것이므로 질병 발현 메카니즘을 이해할 수 있으며 신약

설계에 도움을 줌

◦ 방사선의 식물 반응 연구- synchrotron radiation을 이용한 X-ray microbeam irradiation system을 이용하여

식물 세포를 하나 하나씩 식별할 수 있고 하나 하나의 세포마다 우리가 원하는 양만큼 방사능을

쪼일 수 있음

◦ 세포 마다 방사선 량의 조절에 따른 반응을 조사하고 연구함

2. 기초과학 분야 대용량 실험데이터 활용

19

◦ 이산화탄소 프리 에너지- 수소 밀집도가 서로 다른 세 가지 하이드라이드는 단위 격자의 각 면의 중심에 큐빅 금속

격자를 갖는 구조임

- 이산화탄소를 배출하지 않고 화석 연료와 원자력에 의존하지 않는 태양 전지, 연료 전지,

수소 저장 합금 같은 기능 물질의 효율성을 증가시키는 연구를 수행

20

2.2 천체물리 분야

2.2.1 중력파 실험(Gravitational Wave Research)

가. 실험 인프라 개요

❏ 실험 주도 기관◦ LVKG(LIGO, VIRGO, KAGRAm, GEO600이 참여하는 4대 중력파 관측소)가 협력하여 “중력파 탐지 전세계 네트워크”를 구축하여 협력함

- 이전에는 LSC(LIGO Scientific Collaboration)라고 하는 미국 관측소(LIGO) 중심의 협력체가

주도하였으나 지금은 미국 관측소(LIGO), 이탈리아 관측소(VIRGO), 일본 관측소(KAGRA),

독일 관측소(GEO600)가 협력하는 모습으로 확대 변화하는 중

- 기존 LSC 협력체에는 전 세계 18개 국가, 108개 기관에서 1300여명 이상의 연구자가 참여.

VIRGO에는 12개 국가 106개 연구기관 550명 참여. KAGRA에는 15개 국가, 100개 연구소

360명 참여, 독일 GEO600에는 LIGO 멤버 중 150여명 참여

❏ 주요 실험 장비◦ 미국 레이저 간섭계 중력파 관측소(LIGO)- 미국 LIGO는 서로 분리된 4Km 길이의 두 개의 중력파 검출 설치 시설로 구성됨. 하나는

핸포드 워싱턴에 있고 다른 하나는 루이지애나주 리빙스턴에 있으며 두 개가 하나의 관측

시스템으로 운영됨

◦ 실제 운영 기관은 캘리포니아 공과대학교(Caltech)와 매사추세츠 공과대학교(MIT)의 컨소시엄인 LIGO 연구소가 운영 중. 국립과학재단이 후원하는 LIGO는 물리학과 천체물리학 모두를 위한

국제적인 자원임.

◦ 이탈리아 중력파 관측소(VIRGO)- 3Km 길이의 관측장비, 프랑스와 공동으로 운영

◦ 독일 중력파 관측소(GEO600)- 3Km 길이의 관측장비 독일 하노버 맥스플랑크 연구소에 위치. 영국과 공동으로 운영

◦ 일본 중력파 관측소(KAGRA)- 3Km 길이의 관측 장비

2. 기초과학 분야 대용량 실험데이터 활용

21

❏ 데이터 인프라◦ 데이터 공개- LIGO는 미국 NSF의 DMP(Data Management Plan)규정에 따라 데이터를 공개하게

되어있음. 모든 보정된 변형률 데이터, 데이터 품질 플래그 및 하드웨어 주입 시간 데이터를

공개함. 공개는 6개월마다, 6개월 기간의 데이터 블록을 공개함

- 데이터 획득 후 통산 18개월의 대기 시간이 소요됨, 이는 협업으로 데이터를 검증, 보정

및 처리하는 시간인데 점점 줄어들 것을 예상됨

◦ 데이터 크기- Advanced LIGO의 경우 데이터 전송 속도는 IFO(Interferometer)당 약 25MB/s이며,

총 전송률은 연간 약 1.5PB에 달함

- 원시 LIGO 데이터는 보조 측정 및 모델과 결합하여 중력파 변형 신호를 나타내는 시계열을

구축함

- 또한 추가될 수 있는 보조 장치 및 환경 모니터링 채널 데이터가 큼

◦ 데이터 컴퓨팅 센터 규모 예시(독일 GEO600)- 아틀라스 컴퓨팅클러스터가 3,000대의 컴퓨팅 서버에서 50,000개 이상의 물리적 CPU 코어

(약 90,000개의 논리적 코어)로 확장됨. 또한 약 350장의 고성능, 전문 그래픽 처리 장치

(GPU) 카드가 기존의 특수 목적 컴퓨팅용 약 2,000장의 세트에 병렬로 추가됨. 이러한 추가는

Atlas의 이론적 피크 컴퓨팅 능력을 2PFLOP/s 이상으로 높임

나. 주요 실험 소개

❏ 실험 방법◦ 중력파 신호를 검출한 라이고(LIGO)의 기본구조는 마이컬슨 간섭계에 기반을 두고 있음. 마이컬슨 간섭계의 경우, 빛의 속도 변화를 측정하는 것이 주된 목적인 반면에 라이고의

경우에는 거리 변화를 측정하는 것이 주된 목적임

- 라이고에서는 각각의 빛이 4km 길이의 ‘패브리-페로 관’에서 반사를 통해 수백 번 왕복하는

과정을 거친 다음에 합쳐지도록 함. 이는 중력파로 인해 라이고의 크기에서 나타나는 아주

미세한 거리 변화를 수백 배로 증폭하는 효과를 만들어냄

- 라이고는 각각의 빛을 400번 왕복하게 만들어 무려 1600km 크기에 이르는 마이컬슨

간섭계를 사용한 것과 같은 효과 창출

22

<그림 11> LIGO 실험시설 개요

❏ 과학 실험◦ 블랙홀과 중성자 별의 병합 연구- 블랙홀, 중성자 별과 같은 작고 거대한 물체가 서로 회전할 때, 그들은 서서히 점점 가까워져

마침내 합쳐져서 블랙홀을 형성함. 이 현상을 병합이라고 함

- 그러한 이 두 시스템은 긴 수명 동안 주파수와 진폭이 동시에 증가하는 중력파의 방출에

의해 에너지를 잃어 감. 두 개 별의 병합 단계의 마지막 단계에서, 중력파가 서로 10, 100,

1000번 회전할 때, 충돌 몇 초 전에 중력파 탐지기가 감지할 만큼 충분히 강해짐

<그림 12> 중력파를 방출하는 2개의 중성자 항성계의 병합 단계

◦ 중성자 별의 회전에 관한 연구- 중성자 별은 빠르게 회전하고 자성이 높은 항성으로, 거대한 별의 잔해 중심부가 초신성

폭발을 겪었음을 나타냄. 중성자 별은 극한 물체로 태양과 대략 같은 질량을 가지고 있지만

반경 10km의 구체로 집중되어 있고, 초당 1000번까지 회전할 수 있음. 만약 항성이 표면에

아주 작은 "산"만 있는 완전한 구형이 아니라면, 그것은 연속적인 중력파를 발생시킬 것임

2. 기초과학 분야 대용량 실험데이터 활용

23

- 펄사(Pulsar)는 자성 비대칭 중성자 별의 특별한 경우로, 우리는 별이 스스로 한 바퀴를 돌

때마다 주기적인 빛 섬광을 받음. 중성자 별의 관찰은 그들의 내부 구조에 대한 중요한 정보를

제공할 것임. 태양 인접지역과 우리 은하계에서도 중성자 별들이 방출하는 중력파를 탐색이

가능함

<그림 13> 알려진 펄사를 대상으로 중력파 측정 시도

◦ 버스트와 초신성 연구(Bursts and supernovae)- "중력파 버스트"는 몇 밀리초에서 몇 초까지 지속되는 짧은 중력파 신호에 붙여진 총칭임

- 중력파 탐지기로 초신성으로 알려진 거대한 별의 말기에 발생하는 중력 붕괴의 중심을 관찰할

수 있게 될 것임. 은하수 같은 은하계에는 세기 당 그런 초신성이 몇 개밖에 없음. 그들의

관찰을 통해 우리는 폭발 중에 분출된 물질 뒤에 숨겨진 것이 무엇이고 블랙홀이 어떻게

생성되는지를 더 잘 이해할 수 있을 것임

<그림 14> 초신성 예시

24

❏ 융합 연구◦ 광열공통경로 간섭계(Photo-thermal common-path interferometry) 연구- 비선형 광학 재료를 상업적으로 사용하기 위해서는 비선형 계수와 이륜성 이외의 성질을

측정해야 함. 이러한 특성에는 흡수, 표면 및 대량 손상 한계, 회색 추적 및 녹색 유도 적외선

흡수 등이 포함됨

- 가장 중요한 특성 중 하나는 간단한 광 흡수로 현장 초기에는 흡수가 컸지만 소재가 개선되고

흡수가 작아짐에 따라 보다 민감한 측정 기법이 필요해짐

- 시험 질량 기판에 대한 실리카와 사파이어의 성질을 정밀하게 비교하는 것은 훨씬 더 높은

감도의 측정 기법이 요구될 것임으로 LIGO에서 이온 빔 스퍼터 코팅의 흡수는 서브ppm

영역에 있기 때문에 이를 활용하는 연구 수행

◦ 적응형 레이저 빔 쉐이핑(Adaptive laser beam shaping) 기술 연구- 열로 인한 레이저 빔의 전면 왜곡은 일반적으로 고출력 레이저 빔이 통상 투명한 광학 소자를

통과할 때 발생함. 소량의 잔류 광학 흡수는 광학 소자를 빔 강도가 가장 높은 곳에서 약간

가열됨

- 이 가열은 구성 부품의 열탄성 왜곡이나 굴절률의 열광학적 변화를 통해 파동 전면 오류를

발생시킴. 높은 레이저 파워와 빔 왜곡에 대한 극도의 민감성으로 인해 LIGO 팀은 적응형

레이저 빔 성형 기술을 개발함

- 이 기술은 국토 안보 기반 산업에 혜택을 줌. 고출력 레이저 시스템은 현재 유도 레이저

에너지 무기, 레이저 레이더, 고출력 레이저 시스템의 과학 및 연구 응용, 용접, 재료 절단,

홀드릴링 등 매우 다양한 용도에 사용되고 있음

◦ 고전력 전자 광학 모듈레이터 기술 연구- 레이저 계측학 및 기타 많은 과학적인 고출력 레이저 빔의 응용은 레이저 영역의 위상 변조를

필요로 함. 이전의 상용 위상 조절기는 빔 가열 없이 몇 와트를 초과하는 레이저 파워를

처리할 수 없어 레이저 빔의 열광성 왜곡을 초래함

- 어드밴스드 LIGO 모듈레이터의 기술은 고해상도 계측, 감지 또는 다양한 환경에서 새로운

애플리케이션을 가능하게 함. 새로 개발한 LIGO 기술 기반 전자광변조기(EOM)는 빔 성능

저하 없이 최대 200W의 연속 레이저 전력을 처리할 수 있음

◦ 빠른 변조 주파 변환(Fast chirp transform) 기술 연구- 주파수 변조된 신호는 두 개의 중성자 항성 결합과 같은 외계적인 시스템에서만 볼 수 있을

뿐 아니라 현대의 레이더 시스템, 음파탐지기 시스템, 펨토초 레이저 펄스 및 많은 자연적

물리적 현상을 포함한 자연과 공학에서 흔히 볼 수 있음

2. 기초과학 분야 대용량 실험데이터 활용

25

- LSC 데이터 분석 노력의 일환으로, 준주기적 신호의 검출과 생산을 개선하기 위해 FTC(Fast

Chirp Transform)라고 불리는 알고리즘을 개발함. FTC는 다차원 고속 푸리에 변환(FFT)을

일반화한 것임. 경계 구간에 대한 위상 계수는 시간 영역 내 입력 신호의 시간 의존적 주파수

특성을 설명하는 위상 함수를 사용하여 계산함

◦ 대규모 분산 과학 커뮤니티를 위한 연합 ID 관리 기술 연구- LIGO는 인터넷2, iPlant Collaborative, Project Balf와 함께 국립과학재단이 후원하는

COmanage를 구축하고 있음. COmanage 협업 조직이 응용프로그램과 서비스에 대한

효과적이고 안전한 액세스를 관리하기 위한 도구임.

◦ 플랑크 양자 지오메트리의 프로브로서의 간섭계 개발- 과학자 Hogan 등에 의하면 우리의 3차원 세계는 플랑크 스케일의 우주 시간의 새로운 특성이

될 수 있다는 가설을 수립할 수 있음

- 중력파 간섭계 기술은 이러한 추측을 확인할 수 있는 수단을 제공함. 이 프레임워크에서

고려되는 미셸슨 간섭계의 빔플리터는 팔의 원형 트립 시간으로 분리된 두 번에 걸쳐 광자에

의해 측정되는 시험 질량임. ichelson 기하학은 X 좌표와 Y 좌표를 동시에 측정함. 중력파

간섭계 언어에서 홀로그램 노이즈의 유효 변종은 플랑크 시간의 제곱근(h is 10-22Hz-1/2)에

의해 주어짐

26

2.2.2 초대형 우주 전파/광 망원경 분야

가. 실험 인프라 개요

❏ 실험 주도 기관4)◦ LSST(large Synoptic Survey Telescope) Corporation- 미국의 기업, 대학교, 연구소 등 22개소가 협력하여 LSST Corporation이라는 비영리 회사를

설립

- 주요 재정 분단 계획은 미국 과학재단(NSF) 2.42억 달러, 미국 에너지성 0.96억 달러, 비정부

기금 0.52억 달러

- 23개국, 40여 연구기관, 700여명이 참여

◦ ELT(Extremely Large Telescope) 유럽 초대형 망원경- ESO(European Southern Observatory)가 주도함

- 14억 달러의 예산으로, 칠레 체로 아마조네스에 구축함

- 2017년 착공 2025년 가동

◦ GMT(Giant Magellan Telescope) 거대 마젤란 망원경- 한국 천문연구원도 참여(1년 증 한 달 사용권 확보)

- 7억 달러(인텔 창업자인 무어 재단에서 지원), 칠레 라스캄파나스 , 1년 중 80%가 맑은 날씨인

사막 지대), 주변에 사람이 살지 않아서 어두운 천체까지 관측 가능

- 2025년 가동 예정

◦ TMT(Thirty Meter Telescope) 30미터 망원경- 미국의 캘리포니아 공과대학, 캘리포니아 주립대학 연합, 캐나다 학연 연합(ACURA)이

추진하고 있는 거대망원경 건설 사업

- 2020년 완공 예정이나 하와이 원주민의반대로 지연 중(2027년 가동 예정)

❏ 주요 실험 장비◦ LSST- LSST는 칠레 중부의 체로 파촌(Cerro Pachon) 천체관측단지 내 해발 2682미터 위치에

설치될 예정인 구경 8.4미터의 대형 망원경, 또는 그것을 활용한 관측 계획을 가리킴

4) 세계적으로 4대 초대형 우주 관측 장치가 구축되고 있음. 이들 4대 장치를 간략히 소개하고 기본 내용은 LSST 중심으로 동향을 작성함

2. 기초과학 분야 대용량 실험데이터 활용

27

- 우주 지도를 제작, 암흑물질과 암흑에너지의 정체를 밝히며 다양한 천체를 관측하는 것을

목적으로 함

- 2015년도에 공사가 시작. 첫번째 시험은 2019년이고 실제 관측은 2022년부터 계획되어

있음

<그림 15> LSST 픽셀 카메라

◦ ELT(Extremely Large Telescope) 유럽 초대형 망원경- 망원경은 5개의 미러로 구성되는데 며, 최대 구경은 39.3 미터로 1.4미터 거울 798개로

만듦

- 미러 3개는 축(anastigmat)에 설치되고 2개는 접이형 거울로서 적응형 광학 장치에 사용됨

◦ GMT(Giant Magellan Telescope) 거대 마젤란 망원경5)- 구경 25.4 미터, 한국 천문연구원도 참여(1년 증 한 달 사용권 확보)

◦ TMT(Thirty Meter Telescope) 20미터 망원경- 구경 30미터, 직경 1.4미터짜리 육각 거울 492장을 모아서 직경 30미터짜리 주경을 형성함

❏ 데이터 인프라◦ LSST 관측 데이터의 크기- 한 해에 20만장 촬영, 즉 1.28 PB(PB). 하루에 30TB에 해당

- 방대한 자료처리 기술을 공동 개발하고 관측된 우주의 모습을 서비스하기 위해 구글(Google)이

참여하고 있음

5) 거대마젤란망원경의 주반사경은 직경 8.4미터짜리 반사경 일곱 장을 모아서 하나의 반사경 표면을 이루도록 제작

28

<그림 16> LSST 데이터 프로세싱

◦ 누적 데이터의 크기- 10년 동안 수집한 데이터의 총량은 약 60PB이며, 이 데이터를 처리하면 20PB 카탈로그

데이터베이스가 생성됨

- 데이터를 모두 처리하고 나면 총 데이터 볼륨은 수백 PB가 됨. 첫 번째 데이터 릴리즈에서

약 150TFLOPS(초당 수십억 개의 부동 소수점 운영)의 컴퓨팅 성능을 사용하여 처리

- 10년차 조사 종료 시의 Data Release 11에서는 950TFLOPS로 컴퓨팅 성능을 증가함

◦ 데이터 인프라 : 데이터 관리 시스템은 3개 계층으로 구성됨. 인프라 계층, 시스템 소프트웨어 계층(미들웨어 계층) 그리고 응용 계층임

- 인프라 계층은 스토리지 및 네트워킹 하드웨어로 구성

- 미들웨어 계층은 시스템 소프트웨어, 분산 처리, 데이터 액세스, 사용자 인터페이스 및 시스템

운영 서비스를 처리함

- 응용 계층은 데이터 파이프라인, 제품 및 과학 데이터 아카이브를 포함

◦ 데이터 서비스는 NCSA에서 제공- Kubernetes, Qserv, HTCondor 등 서비스 제공

- 칠레에 있는 LSST에 대한 authorization & authentication까지 지원

2. 기초과학 분야 대용량 실험데이터 활용

29

나. 주요 실험 소개

❏ 실험 방법◦ LSST는 새로운 종류의 망원경임. 민첩한 LSST는 이미지 사이를 빠르게 이동함, LSST의 큰 거울과 넓은 시야(하늘의 거의 10 평방도 또는 보름달 크기의 40배 크기)는 세계의 어떤 광학

망원경보다 희미한 천체로부터 더 많은 빛을 감지함

◦ LSST는 32억 화소 카메라로 매일 밤 800개 이상의 파노라마 이미지를 찍을 것임,- 매주 두 번 전체 가시광선을 기록(각각의 하늘 조각은 조사 기간 동안 1000번 방문)

- 직경 6.7m의 1차 거울에 해당하는 광 채집력으로 30초 마다 사람의 눈으로 볼 수 있는

것보다 1,000만 배나 더 희미해진 물체를 탐지함

- 강력한 데이터 시스템은 멀리 떨어진 은하단만큼 크고 가까운 소행성만큼 작은 물체의 밝기와

위치의 변화를 감지하기 위해 이전 이미지와 새로운 것을 비교함

◦ 망원경, 거울, 카메라, 데이터 처리, 그리고 조사를 결합한 LSST는 수십억 개의 희미한 물체의 변화를 포착할 것이고, 그것이 제공하는 데이터는 전례 없는 깊이와 디테일을 가진 애니메이션화된

3차원 우주 지도를 만드는데 사용됨

◦ 이 지도는 암흑 물질이라 불리는 신비한 물질을 찾아내고 더욱 신비로운 암흑 에너지의 성질을 특징짓는 것에서부터 과도적인 물체를 추적하는 것과 우리 은하계를 심층적으로 연구하는

것까지 무수한 목적을 제공함

❏ 과학 실험◦ 암흑 에너지 관련 연구- 약한 중력 렌즈 현상, 바이론 음향 진동, Ia 초신성의 광도계를 측정(모두 적색편향의 함수)

등 암흑에너지와 암흑물질을 연구

◦ 태양계 천측 관측- 태양계의 작은 물체, 특히 지구와 가까운 소행성들과 카이퍼 벨트 물체들을 지도화함. LSST는

카탈로그화된 개체의 수를 10–100배 증가시킬 것으로 예상됨◦ 천변(Optical Transients) 연구 - 노바에, 초신성, 감마선 폭발, 퀘이사 변동성, 중력렌즈화 등 일시적인 천문학적 사건을

감지하고 후속 조치를 용이하게 하기 위한 신속한 사건 통보 제공

30

2.3 바이오 분야

2.3.1 ARGO(유전체 종양학) 실험

가. 실험 인프라 개요6)

❏ 실험 주도 기관◦ ICGC(International Cancer Genome Consortium)- ICGC는 전 세계 사람들의 다양한 형태의 암에 존재하는 유전적 변화를 해결하기 위한 공동의

프로젝트를 착수하고 조정함

- 37개국, 744개 기관, 1300여명이 ICGC- PCAWG(The Pancancer Analysis of Whole

Genomes)에 참여하고 이중 8개국 17개 연구기관이 ARGO(Accelerating Research in

Genomic Oncology) 프로젝트에 참여.

◦ ICGC ARGO 프로젝트- 2040년까지 2750만건의 유전자 정보 수집 및 공유 목표

- 향후 10년간 백만명의 유전자로를 확장하는 것이 단기 목표임

❏ 주요 실험 장비◦ 전가세계에서 등록된 20만명의 암환자(현재는 58,300명 등록)- 임상 및 주석이 잘 설명된 유전체 및 표현체 데이터

- 상기 데이터를 활용하여 특정 암 표현

- 암의 원인과 통제 방법에 대한 데이터 공유

❏ 데이터 인프라- ICGC Data Portal

- ICGC 데이터 포털은 컨소시엄의 회원 프로젝트가 분기별로 발표하는 데이터를 시각화,

쿼리 및 다운로드하는 도구를 제공

- ICAAGC 데이터 포털은 ICGC를 위한 주요 데이터 보급 플랫폼임. PCAWG 데이터를 데이터

포털로 가져오거나 인덱싱하여 데이터 검색/다운로드/탐색을 단순하고 효과적으로 수행함.

6) 서울대 고영일 교수 발표 자료 참조

2. 기초과학 분야 대용량 실험데이터 활용

31

◦ PCAWG Xena Hub- 2개 집단(Cohorts), 53 Datasets : PCAWG(donor centric)(26 datasets), PCAWG(specimen

centric)(27 datasets)

◦ ARGO-RDPC(Regional Data Processing Center)- ICGC Data Portal의 진화된 버전으로 지역 데이터센터와 결합한 데이터 포털로 전환 작업을

진행 중

<그림 17> ARGO 연구의 주요 요소

- 시스템 아키텍처 : 모든 ARGO 분석 워크플로우는 Docker를 사용하여 컨테이너화, Docker

컨테이너를 실행하기 위한 ARGO RDPC의 권장 컴퓨팅 아키텍처는 OpenStack 클라우드

또는 기타 클라우드 플랫폼임

- 그러나, Slurm, SSGE, LSF 등과 같은 고성능 컴퓨팅(HPC) 클러스터도 작동할 수 있음.

HPC 클러스터에서 '루트' 액세스 없이 ARGO 도킹 워크플로우를 실행하는 데 사용할 수

있는 uDocker 또는 "잠긴" 버전의 도커와 같은 도커 대안을 식별하기 위한 노력이 진행

중

32

나. 주요 실험 소개

❏ 대표 실험 방법◦ 암 DNA 지도 작성- 전세계 과학자 1300명이 위암･폐암･백혈병 등을 10년 넘게 합동 연구하여 38종 염기서열 해독하고 암 관련 돌연변이도 4700만개 찾아냄

- 암 유발 돌연변이 수십 년 전부터 예후 보이는 특징이 있음. 예를 들면 난소암은 35년전부터

예후가 시작됨

- 10년후 피 한 방울로 암을 조기 진단하는 것을 가능케 함

❏ 과학 실험◦ 데이터 분석 예시 - 전체 게놈(30-50X), 전체 엑소놈(200X), 전체 전사체(1000만 읽기)을 참조 게놈에 정렬(다음

유형을 호출하는 변종 : 생식선 및 체질의 단일 뉴클레오티드 변형, 삽입 및 복사 번호 변경,

체질적 체구조 변화)

- 검체 순도(purity)

- 검체의 염색체적 배수성

- Working Group들을 위한 데이터 하위 영역 재구성

- 염색체 하나의 바이어스 및 커버리지 분포와 같은 표준 품질 관리 지표, 성별, 염색체, 정상

종양 등

- DCC가 제공하는 임상 분야 검증 및 완전성 테스트의 적용

❏ 융합 연구 ◦ 암 치료법 개발을 위한 게놈 지식 연구- 현재 연구되고 있는 프로젝트로는 담도, 방광, 혈액, 뼈, 뇌, 유방, 자궁경부, 결장, 눈, 머리와

목, 신장, 간, 폐, 비인두, 구강, 난소, 전립선, 직장, 피부, 연조직, 위, 갑상선, 자궁 등 영향을

미치는 종양을 검사하고 있음

2. 기초과학 분야 대용량 실험데이터 활용

33

2.4 국내 동향

가. 포항 광가속기 실험

◦ 연구 내용- 방사광 가속기는 전자가 자기장 속을 지날 때 휘어지면서 접선방향으로 빛(광자)을 방출하는

원리를 이용하여 물질의 구조를 파악하게 하여 구조생물학, 소재, 나노, 화학, 의료 분야에

활용

- 포항 3세대 및 4세대 방사광 가속기에서 제공하는 빔라인(3세대 30여개, 4세대 3-4개)에서

구조생물학, 화학, 재료, 물리 등 실험 장치들을 설치하여 방사광 빔을 활용하여 실험을 수행

◦ 연구 시설- 3세대 가속기는 1994년 완공됐으며 이어 2015년도에 4세대 가속기 완공

<표 1> 포항 3세대 방사광가속기와 4세대 방사광가속기

3세대(PLS-II) 4세대(PAL-XFEL)

분류 Light Source X-ray Free Electron Laser

완공 연도 1994년 2015년

빔라인 길이 280 미터 1,100 미터

최대 밝기 태양의 100억 배 태양의 100경 배(3세대의 1억 배)

시간 분해능 피코초(1조분의 1초) 펨토초(1,000조분의 1초)

결맞음1) 나쁨 좋음

전자빔에너지 3 기가일렉트론볼트2) 10 기가일렉트론볼트

빔라인 운영 36개 빔라인 운영 9개 분야 실험 지원 예정

지원 분야신물질 합금, 고효율 태양전지 재료,

마이크로 의학용 로봇, 신약개발 등

그린에너지 기술개발, 신소재개발, 세포 이미징,

단백질 구조분석, 신약개발 등

1) 4세대 방사광가속기는 규칙적으로 잘 정렬된 빛을 생성, 물질 구조 해석에 뛰어남

2) 1 기가일렉트론볼트(GeV) = 전자 질량(511 KeV) 약 2천배에 해당하는 에너지

34

<그림 18> SFX 실험 개요도

◦ 실험데이터- 3세대 가속기 실험 데이터 : 단백질 결정 회절 이미지 저장 및 분석 그리고 분석 프로그램

(XDS, DIALS) 구동에 따라 데이터 세트 당 10GB 정도 생산되고 1일 400데이터 세트가

생성됨. 한 실험당 3일이 소요되고 실험당 12TB가 생성됨. 이때 월 1회 실험을 가정하면

년 144TB와 사용자 데이터가 생성됨

- 4세대 가속기 실험 데이터 : 2020년도에 XFEL을 사용한 실험데이터 저장 및 분석의 경우

생성 데이터는, 4Mpixels 사용 실험을 월 1회 그리고 2개월간 데이터를 보장한다면, 240TB/

실험×2회+이용자 재생산 데이터는 대략 500TB 정도 생성됨

◦ KISTI 지원- 방사광 빔을 활용하여 수행한 실험데이터는 포항가속기연구소 DAQ(Data Acquisition)

시스템을 통해 획득되며 3세대 및 4세대의 데이터센터에 1차 저장된 후 선택적으로

KREONet 연구망을 통해 KISTI GSDC 저장소로 전송

- 사용자 인터페이스(UI)를 포항가속기연구소 실험지원 환경과 동일한 구성으로 제공하고

클러스터 8대(약 324코어)를 구축

- KISTI 과학기술연구망센터에서 운영하는 KREONet을 통해 포항공과대학을 거쳐 포항

가속기연구소 3세대 및 4세대 가속기의 실험 데이터 저장소와 연결(Shared 10Gbps)

- 시범 지원 사업으로 NAS방식의 200TB를 우선 제공하고 향후 수요에 따라 확대

2. 기초과학 분야 대용량 실험데이터 활용

35

나. 중이온 가속기 실험

◦ 연구 내용- 양성자에서 우라늄까지 다양한 중이온을 가속･충돌하여 물질구조를 변화시켜 희귀동위원소를 생성

- 충돌과정에서 일어나는 숨어있던 입자들 사이에 다양한 반응을 통해 원자핵이나 소립자를

관찰하거나 신물질을 발견하는 등 미시세계의 물리법칙을 규명

◦ 연구 규모- 과학벨트 핵심 기초연구시설로서 세계 최고 수준의 중이온가속기를 구축하여 기초연구 선도

- 빔에너지 200MeV/u, 빔출력 400kW급 희귀동위원소 가속기 구축, 총 사업비(2011~2021년)

1조 4,445억원,(부지면적) 952천㎡(가속기 부분 130천㎡(연면적 3.9만평)

◦ KISTI 참여 계획- 중이온 가속기 데이터의 생산-처리-활용(3P) 체제 구축을 통한 가속기 응용과학 활성화를

위해 가속기 설계･구축에 집중, 가속기 응용연구자들이 연구에 필요한 가속기 데이터 활용을 위한 컴퓨팅-데이터-네트워크 환경을 제공

- 중이온가속기 응용연구를 지원하기 위한 데이터인프라, 고성능 네트워크, 컴퓨팅환경 및

협업연구플랫폼 등 인프라 구축 요구에 대응하기 위한 데이터센터 역할 수행

- 가속기 응용연구의 핵심요소인 실험 데이터 수집 및 처리･분석을 위한 컴퓨팅시설 구축- 원천데이터를 재구성 혹은 재처리하기 위한 방식이나 분석 소프트웨어 활용 환경 지원

- 분석 데이터에 따른 실험별 요구 인프라 사양에 맞춰 서버 및 스토리지 시스템 구축 및 서비스

다. 초고전압 전자 현미경 실험

◦ 연구 내용- 구조생물학은 단백질의 구조를 원자수준으로 규명하고, 단백질 내부 혹은 여러 단백질 간의

생화학적･생물학적 상호작용을 분석한 후, 이를 단백질의 기능과 연관시켜 해석- TEM 등 초고해상도의 현미경을 활용하여 전자총에서 방출된 전자빔을 통해 시편에 입사되는

전자들과 시편내에 포함된 원자 및 전자들이 상호작용하여 신호를 적절한 알고리즘에 의해

영상으로 출력하여 세포 구조를 파악하고 있음

- 우리나라의 경우 한국기초과학지원연구원(KBSI)에서 최첨단 의생명과학 맞춤형 전자현미경

시스템 구축 및 범국가적 연구지원 수행을 위한 슈퍼 바이오 전자현미경 설치 및 활용 사업을

통해 전자 현미경을 구축하여 연구에 활용 중임

36

<그림 19> 초고해상도 전자현미경(KBSI)

◦ KISTI 지원- 전자현미경을 통한 단백질의 구조 분석을 위하여, 프로젝트 하나당 생성되는 데이터량은 약

50TB정도로 데이터의 생성･관리･활용에 있어 스토리지 및 컴퓨팅 인프라가 매우 중요함- KISTI는 국내 구조생물학자들을 지원하기위해 2028년도부터 364core 규모의 CPU와

GPU(NVIDIA P100 × 2ea × 3대)시스템을 지원함

- 오창 KBSI데이터 생산시설과 KISTI 데이터 분석･활용연구실 간 10Gbps 전용망(Science DMZ7))을 연동함

- 700TB 규모의 스토리지를 제공하여 연구를 지원함

- 전자현미경 연구그룹이 현재 2019. 12월 기준 3개그룹에서 5개 그룹으로 확대 예정

◦ 지원 성과- 기존 개별 연구실 단위의 워크스테이션(20core) 수준에서 수행된 데이터 분석 작업 소요

시간이 GSDC 클러스터(364core)에서는 약 10% 수준으로 줄어들었고, GSDC GPU 분석

팜에서는 약 5% 수준까지 떨어지는 등 연구생산성이 획기적으로 향상됨

라. 중성미자 실험(RENO 사업)

◦ 연구 내용- 물리학 최대 관심사의 하나이며, 초기우주 생성과 관련된 미 측정된 중성미자 변환상수()

발견을 위한 국제공동연구 수행

- 국내 10개 기관(서울대/경상대/경북대/동신대/부산대/서경대/성균관대/세종대/전남대/전북대)과

러시아 2개 기관의 약 40인의 연구자가 공동연구

7) 대용량 데이터 중심형 거대과학(Data-Intensive Science) 및 관련 협업연구를 수행하기 위해 성능의 저하 없이 대용량 데이터 전송이

가능한 혁신적인 네트워크

2. 기초과학 분야 대용량 실험데이터 활용

37

- 2009년 9월 1일부터 한국연구재단의 선도연구센터(SRC)로서 선정되어 “한국중성미자연구

센터(KNRC)” 개소하여 연구를 진행 중

- RENO 실험 이후 새로운 중성미자 실험을 계속 추진할 예정

◦ 연구 규모- 영광원전의 원자로 근처에 길이 100m와 300m의 터널 구축(50억원). 450톤 규모의 중성미자

검출기 2대 설치(56억원)

70m high

200m highNear DetectorReactors70m high

200m highNear DetectorReactors

<그림 20> 중성미자 지하검출시설 구축 개요

- 원자로에서 방출되는 중성미자의 검출시설을 구축하여 실험(2010년 6월 완공, 2025년까지

운영 예정)

- 향후 지속적인 증성 미자 연구를 위해 세계 최고 수준의 초대형 우주 중성미자 망원경을

현재의 시설보다 20배 크게 나주 금성산에 구축하거나 일본과 협력하여 한일간 공동으로

중성미자 연구장치로서 3세대 카미오칸데로 하이퍼카미오칸데를 한국 설치하는 것을 일본의

노벨 과학자 카지타 타카아키와 협의중. 한국에서는 이를 가칭 한국중성미자관측소(KNO,

Korean Neutrino Observatory) 구축으로 계획 중

<그림 21> 한국중성미자관측소(KNO, Korean Neutrino Observatory) 구축

38

◦ 실험 데이터- 두 검출기의 약 850개 광센서에서 3.6Gbps의 데이터가 24시간 365일간 쉬지 않고 생성됨

- RAW 데이터는 매년 약 110TB, 분석용 데이터는 매년 약 50TB의 데이터가 생성

- 재구성된 데이터의 자세한 데이터 분석을 위해 2GHz의 CPU가 약 700개 정도가 필요

◦ KISTI 지원- 432 코어의 CPU 지원 : CPU 활용율 및 작업 평균 대기시간을 고려하여 기존 수준과 동일

규모 지원

- 1100TB의 디스크 지원 : 디스크 활용율이 현재 할당량의 90% 이상을 상회하여 사용하고

있으므로 기존 대비 150TB 증가하여 1,100TB를 지원함

◦ 지원 성과- RENO 실험 결과를 활용하여 국내 연구자들을 통해 다양한 연구 성과물 창출

- 중성미자 변환상수 측정 결과의 논문 발표

- 원자로 열 방출량의 실시간 원격 측정 기술 개발

- 중성미자 에너지 스펙트럼의 정밀 측정을 통해 IAEA가 관심을 가지는 원자로 내의 플루토늄

생성량 감시 기술 개발

3. 대용량 실험데이터센터의

인프라 기술

3.1. 3.1. 3.1. 3.1. 3.1. 3.1. 3.1. 3.1. 3.1. 3.1. 3.1. 3.1. 3.1. 3.1. 3.1. 3.1. 3.1. 3.1. 주요 주요 주요 주요 주요 주요 주요 주요 주요 주요 주요 주요 주요 주요 주요 주요 주요 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 실험데이터센터의 실험데이터센터의 실험데이터센터의 실험데이터센터의 실험데이터센터의 실험데이터센터의 실험데이터센터의 실험데이터센터의 실험데이터센터의 실험데이터센터의 실험데이터센터의 실험데이터센터의 실험데이터센터의 실험데이터센터의 실험데이터센터의 실험데이터센터의 실험데이터센터의 인프라 인프라 인프라 인프라 인프라 인프라 인프라 인프라 인프라 인프라 인프라 인프라 인프라 인프라 인프라 인프라 인프라 기술 기술 기술 기술 기술 기술 기술 기술 기술 기술 기술 기술 기술 기술 기술 기술 기술 동향동향동향동향동향동향동향동향동향동향동향동향동향동향동향동향동향3.1. 주요 대용량 실험데이터센터의 인프라 기술 동향

3.2. 3.2. 3.2. 3.2. 3.2. 3.2. 3.2. 3.2. 3.2. 3.2. 3.2. 3.2. 3.2. 3.2. 3.2. 3.2. 3.2. 3.2. 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 활용 활용 활용 활용 활용 활용 활용 활용 활용 활용 활용 활용 활용 활용 활용 활용 활용 관련 관련 관련 관련 관련 관련 관련 관련 관련 관련 관련 관련 관련 관련 관련 관련 관련 기술기술기술기술기술기술기술기술기술기술기술기술기술기술기술기술기술3.2. 대용량 실험데이터 활용 관련 기술

3. 주요 대용량 실험데이터센터의 인프라 기술

41

3. 대용량 실험데이터센터의 인프라 기술

3.1 주요 대용량 실험데이터센터의 인프라 기술 동향

가. 스위스 CERN 데이터 인프라

❏ CERN 개요◦ 1954년 23개국이 참여하여 설립◦ 현재(2020) 기준 세계 최대 입자물리 연구소◦ 2500여 스태프 근무, 17000여명 이용자 지원

❏ CERN IT 부서 미션 ◦ CERN 연구소가 고유 미션을 달성하도록 지원함- Meyrin 사이트에 있는 main data center 운영

- 23ms 전송 지연 시간을 갖는 부다페스트에 있는 Wigner 데이터 센터 운영

- 양 데이터 센터를 3개의 100Gb/s 전용망으로 연동

- 양 데이터 센터의 자원들을 서비스하고 재난 복구함

❏ BATCH, HPC 그리고 CERNMegabus 측면 ◦ CERN CentOS 7으로의 Batch 서비스 migration이 99% 진행- LSF(스케쥴러)는 철수되었음 : 현재 HTCcondor가 모든 배치 서비스에 작업 중

- 컴퓨팅 자원 활용률을 높이기위하여 backfill work(재할당 작업)이 진행 중

◦ Wigner 데이터 센터에 있는 배치 서비스 자원들은 2019년 말에 철수할 예정 - HPC 작업의 대부분은 윈도에서 리눅스로 이동됨 : MPI 응용을 위해서 SLURM(Simple

Linux Utility for Reseatch Management) 지원. 단일 노드에 HTCondor과 큰 메모리

응용 지원

◦ 자원 활용율과 자동화를 개선하기위하여 쿠버네틱스 상에서의 배치 서비스를 조사 중

42

◦ CERNMegabus - CERNMegabus 파이썬 라이브러리를 stomppy-4..1.21로 업그레이드 함

- 다른 UPS 발전을 이용할 수 있게 하기위해 Power Cut Event를 위한 의사결정 프로세스를

재설계함

❏ 모니터링 측면◦ CERN 클러스터 모니터링 프로젝트인 레몬(Lemon) 프로젝트를 단계적으로 중단함- 레몬에서 Collectd로의 이전이 완결되었음

- Collectd 데이터는 MONIT 인프라 안에서 통합됨, 레몬은 2019년도 9월말에 종료

◦ IT 서비스 측정- 서비스 KPI와 SLI를 수집하기위하여 새로운 MONIT 워크플로우가 설치됨

◦ ATLAS와 CMS 모니터링 전환 - 구형의 ATLAS 데이터 관리, ATLAS 작업 계정 관리, 그리고 CMS 작업/타스크 모니터링

대시보드를 MONIT 인프라로의 전환은 완결되었고 구형 인프라는 철수하였음

◦ 메시지 시스템을 오픈 소스로 전환- 오라클 자바 + 레드햇 A-MQ에서 OpenJDK + 오픈 소스인 ActiveMQ로의 전환을 진행 중

❏ 스트리밍과 분석 서비스 측면◦ 하둡(Hadoop) - 현재 설정은 120개의 물리적 머신, 30TB 램, 4,000개의 코어, 26PB의 스토리지임

- 모든 모니터링은 Collectd에 기반한 중앙 서비스로 이관 중, 가장 큰 오라클 DB인 가속기

logging 정보(1PB)에 대한 데이터 이관 중 내년에는 전부를 이관 예정

◦ SWAN 통합(SWAN : Service for Web based ANalysis) - Spark computation를 Kunernetes 클러스터로 넘길 수 있음, SWAN 서비스를 Kubernetes에

돌아가도록 설치 작업을 진행 중

◦ Machine Learning- Spark에 기반한 물리 분야 활용 사례를 위하여 분산 딮러닝을 지원하는 full data pipeline을

설치 중

◦ 스트리밍 서비스(kafka) multitenancy- 주제 관리 및 e—group 지원을 위한 ACLs를 지원하는 self-service portal을 지금 장려 중

3. 주요 대용량 실험데이터센터의 인프라 기술

43

❏ 데이터 베이스 서비스 측면◦ 오라클 데이터 베이스 - 버전을 11g/12c에서 18c/19c로 업그레이드 중

◦ 웹 로직(Weblogic)- VM에서 Kubernetes로 전환이 시작되었음. 버젼 12.2로 업그레이드 준비 중

◦ 오라클 클라우드 평가- 오라클 클라우드에서 전적으로 제공되는 open days ticketing application을 개발하였음

- Angular application을 Kubernetes로 구동하였음, 오라클 데이터 베이스는 Autonomous

Transaction Processing을 제공되었음

- 오라클은 Geant 프로젝트와 동의서에 서명을 하였음. 곧 모든 Geant 사용자들은 오라클

클라우드에 “fast track 연결 서비스를 갖게 될 것임

❏ 스토리지 측면◦ Wigner Tier0 데이터센터는 해체 중- 90PB의 EOS용량은 지금까지 68PB가 전송/ 복제되었고, 앞으로 12PB가 남았음, Ceph

용량은 전체가 2PB임

◦ 파일 전송 서비스(FTS v3.9) - 스케쥴러 성능이 개선되었음, 부하가 걸렸을 때 스케쥴링 latency를 10~15%를 감소시킴

◦ CTA(Consolitated Tape Association) 통합 관련하여 몇 개의 개선이 이루어졌음◦ XrootD v5.X - multi stream 전송에서 의미있는 성능이 이루어짐, TLS기반 root/xroot 프로토콜이 완성되었음

❏ 디스크 스토리지 측면◦ EOS(디스크 기반 스토리지 서비스) - 기존의 확장성에 FUSE X clients를 위하여 새로운 name space 기술을 배치하였음

◦ AFS(앤드류 파일 시스템) - 업스트림에서 서비스 폐기에 대한 부담 감소, 감소 지속

◦ CEPH(free-software storage platform) - 새로운 Nautilus 버전의 배치가 진행 중임. 블록 스토리지와 CephFS을 위한 서비스

최적화가 진행 중

44

◦ S3- 객체 저장소 백엔드를 사용한 새로운 서비스 제공

◦ CERNBox - 여러 개의 협업용 응용(응용 허브)을 통합함

◦ CVMFS- LHC 실험에 새로운 S3 백엔드를 제공하기위하여 배포 시간을 줄이고 있음

<그림 22> CASTOR HSM 기능

<그림 23> CERN의 기존(구) 스토리지 체계

3. 주요 대용량 실험데이터센터의 인프라 기술

45

<그림 24> EOS 기능

<그림 25> Ceph 데이터/스토리지 서비스

❏ Tape 측면◦ LTO(Linear Tape Open) 100% 설치 - 테이프에는 55PB 이하의 데이터가 저장되어 있고, 라이브러리 입찰이 진행 중

◦ 오라클사 제품은 거의 해체됨

46

◦ Run-3를 위하여 3단계 준비 중◦ CTA 인증을 받았고, LHC instance를 위하여 CASTOR에서 전환을 준비 중

<그림 26> 데이터 & 스토리지 서비스 활용 예시

❏ Computing Facilities 측면◦ 조달: 2019년 6월의 의결8)에 따른 스토리지 입찰, 그 결과 2019년 가을 동안 도입 자산 - 192 JBODs(Just Bunch Of Disks), JBOD는 각각이 24개의 디스크 드라이브(12 TB)이어서

총 55PB 이상 제공

- 6월의 의결에 따른 컴퓨팅 장비 입찰 결과 2019년 가을 동안 도입되는 자산은 708개의

서버

- 2019년 9월의 의결에 따른 스토리지와 컴퓨팅 장비는 향후(본 자료의 작성 시점이 2019년

가을임) 18개월 동안 유효한 6배의 일괄 계약이 시행예정

◦ Wigner Tier 0에서 하드웨어 철수는 잘 진행되고 있음 - 1772개의 서버 + 320개의 디스크어레이와 160개의 프론트엔드 서버, 모든 CPU 서버들은

하나의 LHCb 컴퓨터 모듈에 설치되었음

- 최종 batch 작업이 종료되었고 2019년 10월에 철수를 위하여 준비 중에 있는 장비는 CPU

서버가 636개, 디스크 어레이가 120개 그리고 프론트엔드 서버가 60개 임

- 남아 있는 용량으로 인하여 배치 큐는 11월1일에 멈출 예정임

8) CHF 750,000을 초과하는 장비 구매 시 CERN의 Finance Committee 의 승인을 받아야 함

3. 주요 대용량 실험데이터센터의 인프라 기술

47

❏ 네트워킹 측면◦ LHCONE 커뮤니티 확장 가능성 - CERN과 Fermilab은 “DuneOne” 네트워크를 설치 할 것임

- CERN 팀이 적절한 VFRF에 공유 자원을 동적으로 할당하는 옵션 기술을 연구할 것임

◦ 데이터센터 네트워크 - 용량과 유연성 그리고 백업 능력을 위하여 업데이트하고 있음

- 시험용 WDM 설치를 포함하면서 point 8에 있는 LHCb 콘테이너에 IT 서비스를 지원하기

위하여 확장 중에 있음

◦ NOTED 프로젝트 일환으로 전송 브로커를 개발함- 외부로 나가는 그리고 지속적으로 전송되는 정보를 수집하는 브로커 개발

- 향후 SDN 네트워크 연결 최적화를 기본 도구로 활용하기 위함

❏ Wi-Fi pilot 측면◦ CERN IT 스태프들을 위하여 일종의 최신 와이파이 pilot 연구가 진행중 - 이동 통신 장비와 NUC들이 계층화된 네트워크 케이블에 연결이 허용되어 있지 않음

- 150개 이상의 이더넷 연결장비가 기본 연결 장비로 더 이상 이용되고 있지 않음

- 지금까지 인식된 이슈로는 외이파이로 리눅스 시스템을 설치하는 것이 불가능 하다는 것임

❏ CERN OPEN DATA, REANA(재분석) 그리고 CDS(CERN 문서 서버) 측면◦ CERN Open DATA- CMS 데이터가 2019년 7월 18일에 Machine Learning을 위해 개방형 데이터로 출시됨.

CMS의 개방된 총 데이터는 2PB가 넘으며 개방된 데이터는 Machine Learning 또는 Data

Science에 사용을 위하여 특별히 준비한 데이터셋도 포함하여 출시함

◦ REANA-버젼 0.5.0 출시- 작업 파일들에 연결된 대화형 쥬피터 노트북을 구동시켜서 워크 플로우 결과를 조회하는

것을 지원

- 지금 지원되는 것으로는 백엔드로 계산되는 HTCondor, Hybrid HTCondor- Kubernetes

workflow, prive data에 접근하기위한 Kerberos 같은 User Secrets임

- GitLab의 CD/CI(연속 구현/연속 통합)에서 REANA 워크플로우를 구동시키기 위하여

GitLab과 통합됨

48

◦ CERN 문서 서버(CDS) - Open Source Library Loan과 Book Search software의 새로운 버전을 위하여 현재 진행

중인 개발 작업이 마지막 단계에 있음. UI 및 작업 전환(Migration)작업이 진행 중

❏ Digital Memory Project, Invenio(대규모 디지털 리포지터리), 그리고 Zenodo(범용 개방형 리포지터리) 측면

◦ Digital Memory Project- Digitization을 위하여 565개의 new video tapes, 580개의 audio tapes 그리고 8000개의

음화(negatives)가 다양한 스캔닝 회사에 보내짐. 2442개의 video tape 이미 처리됨. 이는

즉 1860개의 파일들이 검사되었고, 1000명 이상의 사람들이 식별되고 그리고 1175개의

공개 비디오와 185개의 restricted video들이 CDS에 저장됨

- WIPO와 CERN 협력으로, 영어로 된 HEP 컨퍼런스에 적용된 Text Transcession AI 툴을

말하기 위해 GPU 서버 실행하여 400개 비디오 자막 준비

◦ Invenio- IncenioRDM(Research Data Management)은 11개 이상의 파트너들과 시작함(높은 관심

으로 파트너 수가 증가하고있음). Invenio User Group Workshop이 Open Repositories

2019 conference에서 개최됨

◦ Zenodo : 글로벌 로드맵 발표- 데이터, 소프트웨어 그리고 기타 작품들을 견고하고 통일된 방법을 제공하기위한 협업

협정서에 DRYAD와 ZENODO는 서명을 함

나. 독일 KIT – Gridka 데이터 인프라❏ Tier-1 배치 시스템 및 컴퓨팅 노드 및 워크 노드(CEs & WNs)

◦ 2017년 3월 이후에는 HTCondor만 서비스 : MC/SC(Multi Core / Single Core) 스케줄링 및 조각 모음의 지속적인 최적화 진행 중. TLAS 파일럿이 비어 있는 문제 → aCT(Advanced

Resource Connector Control Tower)와 함께 확인.

◦ ARC(Advanced Resource Connector) CE : 2017년 여름까지 많은 안정성과 확장성 문제 있었음. ALICE 및 LHCb 실험을 위해서는 패치가 필요함

◦ 작업자 노드(WN) : 850개 노드, 320kHS06, 그리고 최대 24000 SC(Single Core) 작업 슬롯. 코어당 1.5/1.6 작업 슬롯. 현재 몇 개의 AMD 테스트 시스템을 제외하고는 Intel CPU 만

사용함

3. 주요 대용량 실험데이터센터의 인프라 기술

49

❏ Tape 시스템 ◦ Oracle사 재품 SL8500 2개, IBM 사 제품 TS3500 2개- 20개의 T10K-D, 17개의 T10K-C, 5개의 TS1140, 5개의 LTO-5. T10K-C 드라이브에

몇 가지 문제가 있는 데 "쓰기 효율성 부족", "롤러 고착", 1000여대의 카트리지가 영향을

받음. 그리고 최신 펌웨어 빌드에서만 모니터링됨

◦ Tier-1에서는 TSM(Tivoli Storage Manager)을 사용하고 있고 HPSS 마이그레이션 준비 중◦ LSDF(Large Scale Grid Faclity) - 재해 복구를 위해 TSM에서 GHI(GPFS-HPSS–Interface)로 전환 중

❏ Network ◦ 이중으로 WAN 연결을 위한 2개의 경계 라우터(Cisco Nexus 7010/7710)- 2x 10G~CERN, 2x 100G~LHCONE/OPN/GPI. 2018년 CERN으로 100G(+20G 백업)

연결

◦ 4개의 내부망 패브릭용 라우터(Nexus 7010/7710) - 워커노드(WN)는 10G 지원. 각각의 WN 랙은 패브릭 익스텐더를 통해 40G로 1개의

라우터(백업 없음)에 연결됨

◦ 최근 설치한 40G를 지원하는 파일 서버는 Nexus 5696Q(TOR 스위치)에 연결. 이 ToR 스위치는 이중화된 4x100G 업링크를 2대의 Nexus 7710에 연결되어 있음

◦ 이전부터 사용하였던 구 파일 서버는 1x/2x 10G를 사용하여 하나의 라우터에 연결됨(백업 없음)

❏ 온라인 스토리지 시스템◦ 2016년 말에 새로운 스토리지 시스템을 설치하였음 : GridK에 20PB 할당, LSDF에는 6PB 할당

◦ 2017년 4월부터 서비스 중. 2018년 여름에 2.7+2PB를 확장하여 설치. 그리고 11+2.2PB를 확장을 위항여 주문 예정(2018년 가을 기준)

◦ 시스템 통합사로 NEC 선정- NEC(OEM NetApp) 스토리지 시스템. IBM Spectrum Scale(aka GPFS : General

Parallel File System). NEC GPFS NSD(Network Shared Disk) servers. NEC(OEM

SuperMicro) 프로토콜 서버들. Mellanox 인피니 밴드(IB) 제품(fabric)

50

❏ 스토리지 시스템 하드웨어◦ Tier-1용으로 23PB 스토리지 시스템 구성◦ 13대의 NEC SNA660(NetApp E5600) 운영 - 300개의 8TB HDD 운영. 백업 지원하는 액티브-액티브 컨트롤러 2대. RAID-6 대신 디스크

DDP(Dynamic Disk Pool) 60개 운영

◦ GPFS 메타데이터용 NetApp E2800 2대 운용- 1.6TB SSD(Solid State Disk) 29개 운영, 백업 기능이 있는 중복 액티브-액티브 컨트롤러

(RAID-1) 2대 운영

◦ NSD 서버 16대(20개 코어, 128GB RAM) 운영- 디스크 콘트롤로는 SAS(Serial Attached SCSI), 프로토콜 노드에는 FDR(Fourteen Data

Rate : 14Gbps) 인피니밴드(IB) 사용

◦ 백업 기능이 있는 2대의 non-blocking 제품으로 Mellanox FDR IB 스위치 12개 사용◦ NFS/dCache/xrootd 용으로 44대의 프로토콜 서버(20 코어, 128G 램 지원) 운영. NSD 서버까지는 FDR IB지원, WNs/WAN 따지는 40G 이더넷 지원

◦ 벤치마크 성능 : 70GB/s 속도의 쓰기 + 읽기 지원

<그림 27> 온라인 스토리지 시스템 레이아웃

❏ GPFS Setup◦ 메타데이터 4copies 복제 서비스 - GPFS로 2copies 복사. 메타데이터 스토리지 시스템의 RAID-1으로 2copies 복제 서비스

3. 주요 대용량 실험데이터센터의 인프라 기술

51

◦ VO당 1개(또는 2개) 파일 시스템 서비스 - ATLAS 8.6PB, ALICE 5.9+0.66PB, CMS 5.3PB(LHCb는 다른 스토리지 시스템을 사용함).

과거의 운영 경험에 따라 VO 워크로드 분리 수행

◦ NSD 서버 클러스터 - 모든 파일 시스템을 호스트 함. 16대의 서버를 두 대의 서버를 통해 각각의 NSD 서버에

액세스 가능

◦ VO당 "프로토콜 서버" 클러스터 1세트 운영. VO 당 8-10대의 서버 구성- GPFS로 VO 파일 시스템을 원격 마운트함. NSD 서버와 dCache/xrootd 서버를 분리하였음

❏ GPFS 상의 dCache/xrootd◦ 서버당 1개의 dCache 풀 구성 / VO당 8-10대의 서버 구성 - mover 제한을 최상으로 조정한 것임(현재 관련 튜닝 작업은 거의 없음). 향후 해결 할

과제로는 dCache 풀(pool)당 ATLAS 데이터 1PB를 60분 소요하는 것을 → 6시간 이내로

dCache 풀(pool)들이 r/w 하게 지원하는 것을 목표로 함

◦ xrootd SE당 파일 시스템 1개 구성 - 개별 네임스페이스 디렉토리(oss.space + localroot)를 삭제할 수 있음

◦ 데이터 마이그레이션- 1단계 : ATLAS/CMS/Belle의 dCache를 통해 자동 처리; 최대 6.5PB를 1개월 이내 이동

- 2단계 : ALICE xrootd 데이터의 rsync 작업; 최대 4.5PB 이동. 파일 크기로 인해 매우

천천히 이동

- 3단계 : LHCb의 dCache를 통해 DDN(Data Direct Network) SFA12K(Storage Fusion

Architecture 12K; 일종의 블록 스토리지를 나타냄) 기반 스토리지로 자동 이동

◦ 13.5PB의 이전 DDN 스토리지가 2017년 말까지 전환되어 활용될 예정임

다. 영국 RAL 데이터 인프라

❏ RAL(Rutherford Appleton Laboratory) Tier-1 개요◦ 180명의 스태프와 7500명의 사용자 애플리케이션 개발 및 지원, HPC & HTC 컴퓨팅 및 데이터 시설, 시스템 관리, 데이터 서비스, 수치 분석, 소프트웨어 엔지니어링

◦ LHC 실험을 위한 Tier1 센터 역할 수행

52

◦ JASMIN(RAL 슈퍼컴퓨터 이름) : 기후와 지구시스템 연구를 위한 데이터집중형 컴퓨팅 지원

◦ DAFNI(Data and Analytics Facility for National Infrastructure) : 국가 인프라의 분석, 모델링, 그리고 시뮬레이션을 위한 허브

◦ Daresbury 연구소에서는 계산 과학 및 계산 엔지니어링 수행 : 생물학과 생명과학, 이론 및 계산 물리학, 계산 화학, 엔지니어링 및 환경

❏ RAL Tier-1 하드웨어◦ CPU : 최대 316k HS06(최대 31.5K 코어)◦ Castor(CERN의 계층형 스토리지 관리 시스템)에서 disk-only 형태로 운영 중- 최대 550TB 보유 : 철거작업 중으로 2019년 4분기 말에 전환 목표

◦ Ceph(무료 소프트웨어 스토리지 플랫폼)- 최대 43PB 원시 데이터 저장, 최대 31PB 가용 데이터 저장 가능

◦ VMWare - 10 노드 클러스터, 2개의 스토리지 어레이, iSCSI 지원

◦ 테이프- 10k 슬롯 SL8500(시스템에 2개 중 1개) : 80PB 용량(T10KD), 최대 52PB 물리 데이터

(토탈 최대는 110PB). 시스템에서 최대 70대의 T10K-B/C/D 드라이브 지원. 시간당 평균

최대 110개의 테이프 마운트 지원

- 스펙트럼 로직 Tfinity 7프레임 라이브러리 : 마스터 프레임 1개(드라이브 베이 포함)-엔드

유닛 2개, 드라이브 프레임 1개, 미디어 프레임 3개. 550개의 챔버, 각각 10개의 LTO 또는

9개의 TS1160 미디어, 60PB 미디어가 설치됨

- 드라이브: 17 × LTO8 드라이브(테스트/검증/예비용으로 1개). 16 × TS1160 드라이브

- 지금 막 운영 중인 경우까지 포함할 경우 최대 300TB

◦ 2019/20년 스토리지 및 컴퓨팅 장비 구매 진행 중

❏ Castor 장비◦ 지난 6개월(2019년 상반기) 현황 - Ceph 기반 Echo 스토리지를 위한 '디스크 전용' CASTOR pool 해체 작업 계속

- ATLAS, CMS, non-LHC 사용자는 이전 완료

3. 주요 대용량 실험데이터센터의 인프라 기술

53

- LHCb는 2019년 5월 7일 완료

- Alice 데이터는 2019년 4분기 말 종료 예정

- 새로운 테이프 캐시 pool이 현재 풀 프로덕션 레밸의 서비스 중

- 2019년 5월 초까지 모든 사용자 마이그레이션 하였음

❏ Echo 스토리지◦ Tier1 객체 스토리지(및 기타 사용자)를 위한 빅 Ceph 클러스터 - 지연 시간 대비 밀도 및 처리량은 EC 8+3 과 64MB Rados 객체 지원

- Tier1을 위하여 21PB 지원하고 가용 용량은 31PB임

- 안정적으로 서비스 중이며 주요 장애는 없었음

- Luminous. Mimic으로 업그레이드는 필수 버그 수정으로 보류 중

- OSD(Object Storage Devices) 데이터 밸런싱 관련 이전 문제는 업맵(upmap) 밸런서를

이용하여 완전히 해결함

❏ 배치 시스템◦ 약 316,000 HS06 성능을 제공하는 800개 이상의 노드에 걸쳐 31,500개의 슬롯 제공◦ HTCondor 지원 - 유지 관리 중인 Docker 컨테이너 이미지 내에서 작업 시작

- 기본 OS에서 실행 환경 분리. 작업 실행에 사용할 수 있는 CentOS 8 이미지와 비숫함

◦ SCD(Scientific Computing Department) 클라우드에 보급을 자동화하고 정상적으로 작동함. 일반적으로 600개 이상의 코어 그리고 종종 1200~1800개 코어까지의 SCD 보급을

자동화함. 서비스를 위한 GPU 제공에도 활용됨

◦ Argus(인증서버)를 통한 중앙 서스펜션(보류, 유예 등)이 모든 서비스에 적용됨

❏ SCD(RAL의 Scientific Computing Department) 클라우드 ◦ 현재 Scientific Computing 부서 내의 새로운 그룹 내의 클라우드 활동은 사용자에게 동적 인프라 및 클라우드 서비스를 제공하는 데 주력하고 있음

◦ OpenStack을 기반으로 IaaS 플랫폼을 구축함 - 최대 9k vCPU 코어, 160개 이상의 프로젝트(사용자) 지원. 가상화 또는 컴퓨팅을 위한

GPU의 여러 가지 서비스 제공

54

◦ STFC(Science and Technology Facilities Council) 및 외부에서 과학자에게 동적 컴퓨팅 리소스 제공

- LSST(Large Synoptic Survey Telescope), EUCLID(은하계 연구 과제), AENES(Advanced

European Network of E-infrastructures for Astronomy with the SKA), UKAEA

(United Kingdom Atomic Energy Authority) 지원

- IS(neutron source), DLS(Diamond Light Source), CLF(Central Laser Facility), ASTEC

(Accelerator Science and Technology Centre), UKATC(UK Astronomy Technology

Centre), RALSpace(우주선 연구), Hartree(가상 엔지니어링 센터) 지원

❏ 네트워킹◦ IPv6 이슈 - Tier1 방화벽 바이패스 현재 100Gb/s 사이트 경계 라우터에 직접 연결되었지만 40Gb/s로

서비스 됨(IPv6 패킷 손실 문제를 해결하지 못함)

- JANET(2019년 9월)에서 불량 라우터 카드를 발견하고 교체함(이로 인해 Tier2들의 IPv6

문제 해결)

- Tier1 사이트-내부 IPv6 트래픽에 문제가 발생한 후 사이트 코어 스위치 중 하나가 재부팅됨.

이 때문에 T1에서 PPD(Particle Physics Department)-T1 트래픽에 대한 나머지 문제가

해결

◦ GridPP는 영국의 PerfSonar 인프라를 업데이트하기 위해 새로운 표준 하드웨어 구성을 개발 중이며 커뮤니티의 협력을 요청함

라. 미국 페르미 랩 데이터 인프라

❏ 페르미 랩 개요 ◦ 미국에서 유일한 HEP 전용 연구소 - 1967년 창립, 시카고 서쪽 위치, 대표 성과로는 bottom quark(1977), top quark(1995),

tau neutrino(2000) 규명

- 연구 프로그램을 빛(intensity), 에너지, 그리고 우주 경계로 확장 중 : 짧은 기준선(short

baseline)과 긴 기준선(long baseline)에서 중성미자 실험을 하고 Fermilab 중심으로 정밀

뮤온(Muon) 실험을 수행함

- CMS 및 LHC Accelerator 프로그램에서 중요한 역할 수행. 직접 암흑물질 검출 실험 및

암흑에너지 조사에서의 중요한 역할을 수행함

3. 주요 대용량 실험데이터센터의 인프라 기술

55

◦ 페르미연구소 가속기 복합단지 - Main Injector : proton 에너지가 120GeV, Booster : proton 에너지가 8GeV

❏ 현재 및 단기 실험 내용 ◦ Neutrinos - Long baseline 실험으로는 NovA(최근 끝난 실험 : MINERvA, MINOS).

- Short baseline 실험으로는 MicroBooNE, ICARUS(2019), SBND(2020)

◦ 정밀 뮤온 물리학 : 뮤온 g-2, Mu2e(2021)

❏ 페르미 연구소 전산 설비◦ 파인만(Feynman) 컴퓨팅 센터(FCC) - 전산실 2개 각각 0.75MW의 공칭 전력과 냉각 지원. 발전기 백업이 포함된 UPS 지원, 전력

의존도가 높은 대부분의 서비스 지원. 중앙 서비스(이메일, 웹), 대부분의 Disk 서버, 비 CMS

실험을 위한 Primary 테이프 스토리지

◦ 그리드 컴퓨팅 센터(GCC)- 3개의 전신실 각각 공칭 0.9MW 냉각 설비 및 전원을 지원함

- UPS를 사용하지만 제너레이터 백업은 없음. 대부분의 컴퓨팅 서버 및 CMS 테이프 스토리지를

운영 중

◦ 두 센터 사이를 총 600Gbps 링크로 연동하여 운영함

❏ 분산 컴퓨팅◦ 페르미그리드 : 모든 빛의 강도 관련 선도 연구(IF : Intensity Frontier) 와 기타 비CMS 실험 지원(~19k 코어, ~200kHS06 지원)

◦ CMS Tier-1 및 LPC - 미국 CMS 연구자를 위한 분석 전용 LPC(LHC Physics Center) 클러스터(~27k 코어,

~285kHS06 지원). 일반적으로 중앙 CMS(Tier-1)용으로 LPC에 5k-7k 코어 할당

◦ 래티스 QCD, 미국 LQCD에서 사용하는 HPC 리소스 지원- 최대 19k 코어를 추가하는 다양한 클러스터 지원. 80 테슬라 M2050 GPU 지원

◦ 실험에 의한 OSG(Open Science Grid) 자원을 상당량 이용함 ◦ 실험들이 점점 더 많은 HPC 및 상용 클라우드를 활용함

56

◦ 테스트/개발을 위하여 대화형으로 자원 지원. 대부분 VM을 테스트 실험에 따라 할당

❏ 컴퓨팅 자원 및 액세스의 발전◦ 미래 수요를 고려했을 때, 전용 형식의/로컬에 설치된 리소스는 부족할 것으로 예상됨 - "비전통적" 리소스(HPC, GPU/가속기)에 대한 수요 및 가용성 증가 예상

- 물리적 리소스와 할당된 기능 간에 정의되어 있는 현재 링크 방법에서 벗어날 필요가 있음

- 논리적 워크로드 설명으로 전환하고 작업 특성을 충족하는 리소스와 매치시킬 필요가 있음

◦ 사용자를 위한 과학 게이트웨이 제공- HEPCloud로서 요구 사항/제한 사항과 함께 작업이 제출되면 의사결정 엔진으로 리소스

매칭을 수행

❏ 페르미랩 HEPCloud ◦ 의사 결정 엔진이 작업 요구 사항에 따라 지능적으로 리소스 요청을 생성함◦ HPC(NERSC) 리소스 및 클라우드(아마존, Google) 자원을 공략함 ◦ 새로운 자원을 사용하기 위한 실험들은 조절되어야 함 - 운영과 실험이 서로 협응하고 있는 지 확인하기 위해 조정 작업이 필요함. 신규 자원의 예산이

책정되거나 할당되면서부터 주의를 기울여야 함

❏ 컨테이너 컴퓨팅 이니셔티브 ◦ 컨테이너 컴퓨팅은 이미 여러 서비스에서 사용 중- FermiGrid/CMS Tier 1에서 현재 모든 배치 작업이 도커 컨테이너 내부에서 실행됨.

작업들을 서로 격리하고 작업당 자원의 한계를 늘릴 수 있음. HAProxy 소프트웨어 로드

밸런서가 도커화되어 여러 서비스에 사용됨

◦ 컨테이너를 제작, 테스트 및 저장하는 도구- 기본 이미지에서 빌드할 서버 플랫폼. On-site Docker registry(VMWare Harbor). Harbor

(VMWare)는 서버 간에 프로젝트 복제가 내장되어 있으므로 프록시 서버 뒤에 Active-Active

쌍이 있음. Jenkins를 사용하여 다양한 용도로 CI/CD 컨테이너 워크플로우 테스트

◦ 여러 사용자를 위한 컨테이너 관리(managing)/조정(orchestration)- Red Hat OpenShift의 오픈 소스 버전인 OKD를 사용함. 현재 임의 서비스를 위한 소규모

프로덕션 클러스터. 첫 번째 테스트 대상 애플리케이션은 Rucio임

3. 주요 대용량 실험데이터센터의 인프라 기술

57

◦ CMS 개발자들이 최대 100개까지의 구형 작업 노드를 가지고 실험하기위해서 훨씬 더 큰 OKD 클러스터 설치를 시작하려고 함

◦ 컨테이너 관련 서비스 및 인프라에 대해 다른 기관과 논의 및 협력하는 데 관심이 있음

❏ Fermilab 스토리지◦ 2018년 6월 이전까지 모든 테이프 라이브러리를 Oracle/스토리지(테크 SL8500 : 7*10k

– 슬롯) 사용 - T10KC, T10KD, LTO4 드라이브 조합으로 구성. 125PB 동적 스토리지. Enstore에서 관리

◦ dCache를 통한 Disk 스토리지를 우선 제공함 - 페르미연구소 실험을 위하여 public dCache instance 제공하는 테이프 백업 r/w, 영구적

(실험에 의해 할당됨) 및 공유 스크래치를 조합하여 제공함. 전용 CMS dCache 지원하는

데 테이프 캐시와 전용 Disk 스토리지 사이를 분리하여 지원함

◦ LPC(페르미랩 LHC 물리센터, 미국 CMS) 분석 사용자를 위하여 EOS 인스턴스 지원◦ 테이프 시스템을 LTO8/IBM TS4500으로 전환- TS4500 라이브러리 2개 구입(~8.6k 슬롯/ea). Public용(LTO8 드라이브 56개) 및 CMS용

(LTO8 드라이브) 도입. 초기 100개의 카트리지 배치와는 별도로 모든 새로운 미디어는

"M8"(LTO7은 9TB 용량으로 포맷됨). 2019 여름 세 번째 TS4500 도입. 개발(엔스토어)

및 운영 통합에 상당한 노력 소요

◦ 다음 마이그레이션 주요 단계로는 T2에서 LTO8/M8 미디어로 총 125PB의 데이터 마이그레이션 예상

◦ 현재 163.5PB의 액티브 테이프 스토리지 지원 - 2018년 8월 이후 LTO8 100개, M8 테이프 2100개 작성.

- 2018년 11월 전송 기록 : 14PB 전송

◦ 38PB의 dCache 스토리지 - CMS는 최대 24PB의 디스크 인스턴스, 1PB의 테이프 캐시를 지원하며 dCache 2.13 실행.

public으로는 r/w, 영구 및 스크래치에 걸쳐 13PB 지원하며 dCache 4.2 실행. 월 18PB

이상 전송

◦ 7PB EOS(CMS LPC) 스토리지 지원. EOS 4.4.10 실행 ◦ 기타 스토리지 - 2PB NAS(인터랙티브 사용), 1PB Lustre(LQCD)

58

❏ 페르미랩 인증서 ◦ OSG CA는 작년에 종료 - Fermilab은 새로운 IGTF 인증 CA를 찾아야 함

◦ InCommon은 신뢰 연합(Trust Federation)이며 회원에게 CA 서비스를 제공함. - InCommon도 IGTF 인증 CA 서비스 제공. 매우 합리적인 비용으로 뛰어난 서비스 제공

◦ 당사의 모든 서비스 인증서를 InCommon IGTF CA로 전환하는 과정 - 2019년 4월 전환 시작, 5월 중순 종료

◦ 다른 CA인 CILogon Basic CA를 통하여 인증을 받기 때문에 개인/사용자 인증서에 영향을 미치지 않음

- InCommon 전환이 완료되면 사용자 인증서를 IGTF 인증과 함께 제공되는 CILogon Silver

CA로 업그레이드할 계획임9)

마. 일본 KEK 데이터 인프라

❏ SuperKEKB : e+e_intensity frontier◦ 광의 세기를 8x1035 cm-2s-1 로 설계. 이전의 KEKB 보다 40배 이상 강함 ◦ 첫번째 충돌은 2018년 4월 26일◦ 2단계 실험이 2018년 7월 18일에 종료 되었고. 첫 번째 충돌은 2단계에서 관찰됨◦ 빔 작동은 2019년 3월 11일에 3단계 실험이 실행되면서 전체 벨(Belle) II 검출기(실리콘 VTX)로 다시 시작됨

◦ SuperKEKB는 2019년 여름 휴업기간을 거쳐 2019년 10월 15일부터 가동을 재개.◦ 누적 통계의 최종 목표는 약 100PB의 원시 데이터에 해당하는 50 ab-1임. 이는 이전의 Belle 실험보다 50배 큰 데이터임

❏ J-PARC : Japan Proton Accelerator Research Complex◦ Fast extraction과 Slow extraction 동시 지원 ◦ Main Ring- Top Energy 30GeV, FX Design Power 0.75MW, SXPower Expectation 0.1MW 이하

9) [출처] 2019 HEPiX spring, Fermilab Scientific Computing Division, 발표자 : Bo Jayatilaka

3. 주요 대용량 실험데이터센터의 인프라 기술

59

◦ Rapid Cycle Synchrotron- Energy 3GeV, Repetition 25Hz,

◦ LINAC(Electron-positron injector, a linear accelerator)- 400MeV

◦ 재료 및 생명과학 설비

❏ KEKCC : KEK Central Computer System◦ 서비스 상태- 2016년 9월에 가동된 모든 시스템 구성 요소는 모두 서비스 상태에 들어섰고 그 후 HW들은

크게 변하지 않았음. 상당히 안정된 단계임

◦ 시스템 자원 : - CPU 10,024 코어

Intel Xeon E5-2697v3(2.6GHz, 14 코어) × 2,358노드

4GB/코어(8000 코어) / 8GB/코어(2000 코어 : 애플리케이션 용)

236 kHS06/사이트

- 디스크 : 10PF(GPFS) + 3PB(HSM 캐쉬)

- Interconnect : IB 4 × FDR

- Tape : 70PB(최대 용량)

- HSM data : 8.5PB 데이터, 170메가개의 파일, 5000개의 테이프

- Total throughput : 100GB/s(디스크, GPFS), 50GB/s(HSM, GHI)

- JOB 스케쥴러 : Platform LSF v9

◦ 그리드 작업 처리 - 168M HS06 hour/month(23.5 HS06/core)

◦ 그리드 스토리지 read/write(외부 데이터 전송 관련) - 월 최대 read 1.4PB, 월 최대 write 0.3 PB

60

<그림 28> KEK 전산 센터

❏ 성능 저하 대책 주요 활동 ◦ 테이프 아카이브 시스템 성능 저하- 테이프 아카이브 시스템 에서 대규모 데이터 스테이징 요청으로 인해 그리드 작업의 CPU

사용량이 저하됨. GHI에 의해 만들어진 HSM 캐시가 채워졌고 파일이 캐시에서 너무 빨리

삭제됨. 많은 작업이 CPU 시간 없이 작업 슬롯을 점거한 후 시간 초과됨

- 이 문제로 인해 일부 그리드 서비스(예 : GridFTP 서버 및 FTS)에 데이터 전송 요청이 누적된

후 서비스 중단 등)도 영향을 줌

- 이 문제는 몇 가지 대책으로 해결함. 반복적으로 사용된 파일은 Disk 전용 저장소로

우선적으로 복사함. 계획된 데이터 생산에 사용되는 파일은 HSM 캐시에 고정 저장함. 사용자

요청에 따라 조직화된 데이터 스테이징을 위한 체계(이하 hstage)를 새롭게 도입함

3. 주요 대용량 실험데이터센터의 인프라 기술

61

❏ 2020년 주요 시스템 업그레이드◦ 현재 KEKCC가 보유한 시스템은 3년이 지난 시스템임- 시스템 교체와 업그레이드를 컴퓨팅 자원에 대한 사용자 및 많은 그룹의 요구사항을 수용할

수 있도록 2020년 여름에 수행 예정

◦ KEKCC는 KEK 프로젝트들을 위한 시스템으로서 다음을 지원함- 분석 및 데이터 처리 및 MC 데이터 생산, 그리드(UMD, iRODS), 그리드-CA, 이메일, 메일

목록, 웹, Indico, 위키, 온라인 스토리지 등임. 따라서 시스템 규격을 정하는 것이 오랜

시간이 소요됨

◦ 지금까지 확정된 시스템 명세서는 다음과 같음 - CPU 코어의 수의 확장

- HSM 캐시와 디스크 전용 분산 스토리지 모두에 대해 스토리지 용량 확대.

- 기본 운영 체제

- 그리드 컴퓨팅 요소(CREAM-CE에서 교체)

- 광역 데이터 전송 능력 및 기능 강화

- 그리드 스토리지 요소의 네트워크 대역폭 개선

- 그리드 데이터 전송을 위한 IPv6 및 점보 프레임 지원

❏ 국제망 연결 현황◦ 일본 토쿄에서 미국 로스앤젤레스, 뉴욕, 그리고 유럽 암스테르담 까지 100Gbps로 연결10)

10) [출처] HEPix Fall 2019 KEK Site Report , T. Nakamura

62

3.2 대용량 실험데이터 활용 관련 기술

가. Wasabi사는 데이터 관리를 단순화하기위하여 Globus와 파트너쉽 체결11)

◦ Wasabi사는 연구기관들의 데이터 중심 연구 환경 구축에 필요한 데이터 관리 단순화를 지원하기 위하여 Globus와 파트너쉽을 체결함

◦ 와사비 사용자는 Globus S3 스토리지 커넥터를 활용하여 와사비를 기존 Globus 스토리지 생태계와 연결할 수 있음. Globus 커넥터는 사용자가 쉽게 파일을 관리하고 와사비와 다른

스토리지 엔드 포인트 간에 파일을 공유할 수 있도록 해줌

◦ Globus는 고성능, 안전한 파일 전송 및 공유를 포함한 포괄적인 데이터 관리 기능을 제공하여 협업 연구를 지원함. 이 서비스를 통해 와사비 핫 클라우드 스토리지와 같은 스토리지 시스템은

사용자가 시스템의 기존 계정을 사용하여 액세스할 수 있는 엔드 포인트가 됨

◦ Globus는 모든 POSIX 호환 파일 시스템을 지원하지만, 연구 스토리지 환경에는 점점 더 클라우드 객체 저장소, 테이프 아카이브 및 기타 이기종 사설 시스템이 포함됨. Globus는

이러한 다양한 생태계 전반에서 데이터 관리를 용이하게 하기 위해, Amazon S3 및 S3와

호환성이 높고 검증된 클라우드 스토리지 서비스인 와사비를 비롯한 다양한 시스템을 위한

프리미엄 커넥터를 제공함

◦ 와사비는 아마존 S3의 1/5 가격에 송신이나 API 요청에 대한 수수료 없이 저렴한 가격 모델을 제공함. 또한 와사비는 혁신적인 성능을 제공하는 고도로 병렬화된 시스템 아키텍처를

제공하여 글로벌 고객이 클라우드 안팎으로 데이터를 신속하게 이동할 수 있도록 지원함

나. 클라우드 플랫폼으로 NOAA 환경 데이터의 잠재력을 발휘시킴12)

◦ NOAA는 개방적인 데이터 정책에 따라 대중에게 클라우드 기반 액세스를 제공코자 AWS, Google Cloud 및 Microsoft와 별도의 다년 계약 체결. NOAA는 위성, 레이더, 선박, 날씨

모델링 등으로 매일 수십 TB의 데이터를 생성함

◦ 새로운 협약에 따라 상기 상업용 클라우드 플랫폼 제공업체들은 대중에게 방대한 NOAA 데이터를 무료로 접근케하고, 기하급수적으로 확장할 수 있으며, 빠르고, 신뢰성 있게 접근할

수 있게 함

11) 출처 : HPCwire, 게시일 : 2019. 12. 11

https ://www.hpcwire.com/off-the-wire/wasabi-partners-with-globus-to-simplify-data-management/12) 출처 : HPCwire, 게시일 : 2019. 12. 19

https ://www.hpcwire.com/off-the-wire/cloud-platforms-unleash-potential-of-noaas-environmental-data/

3. 주요 대용량 실험데이터센터의 인프라 기술

63

◦ NOAA의 대규모 환경 데이터는 상용 클라우드를 통해 보다 쉽게 접근할 수 있는 동시에 향후 빠르게 증가하는 데이터 양을 NOAA가 더 잘 관리할 수 있게 함. 클라우드 기반 스토리지와

프로세싱은 NOAA의 미래 서비스임. 이러한 접근성 향상은 대학에서의 새롭고 흥미로운 연구

분야와 민간 부문의 중요한 시장 기회를 열어줄 것임

◦ 이는 데이터의 공공 사용에 대한 장애물을 제거하여 NOAA의 3대 서비스인 NOAA가 보유한 광범위한 고품질 환경 데이터 및 전문 지식, 공동 작업자들을 위한 방대한 인프라 와 확장

가능한 컴퓨팅 능력, 그리고 미국 경제의 혁신적인 에너지를 쉽게 제공하기 위함

◦ 연구자들은 AWS 서비스를 활용하여 경제적이고 온디맨드하며 확장 가능한 데이터 분석의 장벽을 낮출 수 있음. 그 결과, 연구자들은 NOAA 데이터에 더 많이 접근하게 되었고, 이전에

필요로 했던 가격과 시간의 극히 일부만 갖고서도 발견에 박차를 가할 수 있음

◦ NOAA의 빅데이터 프로젝트는 데이터 액세스 서비스와 관련된 비용과 위험을 피하기 위해 클라우드 컴퓨팅 및 정보 서비스 산업과의 민관 협력 관계를 강화함. 계약에 따라 클라우드

플랫폼 제공자는 NOAA 데이터의 추가 처리와 관련된 컴퓨팅 또는 기타 서비스에 대해 요금을

부과할 수 있지만, 데이터 자체에 대한 무료 및 공개 액세스를 제공해야 함. 미국 정부 내

최초의 민관 협력 사업체인 NOAA 빅데이터 프로젝트는 과학 및 경제 성장의 새로운 분야를

가속화하는 데 도움이 될 것임

다. NOAA, 대규모의 기후 데이터셋을 재분석하여 초정밀 데이터로 업데이트함13)

◦ 호주 대화재로 인하여 기후 재난을 이해하고 그 문제를 완화시키는 노력이 어느 때보다 시급해짐. 현재 국립해양대기청(NOAA)은 국립에너지연구과학컴퓨팅센터(NERSC)의 전산 자원을

활용하여 20세기 재분석 프로젝트(20CR)를 통하여 기존 데이터세트를 업데이트함. 이는

연구원들이 대규모 고해상도 기후 분석 데이터를 1806년의 것까지 접근할 수 있게하기 위함

◦ 현재, 13년차인 NOAA의 20CR 프로젝트는 표면 압력, 해수 온도, 해빙 관측 등 다양한 데이터를 사용하여 지구 기후에 대한 일일 기록(어떤 경우에는 거의 시간 기록)을 재구성함.

그리고 때로는 214년 전으로 거슬러 올라가기 위해서 20CR에서는 19세기 선박에서 작성한

기상일지도 창의적으로 통합해야하는 경우도 생김)

◦ 그 결과 산출물은 온도, 바람, 습기 및 태양 복사를 포함한 매우 다양한 기후 변수의 추정치를 포함하기 때문에 다양한 분야의 연구자들에게 크게 기여할 것임. 즉, 20CR 프로젝트에서

재해석되어 통합된 데이터는 오늘날의 폭풍, 홍수, 눈보라, 폭염, 가뭄을 과거의 폭풍과

양적으로 비교하고 기후 변화가 영향을 미치는 지를 파악할 수 있게 함

13) 출처 : HPCwire, 게시일 : 2020. 1. 20

https ://www,hpcwire.com/2020/01/15/noaa-updates-its-massive- supercomputer-generated-climate-dataset

64

◦ 20CRv3라고 불리는 20CR의 새로운 반복은 이전 버전에서 가능했던 것보다 뱃만개의 관측을 더 많이 포함하게 되었으며, 특히 초기 기간 중의 관측 데이터들이 크게 보완됨

◦ NOAA의 수퍼컴퓨터 Cori KNL(Knights Landing Pi-based) 슈퍼컴퓨터의 6600코어에서 6억 CPU 시간을 사용하여 기존 데이터를 수평 분해능 4배(예전에는 위도별 2도 격자망 이었는

데 지금은 위도별 0.7도 격자망으로) 수직 분해능 2.5배(격자망은 140마일에서 48마일의

격자망으로 이동) 그리고 시간 빈도는 2배로 증가시킴

◦ 이는 달리 표현하면, 거의 21PB 규모의 기존 데이터를 재처리하여 생성한 후 NERSC의 고성능 스토리지 시스템에 새롭게 저장된 20CRv3 데이터는 잃어버린 역사의 문을 열어주고

과학자들이 쏟아져 들어오도록 초대하기 위함임

라. FLAIR : 새로운 접근 속도로 데이터 검색14)

◦ 워털루 대학의 컴퓨터 과학자들은 컴퓨터 시스템의 스토리지 효율과 출력 속도를 크게 향상 시키는 새로운 접근법(FLAIR)을 발견함. 현재 데이터 스토리지 시스템은 정보를 처리하기 위해

하나의 스토리지 서버만 사용하므로 사용자에게 표시할 정보를 검색하는 속도가 느림. 백업

서버는 주 저장소 서버에 오류가 발생한 경우에만 활성화됨

◦ FLAIR(Fast, Linearizable, network-Accelerated clIent Reads)이라 불리는 새로운 접근 방식은 주어진 네트워크 내의 모든 서버를 사용함으로써 데이터 스토리지 시스템을 최적화함.

따라서 사용자가 데이터 요청을 할 때 주 서버가 가득 차면 다른 서버가 자동으로 활성화되어

데이터 요청을 채울 수 있음

◦ FLAIR을 가능하게 하는 핵심 요소는 최근 프로그램 가능한 네트워크 서비스가 제공되기 때문임. 컴퓨터가 발명된 이후, 어떤 시스템에서도 스토리지 서버를 연결하는 네트워크는

경직되고 유연성이 없음. FLAIR은 새로운 최첨단 네트워킹 기술을 활용하여 정보 검색 요청을

가장 빠르게 수행할 수 있는 스마트 네트워크 계층을 구축함. 이러한 접근방식이 고전적인

디자인에 비해 최대 2.5배 더 빠른 요청을 충족시킬 수 있음

◦ 개발된 새로운 프로토콜의 정확성을 입증하고 접근법 또한 나쁜 결과가 나오지 않는 것을 공식적으로 검증해야 하는 데 워털루 대학은 새로운 프로그램 가능 네트워크와 클러스터를

가진 몇 안 되는 대학들 중 하나이기 때문에 캠퍼스에서 실제 작업량의 부하를 가한 상태에서

FLAIR을 테스트할 수 있었음

◦ FLAIR이 35%에서 97%까지 검색 속도를 증가시키기 때문에 보건 시스템, 은행 시스템 및 금융 거래의 백엔드인 데이터베이스와 데이터 처리 엔진의 성능을 크게 개선할 수 있고, 온라인

14) 출처 : HPCwire, 게시일 : 2020. 1. 31

https ://www.hpcwire.com/off-the-wire/flair-new-approach-speeds-data-retrieval/

3. 주요 대용량 실험데이터센터의 인프라 기술

65

문서, 소셜 네트워크, 이메일 등 클라우드에서 호스팅되는 모든 현대 컴퓨터 애플리케이션에도

적용할 수 있을 것임

마. 미국 국립 알곤 연구소애서 엑사스케일 컴퓨팅을 위해서

크레이사의 ClusterStor E1000 설치15)

◦ HPE(Hewlett Packard Enterprise)는 ALCF(Argonne Leadership Computing Facility)가 새로운 Cray ClusterStor E1000을 병렬 스토리지 솔루션으로 발표함. 지진 활동, 항공우주

난기류 및 충격파, 물리적 게놈 등과 같은 분야에서 ALCF의 과학 연구지원

◦ 최신 구축은 현재 보류 중인 Aurora Exascale 슈퍼컴퓨터를 대비해서 통합 모델링, 시뮬레이션, AI 및 분석 작업 부하에 필요한 ALCF 워크로드를 위한 스토리지 용량을 확장하기 위함임.

오로라는 HPE와 인텔에 의해 추진되며, 2021년에 납품될 크레이 샤스타(Shasta) 시스템임

◦ Cray ClusterStor E1000 시스템은 용도에 맞게 구축된 소프트웨어 및 하드웨어 기능을 활용하여 훨씬 적은 수의 드라이브로 모든 크기의 고성능 스토리지 요구사항을 충족함. 데이터

폭증과 통합 워크로드가 특징인 Exascale 시대를 지원하도록 설계된 Cray ClusterStor

E1000은 ALCF의 미래 Ourora 슈퍼컴퓨터의 성능을 강화하기위하여 전례 없는 속도로

획기적인 발견을 수행하는 데 필요한 데이터 집약적인 다수의 워크로드를 타겟팅할 것임

◦ ALCF는 모델, 시뮬레이션, AI 및 분석에서 통합 워크로드에 필요한 인프라를 구축하여 Exascale 기술을 활용함. Cray ClusterStor E1000은 ALCF에게 비교할 수 없는 확장성과

성능을 제공함. 차세대 HPC 스토리지가 새로운 데이터 집약적인 워크로드를 지원해서 연구

커뮤니티가 새로운 가치를 창출하게 함

◦ "그랜드"와 "이글"이라는 이름을 붙인 ALCF의 두 가지 새로운 스토리지 시스템은 Cray ClusterStor E1000 시스템을 사용하여 완전히 새로운 비용 효율적인 고성능 컴퓨팅(HPC)

스토리지 솔루션을 사용하여 오늘날 제품에서 지원할 수 없는 증가하는 통합 워크로드를

효율적이고 효율적으로 관리함

- ”그랜드“가 출시되면 ALCF의 기존 Petascale 기계에 혜택을 주어 Theta 컴퓨팅 시스템의

용량을 늘리고 기존 체크포인트-restart 워크로드뿐만 아니라 복잡한 워크플로우와 메타

데이터 집약적인 작업에도 새로운 수준의 성능을 제공함

- "이글"은 과학의 일상적인 활동에서 점점 더 중요해지는 데이터의 중요성을 지원하는 데

도움이 될 것임. 이 새로운 스토리지는 현재의 데이터 공유 시스템인 Petrel을 통해 생산성의

장벽을 제거하고 연구 커뮤니티 전반에 걸친 협업을 개선하는 데 도움이 될 것임

15) 출처 : insideHPC, 게시일 : 2020. 1. 30

https ://www.hpcwire.com/off-the-wire/flair-new-approach-speeds-data-retrieval/

66

◦ 두 개의 새로운 시스템은 총 200 PB의 스토리지 용량을 확보하게 되며, Cray ClusterStor E1000의 지능형 소프트웨어와 하드웨어 설계를 통해 데이터 흐름을 목표 워크로드에 보다

정확하게 맞출 수 있게 됨. ALCF의 ”Grand“와 ”Eagle“ 시스템은 연구자들이 학문 전반에

걸쳐 광범위한 과학적 발견을 가속화하는 데 도움이 되며, 각각 다음 사항을 다루도록 배정됨

- 컴퓨팅 용량 – ALCF의 "Grand"는 150PB의 중앙 집중식 스토리지와 새로운 수준의 입출력(I/O) 성능을 제공하여 사용자의 대규모 컴퓨팅 요구를 지원함

- 단순화된 데이터 공유 – ALCF의 "이글"은 50PB 커뮤니티 파일 시스템을 제공하여 ALCF 사용자, 협력업체 및 제3자와의 데이터 공유가 그 어느 때보다 쉽게 이루어지도록 함

◦ ALCF는 2020년 초에 “Grand”와 “Eagle” 스토리지 시스템을 제공할 계획임. 이 시스템은 처음에 HPE HPC 시스템으로 구동되는 기존 ALCF 슈퍼컴퓨터에 연결됨. Theta는 Cray

XC40-AC와 Cooley를 기반으로 함, Cray CS-300을 기반으로 한다. ALCF의 “Grand”는

Aurora Exascale 슈퍼컴퓨터가 작동하면 1TB/s의 대역폭이 가능한 것으로, 통합

시뮬레이션 과학 및 데이터 집약적인 작업 부하를 지원하도록 최적화됨

바. Fujitsu, 자기 테이프 스토리지 고속 액세스 기술 개발16)

❏ 동향◦ 후지쯔 연구소는 마그네틱 테이프 스토리지를 위한 고속 액세스 기술 개발을 발표, 이는 하드 디스크(HDD)를 대체하는 저비용 대용량 스토리지 솔루션으로 새로운 관심을 끌고 있음

◦ 전통적으로 마그네틱 테이프 스토리지는 백업 용도로 주로 사용되었지만, 용량이 크고 비용이 저렴하며, 최근에는 전송 속도가 빨라지고 LTFS(Linear Tape File System)가 보급됨에 따라

보관 목적으로 사용이 증가할 것으로 예상됨

◦ 후지쯔는 여러 개의 테이프 카트리지를 사실상 통합한 독특한 파일 시스템을 혁신해 LTFS의 기능성을 확장하는 데 성공함. 테이프 특성에 따라 데이터 관리 및 액세스 순서 제어를 통해

테이프에서 랜덤 읽기 성능을 향상시켜 기존 방식보다 4.1배 빠른 속도를 달성하는 데 성공함

◦ 자기 테이프 저장은 테이프의 순차적 영역에서 읽고 쓰기에 이상적이지만, 불연속 위치에 무작위로 접근할 수 있는 능력은 제한되어 있음. 이 기술은 랜덤 액세스 판독 기능을 제공하지

못하기 때문에 대용량 데이터 아카이빙 애플리케이션으로 사용을 확대할 수 있는 장애물이

되고 있음

16) 출처 : HPCwire, 게시일 : 2020. 3. 5

https ://www.hpcwire.com/off-the-wire/fujitsu-develops-magnetic-tape-storage-high-speed-access-technology/

3. 주요 대용량 실험데이터센터의 인프라 기술

67

◦ 일반적으로 마그네틱 테이프 스토리지로 대량의 데이터를 관리하기 위해 LTFS의 각 테이프 카트리지에 대해 다른 디렉토리에 데이터를 보관하고 있는데, 이 디렉토리는 여러 개의 테이프

카트리지를 사용하며, HDD, USB 메모리 등의 데이터와 동일한 방식으로 파일별 데이터에

액세스할 수 있음

◦ 후지쯔는 여러 개의 테이프 카트리지를 사실상 통합하는 새로운 파일 시스템을 LTFS에 개발함. 이 가상 통합 파일 시스템은 여러 개의 테이프 카트리지를 하나로 통합하여 사용자가 각각의

개별 테이프 카트리지를 생각하지 않고도 필요한 데이터에 액세스할 수 있게 함. 또한,

고속 자기 테이프 액세스 성능을 달성하기 위해 다음과 같은 신기술이 이 파일 시스템에

적용되었음

<물리적 위치에 대하여 접근 순서 제어>

◦ 자기 테이프에서는 데이터가 그 길이를 따라 Wraps라고 불리는 단위로 나누어지며, 각 wrap은 wraps를 감싸고 write-once 방식으로 쓰여짐. 따라서 논리적 주소와 물리적 주소

사이의 거리는 매우 다르다. 가상 통합 파일 시스템은 여러 개의 랜덤 읽기 요청을 수용하고

논리적 주소가 아닌 테이프에서 가장 가까운 물리적 위치에서 시작하여 처리함

◦ 자기 테이프에 쓸 때는 쓰기 및 오류 검사를 병행하고, 오류가 발생하면 쓰기 종료 후 발생한 오류 부분만 자동으로 다시 작성함. 따라서 파일 크기의 변경으로부터 재쓰기가 완료된 물리적

위치를 예측하기는 어려움. 각 파일의 물리적 위치는 파일을 작성한 후 주기적으로 머리 위치를

측정하여 추정함

◦ 또한, 자기 테이프에 접근할 때는 헤드를 시작 위치에 정렬하는 데 시간이 걸림. 따라서 같은 랩에서 서로 가까운 두 개의 읽기 요청은 한 번에 두 개의 파일을 읽는 것이 아니라 그 사이에

있는 모든 파일을 읽고 불필요한 파일을 버리는 것임

<다중 파일 모음 기능>

◦ LTFS는 자기 테이프에 있는 각 파일의 인덱스를 유지하며, 파일의 수가 증가함에 따라 그 영향은 기하급수적으로 증가함. 보존 목적으로 테이프를 사용할 경우 사용자는 다양한 크기의

파일을 쓰고 액세스하지만 작은 파일을 많이 쓰면 읽기 성능이 크게 저하될 수 있음

◦ 따라서 Fujitsu는 LTFS에 지정된 파일 크기보다 작은 파일을 큰 파일로 함께 보관하는 메커니즘을 개발하여 사용자가 파일의 위치를 걱정하지 않고 파일에 액세스할 수 있도록

하였음. 또한 가상 통합 파일 시스템에서 사용자 파일의 메타데이터를 관리함으로써, 마그네틱

테이프에 액세스하지 않고도 데이터 읽기 이외의 방법으로 목록을 신속하게 표시하거나 확장된

속성을 추가하거나 파일을 삭제할 수 있음

68

❏ 결과◦ 후지쯔는 오픈소스 분산형 스토리지 소프트웨어인 ceph(1)를 활용해 HDD와 자기테이프용 계층형 스토리지 시스템을 구축하고 시스템의 접속 성능을 평가함. 그 결과 자기 테이프에

저장된 총 5만 개의 개별 100MB 파일에서 무작위로 100개의 파일을 읽는 데 걸리는 시간은

기존의 방식대로 5400초임. 신기술로 기존 방식보다 4.1배 빠른 1,300초 만에 판독함. 또

기존 방식으로는 HDD의 개별 1MB 파일 256개를 자기테이프로 옮기는 데 2.5초가 필요함,

신기술로 기존 방식보다 1.9배 빠른 1.3초 만에 데이터 이동을 확인함

사. Micron사, SSD와 스토리지 클래스 메모리용으로 설계된

오픈 소스 스토리지 엔진 공개17)

❏ 동향◦ 마이크론 테크놀로지는 솔리드 스테이트 드라이브(SSD)와 스토리지 클래스 메모리(SCM)를 위해 특별히 설계된 최초의 오픈 소스 이기종 메모리 스토리지 엔진(HSE)을 발표함

◦ 하드 디스크 드라이브(HDD) 시대에 탄생한 레거시 스토리지 엔진은 차세대 비휘발성 미디어의 성능 향상과 대기 시간 단축을 설계 수준으로 제공하지 못하고 있음

◦ HSE는 오픈 소스 소프트웨어를 필요로 하는 All-Flash 인프라를 사용하는 개발자에게 이상적이며, 이를 위해 특정 활용 사례에 대하여 코드 사용자 정의 또는 강화 기능을 제공함

◦ HSE는 성능과 내구성을 향상시키는 것 외에도 지능형 데이터 배치를 통해 특히 대규모 데이터 세트의 대기 시간을 줄여줌

◦ HSE는 특정 스토리지 애플리케이션의 처리량을 최대 6배 향상, 지연 시간을 11배 감소, SSD 내구성을 7배 향상시킴. HSE는 또한 플래시 및 3D XPoint 기술과 같은 여러 종류의 미디어를

동시에 이용할 수 있게함

◦ 세계에서 가장 빠른 SSD인 마이크론 X100 NVMe SSD를 마이크론 5210 QLC SSD 4개 세트에 추가하면 처리량이 2배 이상, 읽기 지연 시간이 4배 가까이 개선됨

❏ 시사점◦ 오픈소스 스토리지 엔진의 HPC 환경 지원 능력이 고성능으로 개선됨

17) 출처 : HPCwire, 게시일 : 2020. 4. 27

https ://www.hpcwire.com/off-the-wire/micron-unveils-open-source-storage-engine-designed-for-ssds-and-storage-class-memory/

3. 주요 대용량 실험데이터센터의 인프라 기술

69

아. 중서부 빅 데이터 혁신 허브(MBDH), 지역 전반에서 데이터 과학 교육 실시18)

❏ 동향◦ 국립과학재단(미국 NSF)이 후원하는 국내 4개 지역 빅데이터 허브 중 하나인 MBDH(Midwest Big Data Innovation Hub) NCSA 슈퍼컴센터에 위치하며, 12개 주 지역을 관할함. Hub는

빠르게 증가하고 점점 더 복잡해지는 데이터를 수집, 관리, 서비스, 마이닝 및 분석하는 데

있어 당면 과제를 해결하는 데 목적이 있음

◦ MBDH 사업의 1단계에서 노스다코타 대학교 팀은 허브의 Data Carpentry(데이터 목공) 사업의 멤버십을 관리하고 중서부 전역에서 6개의 허브 후원 워크샵을 개최함. 오하이오 주

2개, 미네소타 주 1개, 미주리 주 1개, 사우스다코타 주 1개, 노스다코타 주 터틀 마운틴 예약

주 1개

◦ 현재 2단계 운영단계에서 Hub의 초점은 여러 분야에 걸쳐 데이터 과학의 역량 강화뿐만 아니라 데이터 과학을 통해 사람들을 결집시키고 있으며, 이러한 워크샵은 두 가지 임무 모두를

목표로 하고 있음. 워크샵과 훈련 기회를 제공하는 비영리 단체인 카펜트리의 도움으로, 허브는

이러한 임무를 달성함

◦ 데이터 카펜트리와의 파트너십은 데이터 지역 전반의 교육을 용이하게 하려는 MBDH의 임무에 매우 중요함. 우리는 카펜트리가 그들의 참여적인 커리큘럼과 가르침에 대해 믿을 수

없을 정도로 감사하고, 허브의 첫 단계에서 성공적인 파트너십을 이끌어 준 것에 대해 감사함

※ MBDH에서 수행하는 Data Carpentry(데이터 목공) 사업이란? 연구를 수행하는 데 필요한 기초적인 데이터

기술에 대한 워크샵을 개발하고 연구자들에게 데이터 중심 연구의 전체 라이프 사이클에 대한 고품질, 도메인별

교육을 제공

❏ 시사점◦ 국가 슈퍼컴퓨팅 센터에서 빅데이터 컴퓨팅 역할의 중요성 강조

18) 출처 : HPCwire, 게시일 : 2020. 5. 8

https ://www.hpcwire.com/off-the-wire/midwest-big-data-innovation-hub-collaborates-to-bring-data-science-training-across-the-region/

70

자. Liqid, Dell 및 AMD의 가장 빠른 단일 소켓 스토리지 서버제공19)

❏ 동향◦ Liqid 사는 업계 선두주자인 AMD 및 Dell Technologies와 협력하여 시장에서 가장 빠른 수준의 원소켓 스토리지 랙 서버 제공.

◦ Liqid의 복합적인 Gen-4 PCI-Express(PCIe) 패브릭 기술인 LQD4500은 AMD EPYC 7002 Series Processors와 결합되어 있으며, Dell Technologies의 Dell EMC PowerEdge

R7515 Rack Server에 채택되어 가장 까다로운 차세대 AI에 맞게 설계된 아키텍처를 제공

◦ Liqid, Dell Technologies 및 AMD의 최적화된 플랫폼은 워크플로우 및 비즈니스 요구사항이 지속적으로 확장됨에 따라 사용자가 핵심 데이터 센터를 위한 최고의 컴퓨팅 및 스토리지

성능을 갖춘 서버 시스템을 구축할 수 있도록 함

◦ AMD EPYC 7002를 사용하는 Dell R7515에 대한 LQD4500 SSD 성능 테스트 결과 : - Rnd Rd(4KB) : 3.1M IOPS

- Rnd Wrt(4KB) : 961K IOPS

- Seq Rd(128KB) : 24.5GB/s

- Seq Wrt(128KB) : 10.1GB/s

◦ Liqid 사의 LQD4500의 혁신적인 디자인은 최대 성능에서 최대 중복성에 이르는 다양한 드라이브 구성을 가능하게 함. LQD4500은 또한 신뢰도를 높여 데이터 손실을 방지하고 정전

시 중단 없는 작업을 보장하기 위한 엔터프라이즈급 정전 보호 기능을 갖춤

❏ 시사점◦ HPC 데이터 환경에서는 단일 노드에서 더 많은 데이터 컴퓨팅 성능을 제공할수록 더 정확한 결과를 얻을 수 있고, 이러한 결과를 실제 환경에서 더 빠르게 구현할 수 있는 솔루션으로서

의미 있음

차. HPC 스토리지의 복잡성으로 인한 놀라운 운영 비용 증대20)

◦ HPC 스토리지 시스템의 세계 시장은 2018년 55억 달러에서 2023년 70억 달러로 CAGR 7.0%의 성장률을 보일 것으로 예상됨

19) 출처 : insideHPC, 게시일 : 2020. 5. 17

https ://insidehpc.com/2020/05/liqid-dell-and-amd-power-industrys-fastest-single-socket-storage-server/20) 출처 : HPCwire, 게시일 : 2020. 6. 9

https ://www.hpcwire.com/the-shocking-cost-of-complexity-in-hpc-storage/

3. 주요 대용량 실험데이터센터의 인프라 기술

71

◦ 헤페리온 리서치 사에서 HPC 스토리지 비즈니스를 주도하는 비용 요소들의 역학 관계가 변화하고 있음을 발견함. 그 새 자료는 구매 가격과 시스템 성능 측면 못지않게 HPC 스토리지

구매시 고려해야하는 사항들에 대하여 소개함

◦ 생명 과학 등 데이터 집약적 연구 조직에서 AI, 정밀 의료, 자율 주행, 증강/가상 현실 등과 같은 복잡한 HPC 및 첨단 응용을 대규모로 처리하려면 엔터프라이즈급 안정성 및 관리

용이성이 점점 더 필요해짐

◦ 그러나, 운영 환경의 측정 기준이 일관성이 없기 때문에 운영 비용의 산출이 어렵고, 생산성 및 품질 결과에 대한 스토리지 솔루션이 복잡해지면서 그 비용 또한 증가하고 있음. 이는 HPC

스토리지 구매자가 스토리지 선택을 하는 방법에 중대한 변화를 요구하게 됨

◦ 즉, HPC 스토리지를 구매하기 전에, 구매자가 HPC 안정성, 관리 비용, 중단 없는 사용자 지원 및 애플리케이션 사용자 생산성 지원에 대한 답변을 얻는 데 더 많은 시간을 고민해야

하는 것이 당연해지고 있음을 나타냄

◦ 본 조사는 수십 년간 성능이 구매 고려사항에서 항상 1위였었고 여전히 57%의 우선 순위를 나타내고 있지만, TCO(총 운영 비용) 문제가 이제 초기 장비 구매 비용과 공동으로 2위를

차지하고 있는 것을 보여주고 있음. 응답자의 37%가 우선 고려 사항으로 선택한 것을 보여줌

❏ 시사점◦ HPC 스토리지 서비스 환경이 복잡해지면서 TCO 고려 순위가 구매 고려사항들 중에서 우선 순위도가 빠르게 높아가고 있음을 보여줌

카. 미국 Sandia국립연구소(SNL)는 Stria Cluster용으로 SoftIron사 제품의

파일 및 객체 스토리지 선택21)

❏ 동향◦ 산디아국립연구소(SNL : Sandia National Laboratory)는 뱅가드 프로그램으로 ARM 기반 Stria라는 고성능 컴퓨팅 클러스터를 위한 보완용 파일 및 객체 스토리지로서 SoftIron 제품을

선택

◦ SNL에는 TOP500 목록에 올라 있는 ARM 기반 시스템 중 가장 빠른 Petascale 급 슈퍼컴퓨터 Astra를 보유, Stria는 Astra에서 사용될 소프트웨어와 코드 개발을 지원하기위한 시스템임

21) 출처 : insideHPC, 게시일 : 2020. 6. 16

https ://insidehpc.com/2020/06/sandia-selects-softiron-file-and-object-storage-for-stria-hpc-cluster/

72

◦ SoftIron의 제품은 Stria의 Tier 2 스토리지 요구를 지원하는 PB 규모의 HyperDrive Storage 어플라이언스이며 오픈 소스 Ceph 스토리지 소프트웨어의 성능을 극대화하여

규모에 맞게 간편하고 효율적인 구현이 가능하도록 함

◦ 뱅가드 프로그램(Vanguard program)은 미국 에너지부 핵안보국(National Nuclear Security Administration)의 미국 핵 비축물 관리 플랫폼에 필요한 HPC 신기술의 실현 가능성을

평가하는 국가 프로그램임

◦ SoftIron사 제품은 HyperDrive Storage Manager를 지원하고 있어서 시스템 관리자가 원격에서 HyperDrive Storage cluster들을 통합된 하나의 소프트웨어 및 하드웨어 시스템

처럼 관리할 수 있어서 기존의 관리자들이 각각의 시스템마다 콘솔을 띄운 후 command

line 전문가가 되어야만 관리가 가능한 것들도 쉽게 관리할 수 있음

❏ 시사점◦ 미국 국가 연구소의 페타급 스토리지 구축 및 관리 방향을 파악할 수 있음

타. Top 500에서 7위에 랭크된 Nvidia Supercomputer에서 DDN사의

데이터 스토리지 채택 소식22)

❏ 동향◦ DDN은 지난주 ISC 2020 디지털 컨퍼런스 기간 중 최근 TOP500 슈퍼컴퓨팅 순위에서 7위를 달성한 엔비디아 슈퍼컴퓨터에서 자사의 데이터 인프라가 활용되고 있다고 전함

◦ DDN AI400X 올플래시 시스템들을 셀렌이라고 불리는 미국 최대 산업용 슈퍼컴퓨터인 DGX A100 고성능 클러스터에 7PB의 규모로 지원하고 있음

◦ DDN AI400X는 기업 고객을 위한 AI 및 분석 데이터 솔루션임. DDN은 HPC 사용자 환경을 간소화하여 데이터 집약적인 워크로드에 대한 시스템 구축, 관리 및 확장을 간소화함. 따라서

새로운 AI 프로젝트를 수행하는 고객은 POC에서 대용량 생산으로 원활한 전환이 가능함

◦ 고객은 NVIDIA의 DGX A100 시스템과 함께 DDN A3I 제품을 활용하여 금융서비스, 생명과학, 자율주행 애플리케이션 등에서 GPU 가속 워크로드의 기능을 극대화할 수 있음

◦ 엔드 투 엔드 효율성을 극대화하기위하여 엔비디아 멜라노스 퀀텀 200G 인피니밴드 스위치를 활용하여 셀렌 인프라 내의 고성능 네트워크 패브릭을 제공함

22) 출처 : insideHPC, 게시일 : 2020. 7. 1

https ://insidehpc.com/2020/07/ddn-data-storage-in-7th-ranked-nvidia-supercomputer/

3. 주요 대용량 실험데이터센터의 인프라 기술

73

◦ DDN은 분석 워크로드에 대해 20배 향상된 성능을 달성할 수 있는 시스템을 구축하기 위해 GPU에 대한 데이터 경로 최적화를 지원할 예정임

❏ 시사점◦ HPC에서의 스토리지 서비스 고도화 방향은 크게 스토리지 크기와 데이터 경로 최적화에 중점을 두고 있음을 알 수 있음

파. 미국 UCSD 대학의 마이크로바이움 혁신센터에서 데이터 집약적 연구

관련 문제점들을 해결한 사례 제시23)

❏ 동향◦ UCSD CMI(Center for Microbiome Innovation)는 HPC 스토리지 솔루션 공급업체인 Panasas에서 제공한 ActiveStor2 고성능 스토리지 솔루션을 구축하여 생명 과학 연구를

위한 확장 가능한 스토리지 요구 사항을 해결한 사례 제시

◦ CMI 연구원들이 인간 건강과 환경 개선을 위한 새로운 방법 발견을 가속화하기 위해서는 동적으로 증가하는 대용량 데이터 볼륨의 분석이 필요한 데이터 집약적 연구를 지원하고,

시스템 성능에 영향을 미치지 않으면서 증가하는 데이터 I/O 집약적인 작업을 실행해야 하며,

그리고 첨단 과학 기술 사용을 위하여 혁신적인 연구 방법 사용을 지원하여야함

◦ 따라서, 성공적인 스토리지 솔루션을 위한 요구사항으로, 대용량 데이터의 빠른 분석･저장･ 인출을 고성능으로 지속적으로 지원하고, 유연한 워크로드 처리를 위하여 스토리지 자원의

제어능력을 확장시킬 수 있고, 그리고 스토리지 유지 보수와 무장애 관리의 최적화를 간소화할

수 있어야 하는 것을 연구자들이 필수 요구사항으로 선정함

◦ 선정된 요구사항에 따라 구축한 HPC 스토리지 시스템 활용 결과, 사용자 활용이 개선되었고, 스토리지 병목 현상과 시스템 지연이 해결되었고, 데이터 탐색 및 검색 속도가 향상되었고,

과학 혁신을 지원할 수 있었으며, 컴퓨팅 환경의 제어 및 가용성이 향상되었으며, 필요한 경우

리소스 가용성 보장되었으며, 그리고 스토리지 관리가 단순화되었음

❏ 시사점◦ UCSD의 미생물군 유전체(CMI) 연구센터에서 HPC 스토리지 시스템의 성공적인 구축을 위하여 연구자들이 선정한 요구사항 사례를 소개함

23) 출처 : insideHPC, 게시일 : 2020. 7. 20

https ://insidehpc.com/2020/07/uc-san-diego-center-for-microbiome-innovation-breaks-data-bottlenecks/

74

하. NVMe를 통한 시스템과 GPU 직결 스토리지의 연결은 HPC 와 AI Edge

애플리케이션 시장을 활성화함24)

❏ 동향◦ Edge HPC 애플리케이션은 대량의 데이터를 생성하고 처리할 때, 일부 응용의 경우 대규모 데이터를 처리할 HPC 자원을 실시간으로 확보를 못하거나 대규모 데이터 입출력에서

병목현상이 발생함

◦ 기존의 클라우드 컴퓨팅 모델을 사용하는 데이터 센터에서는 상기와 같은 경우에는 실시간 의사 결정을 지원할 수 없어서 Edge HPC 애플리케이션의 필요성이 급증하고 있음

◦ 이때 NVMe 기반 에지(Edge) HPC 솔루션은 상대적으로 느리거나 안전하지 않은 네트워크를 통해 데이터를 이동하는 것 보다 비용, 실시간 대응성 및 보안 측면에서 상당한 이점을 제공함

※ NVMe(Non Volatile Memory express) 비휘발성 메모리 익스프레스로서 초고속 데이터 전송 규격,

4Gbps 전송

◦ 왜냐하면, 대규모 데이터 애플리케이션에 대하서 실시간 의사결정을 위해서는 원시 데이터를 로컬에 저장해야 하며, 그리고 데이터 소스에 가까운 곳에서 고속 컴퓨팅 자원으로 처리해야

하기 때문임

◦ 관련 응용의 예로서는 “장거리 트럭 및 배달 밴과 같은 자율 주행 개발 차량”, “산업 현장의 감시, 보안, 운영 및 유지보수를 위한 지능형 비디오 분석”, “위협 탐지, 완화, 명령 및 제어를

위한 항공, 해상 및 육상 기반 모바일 국방 시스템용 센서 데이터 분석”을 들 수 있음

◦ 상기 애플리케이션들의 공통적인 요구 조건이 실시간으로 추론 앨고리즘을 컴퓨팅하기위한 HPC 자원의 실시간 확보와 광범위한 센서들과 카메라들로부터의 데이터 스트림을 고속의

대역폭으로 실시간으로 획득되어지는 것을 해결해 주어야 한다는 것이기 때문임

❏ 시사점◦ 에지 HPC 솔루션으로 대규모 데이터 전송 병목 현상과 HPC 자원 실시간 확보 문제를 동시에 해결하는 방안 제시

24) 출처 : insideHPC, 게시일 : 2020. 7. 27

https ://insidehpc.com/2020/07/nvme-over-fabrics-and-gpu-direct-storage-boost-hpc-and-ai-edge-applications/

3. 주요 대용량 실험데이터센터의 인프라 기술

75

거. WEKA사는 애플리케이션 민첩성을 위해 Kubernetes CSI를 통한

클라우드 서비스를 확장함25)

❏ 동향◦ 데이터 집약적인 애플리케이션을 위한 고성능 확장형 파일 스토리지 제공업체인 WekaIO (Weka)는 Kubernetes(K8s) CSI(Container Storage Interface) 플러그인을 도입해, 고객이

세계에서 가장 빠르고 빠른 Weka File System(WekaFS)을 활용한 Container-as-a-Service

(CaaS) 기능을 쉽게 사용토록 함

◦ MySQL, Cassandra, MongoDB와 같은 상태 저장 애플리케이션은 데이터 처리, AI 솔루션과 함께 Kubernetes에 배치된 컨테이너를 점점 더 채택하고 있음. 이러한 애플리케이션은

일반적으로 지연 시간이 짧은 로컬 스토리지에 의존하지만, 이는 관련 데이터를 다른 호스트

에서 실행 중인 애플리케이션으로 이동하거나 공유할 수 없기 때문에 Kubernetes 이식성이란

장점을 활용하기 어려워짐

◦ CSI는 컨테이너형 워크로드에 대한 이러한 과제를 해결하기 위한 업계 표준 방법으로 개발됨◦ WekaFS의 Kubernetes CSI 플러그인은 상태 저장 및 신뢰성이 높은 스토리지를 제공하여 사내에서 원활하게 배포하고 클라우드로 쉽게 마이그레이션함으로써 공유 가능성, 성능 및

이식성 문제를 해결함

◦ WekaFS의 Kubernetes CSI 플러그인을 사용해서 이제 조직은 로컬 스토리지 성능과 지연 시간을 제공하는 동시에 컨테이너를 배치하는 방법과 장소에 대한 유연성을 향상시킴

◦ 시스템 전체에 걸쳐 WekaFS 및 Weka Client 솔루션은 클라우드 우선 솔루션에 필요한 시장 출시 속도를 제공함

◦ NVMe 및 하이브리드 클라우드에 최적화된 Weka는 가장 데이터 집약적인 기술 컴퓨팅 환경에서 가장 까다로운 스토리지 문제를 처리하여 규모에 관계없이 진정한 성능을 제공함

❏ 결론 및 시사점◦ 대용량 데이터를 위한 HPC 스토리지 시장에서도 콘테이너 컴퓨팅 기반 솔루션의 접근 방향을 파악할 수 있음

25) 출처 : HPCwire, 게시일 : 2020. 8. 18

https ://www.hpcwire.com/off-the-wire/weka-expands-cloud-offering-with-kubernetes-csi-for-application-agility/

76

너. Fujitsu사는 페타바이트의 비정형 데이터를 서비스하기 위해

Qumulo사의 소프트웨어 정의 스토리지 솔루션 도입26)

❏ 동향◦ Fujitsu 사는 소프트웨어 정의 스토리지 기술을 활용하여 기업이 여러 데이터 센터와 클라우드에 분산된 PB 단위의 데이터 관리를 마스터할 수 있도록 Qumulo 사의 스토리지

솔루션을 도입함

◦ 기업은 이미징, 모델링, 시뮬레이션, LIDAR, GIS, 유전자 염기서열 분석 및 비디오 생산과 같은 기존의 다양한 데이터 프로세스는 모두 비정형 데이터의 생성과 사용에 초점을 맞춰

왔음. 그러나, 특히 IoT 장치에서 나오는 데이터는 네트워크 에지뿐만 아니라 사내와 클라우드

간에 동시에 분산 저장될 수 있기 때문에, 대규모의 분산 파일 형태의 데이터를 관리하는 것이

중요해짐

◦ Qumulo 사의 파일 시스템은 사내, 그리고 프라이빗 및 퍼블릭 클라우드 전반에 걸쳐 분산되어있는 데이터의 실시간 가시성, 확장성 및 제어 기능을 제공하여 시스템 구성 및 성능

관리를 용이하게 함

◦ 따라서 Qumulo 사의 솔루션은 데이터 통합을 지원하는 여러 스토리지 프로토콜을 지원하면서 사용자가 정보를 공유할 수 있도록 함. 이를 통해 분산 환경에서 데이터를 보다 쉽게 관리할

수 있으며, 예측 불가능한 비정형 데이터의 증가를 흡수하고 클라우드 온/오프라인에서

증가하는 애플리케이션의 데이터 요구에 대응할 수 있는 기능을 제공함

◦ Fujitsu 사는 데이터 변환 기준이 정의되면 대상 데이터 아키텍처를 생성하는 것을 포함하는 Fujitsu의 4계층 데이터 방식의 변환 전략 사업의 2단계에 Qumulo 사의 솔루션을 활용함.

따라서 Fujitsu 사의 광범위한 하이브리드 IT 환경 포트폴리오는 데이터를 제어, 보호 및

보호하는 동시에 비즈니스 가치를 극대화함으로써 성공적인 디지털 전환을 가능케함

❏ 시사점◦ 분산된 PB 급 비정형 데이터를 정형화된 데이터로의 변환을 통한 통일된 관리 방식으로 분산 HPC 스토리지 관리 방향을 제시함

26) 출처 : HPCwire, 게시일 : 2020. 9. 2

https ://insidehpc.com/2020/08/virtana-integrates-with-pure-storage-for-real-time-it-intelligence/

3. 주요 대용량 실험데이터센터의 인프라 기술

77

더. 스토리지는 HPC 혁명의 열쇠임 도입27)

❏ 동향◦ AI/딥러닝 및 데이터 분석 시장의 최근 성장이 HPC 워크로드를 많이 발생시키고 있음. Hyperion Research사의 최신 HPC 보고서는 반복적 시뮬레이션 작업, AI 그리고 기타

빅데이터 작업과 같은 새로운 작업들이 향후 HPC 스토리지 채택 기준을 주도할 것으로 발표함

◦ HPC 스토리지는 복잡한 데이터 집약적인 작업을 위하여 높은 대역폭과 애플리케이션, 스토리지 및 컴퓨팅을 모두 한 장비에서 지원하여 낮은 대기 시간을 보장해야하는 데, TYAN의

Thunder HX FT83-B7119는 4U 서버 플랫폼 내에 고밀도로 로컬 스토리지를 지원하여

시뮬레이션, 분석, AI, 딥러닝과 같은 워크로드를 처리하도록 설계됨.

◦ 제안 시스템은 듀얼 소켓형 2세대 Intel2 Xeon2 확장 가능한 프로세서를 기반으로 하며, GPU 구축을 위한 최대 10개의 이중 형태의 PCIe x16 슬롯, 최대 3TB DDR4-293 메모리,

12개의 3.5" SATA 6G 드라이브 베이 또는 8개의 SATA + 4개의 NVMe U.2 베이, Redfish

의 BMC 관리 인터페이스를 지원하여 보다 빠른 IO를 실현함. 그리고 3+1으로 4800W의

이중 전원 공급 장치를 지원함.

◦ 다양한 애플리케이션 활용을 위하여 두 가지 유형의 PCIe 라우팅 토폴로지 아키텍처를 제공함. 실시간 얼굴 인식과 같은 병렬 처리를 위한 유형은 10개의 GPU 카드를 2개의 CPU에 고르게

라우팅 배치하는 것이고, AI 딮러닝과 같은 GPUDirect RDMA를 위한, 다른 유형은 10개의

GPU 카드가 첫 번째 CPU에만 라우팅을 하는 것임.

◦ 확장 기능으로 single-wide x16 카드를 double-wide PCIe x16 카드 10개 옆에 설치할 수 있으며 100기가비트 EDR InfiniBand나 이더넷 등 고속 네트워킹을 지원함. 데이터

액세스하는 데 걸리는 시간을l 크게 단축하여 빅데이터 분석을 유리하게 함.

❏ 시사점◦ HPC 스토리지를 위하여 서버, 스토리지, 네트워크가 고밀도로 일체화 되어가는 동향을 파악할 수 있음.

27) 출처 : HPCwire, 게시일 : 2020. 9. 14

https://www.hpcwire.com/2020/09/14/storage-is-the-key-to-hpc-revolution/

78

러. AMAX사는 통합 AI 컴퓨팅을 규모에 맞게 구현하기 위한 StorMax

200Gb/s 스토리지 시스템 발표28)

❏ 동향◦ AMAX의 HPC 및 AI Solutions Group은 Mellanox ConnectX-6 어댑터와 InfiniBand를 사용하여 200Gb/s NVMe를 지원하는 최신 초고성능 스토리지 솔루션 시리즈인 StorMax

출시, StorMax는 All-Flash 및 하이브리드 플래시 스토리지 형태의 솔루션임.

◦ StorMax 플랫폼은 모든 AI 컴퓨팅, 데이터베이스, 빅데이터 분석, 클라우드, 웹 2.0, 비디오 처리 데이터를 가속화하는 가격 대비 성능이 뛰어난 스토리지 기능과 시장에서 가장 안전하고

확장 가능한 최고의 아키텍처 제공.

◦ Elite NVIDIA 파트너인 AMAX는 ‘NVIDIA Mellanox 200Gb/s 고속 네트워킹’과 최신 ‘NVIDIA A100 GPU 컴퓨팅 솔루션’을 최적으로 결합하여, 스트리밍 방식의 병렬 전송,

고성능 그리고 임의 확장을 지원할 수 있는 컴퓨팅 및 스토리지 I/O를 제공하는 StorMax를

제작.

◦ StorMax2 시리즈는 Mellanox ConnectX-6의 Virtual Protocol Interconnect를 통해 200Gb/s InfiniBand 및 이더넷 연결을 지원하고, 600나노초 미만의 전송 지연 및 초당

2억1,500만 개의 메시지를 제공. Mellanox ConnectX-6 카드는 블록 레벨 암호화를

제공하고, ConnectX-6 하드웨어에 오프로드되며, 대기 시간을 개선하고 귀중한 CPU 주기를

절약하고 네트워크 보안에 혁신을 가져옴.

◦ AMAX의 StorMax2 200Gb/s 스토리지 시스템은 웹 스케일 애플리케이션을 위한 짧은 대기 시간 분산 블록 스토리지를 제공하여 모든 네트워크에서 공유 NVMe를 지원하고, 로컬 또는

분산 파일 시스템을 지원함.

❏ 시사점◦ AI를 위한 GPU 컴퓨팅에서 대용량 데이터를 딥러닝하기 위해서는 스토리지를 초고속 연결하는 것이 점점 더 중요해지는 것을 알 수 있음

28) 출처 : HPCwire, 게시일 : 2020. 10. 6

https://www.hpcwire.com/off-the-wire/amax-announces-stormax-200gb-s-storage-systems-for-deploying-integra

ted-ai-computing-at-scale/

3. 주요 대용량 실험데이터센터의 인프라 기술

79

머. Western Digital사는 Zetabyte 시대에 데이터 중심 아키텍처 확장을

위하여 플래시 메모리 포트폴리오를 확장함29)

❏ 동향◦ 하드 디스크 메모리와 플래시 메모리에 걸쳐 다양한 포트폴리오를 구축한 Western Digital사는 데이터 센터, 산업용 IoT, 자동차 및 클라이언트 애플리케이션을 위한 차세대 데이터 중심

아키텍처를 지원하는 새로운 NVMe SSD 제품군을 발표함.

◦ 새로운 제품군에는 경쟁력 있는 TCO로, 보다 효율적인 데이터 센터 스토리지 계층을 설계할 수 있는 Ultrastar DC ZN540 ZNS NVMe SSD, 산업 및 자동차 애플리케이션의 극한 환경을

위한 Western Digital IX SN530 Industrial SSD, PC 성능 향상을 위한 2TB WD Blue

SN550 NVMe SSD를 포함하고 있음.

◦ IDC는 향후 3년간 데이터 양이 지난 30년간의 데이터보다 많을 것으로 예측함. 스마트 비디오에서 소비자 및 센서 데이터에 이르기까지 수십억 개의 연결된 시스템은 수많은

문맥화된 데이터 세트를 생성하는 데, 이를 캡처, 변환 및 분석하여 산업, 기업 및 사람들에게

가치를 줄 것인데, 레거시 스토리지 아키텍처는 이러한 데이터 집약적인 환경을 따라갈 수

없음.

◦ 제타바이트 서비스를 저비용 고효율로 해결하기 위하여 제안된 Zoned Storage는 현재 Zoned Storage Initiative 및 ZoneStorage.io을 선도하고, NVMe Working Group의 ZNS 사양

작업 및 Linux 오픈 소스 커뮤니티의 에코시스템 개발 작업에 기여하고 있지만, 향후 차세대

엔터프라이즈 데이터 센터를 위한 새로운 스토리지 아키텍처로 자리매김 할 것임.

❏ 시사점◦ 제타 바이트 규모의 HPC 스토리지 환경 구축 방법의 하나로 스토리지 인프라를 수직적으로 그리고 효율적으로 연계시키기위한 시장 표준화 활동 동향을 알 수 있음

29) 출처 : HPCwire, 게시일 : 2020. 10. 6

https://www.hpcwire.com/off-the-wire/amax-announces-stormax-200gb-s-storage-systems-for-deploying-integra

ted-ai-computing-at-scale/

4. 대용량 실험데이터 활용 육성

4.1. 4.1. 4.1. 4.1. 4.1. 4.1. 4.1. 4.1. 4.1. 4.1. 4.1. 4.1. 4.1. 4.1. 4.1. 4.1. 4.1. 4.1. 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 활용 활용 활용 활용 활용 활용 활용 활용 활용 활용 활용 활용 활용 활용 활용 활용 활용 교육교육교육교육교육교육교육교육교육교육교육교육교육교육교육교육교육4.1. 대용량 실험데이터 활용 교육

4.2. 4.2. 4.2. 4.2. 4.2. 4.2. 4.2. 4.2. 4.2. 4.2. 4.2. 4.2. 4.2. 4.2. 4.2. 4.2. 4.2. 4.2. 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 대용량 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 실험데이터 관련 관련 관련 관련 관련 관련 관련 관련 관련 관련 관련 관련 관련 관련 관련 관련 관련 산업 산업 산업 산업 산업 산업 산업 산업 산업 산업 산업 산업 산업 산업 산업 산업 산업 육성육성육성육성육성육성육성육성육성육성육성육성육성육성육성육성육성4.2. 대용량 실험데이터 관련 산업 육성

4. 대용량 실험데이터 활용 육성

83

4. 대용량 실험데이터 활용 육성

4.1 대용량 실험데이터 활용 교육

가. CERN

❏ 교육 배경◦ CERN 창립 협약은 CERN이 유럽의 과학자들과 기술자들을 훈련시키는데 중요한 역할을 할 수 있다는 것을 인정함

◦ CERN 실험실은 훈련을 위한 독특한 환경을 제공◦ 풍부하고 자극적인 사람들과 아이디어들로 이루어진 융통성 있고, 그들의 젊은이들에게 그들의 의사소통과 분석 기술을 연마할 수 있는 특별한 기회를 제공

❏ 교육 목적◦ 미래의 과학자와 엔지니어들을 훈련시키는 것

❏ 교육 내용◦ 대형 액셀러레이터 실험실로서, CERN은 많은 엔지니어링 과목의 전문지식에 의존하고 있으며, 이 모든 것은 채용 및 훈련 프로그램의 특징을 갖고 있음

◦ 계층 구조의 피리미드형 교육 체계를 구축하여 코어 기술부터 전문가 육성 기술 제공◦ Google Summer of Code 사업과 연계하여 2018년에 교육 워크샵 및 프로그램 29개에 재원 지원

84

<그림 29> HEP Software Training

※ 출처 : https ://indico.cern.ch/event/587955/contributions/3012294/attachments/1681524/2708636/

CHEP18_-_CWP_Lessons_and_Future_Work.pdf, HSF Community White Paper : Lessons and Future

Work, CHEP 2018, Sofia, July 11, 2018

❏ 교육 대상◦ 응용물리학, 공학, 컴퓨팅 분야의 학생들이 CERN의 업무에 대해 배우고 기술자들이 최첨단 분야에서 훈련할 수 있는 기회 제공

◦ 포괄적인 범위의 훈련 계획과 펠로우쉽은 많은 재능 있는 젊은 과학자들과 기술자들을 연구소로 끌어들임

◦ 많은 사람들이 첨단 기술의 다국적 환경에서 일한 경험이 높이 평가되는 산업 분야에서 경력을 찾기 위하여 참가함

◦ CERN의 교육 및 홍보 프로그램은 고등학생부터 대학생까지 모든 연령층을 대상으로 함다. 구체적으로는 CERN이 매년 여러 차례 맞춤형 고교생 인턴십 프로그램과 학교용 빔라인

경연대회를 개최해 전 세계 고교생들에게 실제 연구소에서 수행할 실험을 제안하도록 함

◦ 실제로 매년 CERN에 오는 10만 명의 방문자 중 대다수는 CERN의 S'Cool LAB의 실습 워크샵에도 참여하는 고등학생들임

◦ 이 연구소는 또한 전세계의 고등학교 교사들을 위한 거주 프로그램과 학부생을 위한 여름 프로그램을 운영함. CERN은 그들의 경력에 있어 더 많은 전문가들을 위해 입자물리학, 컴퓨터,

가속기 분야에서 높은 평가를 받는 학교를 조직함

- 예시 : LHC Grid Computing School

4. 대용량 실험데이터 활용 육성

85

나. GSDC 데이터 컴퓨팅 스쿨

❏ 개요◦ 기본방향- 국내 데이터집약형 기초과학분야(고에너지물리, 중력파실험, 유전체 등) 및 컴퓨터 사이언스

분야의 대학(원)생을 대상으로 데이터기반 컴퓨팅 기술 교육 프로그램 운영

- HTC 컴퓨팅 기술, 데이터센터 인프라 운영 기술, 데이터그리드 구축, 보안 및 네트워크

기술

◦ 목적- 대용량의 실험데이터 처리를 위한 데이터기반 컴퓨팅 기술 교육을 통해 기초연구

- ICT 융합 인재 양성 기여

❏ 교육 프로그램 결과◦ 교육실적- 2015년 1회를 시작으로 2019년까지 총 6회의 교육 실시

<표 2> GSDC 데이터 컴퓨팅 스쿨

횟수 일시 개최장소 수강인원 교육만족도

1회2015. 2.1-2.4

(3박4일)

부산

그랜드호텔

물리, 의학(유전체)분야

대학(원)생 23명89.2점

2회2016.2.1-2.4

(4박5일)

국가과학기술인력개발원

(충북 오창)

물리, 생명의료, 컴퓨터 분야

대학(원)생 및 박사후 연구원 31명89.7점

3회2016.12.26-12.30

(4박5일)

국가과학기술인력개발원

(충북 오창)

물리, 생명의료, 컴퓨터 분야

대학(원)생 및 박사후 연구원 29명94.2점

4회2017.7.24-7.28

(4박5일)

국가과학기술인력개발원

(충북 오창)

물리, 생명의료, 컴퓨터 분야

대학(원)생 및 박사후 연구원 24명96.4점

5회2018.7.30-8.3

(4박5일)

국가과학기술인력개발원

(충북 오창)

물리, 생명의료, 컴퓨터 분야

대학(원)생 및 박사후 연구원 29명94.9점

6회2019.7.29-8.2

(4박5일)

국가과학기술인력개발원

(충북 오창)

물리, 생명의료, 컴퓨터 분야

대학(원)생 및 박사후 연구원 34명95.8점

86

◦ 프로그램- 총 8개 강의(총 15시간) 및 실습(총 11시간)으로 구성

- GSDC 실무진으로 구성된 강사진(자체 강사 6명), 실무 경험 중심의 지식 전달(강의 + 실습

Lab 프로그램 구성)

- 전공분야를 고려하여 그룹(조)을 구성하고, 그룹 단위 실습을 통해 협업을 통한 문제해결

역량 강화

◦ 교육만족도- 클라우드 기반 조별 실습 환경 구축 및 실습 과정에서 강사진들의 1대1 대응을 통한 교육

만족도 극대화

- 교육 사전-사후 만족도 설문조사를 통해 교육만족도 확인

- 시험과 강의 평가를 통해 교육 효과 확인 및 피드백 수렴

◦ 평가 시험을 통한 교육 성취도에 따라 차등 포상제 운영- 성적 우수자 상위 30% 대상 GSDC 수료증 수여, 상위 득점자 포상

❏ 기대효과◦ 국내 데이터집약형 기초과학분야 및 컴퓨터 사이언스 분야를 대상으로 데이터 기반 컴퓨팅 교육 프로그램 운영을 통해 컴퓨팅 기술 향상 및 연구 역량 강화에 기여

◦ 데이터집약형 연구에 대한 관련 전공자의 인식제고 및 흥미 유발을 통해 인재 양성 기여- 컴퓨터 사이언스 및 기초연구 융합 인재 양성

- 데이터집약형 기초연구에 대한 컴퓨터 사이언스 전공자들의 인식 확대

◦ 교육프로그램에 대한 수강생들의 만족도가 지속적으로 증가하여, GSDC 데이터컴퓨팅 스쿨이 해당 연구 분야 이해도 제고 및 인재 양성에 기여할 것으로 기대

- 지난 교육 프로그램에 대한 수강생들의 만족도 평균점수는 우수 이상

◦ 국내 데이터기반 컴퓨팅 수요 대응 및 데이터집약형 기초연구 분야의 컴퓨팅 중요성 인식 제고를 통해 연구커뮤니티 활성화 촉진

4. 대용량 실험데이터 활용 육성

87

다. 아시아 티어 센터 포럼(ATCF: Asia Tier Center Forum) 운영

❏ 개요◦ 배경- ATCF는 다음과 같은 아시아 앨리스 사이트 간의 그리드 활동을 공유하기 위한 노력에서

비롯됨.

∙ 히로시마의 아시아 커뮤니티를 위한 앨리스 분석 워크숍(2010)∙ 히로시마, KISTI, 우한(ALICE T2) 및 도쿄(ATLAS T2)∙ KISTI의 앨리스 티어 아시아 포럼(2013년)∙ 히로시마, KISTI, SUT (ALICE T1 및 T2s)∙ Krabi에서 열린 아시아 태평양 그리드 워크숍(2015년)∙ 히로시마, KISTI, LIPI, NECTEC, SUT (ALICE T1 및 T2s)- 이러한 활동을 통해 아시아 T2간 연결성 향상에 대한 요구가 증가하고 있으며, 특히

T1-T2s간의연결성에 대한 문제가 대두되고 있음.

∙ 비록 T1 센터들이 WLCG에 의해 고대역폭 전용 광학 링크(LHCOPN)로 CERN에 도달하는 것뿐만 아니라 제공하도록 의무화 되었지만

∙ T1-T2 트래픽(LHCONE)을 위한 실용적인 솔루션, 네트워킹 측면에서 아시아 정세는 복잡해짐

◦ 목적- WLCG 그리드 컴퓨팅 관련 아시아 지역 협력 강화 및 대용량 데이터 처리를 위한 중장기

아시안 협력 방안 마련

- 역내 관심이 높은 컴퓨팅 네트워크, 휴먼 네트워크 협력외에도 아시아 티어센터들간의

네트워크 연결 모니터링 및 개선 그리고 역내 티어 센터들이 갖고 있는 공통된 이슈들을

논의하기위한 정기모임을 구축함

❏ 운영 내용◦ 개최 실적- 2015년 1회를 시작으로 2019년까지 총 5회 개최

88

<표 3> ATCF (아시아티어센터포럼)

횟수 일시 개최장소 참석국가/기관

1회2015. 9.22-9.24

(2박3일)

한국 대전

과학기술정보연구원

한국, 중국, 인도, 인도네시아, 일본,

파키스탄, 태국, 대만, USA, CERN

10개국 14개 기관

2회2016.11.30-12.2

(2박3일)

태국 방콕

Nakhon Ratchasima

한국, 중국, 인도네시아, 일본,

파키스탄, 태국, CERN, EU

8개국 11개 기관

3회2017.10.11-19.13

(2박3일)

한국 대전

과학기술정보연구원

인도네시아, 말레이시아, 일본, 중국, CERN,

USA, 대만, 한국, 인도, 미국, EU

11개국 29명

4회2018.11.20-11.21

(1박2일)

태국 방콕

SUT 오피스

태국, 노루웨이, CERN, 일본,

인도네시아, 한국 등

32명

5회2019.10.24-10.26

(2박3일)

인도 뭄바이

Tata Institute of

Fundamental Research

인도, CERN, 일본, 한국 등

34명

◦ 주요 프로그램 내용 및 협력 현안 - site report

- LHCONE 관련 토의 및 발표

- HEP 컴퓨팅 소개

- OECD GSF에서 진행되고 있는 Sustainable Business Models for Data repositories

소개

- 사이버 R&D 인프라 소개

- WLCG Data Lake & DOMA

- Asian Distributed Storage 구축 제안 (한국-태국 분산 스토리지 구축 실무 협의를 위한

후속 조치, ATCF 운영위원회 또는 추가 회의를 통한 연구원 파견 및 테스트베드 구축건

논의)

- CERN ALICE 및 EOS 개발팀의 분산 스토리지 구축 기술 지원

- APAN47(대전 개최) 참여를 통해 아시아 지역 R&E 네트워크 컨택 (TEIN*CC와의

공조를 통해 아시아 지역 LHCONE 연결성 강화, 성공적인 분산 스토리지 구축을 위한

대역폭 추가 확보 요청)

- 아시아 지역 사이트 어드민을 위한 트레이닝 프로그램 개발

4. 대용량 실험데이터 활용 육성

89

❏ 기대효과◦ 유럽과 미국 중심의 CERN LHC 실험 데이터 그리드 컴퓨팅 분야에서 아시아 지역 구심점 및 협력 창구 역할 등을 통해 아시안 협의체의 구성과 한국의 리더십 확보

◦ 아시안 협의체를 통한 유럽 및 미국과의 기술 협력 실현을 바탕으로 아시아 지역의 기술력을 확보하고 이 과정에서 Tier-1 센터로서 선도적 역할을 통해 KISTI의 아시아 지역 기술의

리더십 확보

◦ 중장기적 관점에서 아시아 국가 간 과학기술 협력 아젠다로의 확대 발전을 통해 유럽 EGI(European Grid Infrastructure) 또는 미국 OSG(Open Science Grid)와 같은 기초

연구를 위한 데이터 중심 컴퓨팅 분야의 아시아 협력체 출범의 발판 마련

◦ 또한 유럽 WLCG 및 미국 OSN(Open Storage Network) 등 현재 데이터 레이크 구축에 주도적인 프로젝트들과 더불어 아시안 분산 스토리지 구축을 통해 아시안 데이터 레이크 모델

구현을 위한 실질적인 협력이 될 수 있을 것

◦ 한국-태국 분산 스토리지 시범 구축으로 아시아 지역 네트워크 연결성 검증 및 높은 대역폭 확보를 위한 근거로 활용, 추후 아시안 연합 데이터센터로의 가능성 기반 마련

◦ KISTI가 주도하여 국제 트레이닝/교육 프로그램 개발 및 운영을 통해 아시아 지역 기초연구- ICT 융합 인재 양성에 기여

- RedHat Ansible 코드를 이용한 Docker 컨테이너 기반 EOS 배포

- 미국 위스콘신-매디슨 대학 CHTC와의 협력을 통해 정기적인 HTCondor 튜토리얼 및

워크숍 개최

◦ 일련의 ATCF 모임들을 통해, 아시아 티어 센터 사이트들은 그들의 네트워크에 대한 유용한 정보를 얻음

- 네트워크 조정 및 LHCONE 가입 방법

- 네트워크 지원을 위한 현지 담당자

- 지역의 네트워크 그림에 대한 더 나은 지식

- 사이트 관리 및 운영 현황을 공유함으로써 사이트는 다른 사이트를 지원하고 지원할 수 있음

◦ ATCF를 고유하게 만드는 공동의 관심사를 찾아 함께 협력하는 장을 구축함- ATCF는 아시아 커뮤니티에 가장 높은 우선 순위를 부여함

- ATCF는 네트워크 처리 과정에 현장이 적극적으로 참여할 수 있는 포럼을 제공함

90

<제 1 차 ATCF>

<제 2 차 ATCF>

<제 3 차 ATCF>

<제 4 차 ATCF>

<제 5 차 ATCF>

4. 대용량 실험데이터 활용 육성

91

4.2 대용량 실험데이터 관련 산업 육성

가. CERN의 Open Lab

❏ CERN OpenLAB 정의 ◦ CERN OpenLAB은 CERN 특유의 public-private partnership으로서, 전세계 LHC 커뮤니티 연구를 확장시키기위한 첨단 정보통신 기술 R&D를 가속화하고자하는 파트너쉽.

CERN은 OpenLAB을 통하여 첨단 정보통신 기업 및 연구소들과 협력함

❏ CERN OpenLAB 역사 ◦ CERN OpenLAB 개념은 2001년에 Manuel Delfino가 선도적으로 이끌기 시작하여 2003년도부터 3년 단의 공식 사업으로 추진됨

- CERN OpenLAB Ⅰ(2003–2005) : Opencluster의 선도모형을 개발함- CERN OpenLAB Ⅱ(2006–2008) : 플랫폼, DB, 그리드컴퓨팅, 보안, 네트워크 - CERN OpenLAB Ⅲ(2009–2011) : CERN과 파트너에 관련된 기술과 서비스- CERN OpenLAB Ⅳ(2012–2014) : 클라우드 컴퓨팅, Business Aanalytics, 대규모 네트워크 장비들을 위한 차세대 H/W와 보안

◦ CERN OpenLAB Ⅴ(2015 – 2017)에는 처음으로 공공 연구기관들이 참여를 했는데 유럽 바이오인포메틱스 연구소, 중이온 연구를 위한 DGSI 헬룸홀츠 센터, Innopolis 대학, Kazan

Federal University, Newcastle 대학이 참여. 정보통신기업으로는 인텔, 오라클, 지멘스가

파트너기업으로 브로케이드, 시스코, IDT, Rackspace, 시게이트는 Contributor 기관으로,

그리고 Comtrade, Huawei, Yandex는 Associate member 기관으로 참여하고 있음

- 제5차 OpenLAB 사업의 주요 내용은 4개 주제로 구분됨. “Data-Centric Technolohies

and Infradructure”, “Computing Performance and Software”, Machine Learning

and Data Analytics“, Application in other Disciplines”

◦ 2018년도 이후는 지난 15년간 이룬 성과를 향후 15년 동안 젊은 과학자들에게 전달하는 것을 중심으로 추진. 동시에 향후 3년간은 새로운 기획 준비30)

- CERN openlab Summer Student programme 2018(2018.8.1.~16) 추진

30) OpenLAB Annual Report 2

92

❏ 2020년도 Cern OpenLab 현황 <Topic 1> 데이터 센터 기술 및 인프라 분야

◦ 프로젝트 1 : Oracle WebLogic on Kubernetes- (목표) 이 프로젝트는 CERN의 Oracle WebLogic 인프라 구현을 더욱 더 이동성 있고

반복적으로 설치하고 빠르게 제공될 수 있도록 개선하기위한 프로젝트

◦ 프로젝트 2 : Oracle Management Cloud- (목표) 오라클 Management Cloud(OMC)를 테스트하고 플랫폼의 진화를 위한 제안을

포함하여 오라클에 피드백을 제공함. 우리는 CERN의 데이터베이스와 관련된 애플리케이션에

대한 이 기술의 장점과 적합성을 평가하고 있으며, 이를 현재의 사내 인프라와 비교하는 것

◦ 프로젝트 3 : Developing a ticket reservation system for the CERN Open Days 2019- (목표) 이 프로젝트의 목표는 CERN Open Days 2019를 위해 다운타임 없이 웹 기반 티켓팅

시스템을 제공하는 것. 이 시스템은 다중 티켓 발매 날짜와 높은 부하를 처리할 수 있어야

했고 사용자 친화적이고 응답성이 높은 인터페이스를 제공해야 하는 것

◦ 프로젝트 4 : Heterogeneous I/O for Scale- (목표) 우리는 FPGA 기반의 I/O 중개자에 대한 PoC(proof of Concept)를 개발하기 위해

노력하고 있음. 잠재적인 문제는 원격 저장 장치를 사용할 때 데이터 수집이 발생하는 방식을

변경하는 것일 수 있음. 향후 데이터 분석에 활용해야 할 막대한 데이터량을 감안하여 고성능

컴퓨팅(HPC) 설비가 제공하는 컴퓨팅 파워를 활용하기 위해서는 흐름을 효율적으로 관리

하는 것이 중요함

◦ 프로젝트 5 : Dynamical Exascale Entry Platform – Extreme Scale Technologies(DEEP-EST)

- (목표) 이 프로젝트의 주요 초점은 새로운 유형의 고성능 컴퓨팅(HPC) 자원에 대해 서로

다른 요구사항으로 다양한 애플리케이션을 효율적으로 실행할 수 있는 새로운 종류의

시스템을 구축하는 것임. 머신러닝 애플리케이션에서 기존 HPC 애플리케이션에 이르기까지

목표는 시스템에 전혀 다른 문제를 제기하는 워크로드를 수용할 수 있는 환경을 구축하는

것임

◦ 프로젝트 6 : Kubernetes and Google Cloud- (목표) 이 프로젝트의 목적은 쿠버네티스와 구글 클라우드의 확장성과 성능을 입증하여

미래의 컴퓨팅 모델에 대한 이 설정을 검증하는 것. 그 예로 2013년 노벨물리학상을 이끈

유명한 힉스 분석을 이용하고 있어 CERN Open Data를 이용하여 실제 분석이 가능하다는

것도 보여주고 있음

4. 대용량 실험데이터 활용 육성

93

◦ 프로젝트 7 : EOS productisation(상품화)- (목표) 이 프로젝트는 CERN의 EOS 대규모 스토리지 시스템의 진화에 초점을 맞추고 있음.

시스템의 사용･설치･유지관리를 단순화하는 것이 목표임. 또한, 이 프로젝트는 새로운 클라이언트 플랫폼에 대한 기본 지원을 추가하고, 문서를 확장하며, 다른 소프트웨어

패키지와의 새로운 기능/통합을 구현하는 것을 목표로 함

<Topic 2> Computing Performance and Software

◦ 프로젝트 1 : High-performance distributed caching technologies- (목표) 우리는 입자물리학 실험의 데이터 획득 시스템에서 핵심 가치 스토리지에 대한 새로운

인프라의 적합성을 연구함. DAQDB(Data Acquisition Database)는 지연 시간이 짧은

쿼리를 제공하는 확장 가능하고 분산된 키 값 저장소임. 실시간 데이터 수집을 비동기 이벤트

선택에서 분리할 수 있는 최첨단 비휘발성 메모리 기술인 Intel2 Optane™ DC 영구

메모리를 활용함

◦ 프로젝트 2 : Testbed for GPU-accelerated applications - (목표) 이 프로젝트의 목표는 GPU의 잠재력을 최대한 활용하기 위해 컴퓨팅 모델과

소프트웨어를 조정하는 것임. 2018년 말 시작된 이 사업은 10건의 개별 이용 사례로 구성됨

<Topic 3> Machine Learning and Data Analytics

◦ 프로젝트 1 : Oracle cloud technologies for data analytics on industrial control systems- (목표) CERN의 제어 시스템은 LHC와 그 실험에서 200만 개 이상의 신호로부터 매일 250TB

이상의 데이터를 획득함. 매우 복잡한 이러한 "IoT(Industrial Internet of Things)"

시스템을 관리하면 데이터 관리, 검색 및 분석 측면에서 중요한 과제가 발생함. 프로젝트

팀은 오라클 자율 데이터베이스 및 분석 기술과 협력하고 있음. 이질적인 제어 IIoT(Industrial

IoT) 데이터 세트를 통합하고 가장 까다로운 분석 요구사항에 대한 성능 및 효율성을 향상하는

동시에 운영 비용을 절감하는 측면에서 이들의 역량을 평가하는 것이 목표임

◦ 프로젝트 2 : Data analytics in the cloud- (목표) 이 프로젝트는 데이터 엔지니어링과 머신러닝 및 딥러닝 툴을 결합한 테스트 및 프로토

타이핑 솔루션임. 이러한 솔루션은 클라우드 리소스, 특히 Oracle Cloud Infrastructure(OCI)의

리소스 및 툴을 사용하여 실행되며 CERN 커뮤니티의 다양한 관심 사용 사례를 해결함. 특히,

이 활동을 통해 CERN 인프라에 구축된 솔루션의 성능, 성숙도 및 안정성을 OCI의 구축과

비교하는 것

94

◦ 프로젝트 3 : Fast detector simulation- (목표) 우리는 인공지능(AI) 기술을 사용하여 입자 충돌 사건에 대한 HEP 검출기의 반응을

시뮬레이션하고 있음. 구체적으로, 우리는 시물레이션을 위해 심층 신경망, 특히 생성적

적대적 네트워크(GANs)를 개발하고 있음. 그러한 도구는 연구계가 HL-LHC(High Luminity

LHC)의 엄청나게 증가하는 컴퓨팅 수요에 대처하는 데 중요한 역할을 할 것임

- 일단 적절하게 훈련되고 최적화되면, 생성 모델은 상세한 몬테카를로 방법을 기반으로 하는

고전적 시뮬레이션에 필요한 시간의 단 몇 분의 일 만에 다양한 입자, 에너지 및 검출기를

시뮬레이션할 수 있음. 우리의 목표는 실험의 기존 시뮬레이션 프레임워크에서 이러한 새로운

도구를 조정하고 통합하는 것임

◦ 프로젝트 4 : Exploring accelerated machine learning for experiment data analytics- (목표) 프로젝트에는 두 개로 나누어지는데, 각각 마이크론 딥러닝 액셀러레이터(모듈식

FPGA 기반 아키텍처)의 고유한 사용 사례를 조사함.

- 첫 번째는 CMS 실험의 레벨 1 트리거에 대한 실시간 스트리밍 시스템 추론 엔진 프로토타입

개발과 관련이 있음

- 두 번째는 DUNE 실험을 위한 딥러닝을 기반으로 한 입자 식별 시스템을 프로토타이핑하는

데 초점을 맞추고 있음. DUNE은 중성미자 과학과 양성자-Decay 연구를 위한 최첨단 국제

실험임. 미국에 건설될 예정이며, 2020년대 중반에 가동을 시작할 예정임

◦ 프로젝트 5 : NextGeneration Archiver for WinCC OA- (목표) LHC에 사용되는 제어 시스템을 보다 효율적이고 스마트하게 만드는 것. WinCC OA

(CERN에서 널리 사용되는 SCADA 도구)의 기능을 향상시키고 기록된 모니터링 데이터에

데이터 분석 기법을 적용하여 시스템 운용 및 유지관리에 영향을 미칠 수 있는 이상 징후와

체계적인 문제를 검출하는 것임

◦ 프로젝트 6 : Evaluation of Power CPU architecture for deep learning- (목표) 입자 충돌 사건에 대한 검출기 반응을 시뮬레이션하기 위한 분산 학습과 생성 적대적

네트워크(GAN)의 낮은 지연 시간 추론의 성능을 조사하고 있음. CERN에 설치된 IBM

Power CPU(GPU 포함)로 구성된 클러스터에서 심층 신경 네트워크의 성능을 평가하는 것임

◦ 프로젝트 7 : Data analytics for industrial controls and monitoring - (목표) 이 프로젝트는 LHC에 사용되는 산업 제어 시스템을 보다 효율적이고 지능적으로

만들기 위한 것. 인공지능(AI), 클라우드, 엣지 컴퓨팅 기술의 최신 진보를 활용한 데이터

분석 플랫폼 개발이 목적임. 궁극적인 목표는 Siemens가 제공하는 분석 솔루션을 활용하여

비전문가 최종 사용자에게 턴키(turnkey) 데이터 분석 서비스를 제공하는 것임

4. 대용량 실험데이터 활용 육성

95

<Topic 4> Quantum Technologies

◦ 프로젝트 1 : Quantum graph neural networks- (목표) 이 프로젝트의 목표는 양자 알고리즘을 사용하여 LHC에서 충돌로 생성된 입자를 보다

효율적으로 추적할 수 있도록 하는 실현 가능성을 탐구하는 것. 이것은 특히 중요한데, 앞으로

충돌 속도가 급격히 증가할 것이기 때문임

◦ 프로젝트 2 : Quantum support vector machines for Higgs boson classification- (목표) 이 프로젝트는 힉스 소힙자의 특정 붕괴 유형을 생성하는 입자 충돌 사건의 분류를

위해 양자 지원 벡터 머신(QSVM)의 활용을 조사하고 있음. 특히 이러한 기계는 힉스

소립자가 두 개의 광자로 붕괴하기 전에 상단 쿼크와 상단 안티 쿼크로 매우 짧은 시간 동안

변동하는 경우를 식별하기 위해 사용되고 있음. 물리학자들이 ttH 생산이라고 알려진 이

과정을 이해하는 것은 매우 어려운 일이며, 드문 일이지만, 힉스 소립자의 1%만이 두 개의

상단 쿼크와 연관되어 생산되며, 게다가 힉스와 상단 쿼크는 여러 가지 복잡한 방법이나

모드에서 다른 입자로 붕괴됨

◦ 프로젝트 3 : Quantum optimisation for grid computing- (목표) 이 프로젝트의 목표는 전 세계 42개국에 걸쳐 170개의 컴퓨팅 센터로 구성된 WLCG

(Worldwide LHC Computing Grid, WLCG)에서 저장용 데이터가 어떻게 분산되는지를

최적화할 수 있도록 양자 알고리즘을 개발하는 것. 초기 작업은 앨리스 실험의 구체적인

사례에 초점을 맞추고 있음. 우리는 이 실험이 준실시간에서 생산한 데이터에 대해 최적의

저장, 이동, 접근 패턴을 결정하려고 함. 이렇게 하면 자원 할당과 사용이 개선되어 광범위한

데이터 처리 작업 흐름에서 효율성이 향상됨

◦ 프로젝트 4 : Quantum machine-learning for SuperSymmetry searches- (목표) 이 프로젝트의 목표는 LHC 충돌 데이터 분석을 위한 양자 기계 학습 알고리즘을

개발하는 것. 선택한 특별한 예는 표준-모델 배경에서 슈퍼대칭 신호의 분류임

◦ 프로젝트 5 : Possible projects in quantum computing- (목표) 양자 컴퓨팅에 관한 많은 흥미로운 프로젝트들을 제시. 유저 커뮤니티의 관심을

끌어 유저･벤더와의 협업을 확립할 수 있는 계기를 창출하는 것이 목적임

96

<Topic 5> Applications in Other Discipline

◦ 프로젝트 1 : CERN Living Lab- (목표) 프로젝트 목표는 프라이버시에 민감하거나 품질 수준, 관련 입증 정보 또는 신호 대

잡음 비율 등 특수한 제약 조건 하에서 데이터의 대규모 연구를 위한 빅데이터 분석 플랫폼을

개발하는 것. 윤리적 고려도 필요할 때 고려함. 이는 CERN과 보다 광범위한 고에너지 물리학

커뮤니티에서 제공되는 아이디어와 전문 지식을 사용하여 다양한 출처의 이기종 데이터를

연합하고 분석하는 개념 증명 역할(PoC)을 할 것임

◦ 프로젝트 2 : Smart platforms for science- (목표) 프로젝트 목표는 사용자 상호작용에서 수집된 데이터를 분석할 수 있고 권장사항과

기타 통찰력을 제공하기 위해 이 정보를 처리할 수 있는 플랫폼을 설계함으로써 사용자 검색

또는 학습 목표의 성능과 관련성을 개선하는 데 도움을 주는 것임

◦ 프로젝트 3 : Humanitarian AI applications for satellite imagery- (목표) 이 프로젝트는 CERN에서 인공지능(AI) 기술에 대한 전문지식을 유엔 기구를 지원하기

위해 활용하고 것임. 구체적으로, 우리는 인도주의적인 개입을 지원하기 위해 만들어진

위성사진에서 물체 인식 개선을 돕기 위해 AI 접근법을 연구하고 있음. 이러한 위성사진은

인도주의 단체들이 자연재해, 인구이주, 분쟁에 대한 대응을 계획하고 조정하는 데 중요한

역할을 함

◦ 프로젝트 4 : Future technologies for medical Linacs(SmartLINAC)- (목표) 스마트LINAC의 프로젝트는 이상 징후 감지 및 유지관리 계획을 가능하게 하는 의료

및 과학 선형 가속기용 플랫폼을 만드는 것을 목표로 함. 관련 비용과 예상치 못한 고장을

획기적으로 줄이는 게 목표임. 우리가 개발하는 플랫폼은 인공지능을 활용해 모든 환경에서

작동하는 서로 다른 선형 가속기(리낙스)에 적응할 것임

◦ 프로젝트 5 : BioDynaMo- (목표) 우리는 생명과학자들이 3차원 생물학적 시뮬레이션을 쉽게 만들고, 실행하고, 시각화

할 수 있는 플랫폼을 만드는 것을 목표로 함. 최신 컴퓨팅 기술 위에 구축된 BioDynaMo

플랫폼은 사용자들이 이전에는 달성할 수 없었던 규모와 복잡성에 대한 시뮬레이션을 수행할

수 있게 해, 도전적인 과학 연구 문제를 해결할 수 있게 해 줄 것임

나. FERMI Open Lab

◦ 페르미연구소 오픈랩은 CERN 오픈랩이 프로젝트중심으로 추진되는 것에 비하여 산학 협력 전문 센터를 구축하여 수행함. IARC와 CAPST라고하는 2개 센터를 구축하여 산학연 협력을

수행함

4. 대용량 실험데이터 활용 육성

97

❏ IARC : Illinois Accelerator Research Center, 일리노이 가속기 연구 센터◦ 미션- 아이악의 목표는 페르미 연구소에 있는 가속기 관련 기술을 상업과 산업계의 여러 회사들과

파트너십을 맺어서, 에너지, 환경, 의학, 산업, 국가 안보 및 기초과학분야에 적용하는 연구를

수행

- 일리노이주에 공학분야 및 경제분야에 기여를 하고, 위의 연구 목표를 공유하는 회사들을

통해 새로운 일자리 창출을 부차적인 목표로 삼음

- 지역 대학들과 연계로 가속기 분야에서 새로운 세대의 연구인력 및 엔지니어등을 양성하는

교육의 장으로도 활용

◦ 예산- 아이악은 두 개의 기관으로 부터 펀딩을 받음. Illinois Department of Commerce and

Economic Opportunity에서 2천 만불 상당의 새로운 건물과 U.S. Department of Energy

(Office of Science)에서 기존에 있는 3천8백만 불 상당의 건물과 새로운 천3백만 불 현금

지원

- 미 에너지성의 Accelerator Stewardship Test Facility Pilot Program의 일환으로 지원이

이루어짐

◦ 주요 장비- 테스트 가속기(test accelerators)

- 극저온 실험실(cryogenics infrastructure)

- 실온 조절 실험실

- 대용량 전력 실험실

- 공업용 냉각 시설 과 페르미 연구소 시설도 제공함

❏ CAPST : Center for Applied Physics and Superconducting Technologies◦ 미션- 연구목표는 초전도관련 재료의 특성을 연구하여, 초전도체의 특성의 최대치를 찾아내어,

차세대 입자 가속기는 물론이고, 양자 컴퓨팅에 적용하는 것임

- 협력 연구의 응용분야는 가속기 물리, 입자 물리, 고체 물리, 재료 과학, 의학, 에너지 분야

및 환경 분야임

- 이 두 기관이 독자적으로 구축한 연구 노하우를 융합하여 공동 연구, 멘토십, 방문연구자

유치, 대학원생 연구 지원 및 박사후 연구자 지원등의 연구 효과를 기대함

98

◦ 센터 구성- 페르미 연구소의 Technical Division(TD)에 속해 있는 초전도체 관련 연구부서와 미국

시카고에 위치한 유명 사립대학인 노스웨스턴 대학간에 상호 협력 연구 센터를 구축함

- 이 두 기관이 독자적으로 구축한 연구 노하우를 융합하여, 공동 연구, 멘토십, 방문연구자

유치, 대학원생 연구 지원 및 박사후 연구자 지원 등의 연구 효과를 기대함

[부록] 데이터센터

인프라/기술 약어집

[부록] 데이터센터 인프라/기술 약어집

101

약어 내용

aCT ARC(Advanced Resource Connector) Control Tower

ActiveMQ open source ActiveMQ, 아파치 오픈소스 메세징

AFS Andrew File System

AOD Analysis Object Data

A-MQ Red Hat A-MQ, 유연한 메시지 플랫폼, 실시간 통합 지원 및 IoT 연결 구현

ARC-CE ARC(Advanced Resource Connector) Compute Element(CE) is a Grid front-end

CASTORThe CERN Advanced STORage manager(CASTOR).

계층적 스토리지(i.e. HDD and tape)관리 시스템

CASTOR HSM HSM(Hierarchical Storage management(ie : disk, tape))

CBPFCentro Brasileiro de Pesquisas Físicas, The Brazilian Center for Research in Physics

CDS CERN Document Server

Cephfree-software storage platform. object storage for end-user applications, block

storage for virtual machines.

Ceph Nautilus Ceph 버전 14.2.8의 이름, Nautilus 는 앵무조개 라는 뜻을 갖고 있음

CERNBox

provides a cloud synchronisation service for all CERN users between personal

devices(laptops, smartphone, tablets) and a centrally-managed data storage.

CERNBox is built on top of the ownCloud software.

CI/CD GitLab CD/CI 참조

CMDBConfiguration Management Data Base. IT 서비스 운영에 필요한 절차, 문서, 소스, 구성,

토폴로지, 어플리케이션 등을 보관하고 사용하기 위한 데이터 저장소

colledtd"System and applications metrics collector". collectd gathers statistics about the

system

CTAConsolidated Tape Association , oversees the dissemination of real-time trade

and quote information in New York Stock Exchange

CVMFS

CernVM File System(CernVM-FS) is a network file system based on HTTP

and optimized to deliver experiment software in a fast, scalable, and reliable

way

DAQ Data AcQuisition

DDN Data Direct Network, 출처 KIT GridKa, 기업 명칭

DDP Dynamic Disk Pool, NetApp사 스토리지 시스템 지원 기능

부록 : 데이터센터 인프라/기술 약어집

102

약어 내용

Documentation CERN Authoring

DOMA Data Organization, Management and Acces

Doodlethe simplest way to schedule meetings to clients, colleagues, or friends. Find

the best time for one-to-ones and team

DRYAD Dryad is a leader in data curation and data publishing.

DUNE Deep Under fround Neutrino Experiment, Detector for neutrino, hosted by FNAL

E-FAXE-Fax Service allows CERN users to send and receive faxes as emails(가입 필요),

TONE에서는 지원이 않됨

EOS

energie ouest suisse(runs some powerlines). EOS is a disk-based, low-latency

storage service. Having a highly-scalable hierarchical namespace, and with data

access possible by the XROOT protocol, it was initially used for physics data

storage.

Today, EOS provides storage for both physics and user use cases. Instances of

EOS include EOSUSER, EOSPUBLIC, EOSATLAS, EOSCMS.

EOS Earth Observation System

FDR INfiniBand 에서 사용하는 속도 용어로서 Fourteeen Data Rate로 14Gbps를 나타냄

FTS File Transfer Service

EOS FUSE FUSE client allows to access EOS as a mounted file system.

GDB (WLCG) Grid Deployment Board

GitLab CD/CI The GitLab built-in Continuous Integration, Continuous Deployment,

and Continuous Delivery toolset to build, test, and deploy …

GPFS General Parallel File System. IBM 사의 공성능 공유 디스크 파일 시스템

HAProxyHAPROXY는 기존의 하드웨어 스위치를 대체하는 소트우에어 로드밸런서로 네트워크 스위치

에서 제공하는 L4, L7 기능 및 로드밸런서 기능 제공

Harbor Enterprise Container Registry

HSM Hierarchical Storage management

IAM Identity and Access Management

Indico powerful event(meetings, conferences, lectures) management system developed

at CERN

IB InfiniBand, 쌍방향 시리얼 버스를 이용하는 통신 방식

IDM Identity Management

ITILIT Infrastructure Library. IT 서비스 관리에 대한 프레임워크 구현을 돕기 위한 문서들의

집합

InvenioInvenio는 대규모 디지털 리포지토리를위한 오픈 소스 소프트웨어 프레임 워크.

기관 리포지토리 및 연구 데이터 관리 시스템에서 디지털 자산 관리 도구 제공

JBOD Just a Bunch Of Disks

[부록] 데이터센터 인프라/기술 약어집

103

약어 내용

Jenkins사용자 보다 더 빠르고 더 강력하게 더 쉽게 빌드(Build), 테스트, 그리고 배포(deployment)

도구 등 체인 전체를 통합할 수 있는 방법 제공

Keycloakan open source identity and access management solution, 시험 중인 New SSO

서비스. authentication server. REST API 및 clients 구성 지원

KLI Key Performance Indicator

Kopano CERN Mail Server, Malt-Mail

KRB5 Kerberos V

Lemon CERN Legacy Tool, Lemon Web Monitoring, CERN Cluster monitoring Project

LHC Large Hadron Collider

LSDF Large Scale Data Facility(독일 Gridka 에서 사용)

LSF Load Sharing Facility

LTOLinear Tape Open. LTO 컨소시엄 기술의 표준 폼 팩터는 Ultrium이라는 이름과 함께하며

8세대 LTO Ultrium은 2018년 출시. 동일 크기의 카트리지에 12 TB 보관.

MAlt Microsoft Alternatives project, 2018년부터 S/W 라이센스 비용 절감 준비 프로젝트.

Microsoft, 등의 유료 S/W에서 open-source solutions로 전환 지원

Markdown Markdown(file.md)-based documentation

Mattermost CERN의 Online Chat Service

MC/SC scheduling Multi Core/Single Core Scheduling

multitenency웹을 통해 D/B 정보를 관리 및 공유 지원. SaaS 플랫폼 구현을 위한 핵심 기능 수행. 하이퍼바

이저를 기반으로한 가상 컴퓨터(VM) 기술을 이용하여 H/W 공유

MONITThe Unified Monitoring Architecture for Monitoring the CERN Data Centers and

the WLCG Infrastructure. A free, open-source process supervision tool.

MRML multi-resource modelling lang

Naemon Open Source System and Network monitoring Application

Newdlea collaborative enterprise meeting scheduling tool(2019. 12 기준 개발 중), based

on the Open Source application with the same name

NOTED Network-Optimized Transfer of Experimental Data, Project 이름

NSD Network Shared Disk. IBM 사의 GPFS 구성 요소

NUC Next Unit of Computing(인텔사의 small form factor PC with a tiny footprint(작은 공간))

OKDopensource version of Red Hat OpenShift. Kubernetes의 Origin Community

Distribution”을 의미

Open JDK Open Java Development Kit

OSDs object storage demons 또는 Ceph의 Object Storage Device

PPD Particle Physics Department in RAL

104

약어 내용

RADOSReliabl, Autonomic, Distributed Object Store comprised of self-healing, self

managing, intelligent storage nodes

RBD RADOS Block Device

RDM Research Data Management

REANAReusable Analyses(버전 0.5) reusable and reproducible research data analysis

platform., Jupyter 노트북 사용

RedCLARA 남미국가들을 연결하는 LHCONE

SAS Serial Attached SCSI,

S3 Simple Storage Service

SFA Storage Fusion Architecture, KIT GridKa 출처

SLAService Level Agreement, 서비스 제공자가 이용자에게 약속한 서비스 가용성 및 성능에

관한 계약

SLO Service Level Objective, 서비스 제공자가 도달하기 원하는 목표

SLI Service Level Indicator

SLURM Simple Linux Utility for Resource Management)

SENSE SDN for end-toend Networked Sience at the Exascale

SparkApache Spark-A big data processing framework for ETL, analytics, machine

learning, streaming

SRM Storage Resource Management(CERN 에서 2008년 대에 사용)

SWAN Service for Web based Anlysis, 클라우드에서 대화형 데이터 분석을 위한 일종의 플랫폼

Thruk Monitorimg Webinterface for Naemon, Icinga, Shinken and Nagios

TONE Telephony Open-source Network Evolution(Fixed Line Phone Service, Mobile

Phone Service, Skype for Business)

tungsten fabric multicloud, multistack sdn open-source, cloud-grade networking and security

VRF Virtual Routing and Forwarding

Weblogic기존 및 클라우드 환경에서 애플리케이션을 개발 및 배포하기위한 기업 환경에 적합한 핵심

클라우드 플랫폼 제공

WIPO World Intellectual Property Organization

Zenodoa general-purpose open-access repository developed under the European Open

AIRE program and operated by CERN

발 행 처

발 행 일

주 소

대 표 전 화

팩 스

홈 페 이 지

한국과학기술정보연구원

2020년 11월

34141) 대전광역시 유성구 대학로 245

042) 869-1004, 1234

042) 869-1091

https ://www.kisti.re.kr

• 본 보고서의 내용은 비상업적 이용만 가능하며 변형 등 2차적 저작물의 작성을 금지합니다.

• 본 보고서의 활용은 KISTI 저작권 정책(www.kisti.re.kr/pageView/521?t=1568788952964)을 준수하시기 바랍니다.