그리드 네트워크 관리 센터와 성능 측정

그리드 네트워크 관리 센터와 성능 측정

2005. 4. 13

성균관 대학교 안성진([email protected])

- 2/24-

I. 그리드 소개 그리드의 정의 , 특징 , 분류

II. 그리드 네트워크 관리 센터 (GNOC) GNOC 필요성 , 역할 , 구조 GNOC 모델 , 활동내용

III. 그리드 네트워크 성능 측정 GMA 모델 그리드 네트워크 성능 측정 연구 동향 그리드 네트워크 성능 측정 사례 연구

IV. 결론

목 차

목 차

- 3/24-

그리드 정의 및 특징

그리드 (Grid) 는 지역적으로 분산되어 있는 고성능 컴퓨팅 자원들을 초고속 네트워크로 상호 연동하여 조직과 지역에 관계없이 단일 시스템처럼 사용할 수 있는 환경을 말한다 .

“e- 교육 , e- 과학 , e- 산업 , e- 비즈니스 등의 기반이 되는 새로운 정보통신 사회간접자본” , Ian Foster

지리적으로 분산된 고성능 컴퓨터 ,

대용량 데이터베이스 및 첨단 장비 등 정보통신 자원을 초고속 네트워크로 연동

기초 과학과 산업기술연구에 필수적인 고속연산 , 대량의 데이터 처리 , 첨단 장비의 상호 공유 등을 가능하게 함

사이버 공간에서 협업 연구나 작업을 가능하게 함

주요 자원들에 대한 고성능의 유연한 엑세스 제공

그리드의 특징

I. 그리드 소개

- 4/24-

그리드의 분류

계산 그리드 , 데이터 그리드 , 액세스 그리드의 세부내용은 다음과 같다 .

계산 그리드

I. 그리드 소개

데이터 그리드

액세스 그리드

계산 그리드는 계산을 위해 많은 자원들을 연결하여 해결함

분산 슈퍼 컴퓨팅 관련 그리드는 작업의 전체 실행 시간을 줄이기 위해 많은 컴퓨터를 동시에 사용하며 주로 기계 항공 분야난 물리 분야에 사용됨

데이터 그리드는 원격지의 분산된 자료 들을 통합하여 분석하게 함

데이터 마이닝 , 고 에너지 물리 분야 , 유전자 정보 처리분야 등에 사용됨

액세스 그리드는 분산 처리를 필요로 하는 어플리케이션을 위해 사용됨

분산 환경 회의 , 협업 회의 , 세미나 , 강의 , 교육 및 훈련등에 사용

계산 그리드 데이터 그리드 액세스 그리드

그리드 시스템

분산슈퍼컴퓨팅

고성능컴퓨팅

요구지향환경

협업환경

멀티미디어

- 5/24-

GNOC 의 필요성

GNOC 가 그리드 네트워킹 자원들을 관리 함으로써 네트워크의 효율화를 높일 수 있다 .

그리드 네트워크를 통제하고 , 상태를 체크하며 , 그리드 네트워크 고장수리 ,

소프트웨어 배포와 수정 , 라우터와 도메인 이름 관리 , 성능 상태 감시 , 하위 네트워크들과의 공조 등에 관한 모든 초점이 모아지는 장소

네트워크를 시각화 장비 , 네트워크의 자세한 상태를 볼 수 있는 워크스테이션 , 그리고 네트워크를 관리하기 위한 NMS 장비들을 두루 갖추어야 함

기존의 네트워크응용에 비해 그리드 응용별 요구되는 네트워크 기술과 대상이 명확함

그리드 응용별 요구되는 네트워크 자원이 다름 (ex; 그리드 응용별 요구 자원 [ 단위 :bps])

실시간으로 작업하고 처리하여야 하는 데이터가 있을 경우 전체적인 그리드 네트워크 자원과 네트워크 운용 정보를 알 수 있어야 함

과거에 비해 고대역 , 고속 , 안정적인 네트워크를 요구하는 트래픽이 많아짐

GNOC

II. 그리드 네트워크 관리센터

- 6/24-

GNOC 의 역할

GNOC 의 역할

국내외 연구망 자원의 활용을 위한 연구망간의 채널 역할을 수행

그리드 응용개발자와 시험자간의 중계 인터페이스 역할을 수행

그리드 어플리케이션을 개발 및 시험할 수 있는 안정적인 네트워크 제공

그리드 어플리케이션 특성에 따른 고성능 네트워크 기술 지원

GGF/GFK WG, RG 의 참여 및 정보교류를 통해 최적의 그리드 네트워크 기술 도입

IT GRID

ET GRID

BT GRID

NT GRID

KORENNOC

KREONet2NOC

APII-TestbedNOC

Primary ISPsNOC

Computers

가속기

CAVE

Supercomputer

미들웨어 (Globus, Condor, Legion , MoreDream 등 )

첨단장비


- 7/24-

N*GRIDN*GRID

- GRID RESEARCHER & USERGRID RESEARCHER & USER- (ABOUT 30 INSTITUTES & UNIVERSITYS)(ABOUT 30 INSTITUTES & UNIVERSITYS)

- GRID APPLICATION RESEARCHGRID APPLICATION RESEARCH

- GRID RESOURCE (SUPUER COMPUTER, DB,GRID RESOURCE (SUPUER COMPUTER, DB, HUMAN, EQUIPMENTHUMAN, EQUIPMENT

GRID GRID USER /APUSER /APSUPPORTSUPPORT

NG NETWORKNG NETWORKBASE & TECHBASE & TECH

REAL TIME REAL TIME INFORMAION INFORMAION

ABOUT ABOUT NETWORTNETWORT

GFGFKK

GGGGFF

-GHPN-WGGHPN-WG-GNM-WGGNM-WG

- GHPN-RG- GHPN-RG- NM-WG- NM-WG

GRID GRID NOC NOC OPERATIOPERATIONON

- GRID NETWORK OPERATIONGRID NETWORK OPERATION : 24*365 STABLE NETWORK: 24*365 STABLE NETWORK

- GRID NETWORK MONITORINGGRID NETWORK MONITORING : NETWORK RESOURCE, : NETWORK RESOURCE, TROUBLE,TROUBLE, PERFORMANCE PERFORMANCE

- NETWORK RESOURCE NETWORK RESOURCE SCHEDULESCHEDULE : PROVIDE RESOURCE WITH : PROVIDE RESOURCE WITH SLA SLA

- A STUDY ON GRID NETWORK A STUDY ON GRID NETWORK TECHNOLOGYTECHNOLOGY

GRID GRID NOC NOC OPERATIOPERATIONON

NEEDS OF NEEDS OF NETWORK NETWORK

TECH & TECH & RESOURCERESOURCE

GRID GRID NETWORK NETWORK RESOURCERESOURCE

R&D NETWORK OF KOREA

- KREONET : 5Gbps – 2.5Gbps BackBone

- KOREN : 2.5Gbps Back Bone

FOREIGN R&D NETWORK : STAR TAP, Abilene, CA*NET4, vBNS+ ..

Peer with 45Mbps through KREONet2

INTERFACEINTERFACE

CHANNELCHANNEL

Cooperative

WorkConnect

with Foreign

Grid researcher

VR-GRID

Equipments-GRID

Access-GRID

Multicast, QoS, Multicast, QoS, Fast RoutingFast Routing

Bandwidth allocate, Bandwidth allocate, measurement, QoSmeasurement, QoS

10Gbps Optical Network, 10Gbps Optical Network, IPv6, QoS, MPLSIPv6, QoS, MPLS

MulticastMulticast

PolicyPolicy

PolicyPolicy

TechTech

TechTech

CC-GRID

GNOC 의 구조

II. 그리드 네트워크 관리센터 GNOC 의 구조

- 8/24-

GNOC 모델

GNOC 가 그리드 네트워킹 자원들을 관리 함으로써 네트워크의 효율화를 높일 수 있다 .


소비자 2

Directoryservice

토폴로지생산자

네크워크모니터링생산자 1 네크워크모니터링생산자 2

저장소

NOC1

네크워크모니터링생산자 1 네크워크모니터링생산자 2

저장소

NOC2

저장소


네크워크모니터링생산자 3

GNOC

네크워크모니터링생산자 1저장소

NOC3


웹브라우저

소비자 1웹브라우저

GNOC 모델

- 9/24-

Access-GRID : Multicast Access-GRID : Multicast 운영운영 VR-GRID : VR-GRID : 네트워크구성조정네트워크구성조정 /QoS/QoS

GNOC 활동 내용

II. 그리드 네트워크 관리센터 GNOC 활동 내용

첨단장비그리드첨단장비그리드 : 10G : 10G 네트워크구성지원네트워크구성지원 SLA SLA 성능 측정 모델성능 측정 모델

그리드 네트워크

성능 측정 구간

SLA 가입자 그룹

성능측정 서버

성능측정 클라이언트

Directoryservice

GNOC

저장소

NOCNOC

- 10/24-

GNOC 는 다음의 그림과 같이 다른 그리드 네트워크와 연계하고 있다 .

GNOC 의 연계

High-Tech S&T devices(Supercomputers, CAVE,DB Servers…)

GNOC-kr

GNOC/KISTI

High-Tech S&T applications based KREONET/KREONet2/HPCNet

Electron microscopeat Osaka Univ.

Particle acceleratorsat CERN

Supercomputer

CAVE

II. 그리드 네트워크 관리센터 GNOC 의 연계

- 11/24-

GMA(Grid Monitoring Architecture)

GMA 모델

계산 그리드나 데이터 그리드는 네트워크 장애 진단 , 성능 측정 , 성능 튜닝 , 성능 예측 과 스케줄링의 작업을 위해 네트워크 모니터링 데이터를 필요로 한다 .

GMA 모델은 그리드 네트워크에서 확장성 있는 데이터 수집과 이기종 자원의 통합성을 고려하여 설계 되었다 .

• GMA 모델은 크게 Directory service, Consumer, Producer 로 나뉘어 진다 .

• Directory Service 는 지리적으로 흩어져 있는 자원들의 정보를 관리하며 , 모니터링 시스템의 이용 가능 정보와 그 구성에 대한 정보를 저장 또는 분배한다 .

• Producer 는 자원에 대한 모니터링 정보를 정의된 이벤트로 구성하여 요청하는 곳에 정보를 제공하는 역할을 수행한다 .

• Consumer 는 관리 정보를 요청하여 수신하는 곳이다 . Consumer 는 디렉토리 서비스를 통하여 모니터링 하기 원하는 이벤트를 제공하는 생산자의 정보를 찾아 생산자에게 이를 요청한다 .

III. 그리드 네트워크 성능 측정

- 12/24-

그리드 네트워크 성능 측정 관련연구 동향

GMA 모델에 따른 아키텍쳐 설계

측정 파라미터 연구

생산자

소비자디렉토리서비스

● 네트워크 도메인의 관리 에이전트● 모니터링 정보의 수집과 분석● 소비자로 부터 요청을 수신 , 정보 전송● 디렉토리 서비스에 자신의 존재를 발행

● 모니터링 정보 요청 , 수신 ● 디렉토리 서비스를 통해 생산자를 검색

● 모니터링 정보의 위치 정보 발행● 생산자 ( 소비자 ) 정보 유지

구성요소의 토폴로지 표시기술 그리드 네트워크 성능 관리 기술 실시간 장애 정보 제공 기술 GNOC 정보 관리 기술

● GGF 의 NMWG 에서 네트워크 측정 권고안 파악

다운로드 업로드률

ICMP, UDP 분석

경로 측정 분석

특징 연구

네트워크에 미치는 영향 연구

종단간 네트워크 성능 측정

종단간 측정 정보 모니터링 기능 대역폭 정보 가시화 및 비교 정보 제공 기능 에이전트 관리 기능

그리드 네트워크 관리에 적합한 모니터링 구조 연구

그리드 네트워크의 성능 및 장애 관리 상황판시스템

네트워크 성능 측정 기법 연구

분산 에이전트 간의 측정 구조 연구

SLA 기반 측정 관리 시스템 개발

그리드 네트워크 성능 측정 동향

측정 에이전트 통제 기술

패킷 전송 파라미터 추출

III. 그리드 네트워크 성능 측정

- 13/24-

측정 결과를 저장하는 데이터 베이스

측정 에이전트 관리 시스템으로 부터 측정 에이전트 정보를 받아 측정을 지시한다 .

SLA 기반의 그리드 네트워크 성능 측정 시스템-> 전체 시스템은 아래와 같으며 , 크게 측정 에이전트 관리 시스템 , 측정 관리 시스템 , 측정 에이전트로 나뉜다 .

측정 결과 데이터 베

이스

register 측정 에이전트 관리 시스템

측정 관리시스템

Traffic Generator

( )측정 에이전트 클라이언트

Host sensor(Downrate, route , etc.)

search

event 측정 결과

Clienthost

Serverhost

Search/register

Host sensor(Downrate, route , etc.)

procucer

3Com

router

측정구간

( )측정 에이전트 서버

측정 에이전트의 정보를 저장한다 .

측정을 직접 수행하여 정보를 수집한다 .

실제 측정은 측정 에이전트 서버 에서 측정 에이전트 클라이언트까지의 구간에서 이루어진다 .

성능 측정 사례연구III. 그리드 네트워크 성능 측정

- 14/24-

SLA 기반의 그리드 네트워크 성능 측정 시스템 -> 측정 에이전트는 PC 에 설치되어 네트워크 측정을 수행함

측정 에이전트 시스템

측정 에이전트 시스템은 모든 측정을 직접 수행을 한다 .

리눅스 계열 시스템에 설치되며 커맨드 입력으로 동작된다 .

측정 협조 요구 목표 측정 에이전트( 서버 )

측정 패킷 전송

성능 측정

모듈

성능 측정 모듈

측정 종료 요구

측정 종료

측정 관리 시스템측정 관리 시스템

측정 결과 전송

측정 에이전트

(클라이언

트 )

측정 에이전트 시스템 동작

측정 관리 시스템으로부터 측정 시작과 목표 측정 에이전트 시스템의 주소를 얻는다 .

측정 에이전트 시스템 ( 클라이언트 ) 은 목표 측정 에이전트 시스템 ( 서버 ) 에게 측정 협조 요구를 하고 서로 측정을 준비한다 .

측정을 수행하며 결과를 측정 관리 시스템으로 전송한다 .

측정을 종료한다 .

측정 시작

III. 그리드 네트워크 성능 측정 성능 측정 사례연구

- 15/24-

측정 에이전트 관리 서버

측정 에이전트 관리 서버는 측정 데이터의 저장 및 측정 에이전트를 관리한다 .

측정 에이전트를 그룹 명 , 에이전트 명으로 분류하며 , 직접 등록 및 측정 에이전트 실행 시 등록되도록 하고 있다 .

측정 에이전트 관리 서버 실행 측정 에이전트 등록

측정 결과 탐색 ( 보고서 형식 )

SLA 기반의 그리드 네트워크 성능 측정 시스템-> 측정 에이전트 관리 서버는 측정 에이전트를 관리 하며 , 측정 데이터를 저장하는 역할을 수행함


- 16/24-

SLA 기반의 그리드 네트워크 성능 측정 시스템-> Data Transport Protocol 분석은 파일 전송시 해당 구간에서 얼마만큼의 전송률을 얻을 수 있는지를 나타낸다 .

에이전트 관리 서버 주소

에이전트 관리 서버로 접속 후 리스트 박스에 에이전트 목록을 채움

데이터 사이즈 설정

패킷 간 지연시간

측정 시간

측정 그래프

평균 전송 속도

분산

최대값

최소값

과거 전송률 데이터

과거 전송률 추세

과거 전송률 평균 과거 전송률 분산

• 측정 변수 값 설정 단계

• 현재 측정 데이터 분석

• 과거 측정 데이터 분석


- 17/24-

SLA 기반의 그리드 네트워크 성능 측정 시스템-> Data Transport Protocol 은 다음과 같은 과정으로 측정을 수행함

Data Transport Protocol 측정 과정

환 경설 정

측정 변수 설정

데이터 전송률 측정

서버 클라이언트 간 연결 설정

클라이언트 측정 대기

연결 종료

측 정측 정

종 료

측정 에이전트 ( 클라이언트 )

측정 에이전트 ( 서버 )

TCP 연결 설정

측정 시작 메시지


연결 종료

요구된 시간 동안 데이터 전송을 시행300ms 마다 측정 결과 값을 표시 및측정 관리 시스템으로 측정 결과 전송


- 18/24-

SLA 기반의 그리드 네트워크 성능 측정 시스템-> ICMP 분석은 ICMP ping 을 이용하여 해당 구간의 네트워크 특성을 알아 본다 .



측정 시간

측정 패킷 개수

측정 그래프

평균 지연 시간

최소 지연 값

최대 지연 값

최소값

과거 전송 지연 데이터

과거 전송 지연률 추세

과거 전송률 평균 과거 전송률 분산




패킷 손실 률


- 19/24-

SLA 기반의 그리드 네트워크 성능 측정 시스템

-> ICMP 측정은 다음과 같은 과정으로 측정을 수행함

ICMP 측정 과정

환 경설 정





연결 종료

측 정측 정

종 료



TCP 연결 설정

측정 변수에 따라 패키 생성


연결 종료

payload 60 byte, 50 packets/sec, 총 200 회 전송

위 수치의 측정 변수를 조정함으써 사용자에 의해 변경될 수 있다 .


- 20/24-

SLA 기반의 그리드 네트워크 성능 측정 시스템 -> Streaming Protocol 분석은 임의의 Streaming Data Packet 을 생성하여 해당 구간의 네트워크 특성을 알아 본다 .



측정 시간

측정 패킷 개수

측정 그래프

평균 전송 지연

패킷 최소 지연패킷 최대 지연

최소값

과거 전송 지연 데이터

과거 전송 지연 률 추세

과거 전송 지연 평균

과거 전송 지연 분산




패킷 손실 률


- 21/24-

SLA 기반의 그리드 네트워크 성능 측정 시스템 -> Streaming Protocol 측정은 다음과 같은 과정으로 측정을 수행함

Streaming Protocol 측정 과정

환 경설 정





연결 종료

측 정측 정

종 료



TCP 연결 설정


연결 종료

payload 60 byte, 50 packets/sec, 총 200 회 전송

위 수치는 측정 변수를 조정함으써 사용자에 의해 변경될 수 있다 .


- 22/24-

SLA 기반의 그리드 네트워크 성능 측정 시스템 -> 경로 분석은 Traceroute 를 이용하여 해당 구간 사이의 경로를 측정함

패킷 크기에이전트 관리 서버로

접속 후 리스트 박스에 에이전트 목록을 채움

Traceroute 의 최대 패킷 생존 시간

경로 측정 결과

역방향 경로 측정 결과

과거 경로 변화 추이

역방향 경로 변화 추이

패킷 지연

패킷 지연





- 23/24-

SLA 기반의 그리드 네트워크 성능 측정 시스템 -> 경로 측정은 다음과 같은 과정으로 측정을 수행함

경로 측정 과정

환 경설 정





연결 종료

측 정측 정

종 료



TCP 연결 설정


연결 종료

경로 측정

역 방향 경로 측정

•서버에서 클라이언트 , 클라이언트 에서 서버 간의 경로를 조사하고 네트워크 노드간에 Delay 와 Loss 율을 측정한다 .


- 24/24-

기존 시스템 자원성능 중심의 그리드 미들웨어 자원할당 방식이 향후에는 그리드 네트워크 성능측정 요소 (API) 와 관련 DB 가 구축됨으로써 정확성과 효율성 측면에서 강화되어질 전망이다 .

Grid Middleware

Local OS

Grid FTP

VoIP대용량VOD

수동측정모듈

API

분석모듈

성능측정 서버모듈

데이터 백업모듈

측정 DB

Grid Console

성능측정 관리 시스템Grid Console

Grid Console

Grid Console

Grid Console

측정결과

측정 에이전트관리모듈

Grid Network

외부모니터링

인터페이스 성능측정 이벤트

종단간 성능측정


- 25/24-

다음의 발전 방향을 통해 그리드 네트워크를 효율화 한다 .

결론IV. 결론

GNOC그리드 네트워크를 통제하는 GNOC를 두어 그리드 네트워크

자원을 효율적으로 분배, 관리함

SLA기반의 트래픽

모니터링

GNOC에 트래픽 모니터링 기능을 지원함으로써 트래픽 분배, 네트워크 QoS를 지원함으로써 시스템의 활용도를 높임

그리드응용특성별

모니터링

그리드응용 특성별 측정 정책에 차별화를 두는 네트워크 모니터링 시스템을 개발함

성공적인 그리드 네트워크 활용

GNOC의 지능화

GNOC에 인공지능적 개념을 추가하여 관리자의 정책에 맞는 네트워크 정책 실행하며, 네트워크 장애에 대해 유연하게 대처함

Documents

그리드 네트워크 관리 센터와 성능 측정