네트워크 가상화를 통한 효율적인 빅데이터 처리

네트워크 가상화를 통한 효율적인 빅데이터 처리

정명훈 이사, 오픈소스컨설팅

2

제가 최근 작업 중인 내용들... 다른 듯 하면서도 연관된 것들

SDN/NFV, 네트워크 가상화

OpenStack, Cloud

Internet Of Things & Big Data

M2M Data Collection & Business

Intelligence(BigData) on Cloud

3

세상 변하는 이야기... 2014년 10월... Dallas, Texas, USA

4


• Domain 2.0 (공급망 관리)

• 개방형 표준 네트워크 아키텍처로의 변화

• "트래픽 증가 + 수익 정체"

자료 출처: Ericsson, Internet Trends, KPCB

트래픽 증가에 비해 수익성은 정체 !!

5





• 11억 명의 사용자 (7.2억명 매일 로그인)

• 매일 47억 개 컨텐츠 추가 (45억 번의 '좋아요')

•"1명의 시스템 관리자가 20,000대의 서버 관리"

•통상 기존의 관리/모니터링 시스템으로 한 명이 관리할 수 있는 한계는 수 백대 수준

•관리/모니터링 시스템의 로그와 메트릭들을 분석해서 자동적인 상황 파악 및Notification이 가능하다면 수 천대까지 관리 가능

•수 만대까지 관리를 위해서는 장애에 대한 자동 복구까지 가능해야 함. 페이스북은 현재 장애 발생 시 자동 복구까지도 가능한 시스템 구축

6





• 11억 명의 사용자 (7.2억명 매일 로그인)

• 매일 47억 개 컨텐츠 추가 (45억 번의 '좋아요')

•"1명의 시스템 관리자가 20,000대의 서버 관리"

• 다양한 구글 서비스 (e.g. Youtube, Google Apps)

• 수 백만 대의 서버 + 세계 최대의 네트워크 트래픽

• "G-Scale (SDN 네트워크 기반 데이터센터 백본)"

7


• 다양한 구글 서비스 (e.g. Youtube, Google Apps)

• 수 백만 대의 서버 + 세계 최대의 네트워크 트래픽

• "G-Scale (SDN 네트워크 기반 데이터센터 백본)"

SDN(OpenFlow)으로 구축된 Google의 글로벌 데이터 센터 네트워크

•G-Scale: 데이터 센터 간(East-West Traffic) 처리

•리소스가 가용한 곳으로 트래픽 분산

•심지어 전기 요금이 싼 시간에는 해당 국가로 트래픽 분산

•구글 데이터센터의 PUE(전력 이용 효율)는 1.1, 일반적인 데이터 센터

평균 1.5~1.7

8

SDN/NFV USA Summit 키워드

Programmable

Orchestration

Convergence

네트워크 가상화

10

네트워크 가상화

자료 출처: Hype Cycle 2014, Gartner

11

네트워크 가상화 전체 아키텍처

Application, Policy

Network OS (NFV)

Orchestration (e.g. Open Stack + Open Daylight)

Hardware Abstraction Layer

Hardware (OpenFlow Switch)

Physical Service VMs

SDN

12

SDN(Software Defined Network)

자료 출처: ONF(Open Networking Foundation)

전체 네트워크를 컨트롤

하는 Application

(예) Google G-Scale

네트워크 정보를 가지고

하위 데이터 플레인을

제어하는 컨트롤 플레인

실제 패킷 전송 역할을

하는 데이터 플레인

기존 네트워크는 이 부분이 분리되지 않았음

- 네트워크 장비의 부하가 큼 (고비용)

- 전체적인 가시성 확보 어려움 (비효율)

13

SDN의 Navigation 비유 – 현재의 네트워크

현재의 각 라우터는 들어온 패킷을 다음

단계(Tier)를 어디로 보내야 할지 정보만

가지고 있음. 즉, 각 구간 별 정보만 보고

단계적으로 목적지까지 패킷이 이동

14

SDN의 Navigation 비유 – SDN 기반 지능형 네트워크

15

SDN의 Navigation 비유 – SDN 기반 지능형 네트워크

SDN Controller는 마치 Navigation처럼 전체

네트워크에 대한 정보를 가지고 있으므로 최단

거리 운행. 심지어 일부 트래픽은 A 루트로,

일부는 B 루트로, 나머지는 C 루트로 보내는

등의 지능적인 트래픽 분산도 가능

20%

30%50%

16

NFV(Network Function Virtualization)

상단 그림 출처: Virtual Cloud Networking, AT&T

Virtualization (RHEV, Vmware, Xen, KVM, …)

가상 라우터 가상 파이어월 가상 VPN 가상 스위치 가상 NAT

기존 전용 장비(Appliance)에서 동작하던 네트워크 기능(라우터, VPN, 파이어월 등)을

소프트웨어만 분리해서 일반적인 X86 장비나 가상머신에서 동작하게 하는 함

네트워크 가상화와 클라우드 통합

18

리눅스재단 주도하고 다수의 OS, 서버, 네트워크 벤더(BigSwitch,Cisco, Citrix, Erricson, IBM, Juniper Networks, Microsoft, NEC, RedHat, Vmware 등) 참여

개방형 인터페이스로 OpenDaylight 기반 인터페이스 구현된 모든 장비 상호 운영 가능

중심이 되는 SDN 플랫폼과 애플리케이션을 통해 그것을 자유롭게 제어할 수 있는 "NorthBound 인터페이스", 다양한 SDN 기반 네트워크 장비들을 제어할 수 있는 "SouthBound 인터페이스" 제공

Open Daylight (SDN 관련 오픈소스 표준화 프로젝트)

자료 출처: www.opendaylight.org

NorthBound 인터페이스

SouthBound 인터페이스

http://www.opendaylight.org/

19

OpenDaylight의 두 가지 인터페이스

NorthBound API – SDN 응용 애플리케이션, 오케스트레이션(e.g. OpenStack)

SouthBound API – OpenFlow 기반 스위치 제어

OpenDaylight의 NorthBound 서비스

Cloud 데이터 센터와 통합

OpenStack Neutron과 상호 작용 가능

OpenStack은 SDN 제어 관련 복잡한 부분을OpenDaylight에 위임

OpenStack Neutron – SDN Integration

NorthBound

인터페이스

20

가상네트워크의 실제 생성 작업은 플러그인 Agent가 담당

각 NFV 벤더들은 Neutron을 위한 다양한 플러그인 제공

오픈스택은 Reference Implementation로 Linux Bridge와 Open vSwitch 플러그인 제공

OpenStack Neutron – NFV Integration(플러그인 아키텍처 )

Hyper Connected Big Data

초 연결 사회와 빅데이터

22

초 연결 사회 (Hyper Connected Society)

미들웨어

Gateway

BigData & DW

비정형, 대용량

데이터 처리

대용량 데이터

NFC

Bluetooth

Zigbee

Wifi

Beacon

MQTT

CoAP

TCP/IP TCP/IP

데이터 시각화

(근거리 센서 데이터) (원거리 데이터 센터)

23

초 연결 사회 (Hyper Connected Society) 사물인터넷(IoT, M2M)

미들웨어

Gateway

BigData & DW

비정형, 대용량

데이터 처리

대용량 데이터

NFC

Bluetooth

Zigbee

Wifi

Beacon

MQTT

CoAP

TCP/IP TCP/IP

데이터 시각화

(근거리 센서 데이터) (원거리 데이터 센터)

24

이미 많은 발전이 이루어진 컴퓨팅, 스토리지 분야의 가상화와 함께 네트워크 가상화 기술인

SDN/NFV의 발전을 전재로 현재 주목 받고 있는 것이 바로 미래 데이터센터의 모델의 하나인 '소프

트웨어 정의 데이터센터(Software Defined Datacenter)'이다. 소프트웨어 정의 데이터센터는 서버,

스토리지, 네트워킹, 보안 시스템, 관리 솔루션 등 데이터센터의 모든 구성요소들을 가상화하고, 이러

한 가상화 환경의 인프라를 소프트웨어로 자동 통제 및 관리하는 것을 그 기본 사상으로 삼고 있다.

이런 소프트웨어 정의 데이터센터(SDDC)를 구현하려면 IT인프라의 표준 화에 이어 서버, 스토리지,

네트워크, 보안, 관리 및 모니터링 등 전 IT 인프라의 가상화, 그리고 자동화가 이뤄져야 한다. 즉, 모

든 인프라가 가상화되고, 딜리버리는 서비스 방식으로 이뤄지고, 전반적인 통제는 소프트웨어를 이용

해 자동적으로 이뤄지는 곳이 소프트웨어 정의 데이터센터(SDDC)이다. 데이터센터 안에 여러 개의 가

상 데이터센터를 만들 수 있으며, 그것도 수 초만에 구성할 수 있을 것이다.

SDDC(Software Defined Data Center란?)

자료 출처: 클라우드 인프라 소프트웨어정의의 동향, 클라우드 지원센터

25

이미 많은 발전이 이루어진 컴퓨팅, 스토리지 분야의 가상화와 함께 네트워크 가상화 기술인

SDN/NFV의 발전을 전재로 현재 주목 받고 있는 것이 바로 미래 데이터센터의 모델의 하나인 '소프

트웨어 정의 데이터센터(Software Defined Datacenter)'이다. 소프트웨어 정의 데이터센터는 서버,

스토리지, 네트워킹, 보안 시스템, 관리 솔루션 등 데이터센터의 모든 구성요소들을 가상화하고, 이러

한 가상화 환경의 인프라를 소프트웨어로 자동 통제 및 관리하는 것을 그 기본 사상으로 삼고 있다.

이런 소프트웨어 정의 데이터센터(SDDC)를 구현하려면 IT인프라의 표준 화에 이어 서버, 스토리지,

네트워크, 보안, 관리 및 모니터링 등 전 IT 인프라의 가상화, 그리고 자동화가 이뤄져야 한다. 즉, 모

든 인프라가 가상화되고, 딜리버리는 서비스 방식으로 이뤄지고, 전반적인 통제는 소프트웨어를 이용

해 자동적으로 이뤄지는 곳이 소프트웨어 정의 데이터센터(SDDC)이다. 데이터센터 안에 여러 개의 가

상 데이터센터를 만들 수 있으며, 그것도 수 초만에 구성할 수 있을 것이다.

SDDC(Software Defined Data Center란?)

자료 출처: 클라우드 인프라 소프트웨어정의의 동향, 클라우드 지원센터

Software Defined Computing

Software Defined Storage

Software Defined Network

Software Defined Everything

결론 및 요약

27

Gartner's Nexus of Forces – 작년에 많이 했던 얘기

You Were Here !!!!

자료 출처: Gartner

28

Where Are You Today?

자료 출처: Cisco

29

변화의 거대한 물결

사물인터넷

가상화, 클라우드

빅데이터

SDN, NFV, SDDC, …

You Are Here !!!!

30

자료 작성을 위해 제가 도움을 받았던 분들입니다.

파이오링크 이장노 실장님

네트워크 기본 지식 및 SDN/NFV로의 변화 트렌드에 대한 자문

나임네트웍스 안종석 전무님

오픈플로우 코리아 활동하시는 SDN 최고의 전문가 분으로서, SDN과 네트워크 가상화 전반적인 부분에 대한 자문

펜타링크 최홍식 수석님

NFV/Vyatta 전문가로서 통전 NFV 프로젝트 진행하고 계시고, NFV에 대한 자문

자료에 도움을 주신 분들

Technology

네트워크 가상화를 통한 효율적인 빅데이터 처리