0/15

Better Technology, Better Tomorrow

2017. 4. 6

지능형 빅데이터 토털 플랫폼 기반의 클라우드 엔터프라이즈 관제 방법론

SMaaS (System Management as a Service)

1/15

Contents

System Management의 Pain Point 및 방향성 1

SMaaS 개요 및 아키텍처 2

SMaaS 구성요소 및 특장점 3

2/15

System Management의 Pain Point

• 통합을 위한 추가적인 Layer를 만드는 방법으로 문제해결을 하려고 함

한계 및 문제점

단위 모니터링/보안 한계

• 개별 모니터링 연계/통합 관리 부재

• IT 자산 변경/구성 관리의 어려움

기존 운영 시스템 모니터링

NMS

SMS

APM

장애/성능 Event 수집

네트워크/보안

스토리지 서버

Applications

DB

App

M/W

Inte

rface

장애 현황

종합 상황판

애플리케이션 상황

통합관제

이벤트 수집

Layer

개별 모니터링

Layer

통합 관제

Layer

장애/보안사고 발생 Alert 인지 및 조치

모니터링

Layer

장애/보안

관제

구성도 연계

사후조치 중심의 수동적인 대응

•장애 및 보안사고 발생한 이후에 대한 대응만 존재

•데이터 기반의 장애/보안 패턴 분석 부족

다양한, 대량의 데이터 처리 능력 부족

• IT 자산에서 발생되는 다양한 로그 데이터

• 실시간 수집, 저장, 분석 능력 부족

3/15

차세대 System Management의 방향

• 차세대 System Management의 방향은 기존 환경을 고려해서 점진적인 표준화가 가능해야 함

구성정보 간 연관 분석이 가능한 환경

필요

(CMDB & BigData)

구성정보의 현행관리가 편리해야 함

(CMDB 기반)

대량 데이터 수집/분석이 가능한

아키텍처 필요

(BingData & Rule/Infra)

점진적인 표준화가 가능한 아키텍처

(Cloud Infra)

Big Data Data Data Data Data

Logs, Events, Costs, Usage, Attacks, Breaches

Collect, Correlate

Information

Knowledge

Analyze

Context-Aware Intelligence

Model, Simulate, Act

콘텍스트 기반 지능형 보안을 위한 빅데이터 활용 Source: Gartner, Mar. 2012

Dependencies, Relationship

Patterns, meaningful anomalies

Community Context

4/15

SMaaS(System Management As a Service) 개요

• System Management의 차세대 표준화를 위한 점진적 발전이 가능한 아키텍처 제시

Tmax SMaaS

AP

MW

DB

OS

NW

HW

App (보안,장애)

CMDB

단위솔루션 (ITSM/보안)

AI 분석

빅데이터 영역

Log

Auto-detecting을 통한 자산정보 통합 및 정합성 보장

실시간 BigData분석 시스템

Auto-Scaling 저장공간/성능 문제 해결

1

1

3 3

2

2

5/15

AP

DB

MW Manager

WAS Manager

Sys Manager

DB Manager

Tmax SysMaster Cloud

타사 솔루션

MaxGauge

SPiDER

Jennifer

…

Join/Leave HW

OS

NW

CI

다양한 APP개발

인프라 플랫폼 제시

(보안, 장애측면)

Auto-detecting을 통한

자산정보 정합성 보장

Join/Leave가 쉬운 리스크가

적은 환경 제공

Auto-Scaling을 통한

성능/저장공간 해결

SMaaS 아키텍쳐 상세

• System Management as a Service(SMaaS)는 다양한 IT 자산을 관리 및 통합 모니터링 하는 서비스

App

장애 예측 보안 감지

Rule Engine

AI / 빅데이터 기반 분석

수집 적재

Complex Event Processing

Log

네트웍가상화 스토리지가상화 자동화 OS가상화

CRM

정형데이터

Query Engine

CMDB

빅데이터 분석 인프라

빅데이터 처리 인프라

Auto-Detecting

6/15

SMaaS 구성요소

• Auto Detecting CMDB

• 토폴로지 정적인 분석 마이닝 동적 분석

• 기존 보안 솔루션 Embedded

• 빅데이터 처리 엔진 (정형 / 비정형)

• 검색 엔진, 패턴 매칭, CEP

• AI, 머신러닝

• TCS (Tmax Cloud Storage) : 무한확장

• TCN (Tmax Cloud Network) : 고성능

• TCA (Tmax Cloud Automation) : 통합관리

• System isolation

SysMaster

(ITSM/보안 APP)

AnyMiner

(BigData)

TmaxIaaS

(Cloud Infra)

7/15

Query Engine Cluster

Tibero Engine

Storage Cluster

Storage Server

CEP Engine

Loader

Tibero Engine

Tibero Engine

Storage Server

Storage Server

Storage Server

Loader Loader

AnyMiner Agent

CEP Engine

Agent

Loader

Tibero 엔진

+

Storage

• 빅데이타 저장소의 가장 문제인 속도이슈에 대하여 AnyMiner는 하기와 같은 구조로 최적화

SMaaS (AnyMiner) – 빅데이터 처리 아키텍쳐

전체 노드의 분산 처리로 고성능 보장

• Shared Nothing 구조

• MPP(Massive Parallel Processing)

Inverted Index 형태의 데이터 저장

•비정형 데이터 최적 인덱싱 제공 고속의 텍스트 데이터 검색 속도

대량의 데이터 메모리 로딩

•대량의 데이터를 메모리를 올려 분석

•기존 Hadoop 기반 솔루션과의 근본적 차별성

8/15

SMaaS (AnyMiner) – 고성능처리

Tibero

Engine

DS1 (Dataset)

DS1_20170308 S2 S3

DS1_20170309 S1 S2

R3 R1 R2

R3 R1

S3

R2

S1

Node 2 Node 3 Node 1

S – (Primary) Shard

R - Replica

Execute Fetch Reply

Loader에서 데이터셋 파티셔닝

• Loader가 이벤트의 timestamp 기반으로 대상 파티션 이름을 지정해서 요청

Smart Scan

• Storage에서 index scan을 통해 필요한 row(event)만 filtering

• Filtering된 이벤트 중 필요한 column(field) 데이터만 reply로 보냄

• 많은 양의 데이터를 처리 하기 위한 최신의 특화된 기능을 활용

9/15

SMaaS (AnyMiner) – No SQL ? Not Only SQL ?

• 강력한 RDB 기반 쿼리 파워와 텍스트 데이터 특화 검색언어 모두 활용

• 비용기반 옵티마이저로 고성능 쿼리 엔진 제공

비정형 정형

Tibero Query Engine

App

SQL

App

SPL Select abc from Table search abc | top 5

※ SPL(Search Processing Language): 검색 프로세싱 언어

•SPL 장점 : 파이프 라인, join 손쉬운 언어 SQL 장점 : 개발자 익숙, 정교함

SPL과 SQL 모두 제공

강력한 Query Power

•전문 RDBMS 쿼리 엔진 비용기반 옵티마이저 고성능 지원

•Hive, Impala 등 오픈소스의 근본적 차별성

10/15

SMaaS (AnyMiner) – CEP 기반 실시간 이벤트 처리

• CEP(Complex Event Processing)을 기반으로 스트림 이벤트에 대한 복합 이벤트 처리로 빅데이터 실시간 분석

지원

스트림 데이터

Complex Event

Time Range = 5초

A S A B F I C U … …

인메모리

CEP

Services Action Notification

룰 예시 : ABC, 5초

CEP = Event Processing + Complex

•다양한 데이터소스 이벤트 모니터링

•의미 있는 상황 인식

•상황 발생 시, 즉시 반응

활용 예시

•5분 동안에 동일한 계좌로 계좌 이체를 수행했을 경우 이벤트 발생 시간차가 있는 이벤트를 메모리에서 연속 된 쿼리로 처리

11/15

SMaaS (SysMaster) – CMDB 기반 인프라

서버 단말 스위치 라우터

자원 Topology 생성

WAS/DB

구성 정보 수집

기존 인벤토리

Database 구축

SysMaster Cloud

연계 분석 CMDB 결과 저장

Agent/Agentless 방식의 데이터 수집

수집 정보 기준의 Join/Leave 선택

Join된 Node에 대한 통합 관제 진행

• SysMaster Cloud는 CMDB를 제공하여 IT 자산에 대한 식별을 하고 가입을 선택하면 통합 관제 뷰를 제공 받음

12/15

SMaaS (SysMaster) – CMDB 구성정보간 연관관계 분석

업무 – IT 자산에 대한 매핑

•서비스와 IT 자산 매핑 •데이터 모델링 -> 구성 DB로의 자산화

시스템 종속 관계 표시

•A “runs on” B •C “connect to” D

그룹웨어

전자 결재

전자 결재 상신

메일

Application #1

P750 #1

JEUS Container #1

JEUS Container #2

Hostname #1

서비스 레벨1

서비스 레벨2

서비스 레벨3

어플리케이션

WAS/DB

OS

Hardware

Tibero DB Instance #1

• CMDB에 저장된 구성 정보는 서비스와 IT 자산들간의 관계를 정의하고, 각 관계에 대한 종속성을 모델링하여 IT

자산과 업무가 매핑됨

13/15

SMaaS (SysMaster) – Manager

• WAS, DB, OS 에 해당되는 단일화된 Manager기능을 제공하여 다양한 솔루션에 대한 Single View를 제공함

성능 모니터링, 분석, 진단 운영자

개발자

이벤트 발생 시 Push 즉시 조치

Manager

설정/변경 성능 분석 부하 캡쳐 재현 & 테스트

장애 자동 감지 자동 튜닝 & 패치

Test Admin Monitoring Expert

Test

• 실시간 부하 Capture & 반복 재현

- 룰 엔진을 통한 이상 감지

Admin Monitoring Expert

• Tibero 설정 및 변경 관리

• 리모트 기동, 종료

• 사용자/AP 스키마 변경

• 실시간 성능 측정

• 로직에 대한 병목구간탐색

• 성능 저하 원인 분석 - 룰 엔진을 통한 이상 감지

• 원인별 자동 튜닝 & 패치 - 클라우드 핵심 기술로 발전

OS MW DB

TAME your system !!

14/15

SMaaS (SysMaster) – Rule 기반 장애, 보안 위협 감지

• 실시간 로그 및 데이터를 기반으로 장애, 보안 위협에 대한 감지를 제공하는 운영환경 제공

Event correlation 분석

•CMDB의 Topology 기반 이벤트 상관관계 분석

머신러닝 기반 고급 분석

•데이터 마이닝 기법을 활용한 위협행위 룰 모델링

위협정보 관리

•개별 단위시스템 수집 위협정보 통합 관리

정보 수집 정보 분석 결과 View

탐지

반복적 자기학습을 통한 위협 시나리오 조정

정보 탐지 시 결과 View 제공

Alert Log, Event

CEP

CMDB

단위 시스템 로그, 이벤트 수집

연관관계 분석

시나리오 (RuleSet)

Topology정의

Pattern도출

15/15

SMaaS (TmaxIaaS) – 대량 스토리지 아키텍처

Replication 공유 볼륨관리자 이중화

Striping Migration

Snapshot 암호화 압축

• 관제 대상 로그를 수집 저장하기 위해 무한대의 스토리지의 확장성이 보장되어야 함

• Software RAID 방식을 구현하여 고가용성, 고성능, 관리 편의성 확보

16/15