RealDisplay Platform 으로 구현하는 REAL-TIME 로그 분석 및 관리 솔루션 소개

© 2012 KOPENS Inc. All Rights Reserved. Confidential and Proprietary.

HTTP://WWW.KOPENS.COM

운영 인텔리전스를 위한 웹 애플리케이션 로그 REAL-TIME 분석 및 관리 솔루션 소개


Discovery Value in Real-Time!


HTTP://WWW.KOPENS.COM Table of Contents

순서

1. What’s Web Application Log?

2. As-Is > To-Be Architecture

3. Implementation

4. Summary



1. What’s Web Application Log?


HTTP://WWW.KOPENS.COM Web Application Log 의 정의

Web Application Log

Performance

Debug

Error

웹 애플리케이션 로그는 소프트웨어 응용 프로그램에 의해 기록 된 이벤트의 정보입니다.

• 웹 애플리케이션에 의해 기록 • 이벤트의 오류 정보 및 경고가 포함 • 형식과 내용은 프로그램 개발자에 의해 결정

• 웹 서버 및 데이터베이스 등의 미들웨어가

아닌 애플리케이션에서 발생하는 이벤트 • 목적에 따라 여러가지 유형이 존재함

• 트러블 슈팅 및 기능 개선을 위한 필수 정보

Info Security

Transaction


HTTP://WWW.KOPENS.COM Web Application Log 의 예

• 디스크 공간 부족에 대한 경고 • 수행 된 작업 (=비즈니스 트랜잭션=회원등록/문서수정 등) • 심각한 모든 문제 (오류 이벤트로 알려진 사항들) • 디버그(Debug) 정보

• 성공적인 로그온과 같은 보안 이벤트를 표시하는 성공 감시 • 로그온 실패로 이벤트를 표시하는 실패 감시


HTTP://WWW.KOPENS.COM Web Application Log 의 성질

Volume

Complex

Velocity

“ 웹 애플리케이션 로그는 고속 빅 데이터의 전형적인 성질을

가짐 “

웹 애플리케이션 로그는 매우 빠른 속도로 발생함

디버그, 오류, 트랜잭션 성공 여부, 로그인 여부

등 다양하고 복잡한 상관관계를 가짐

각종 정보성 로그로 인해 대용량임


HTTP://WWW.KOPENS.COM Web Application Log 처리 유틸

• Apache Log4j • Apache Commons Logging • SLF4J • System.out or System.err API • java.util.logging API

JAVA 기반 웹 애플리케이션

.NET 기반 웹 애플리케이션

• Apache Log4net • NLog • Enterprise Library • SmartInspect


HTTP://WWW.KOPENS.COM Web Application Log 관리의 필요성

웹 애플리케이션 모니터링 및 트러블 슈팅을 위한 가장 실질적인 정보

개발자 및 운영자가 웹 애플리케이션 로그(에러) 상황에 대한 정확한 인지 필요

위협 감지 및 검색 사고 대응 포렌식(Forensics) 내부 정책 및 절차 준수 확인 IT 시스템 성능 모니터링


HTTP://WWW.KOPENS.COM Web Application Log 관리를 위한 주요 요소

• Log Collection and Centralization • Log Storage • Log Filtering • Log Aggregation • Log Search and Extraction • Log Retention



2. As-is > To-be Architecture


HTTP://WWW.KOPENS.COM As-is Architecture

File

Database System.out System.err

System.out System.err

저장

저장

분석

분석

More ……….

A System

B System

기존의 웹 애플리케이션 로그 분석 및 저장 아키텍처는 애플리케이션 내부에서 파일 또는 콘솔에 출력하거나 관계형 데이터베이스에 저장해서 개발자가 분석하는 방식임.

분석 불가


HTTP://WWW.KOPENS.COM As-is Problems

기존 분석 및 저장 방식의 문제점

실시간 분석과 통합 관리를 하기 위한 기술 셋트의 구현 어려움이 원인

기술적 관점 개발자 운영자

빠르게 발생하는 로그 데이터에 대한 기술적 분석이 어려움

사용자의 보고에 의존해서 트러블 슈팅을 해야함

운영자는 오류에 대한 분석 및 현황을 알 수가 없음

대용량으로 인해 관리 / 파일 스토리지 및 데이터베이스

실시간 오류 알림 부재 대용량 로그정보를 저장소에만 관리하므로 이력열람이 어려움

많은 로그 발생시 보틀넥 현상 발생 => File I/O 로 인한 CPU

부하 라인by라인으로 직접 읽으면서 디버깅

여러 시스템에 산재되어 있는 개별 로그의 통합관리가 되지 않음

많은 로그 파일으로 인해 예기치 않은 하드 디스크 풀 =>

추가 에러 발생

인터페이스와 로컬 시스템의 상관 에러 도출에 많은 시간이 소요

실시간 알림의 부재로 인한 시스템 오류 대응시간의 지연

애플리케이션 처리 성능에 집중 중요 패턴 추출의 어려움 가시적인 시스템 성능 확인의 어려움


HTTP://WWW.KOPENS.COM To-Be Architecture

MQ

RealDisplay® Platform 을 통해 향상된 통찰 (Insight) 제공과 이전에는 가능하지 않았던 또는 비용 효과적으로 구현하기 어려웠던 새로운 실시간 로그 분석 구현을 가능하게 함.

CEP Engine

I/O Adapter

Config Push

Framework

Console

RealDisplay® Platform Dashboard

Report

Alert

Manager

X 100의 확장성 100ms이하 응답의 고성능 분석 통찰 및 관리

A~Z System

Log Agent

Search


HTTP://WWW.KOPENS.COM To-Be Architecture – Technologies

RealDisplay® Platform 의 핵심 기술은 Tube 형식의 데이터 전송 및 처리 아키텍처, 500,000MPS 이상의 스트림을 처리할 수 있는 고성능 CEP(Complex Event Processing) 엔진임.

Relational Database

Disk

Polling Queries

COMPLEX EVENT PROCESSING

INPUT

Actions

NoSQL

OUPUT

VS Memory

Disk

Memory

• 데이터베이스에 저장해서 분석 • 요청 > 저장 > 처리 아키텍처 • 많은 이벤트 발생시 Update 지연 • Bottleneck 현상 • 데이터가 축적될수록 응답 지연

• In-Memory 기반 고성능 분석 • 비동기(Async) 처리 지향 • Event Driven Architecture • 선 처리 > 후 저장 메커니즘 • 데이터 용량에 상관없이 Low-Latency 확보

SQL(AD-HOC) PROCESSING


HTTP://WWW.KOPENS.COM To-be Solution

새로운 분석 및 저장 아키텍처의 장점

기존 아키텍처의 단점을 RealDisplay® Platform 으로 해결함으로써 실시간 통찰력 제공

기술적 관점 개발자 운영자

중앙 집중적인 수집 & 고성능 로그 분석

오류 및 상황 / 패턴에 대한 즉시 응답 및 대응

애플리케이션에 대한 실시간 통찰력 확보

대용량 로그를 저장소를 통하지 않고 실시간 시각화

사용자 보고를 거치지 않고 즉각적인 트러블 슈팅 가능

통합 로그 관리 정책을 수립하여 효율적인 운영이 가능

로그 처리의 중앙집중으로 기존 애플리케이션의 성능 향상

복잡한 로그 파일을 하드디스크가 아닌 시각화된 애플리케이션에서

확인함으로써 개발 생산성 향상

실시간 알림으로 인하여 오류에 대한 즉각 대응이 가능

대용량 로그 저장으로 발생하는 하드디스크 풀 현상을 예방

고성능 로그처리로 가능해진 빠른 로그 이력정보 열람

다양한 저장소에 로그정보 저장 가능

로그정보의 통합관리로 인하여 개발자와의 커뮤니케이션 원활



3. Implementation


HTTP://WWW.KOPENS.COM Analytics Target

로그 분석 및 관리 애플리케이션을 구현하기 위한 주요 대상에 대한 요약

모니터링을 필요로 하는 모든 행위 및 패턴

연관 시스템과의 상호 로그 패턴 특정 비즈니스 트랜잭션 통계 특정 사용자의 액션 등

로그 카운트

타임 라인

로그 볼륨

게이지

로그 레벨 측정 변화율

시스템별 성능 레벨 히트맵

주요 트랜잭션 로그 오류 측정

비즈니스 클래스별 로그 레벨 카운트


HTTP://WWW.KOPENS.COM Modules

Real-Time Log Analytics And Management Application

Dashboard

Report

Alert

Search

Manager

REAL-TIME 로그 분석 및 관리 애플리케이션 구현 모듈

* “Search” 외의 모듈은 RealDisplay Platform 에서 제공하는기본 기능이므로, Search 모듈만 구현하면 됨.


HTTP://WWW.KOPENS.COM Features

고성능 CEP (Complex Event Processing) 엔진 Low-Latency (<1sec) 분석 고성능 NoSQL (MongoDB) 데이터베이스 이벤트 정의 및 분석, 응답, 실시간 차트, 웹 및 SMS/이메일 알림,

보고서, 관리 등 에 이르는 전체 라이프사이클 자동화 수집을 위한 에이전트 적용을 위한 애플리케이션 수정 필요없음.

(Log4j, Log4net 일 경우) 아름다운 데이터 시각화 및 대쉬보드, TV/모니터 지원 스케쥴링을 통한 적극적인 리포팅 Mobile(iPhone 및 Android) 지원 (V1.5부터 예정) 다양한 이벤트 영역에 대한 추가 확장성 WAS 재기동 없이 CEP 엔진 재시작 및 새로운 분석 전략 배치 가능(Zero Downtime) 100% 커스터마이징 가능 100 + More Features


HTTP://WWW.KOPENS.COM Implementation Preview

1

3

2

4

5

6

대쉬보드

대쉬보드 메뉴에서는 로그 정보의 통계나 분석 데이터에 대한 시각화 정보를 제공합니다. 실시간 시리즈, 게이지, 파이, 막대 차트 등 다양한 차트와 푸쉬 알림을 통해 실시간으로 정보를 비주얼하게 전달합니다.

1) 개인 환경에 대한 메뉴 - 오늘 발생한 알림 검색 2) 개인 정보 3) 최근 알림 4) 포털형식으로 구성 가능한 대쉬보드 - 대쉬보드 탭 추가 / 수정 / 삭제 - 대쉬렛 추가 / 수정 / 삭제 / 레이아웃 5) 로그인시 현황 알림 6) 푸쉬알림 발생시 팝업

A. 대쉬보드

로그에 대한 전체적인 모니터링 대쉬보드 제공 메뉴



보고서

보고서 메뉴에서는 일정시간마다 자동으로 수신되는 로그 분석 및 현황 등의 보고서를 확인하고 처리하는 작업을 할 수 있습니다.

1) 보고서 그룹별 보기 2) 보고서 상세 검색 3) 보고서 목록 4) 보고서 보기

1

2

3

4

B. 보고서

정해진 일정마다 전송되는 보고서 제공 메뉴



알림

알림 메뉴는 실시간 즉시 경고 사항에 대해 확인을 할 수 있는 메뉴입니다. (오류 발생이나 신규 회원 가입 등)

1) 알림 중요도별 보기 2) 알림 그룹별 보기 3) 오늘 알림 현황 및 기간별 현황 차트 4) 알림 상세 검색 5) 알림 목록 6) 알림 상세 보기 팝업

1 2

3

4

5

6

C. 알림

실시간 알림 제공 메뉴



검색

검색 메뉴는 실시간 로그 현황 및 대용량 로그 데이터에 대한 검색을 제공하는 메뉴입니다.

1) 실시간 로그 트렌드 보기 - 드래그를 통한 바로 검색 2) 로그 검색 옵션 3) 검색 로그 목록

3

4

5

6

D. 검색

실시간 또는 기간별 로그 검색 제공 메뉴

2

1

3


HTTP://WWW.KOPENS.COM Use Cases

중요도(Priority)가 ERROR 인 것을 개발자 또는 운영자에 알림 ERROR 이면서 SQLException 인 것을 알림

A.JSP 에서 B.JSP 로 이동한 사용자 알림 문서를 등록하고 확인없이 바로 이탈한 사용자를 알림

인터페이스에서는 INFO 이고 로컬 시스템에서 ERROR 인 것을 알림 위와 반대로 API를 호출해서 오류가 난 원격 시스템 알림

CASE 1. 실시간 오류 탐지

CASE 2. 패턴 모니터링

CASE 3. 연관 시스템과의 상관 분석

로그 분석의 사용 유형


HTTP://WWW.KOPENS.COM More

O/S 자원 상태 네트워크 성능 JVM / .NET 성능 및 상태 WAS 성능 및 상태 웹 접속 성능 및 사용자 Flow 비즈니스 트랜잭션

분석 가능한 이벤트 추가

향후 분석 가능한 이벤트를 더욱 추가하여 다양한 분석과 모니터링 체계를 구축하고, 이후 빅데이터 플랫폼 도입시 추가 작업없이 연동할 수 있는 아키텍처 구현.

로그 뿐만 아니라 성능 및 트랜잭션, 사용자 Flow 등 다양한 영역에 대한 인텔리전스 도출


HTTP://WWW.KOPENS.COM Next

빅데이터 플랫폼과 (Hadoop)

연결

향후 분석 가능한 이벤트를 더욱 추가하여 다양한 분석과 모니터링 체계를 구축하고, 이후 빅데이터 플랫폼 도입시 추가 작업없이 연동할 수 있는 아키텍처 구현.



4. Summary



DW/Appliance

Real-Time Insight

Database

Console & File

실시간 운영 인텔리전스

Summary

“ 기존에 처리가 불가능하여 버려지거나 요약된 정보만 보관되었던 웹 애플리케이션 로그 데이터도 이제 실시간으로 통계 및 분석, 모니터링, 조기 경보 및 오류 예측을 할 수 있고 장기 보관해도 검색이 가능하게 합니다. “

√ 빠른 의사 결정 √ 답변 효율 의미 √ 더 많은 관련 정보를 의미 √ 더 나은 결론을 의미

File & Console

웹 애플리케이션 운영 상황에 대한 REAL-TIME INSIGHT 확보!

END 감사합니다!

(주)한국오픈솔루션 본사위치 : 642-971) 창원시 성산구 성산동 77-1 SK테크노파크 넥스존 7층 710호

대표전화 : 055-607-0737 / 팩스: 055-607-0736 구매 관련 문의 : [email protected]


Documents

RealDisplay Platform 으로 구현하는 REAL-TIME 로그 분석 및 관리 솔루션 소개