InfiniFlux Case Study

InfiniFlux Case Study

www.infiniflux.com

방화벽고객의요구사항

2

방화벽의뛰어난보안성능이상의고객이쉽게로그를분석하고리포트를출력하는기능을요구함

왜방화벽에서로그를검색하는데오랜시간이걸릴까?

방화벽에서지원하는대시보드는왜단순한내용만가능할까?

로그기반의리포트작성을위해서는다양한통계자료가필요한데…

로그분석및리포팅을위해별도의솔루션을구매해야하나?

방화벽을더효율적으로사용할방법은없을까?

하드웨어환경

3

방화벽은일반서버와다르게한정된자원을여러 Service daemon이나누어서사용하며, Hardware 사양을확장할수없는구조임

하드웨어성능

초기 방화벽 설계시 하드웨어 사양

이 결정되며 추후에 확장이 불가능

하드웨어안정성

설계시 고려 사항으로 최상의 성능

보다는 물리적인 안정성 중심 설계

저장공간

하드웨어 확장이 불가능 하여 저장

공간을 효율적으로 분배

• 하드웨어의 한계에 따른 자원 배분의 문제

• 분배된 자원의 효율적인 사용 문제

• 저장 공간의 부족에 따른 데이터 관리의 문제

요구사항

4

고객의요구사항에대하여한정된자원에서원활하게동작하여야함

• 저장 로그에 대하여 빠른 검색을 지원해야 한다.

• 로그에 대한 다양한 통계 데이터를 추출해야 한다.

• 대시보드와 리포팅을 위한 로그 분석이 가능해야 한다.

• 한정된 자원에서 원활하게 동작하여야 한다.

기존로그저장아키텍처

5

각 service daemon에서발생하는로그에대하여파일로저장하고, 주요통계자료에대하여META 정보를별도로저장

log

Service Daemon

Firewall IPS Web Filter VPN DLP

Log Daemon

일자별로 로그를 파일로 저장

통계 data를 저장

log log log

META Table

기존로그활용아키텍처

6

대시보드는 RRD,리포트와로그검색은META 데이터를활용

META Table

RRD

복잡한 과정을 거쳐 원하는 자료를 생성

대시 보드

리포트

Log 검색log log log

로그저장아키텍처개선

7

로그를 InfiniFlux에저장하고다수의META Table 을생성하여활용

Log Table META Table

Infiniflux

Service Daemon


Log Daemon

로그활용아키텍처개선

8

대시보드는 RRD,리포트와로그검색은META 데이터를활용

Reporting tool

대시 보드

리포트

Log 검색

META Table

RRD

Log Table

시스템자원의설정

9

방화벽의주목적인보안기능을위하여 InfiniFlux의시스템자원을제한하고설정된범위이상으로자원사용을제한해야함

• InfiniFlux의환경설정파일인 iflux.conf 파일의설정값을통하여 CPU, Memory 사용을통제

- CPU_COUNT : 사용할 CPU 의개수를지정

- CPU_AFFINITY_BEGIN_ID : 지정된 CPU ID 부터동작

- PROCESS_MAX_SIZE : 사용할수있는 Memory 크기

• DISK에로그를저장중 Disk full 로인하여 DB가정지되는것을막기위하여InfiniFlux는저장공간의 Disk full 발생시데이터의저장을중지하고동작하면서 disk 공간이생기면다시데이터를저장

로그저장방식

10

방화벽 daemon에서발생하는로그를로그관리 daemon에서각데몬마다Thread 를생성하여로그종류에따라여러테이블에저장

Log Daemon

Thread 1 Thread 2 Thread 3 Thread 4 Thread 5

Meta 프로세서 주기적으로 통계 data를 생성, 저장

Log1 Table Log2 Table META1 Table META2 Table META3 Table

Service Daemon


빠른응답

11

저장되는DATA 의종류에따라MinMax cache 를사용하고HashBucket size 를조정하여쿼리속도를향상

• MinMax Cache 를통하여저장된 DATA 의각파일의 Min 값과 Max 값을확인하여불필요한파일 scan 비용을줄인다.

- 순차적으로저장되는 data- 분산도가높은데이터- Table 을생성할때각칼럼에설정하여사용

• Group by 절이포함되는질의혹은 distinct 질의혹은 count(distinct column)절을갖는질의를처리하기위해 InfiniFlux는 hash table 생성하여사용하며이때출력되는결과값이 hash table 의크기보다클경우쿼리속도에문제가있으므로적절한크기로설정해야한다.

- Iflux.conf 에서설정할수있으나이경우세션이생성될때마다 HashBucket size 를설정한만큼메모리를사용

- ALTER SESSION SET hash_bucket_size 를사용할경우필요한경우설정할수있으며새로운세션이생성될때기본값으로생성

- 기본값은 20011 이며최대 100MB 까지설정가능

백업

12

방화벽특성상기본DB에서지원하는 Backup 및 Restore 는사용하기힘들며, 방화벽에맞는일단위의 Backup 및새로운Mount 기능을사용

DB

Backup image 전송

Table1 Table2 Table3 Table4 Table5

date1 date1 date1 date1 date1


날짜 기반의 Backup 대상



복구 data

Backup file

Table1 Table2

Table3 Table4 Table5

Firewall 외부저장장치

date2 date2

date2 date2 date2

도입효과

13

기존 Firewall 에서처리하기힘들었던대용량로그의검색및다양한항목의리포팅제공으로고객의제품만족도상승

로그를 file에서 DB로 저장하여 빠른 로그 검색이 가능

다양한 통계 정보를 바탕으로 다양한 항목의 대시보드 및 리포팅 생성

다양한 로그의 조합을 통한 보안 이벤트의 상관 분석

제약된 장비 환경에서 고성능의 입력 및 분석 제공

Website : www.infiniflux.comEmail : [email protected] : 02-2038-4606

The World's Fastest Time Series DBMSfor IoT and BigData

InfiniFlux

Software

InfiniFlux Case Study