데이터수집–로그스태시(Logstash) - SCHcs.sch.ac.kr/lecture/BigData/2017/10-Logstash.pdf · 2017. 4. 25. · 1. 로그스태시소개 ((g )Logstash Introduction) 순천향대학교컴퓨터공학과

데이터 수집 – 로그스태시 (Logstash)

순천향대학교 컴퓨터공학과순천향대학교 컴퓨터공학과

이 상 정

순천향대학교 컴퓨터공학과 1

데이터 수집 - 로그스태시

학습 내용학습 내용

1 로그스태시 소개1. 로그스태시 소개

2. 로그스태시 설치

3 로그스태시 기초3. 로그스태시 기초

4. FileBeat

5 아파치 로그파일 수집 예5. 아파치 로그파일 수집 예


1. 로그스태시 소개(Logstash Introduction)( g )



로그스태시 (Logstash) 소개로그스태시 (Logstash) 소개

로그스태시(Logstash)는 데이터의 입력 변환 출력을 실시 로그스태시(Logstash)는 데이터의 입력, 변환, 출력을 실시간 파이프라인으로 처리하는 오픈 소스 데이터 수집 엔진• 다양한 입력 소스에서 동시에 데이터를 수집(Ingest)하여 변환한 후( g )

자주 사용하는 "스태시(Stash)-보관소"로 전송



파이프라인 - 입력, 필터, 출력파이프라인 입력, 필터, 출력

로그스태시는 입력(input) -> 필터 (fileter) -> 출력 (output) 로그스태시는 입력(input) > 필터 (fileter) > 출력 (output) 3단계 이벤트 파이프라인으로 처리



파이프라인 - 입력파이프라인 입력

여러 시스템에 다양한 형태로 저장된 다양한 입력을 동시에 여러 시스템에 다양한 형태로 저장된 다양한 입력을 동시에가져옴• 모든 로그, 메트릭, 웹 애플리케이션, 데이터 저장소 및 다양한 AWS , , ,

서비스 등 다양한 소스로 부터 연속 스트리밍 형태로 간편하게 수집



파이프라인 - 필터파이프라인 필터

필터(filter)는 데이터가 소스에서 저장소로 이동 중에 각 필터(filter)는 데이터가 소스에서 저장소로 이동 중에 각이벤트를 분석이 용이한 구조로 변환• grok을 통해 비정형 데이터에서 구조 도출g

• IP 주소에서 위치 좌표 해독

............



파이프라인 - 출력파이프라인 출력

다양한 저장소(stash)로 필터된 데이터를 전송 다양한 저장소(stash)로 필터된 데이터를 전송• 엘라스틱서치, 몽고DB, 파일, ......


2. 로그스태시 설치(Installing Logstash)( g g )



로그스태시 설치로그스태시 설치

자바 버전 확인 자바 버전 확인• 로그스태시는 Java 8에서 동작하므로 버전 확인

$ java –versionj

다운로드다wget https://artifacts.elastic.co/downloads/logstash/logstash-5.1.1.tar.gz

압축풀기$ tar xvf logstash 5 1 1 tar g$ tar -xvf logstash-5.1.1.tar.gz


3. 로그스태시 기초



로그스태시 설정로그스태시 설정

로그스태시 설정 로그스태시 설정• 수집하고자 하는 로그에 대해서 입력/필터/출력 구성을 기술

input {input {# 입력 설정

} filter {{

# 필터 설정}output {

# 출력 설정}


표준입력 -> 표준출력 (1)표준입력 표준출력 (1)

표준 입력에서 표준출력으로 내 보내는 예 표준 입력에서 표준출력으로 내 보내는 예• inptut 으로 stdin, output으로 stdout 기술

• -e 옵션으로 명령행에서 직접 기술

input {stdin {}

} output {

stdout {} }}



표준입력 -> 표준출력 (2)표준입력 표준출력 (2)

• -f 옵션으로 파일로 설정 기술f 옵션으로 파일로 설정 기술



표준입력 -> 표준출력 (JSON)표준입력 표준출력 (JSON)

표준 입력에서 JSON 형식의 표준출력으로 내 보내는 예력에서 형식의 력 내 내 예

설정파일의 stdout에 codec => json 기술• codec은 이벤트의 데이터 표현을 변경하는 플러그인

• 플러그인은 입력/필터/출력/코덱 등을 지원하는 패키지

input {input {stdin {}

} output {p

stdout { codec => json } }



표준입력 -> 표준출력 (rubydebug)표준입력 표준출력 (rubydebug)

표준 입력에서 rubydebug 형식의 표준출력으로 내 보내는 예input {

stdin {}} output {

stdout { codec => rubydebug } }



표준입력 (JSON) -> 표준출력 (JSON)표준입력 (JSON) 표준출력 (JSON)

JSON 형식의 표준 입력에서 JSON 형식의 표준출력으로 내 JSON 형식의 표준 입력에서 JSON 형식의 표준출력으로 내보내는 예

input {input {stdin { codec => json }

} output {p {

stdout { codec => json } }



엘라스틱서치 출력 (1)엘라스틱서치 출력 (1)

엘라스틱서치로 출력 엘라스틱서치로 출력• logstash 인덱스에 생성 예

• 인덱스 기술이 생략되면 디폴트로 logstash-%{+YYYY.MM.dd} 로 생성

input {stdin { }

}} output {

elasticsearch {index => "logstash"index > logstash

}}



엘라스틱서치 출력 (2)엘라스틱서치 출력 (2)



로그스태시 필터로그스태시 필터

필터는 입력 데이터를 분해 추가 삭제 변형 등의 과정을 필터는 입력 데이터를 분해, 추가, 삭제, 변형 등의 과정을거친 뒤 출력으로 전송

다양한 플러그인 제공• grok, mutate, date, geoip …grok, mutate, date, geoip

입력한 순서 대로 위에서부터 순서대로 적용됨



JSON 필터 예JSON 필터 예

# jsonfilter conf# jsonfilter.confinput {

stdin { }}

filter {json { # JSON 필터

source => "message" # 입력 원본 소스 데이터 저장 필드source => message # 입력 원본 소스 데이터 저장 필드add_field => { "new_field1" => ＂New field value!＂ }

# 고정값 필드 추가add_field => { "new_field2" => "My name is %{name}" }

# 소스 데이터 필드 내용 사용한 추가remove_field => [ "useless_field" ] # 필드 제거

}}}

output {stdout {


codec => rubydebug}

}


JSON 필터 실행 예JSON 필터 실행 예



grok 플러그인 예grok 플러그인 예

grok 플러그인은 비구조화된 이벤트 데이터를 구조화된g 러 비구 화 이 데이터 구 화필드로 구문분석(parsing)• 텍스트 패턴에 의미를 부여

• grok 패턴은 %{SYNTAX:SEMANTIC} 로 표시# grokfilter.confinput {

{ }stdin { }}filter {grok { # grok 필터g gmatch => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request}

%{NUMBER:bytes} %{NUMBER:duration}"}}

} }output {stdout {


stdout {codec => rubydebug

}}


grok 플러그인 실행 예grok 플러그인 실행 예


4. FileBeat



Beats input 플러그인Beats input 플러그인

로그스태시에는 Beats input 플러그인이 포함 로그스태시에는 Beats input 플러그인이 포함• 엘라스틱서치 Beats 프레임워크로부터 이벤트를 수신

• Packetbeat, Metricbeat, Filebeat 등 지원, ,



FilebeatFilebeat

Filebeat 은 동적으로 서버의 파일(로그파일)로 부터 데이터 Filebeat 은 동적으로 서버의 파일(로그파일)로 부터 데이터를 수집하여 로그스태시 등에 전달하는 툴



Filebeat 설치 및 테스트 데이터 다운로드Filebeat 설치 및 테스트 데이터 다운로드

Filebeat 설치 Filebeat 설치• 다운로드

$ wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.1.1-linux-x86.tar.gz

• 압축풀기$ tar -xvf filebeat-5.1.1-linux-x86.tar.gzg

테스트 데이터 다운로드• 아파치 웹 로그 샘플 데이터 다운로드

• 가상머신 네트워크 어댑터는 NAT로 변경 설정

• filebeat-5 1 1-linux-x86/example 디렉토리에 다운로드 및 압축해제• filebeat 5.1.1 linux x86/example 디렉토리에 다운로드 및 압축해제$ wget https://download.elastic.co/demos/logstash/gettingstarted/ logstash-tutorial.log.gz$ gzip -d logstash-tutorial.log.gz$ gzip d logstash tutorial.log.gz



아파치 웹 로그 테스트 데이터아파치 웹 로그 테스트 데이터



Filebeat 설정 (1)Filebeat 설정 (1)

설정 파일, filebeat-5.1.1-linux-x86/filebeat.yml • 입력 데이터 타입 및 경로



Filebeat 설정 (2)Filebeat 설정 (2)

• 로그스태시 출력



Filebeat 실행Filebeat 실행

설치 디렉토리에서 Filebeat 실행$ sudo ./filebeat -e -c filebeat.yml -d "publish"

• 로그스태시 Beat 플러그인 실행 전까지는 에러 출력



Beat 입력 로그스태시 설정Beat 입력 로그스태시 설정

Beat input 플러그인 사용하여 입력 Beat input 플러그인 사용하여 입력

# fbinput.conf# fbinput.conf

input { beats {

port => "5043" }

} # filter { # # }

{output { stdout { codec => rubydebug }

}



로그스태시 설정 검증 실행 예로그스태시 설정 검증 실행 예

--config test and exit 옵션을 사용하여 설정 검증 config.test_and_exit 옵션을 사용하여 설정 검증$ bin/logstash -f example/fbinput.conf --config.test_and_exit



Beats 입력 로그스태시 실행 예 (1)Beats 입력 로그스태시 실행 예 (1)

로그스태시 실행 로그스태시 실행$ bin/logstash -f example/fbinput.conf --config.reload.automatic

• --config.reload.automatic 옵션g설정 파일 변경 시 자동을 재적재 하고 로그스태시 재실행



Beats 입력 로그스태시 실행 예 (2)Beats 입력 로그스태시 실행 예 (2)


5. 아파치 로그파일 수집 예



웹 로그 필터링웹 로그 필터링

grok 플러그인을 사용하여 웹 서버 로그 메시지를 구문분석 grok 플러그인을 사용하여 웹 서버 로그 메시지를 구문분석

grok의 %{COMBINEDAPACHELOG} 패턴을 사용하여아파치 웹 로그를 분석하여 구조화아파치 웹 로그를 분석하여 구조화

웹 서버 로그 샘플 예 웹 서버 로그 샘플 예83.149.9.216 - - [04/Jan/2015:05:13:42 +0000] "GET /presentations/ logstash-monitorama-2013/images/kibana-search.png HTTP/1.1" 200 203023 "http://semicomplete com/presentations/logstash monitorama203023 http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36"

IP 주소 (사용자 ID) (사용자 인증) 타임스탬프 HTTP 메서드• IP 주소, (사용자 ID), (사용자 인증), 타임스탬프, HTTP 메서드, 요청 몸체, HTTP 버전, HTTP 상태 코드, 응답 몸체 크기, 참조된 사이트, 사용자 에이전트(브라우저)



grok 아파치 로그 필드 정보grok 아파치 로그 필드 정보



로그스태시 웹 로그 설정로그스태시 웹 로그 설정

# apacheFilter conf# apacheFilter.conf

input { beats {beats {

port => "5043" }

}} filter {

grok { match => {

"message" => "%{COMBINEDAPACHELOG}" }

} }}output {

stdout { codec => rubydebug } }


}


로그스태시 웹 로그 설정 및 실행로그스태시 웹 로그 설정 및 실행

로그스태시 실행 로그스태시 실행$ bin/logstash -f example/apacheFilter.conf --config.reload.automatic

• FileBeat은 새로 추가된 내용만 전송하기 때문에 로그스태시 결과 없음!



Filebeat 재 실행Filebeat 재 실행

Filebeat은 처음부터 다시 실행처 부터 다시 행• Filebeat 실행 중지

• Filebeat 레지스트리 파일 삭제

• Filebeat은 각 파일의 상태를 레지스트리에 등록하기 때문에 처음부터재시작 시에는 삭제 필요

$ sudo rm data/registry$ / g y

• Filebeat 재실행

$ sudo ./filebeat -e -c filebeat.yml -d "publish"



Filebeat 재 실행 후 로그스태시 출력 예Filebeat 재 실행 후 로그스태시 출력 예

로그스태시가 grok 패턴으로 로그 파일을 처리한 후 에 이벤트를 JSON 형태로 출력형태로 출력



geoip 필터 플러그인 설정geoip 필터 플러그인 설정

geoip 플러그인은 지정된 IP 주소를 조사하여 지리 정보를 추가g p 러 지정 주 사하여 지리 정 추가

clientip 필드의 IP 주소 정보를 지리 정보로 변환

# apacheFilter1 conf# apacheFilter1.conf

input { beats {

port => "5043" }

} filter {filter {

grok { match => { "message" => "%{COMBINEDAPACHELOG}" }

}{geoip {

source => "clientip"}

}


output { stdout { codec => rubydebug }

}


geoip 로그스태시 출력 예geoip 로그스태시 출력 예

로그스태시 재실행

Fil b t 도 중단 후 레지스트리 삭제하고 재실행• Filebeat 도 중단 후 레지스트리 삭제하고 재실행



엘라스틱서치로 웹 로그 출력 설정엘라스틱서치로 웹 로그 출력 설정

엘라스틱서치로 출력하도록 로그스태시 설정파일 수정 후 로그스태시 엘라스틱서치로 출력하도록 로그스태시 설정파일 수정 후 로그스태시, Filebeat 레지스트리 삭제 후 재실행

# apacheFilter2.conf# apacheFilter .conf

input { beats {

t > "5043"port => "5043" }

} filter { {

grok { match => { "message" => "%{COMBINEDAPACHELOG}" }

}geoip { source > "clientip" }geoip { source => "clientip" }

}output {

elasticsearch {


hosts => [ "localhost:9200" ] }

}


엘라스틱서치 테스트 질의1엘라스틱서치 테스트 질의1

엘라스틱서치로 질의 후 출력라 틱서치 의 후 력• 인덱스는 logstash-현재날짜에 저장$ curl -XGET 'localhost:9200/logstash-2017.03.07/_search?q=response=200&pretty'



엘라스틱서치 테스트 질의1 실행 예엘라스틱서치 테스트 질의1 실행 예



엘라스틱서치 테스트 질의2엘라스틱서치 테스트 질의2

$ curl -XGET 'localhost:9200/logstash-2017.03.07/ search?pretty&$ curl XGET localhost 9200/logstash 2017.03.07/_search?pretty& q=geoip.city_name=Buffalo'



엘라스틱서치 테스트 질의2 실행 예엘라스틱서치 테스트 질의2 실행 예



과 제과 제

자신만의 데이터에 대한 Beats 플러그인과 로그스태시 자신만의 데이터에 대한 Beats 플러그인과 로그스태시적용 및 실행 예



참고 자료참고 자료

Logstash Logstash• https://www.elastic.co/kr/products/logstash

Getting Started with Logstash Getting Started with Logstash• https://www.elastic.co/guide/en/logstash/current/getting-

started-with-logstash.html

Getting Started with Filebeat• https://www.elastic.co/guide/en/beats/filebeat/5.x/filebeat-

getting started htmlgetting-started.html


Documents

데이터수집–로그스태시(Logstash) - SCHcs.sch.ac.kr/lecture/BigData/2017/10-Logstash.pdf · 2017. 4. 25. · 1. 로그스태시소개 ((g )Logstash Introduction) 순천향대학교컴퓨터공학과