빅데이터프로젝트가이드라인 - KOCWcontents.kocw.net/KOCW/document/2015/chungbuk/chowanseop/... · 2016-09-09 · 2015.06 조완섭 충북대학교경영정보학과 대학원비즈니스데이터융합학과

2015.06조완섭충북대학교 경영정보학과대학원 비즈니스데이터융합학과

[email protected]

빅데이터 프로젝트 가이드라인

• 본 자료는 “빅데이터 업무절차 및 기술활용 매뉴얼 (Ver 1.0), NIA, 2014.03”을 참고하여 정리한 것임

제 7장

mailto:[email protected]

목차

배경 및 개요

데이터 수집

데이터 저장관리

보안관리

품질관리

데이터 분석

– 가시화

분석결과의 활용과 서비스

2015-07-23 Wan-Sup Cho ([email protected]) 2

5. 데이터 분석

시각화란 ?– 방대한 양의 자료를 분석해서 한눈에 볼 수 있도록 도표나 차트 등으

로 정리하는 것

– 시각화 자체가 분석의 한

시각화의 효과– 데이터로부터 정보를 습득하는 시간의 절감으로 즉각적인 상황판단

이 가능해짐

– 자료를 습득하는 사람의 흥미유발과 빠른 확산 촉진

– 자료를 기억하는데 기여함

뉴욕 타임스 (유권자 분석)– http://www.nytimes.com/interactive/2012/11/11/sunday-

review/counties-moving.html?_r=0


http://www.nytimes.com/interactive/2012/11/11/sunday-review/counties-moving.html?_r=0

5. 데이터 분석 - 시각화의 예

시각화의 예

2015-07-23 4

나플레옹군이 러시아 원정에서 완패하고 모스크바로부터 프랑스로 복귀하는이동경로 별로 그들이 겪은 추위와 병사감소를 한눈에 시각화 (샤를 미나르, 1861 제작)

Wan-Sup Cho ([email protected])

5. 데이터 분석 - 시각화의 예

2015-07-23 5* 출처: 빅데이터를 위한 데이터 시각화 (이지선)Wan-Sup Cho ([email protected])

5. 데이터 분석 - 시각화 도구

2015-07-23 6* 출처: 빅데이터를 위한 데이터 시각화 (이지선)



2015-07-23 7* 출처: 빅데이터를 위한 데이터 시각화 (이지선)



시각화 도구들

– 엑셀, CVS/JSON, 구글차트 API, Flot, Rapheal, D3 (Data-Driven Documents), Visual.ly, NodeBo, R, Weka, Gephi

매핑 (지도) 도구

– Modest Maps, Leaflet, Polymaps, OpenLayers, Kartograph, CartoDB

2015-07-23 8Wan-Sup Cho ([email protected])

5. 데이터 분석 – 고려사항

분석기술의 고려사항

– 통계분석 및 데이터 마이닝 기술 활용시 고려사항

– 텍스트 마이닝 기술

– 소셜 네트워크 분석기술

– CEP (Complex Event Processing)

– ESP (Event Stream Processing)

– Page 51~57


6. 서비스 제공과 활용

정의

– 수집된 데이터 혹은 분석 결과를 서비스로 제공하고 업무에 활용하는 과정

절차


대상 데이터/서비스 선정

서비스 개발 및 제공

- 데이터 제공기준, 이용자 인증, 비용산정등 데이터 제공 절차 마련

- 제공 데이터와 서비스 선정

- API, 인터넷, 스마트폰 등을 사용하여 빅데이터 서비스 제공

활용 및 업무혁신- CEO의지와 조직의 분석 지능 제고- 빅데이터 성과 평가 및 feedback


관련 기술

– OpenAPI와 사용자 인증기술 (Oauth 2.0) 사용

– 이 밖에도 사용자에게 빅데이터 분석결과를 다양한 형태로 제공할 수 있음• Web Service

• Visualization, GUI => Internet, SmartPhone 등



제공할 대상 데이터(서비스) 선정

– 「공공기관의 정보공개에 관한 법률」, 「공공데이터의 제공및 이용 활성화에 관한 법률」, 「개인정보보호법」등과 관련 시행령 및 규칙 등을 참조하여 결정함

– 비공개 대상 정보는 ?• 「공공기관의 정보공개에 관한 법률」제9조, 「저작권법」 및 그 밖

의 다른 법령 등 준수에 의거한 경우

• 기관별 내부 규정 등에 따라 비공개 대상으로 결정한 경우

– 제공대상 데이터 목록 공개• 기관별로 홈페이지에서 목록을 공개하고, 이용하기 편리하게 공공

데이터포털(www.data.go.kr)에 등록하고 연계해야 함


http://www.data.go.kr/


데이터 제공 방식

– 이용자가 쉽게 접근하고 이용할 수 있도록 데이터 제공방식을 선정해야 하며, 이용자 편리성과 데이터 안전성 고려




OpenAPI 사용시 적용방안



Web service 제공기술 2가지 (복잡 단순)

SOAP


REST



사용자 인증– 제공되는 데이터 (서비스)의 안전한 사용을 위해 인증방안 수립 필요

– 데이터가 공개된 경로를 통해 전달되는 경우 “데이터 노출이 없음”과“데이터 변경이 없음” 두가지 원칙으로 인증

– 데이터 사용인증을 위한 접근권한 부여

데이터 비용 산정– 데이터 제공에 소요되는 비용을 이용자에게 부담시킬지 여부를 각 기

관이 결정함

– “공공기관의 정보공개에 관한 법률, 시행규칙”에 명시된 수수료 참고



데이터 제공

– 기관별로 공개 데이터/이용승인 데이터로 구분하여 제공절차 수립• 공개 데이터는 별도의 신청, 검토 없이 온라인 또는 오프라인으로

이용 가능하게 함

• 이용승인 데이터는 이용자에게 신청인, 활용목적, 법적근거, 신청내용 등을 받아 검토한 후 (10일 이내) 제공 혹은 거부



빅데이터 서비스 제공– 단순 데이터 제공에서 부터 수집, 분석, 공유 등에 대한 서

비스까지 제공

– 이용자는 제공되는 서비스 유형을 확인하고, 서비스 이용절차에 따라 활용함

Open API 관련 기술과 인증– SOAP & XML vs. REST & JSON 경쟁에서 후자가 우세

– 새로 생기는 웹 서비스, 모바일 서비스들은 REST & JSON 기반으로 API를 제공하고 있으며, 인증 방식으로는 OAuth2.0을 택하고 있음• 트위터를 비롯한 웹 개발자 들이 API의 인증(authentication; 이 사

용자가 누구인가)과 권한 부여(authorization; 로그인 한 사용자가무엇을 할 수 있는가?)를 동시에 제공하는 인증 프로토콜로 새로만든 것이 OAuth 1.0 임


6. 서비스 제공과 활용 - Open API 이용 예시


수집대상 데이터 선정 Web 데이터 제공기관

1. API 등록2. API 검색

3. API 활용신청

4. API 활용승인

5. API 인증키 획득

6. API 호출


기술 고려사항

– 데이터 이용(교환) 기술• RESTful Open API 고려사항

• OpenAPI Web 방식 고려사항

– 데이터 사용 인증기술• 사용자 인증기술 고려사항

– Page 66~73 참고
