40

Click here to load reader

산업공학도가 데이터 과학하기

Embed Size (px)

Citation preview

Page 1: 산업공학도가 데이터 과학하기

산업경영공학과 | 최성철 교수2014. 11. 24

Page 2: 산업공학도가 데이터 과학하기

INTRO

Contemporary Industrial Engineer

Page 3: 산업공학도가 데이터 과학하기

내 여친의 출생유무 다음으로 궁금한 이야기

회사가면 뭐하나요?선배들에게 물었습니다.

Page 4: 산업공학도가 데이터 과학하기

공장엔 자동화 생산시스템으로 운영되고 사람은 시스템 모니터링 정도만하고 있어. 사람이 하던 일을 시스템화 하고 이미 구축된 생산 시스템에서도 생산과정에서 발생하는 loss 등을 분석해서 개선하는게 우리 일이야. 

시스템 분석이나 설계를 위해서는기본 다이어그램을 그리거나 읽을 줄 알아야하고 코딩을 기본적으로 할줄 알아야해. 다루는 데이터도 많고 다양하기 때문에 SQL도 잘 할줄 알아야하고... 요즘은 인문계 애들도 프로그래밍 배워서 오곤 해

직급: 대리전공: 산업공학 - 물류관리직무: 생산 시스템 개발 (스케줄링)

산업공학 지식 + 분석 역량SQL + 코딩 + 시스템 설계

Page 5: 산업공학도가 데이터 과학하기

요즘 회사에서 데이터 통계로 돌려보고 이상이나 문제가 되는 변수를 찾아내는 걸 하지... 

예전에는 매트랩을 많이 썼는데 R를 사용해 볼려고 해... 매트랩은 아무래도 돈을 내야 하니깐 R에 관심을 두게 되지. 

또 다른 건 데이터 분석 결과를 자바스크립트 같은 걸 웹 환경에서 시각화할려고 시도를 해. 

이전엔 품질관리 부서는 그냥 알고리즘 만들어주고 분석한 걸 보고하는 수준이였다면.. 이제그런걸 다 만들어서 기초 프로토타이핑하는 수준까지 하지. 

아무래도 프로그램밍하는게 쉬워지고 이렇게 결과물을 만들어 내야 인정을 받으니깐.

직급: 과장전공: 산업공학 - 통계분석직무: 품질관리

산업공학 지식 + 분석 역량코딩 + 데이터 분석 도구

Page 6: 산업공학도가 데이터 과학하기

빅데이터라고 말하지만 사실 회사 데이터가 그리 유기적으로 연결돼서 움직이진 않아. 결국은 그렇게 각 지역에 떨어져 있는 데이터를 잘합쳐가지고 분석 해야 하는데... 잡무가 많지. 

기본적으로 데이터를 가져오는 SQL도 알아야 하고 가지고 오고 나서 엑셀 가지고 이리저리붙이고 합치고 하는 게 일이지... 그거 정리해서 보고자료 만들고 개선방향 찾고 하는 거지...

직급: 부장전공: 산업공학 – 정보 시스템직무: 생산 시스템 개발

산업공학 지식 + 분석 역량SQL + 데이터 분석 도구

Page 7: 산업공학도가 데이터 과학하기

처음에 왔을 땐 받은 데이터를 매트랩으로 한번 돌려보면 됐어. 

근데 이제는 그렇게 못해. 위에선 더 많은 데이터를 한꺼번에 돌려서 다양한 결과를 얻길 원한거든... 소위 빅데이턴데... 그럴려면 여기저기 DB에 있는 정보에서 sql로 데이터 뽑고합치고 모아서 통계를 돌려봐야해... 

요즘 하둡에 들어가는 데이터도 생기기 시작해서 하둡에 데이터를 올려두고 하둡 도구들을가지고 분석한 다음 바로 결과를 저장해서 리포트를 쓰곤 하지. 이제 진짜 다양한일을 하게되는 거 같아.

직급: 과장전공: 산업공학 - 통계분석직무: 생산 시스템 개발

산업공학 지식 + 분석 역량SQL + 데이터 분석 도구

Page 8: 산업공학도가 데이터 과학하기

엑셀같은 오피스툴을잘사용해야하는데... 

관련 데이터가 엑셀로 저장되어 있고 그걸 분석해서 보고서를 써내야 하거든... 

기획업무를 하더라도 프로그램을 잘 쓰면 엄청난 양의 데이터를 손쉽게 처리할 수 있지. 

엑셀을 사용하더라도 말이야. 그리고 보고서 글도 잘 적고 하는 노력이 필요해.

직급: 차장전공: 산업공학 - 정보시스템직무: 기술기획

분석 역량코딩 + 데이터 분석 도구

보고서 쓰기

Page 9: 산업공학도가 데이터 과학하기

결론은?

버킹검… 이 아니고

Page 10: 산업공학도가 데이터 과학하기

보고서도 쓰고, 오피스도 잘 다루는 건 기본(기초 역량)

산업공학자는 다음을 할 줄 알아야 해요

산업공학 지식을 바탕으로 분석역량도 필요하죠(산업공학 전공 지식 + 분석역량)

데이터를 분석할려면 분석 도구도 잘 활용해야 해요. 통계지식도 필요하죠 (데이터 분석 역량)

그리고 실제로 돌아가는 프로그램을 만들어서사람들이 쓸 수 있게 해줘야 해요. (프로그램밍 능력)

Page 11: 산업공학도가 데이터 과학하기

이런거 다 잘할려면!!

Page 12: 산업공학도가 데이터 과학하기

우린 이미 틀렸어…가 아니고…

Page 13: 산업공학도가 데이터 과학하기

산업공학과의 기획능력 + Insight통계학과의 데이터 분석 능력

컴퓨터 공학과의 프로그램밍 능력이 필요함!

Page 14: 산업공학도가 데이터 과학하기

첫번째 주제

응용통계 + 컴퓨터 공학제2전공하면 뭘 할 수 있나요?

Page 15: 산업공학도가 데이터 과학하기

요즘 뜨는 직업…

Page 16: 산업공학도가 데이터 과학하기

Source: 스타트업은 데이터를 어떻게 바라봐야 할까? (Slideshare, 하용호, 2014)

가 될 수 있습니다…

Page 17: 산업공학도가 데이터 과학하기

뭐 하는 건가요?데이터를 분석해서 뭔가 가치 있는 것을 찾아내는 일

Page 18: 산업공학도가 데이터 과학하기

이런일 합니다 - 1

서울시 올빼미 버스

ㆍ서울의밤을 달리는 심야버스

ㆍ심야택시 승·하차데이터 500만건과KT의 통화량데이터 30억건 분석→ 심야시간의 유동인구 밀집도 도출

ㆍ유동인구를노선별, 요일별로패턴을분석해 심야버스 노선을 최적화

Page 19: 산업공학도가 데이터 과학하기

이런일 합니다 - 2

위메프의 데이터 분석

ㆍ사용자 쇼핑 구매 패턴 분석→서비스 개선

ㆍ어디서 유입되는 고객인가, 어떤 포털 광고가 더 효과적인가?상품은 몇 일동안 진열해야 더 잘팔리나?같은 내용을 데이터로 분석→전략 도출

Page 20: 산업공학도가 데이터 과학하기

아… 주로 어디서 일하나요?워낙 다양해서…

기존 제조업에서 당연히 필요하고… 너무 많은데…

Page 21: 산업공학도가 데이터 과학하기

나눠 봅시다

기업유형 직무유형대기업

IT기업

중견기업

벤처기업

IT 기획

시스템 개발

마케팅

경영기획

Page 22: 산업공학도가 데이터 과학하기

대기업 – IT기획

기아 자동차 – 데이터 사이언티스트• Data 기반 분석 서비스를 위한 분석모델 및 알고리즘 개발- 당사 각 부문별 필요 분석서비스 기획 및 분석 프로세스 설계- 분석 모델별 필요 데이터 전처리/가공 및 분석 로직 개발- 데이터 품질 관리 및 개선• 분석 프로젝트 기획 및 관리• 분석 플랫폼 기획/운영

• 빅데이터 분석 프로젝트 기획 및 분석업무 수행• 분석 업무를 통해 비즈니스 업무 개선 경험 필수• 분석 관련 전문 역량 보유자 : Data mining, 고급통계분석, Text Mining,Machine Learning 등

• 빅데이터 관련 시스템 구축 및 운영 경험 : Hadoop Eco system 등• JAVA, PYTHON 등 활용한 병렬분산처리 프로그래밍 능력

Page 23: 산업공학도가 데이터 과학하기

대기업 – IT기획

삼성전자 – 시스템 개발- Data 수집/처리/서비스 Platform 개발 및 활용- 추천/개인화 서비스 강화 지원

- 데이터 분석 모델링 가능자- 데이터 마이닝 및 웹마이팅 가능자- Hadoop 등의 사용 경험 및 내부 구조 이해자

Page 24: 산업공학도가 데이터 과학하기

대기업 - 마케팅

기아 자동차 - 데이터 기반 마케팅 분석/기획

• 마케팅/영업/고객서비스 부문 데이터 분석 / 활용 모델 기획 및 개발- 데이터 분석 기반의 마케팅/판촉/신차 런칭 방향성 제시 및 전략수립 지원- 데이터 분석을 통한 상품성 개선, 고객경험 관리, 마케팅 성과 측정 등

• 마케팅/영업/상품기획 부문 데이터 분석 니즈 파악 및 분석 서비스 개발• 데이터 분석 기반 전사 마케팅 프로세스 개선 기회 발굴

• 마케팅 전반에 대한 지식, 5년 이상의 마케팅 업무 경력• 마케팅 부문 데이터 분석 역량• SQL 등 데이터베이스 관련 지식•자동차 분야 경험 및 지식 보유자 우대

Page 25: 산업공학도가 데이터 과학하기

IT기업 – IT기획

넥슨 – 데이터 분석팀-분석을 위한 DB 구축 기획-게임로그 및 구매로그를 이용한 게임사용자 분석-각 게임별 실정에 적합한 통계시스템 기획-게임기획 방향 제시

-SQL 사용가능자-게임분석 혹은 게임기획 경험자-논리적 글쓰기(보고서) 및 프리젠테이션 가능자

Page 26: 산업공학도가 데이터 과학하기

IT기업 – IT기획

다음 – 데이터 분석- 데이터 분석을 통한 비즈니스 로직 개발- 사용자 데이터 분석 및 추천 모델링- 대용량 데이터와 사용자 행동 분석을 통한 서비스 고도화 및 의사결정 지원-SQL 사용가능자

- 데이터에 대한 직관 및 데이터마이닝에 대한 이해가 있는 분- 프로그래밍 또는 데이터분석툴 사용에 능숙한 분- 빠르게 학습하며 도전적인 문제를 즐기는 분- 대용량 데이터 분석 경험자 우대

Page 27: 산업공학도가 데이터 과학하기

IT기업 – 경영기획

위메프 – 경영분석- 경영지표 데이터 분석 및 리포트- 데이터, 시장환경 및 개선 대상 업무 분석 및 리포트- 사업 기획 수립 업무- 각종 DB가공 및 분석 업무 보조- 데이터베이스 SQL 활용 가능자 우대- 엑셀을 활용한 통계분석 능숙자

Page 28: 산업공학도가 데이터 과학하기

벤처 – IT기획

선데이토즈

- 선데이토즈가 추구하는 소셜게임 비전과 전략에 따라 소셜게임을 기획- 고객니즈를 파악하고, 추상적인 개념을 정리하고 문서화- 소셜 게임의 즐거움, 고객 참여 그리고 수익 모델을 만들어 낼 수 있는 분- 개발자, 디자이너, QA, 마케터와 같은 다양한 구성원들과 함께 최고의 팀워크를 낼 수 있는 분- 각종 통계 및 데이터에 기반하여, 기존 제품을 개선하고, 보완할 수 있는 분- 우선순위를 만들고 짧은 주기로 제품을 개선하고 신규기능을 구현하는 일

Page 29: 산업공학도가 데이터 과학하기

벤처 – 경영(컨텐츠)기획

젤리 – 컨텐츠 기획- 빅데이터를 분석을 통한 뉴미디어 콘텐츠 기획- 콘텐츠 제작을 위한 데이터 수집 및 통계 분석

-세상에 숨겨져 있던 이야기를 데이터로 풀어보고 싶은 분-인포그래픽, 데이터 저널리즘, 데이터 시각화에 대한 관심과 전공지식이 있으신 분-통계 / 데이터 해석능력-한번 꽂히면 집요함과 끈질김으로 인생을 살아온 분-한번 궁금한건 절대로 못 참는 호기심 천국

등… 최근 겁나 많음…

Page 30: 산업공학도가 데이터 과학하기

두번째 주제

그럼 뭘 잘해야 하나요?통계? 프로그램밍?

Page 31: 산업공학도가 데이터 과학하기
Page 32: 산업공학도가 데이터 과학하기

갖춰야할역량들

기초역량 기획력 커뮤니케이션 영어 오피스 도구

통계도구 R, SASMatlab 등

파워오프

엑셀

통계/수학 회귀 등통계 기법

수리 통계

데이터마이닝

프로그램밍 파이썬 자바 SQL

+ 알파(고급)

하둡 등빅데이터기술

네트워크인프라 지식

+ 산업에 대한 이해 (전통 산공과라면 생산 프로세스)

VBA

선형대 수학

웹 프로그램밍

Page 33: 산업공학도가 데이터 과학하기

저걸 전부다요?자신이 가고 싶은 길에 따라 다름

Page 34: 산업공학도가 데이터 과학하기

통계학에 좀더 치중한다면

데이터 분석을 통한 기획업무에 가까움(마케팅, 경영, 게임 기획 등)

프로그램밍에 좀더 치중한다면

데이터 분석 시스템 개발 업무에 가까움(IT/생산 시스템 설계 및 개발)

하지만 다 잘하면 좋겠다. 뭐든지 다.

Page 35: 산업공학도가 데이터 과학하기

흔한 오해

① 회사가면 누가 데이터는 뽑아주겠지?

→대부분 뽑아줄 사람 없다. 본인이 직접 뽑을 때가 많다.

② 뽑힌 데이터는 통계 분석만 하면 되겠지

→대부분의 Raw 데이터는 지저분하다. 전처리 작업 없이 분석은 불가능

③ 버튼만 누르면 되는 툴이 있겠지

→대부분 없다. 원하는 분석을 위해서는 기존 툴을 맞게 수정해야 함

처음부터 끝까지 스스로 해보지 않으면 많은 문제들은 해결하기 어려움

Page 36: 산업공학도가 데이터 과학하기

세번째 주제

어떻게 공부 할까요?

Page 37: 산업공학도가 데이터 과학하기

통계학 추천과목과목명

통계수학1통계수학2수리통계학1수리통계학2조사방법론1조사방법론2탐색적자료분석회귀분석1회귀분석2다변량자료분석1다변량자료분석2응용확률모델론범주형자료분석통계자료분석1통계자료분석2시계열분석

컴공과 추천과목과목명

웹프로그래밍중급 프로그래밍 설계 및 실습데이터베이스 및 실습소프트웨어공학및실습알고리즘컴퓨터네트워크 및 실습이산수학리눅스및실습자바및실습자료구조및실습시스템분석설계및실습운영체제데이터마이닝분산시스템고급 웹 프로그램밍

Page 38: 산업공학도가 데이터 과학하기

저렇게만 들으면 되나요?No. 수업만 듣는다고 분석을 할 수 있는 건 아님

프로젝트를 하면서 직접 해봐야 함

Page 39: 산업공학도가 데이터 과학하기

데이터 과학 관련 공모전공모전명 주관기관 일시

공공데이터 활용 비즈니스아이디어 공모전 산업통상자원부 10월 ~ 11월

공공데이터를 활용한 2014 서울연구논문 공모전 서울특별시 7월 ~ 10월

정부3.0 기상기후 공공데이터 활용 기상청 9월 ~ 10월

SAS 마이닝 챔피언쉽 SAS 코리아 6월

교통데이터 활용공모전 한국도로공사 7월 ~ 10월

관광 빅 데이터 분석대회 한국문화관광연구원 4월 ~ 6월

빅콘테스트 정보화 진흥원 8월 ~ 10월

삼성 Tomorrow 솔루션 공모전 삼성

Page 40: 산업공학도가 데이터 과학하기

END감사합니다.