Channy Yun@channyun

Daum Developers Network & Affiliates

http://dna.daum.net

빅데이터 및 API 기술 동향

API Strategy & Practice 콘퍼런스 개요

2

• 웹 플랫폼 기업 중심 REST/JSON/OAuth 같은 Open API 기술이 보편화된 후 , 2~3 년전부터 기업형 혹은 비 플랫폼 기업을 위한 API 솔루션 및 효율적 운영 기술을 개발하는 스타트업들이 늘어나고 있음 .– API Management( 인증 , 키관리 , 문서화 , 샘플코드 )– REST Application Frameworks– OAuth, Proxy, Cache Server– Data Analytics– API Directory

• 구글 , 아마존 , 이베이 , 페이스북 , 트워터 등 주요 플랫폼 벤더가 참여하지 않은 API 산업에 대한 첫 콘퍼런스임– ProgrammableWeb, 3Scale, Layer 7, Mashery, Mashpe 같은

업체들이 주축이 되어 개최– 350 여명 참가자 및 50 여개 벤더 및 스타트업 참여 – http://apistrategyconference.com/ – http://eventifier.co/event/apistrat13/slides

3

주요 참여 벤더

주요 시사점 (1)

4

• (1) 구글 , 아마존 , 페북 같은 대형 업체는 없지만 API 산업이 작은 기업들로 부터 bottom-up 으로 견고해지고 있다 . SOA 가 그 반대로 실패한 것과 대비 . 사람을 위한 기술은 언제나 성공한다는 점 ...

• (2) API 333 목표 "3 초만에 API 기능을 바로 이해시키고 30초만에 API 키를 발급 받아 3 분안에 첫번째 호출을 할 수 있게 해야한다 ." via @olensmar

• (3) API 설계 구현 운영 보안 같은 세션에 사람이 많았지만 소셜 , 결제 및 음악 같은 신규 API 시장에 대한 관심도 뜨거웠다 . 소프트웨어 기술 자체가 변하고 있다는 느낌 ...

• (4) Netflix 의 독특한 API 사례 1) 초기 외부 제공이었으나 현재 99% 내부 사용 중 2) 800 여개 단말에 API 제공 중 3) REST 방식에 문제가 있어 경험 중심으로 바꾸는 중

5

Internal API 의 중요성

6

One API-Multi Uses

효율적 API 설계 및 개발 - Swagger

7

• Machine-Readable– Auto documentation, health-check and sample code genera-

tor– Distributed Design– Make client libraries “your way”

http://developers.helloreverb.com/swagger/

주요 시사점 (2)

8

• (1) API 를 무료로만 제공하는 시대는 지났다 . 내외부 ROI 분석 통해 수익화 가능해졌다 . API 수익 모델을 묻지 말고 , 나의 수익 모델에 맞는 API 가 무엇인지 고민해서 API 안에 수익 모델을 같이 설계해야 ...

• (2) 스타트업도 공룡 기업의 틈새를 API 로 사업을 하면 네트워크 효과를 얻을 수 있다 . 금융 데이터 API 유료제공하는 xignite.-com 이 대표적 사례 . 한 VC 는 자사 투자 업체의 80% 가 API를 소유하고 있다고 .

• (3) 공공 ( 정부 ) API 세션에는 사람이 몇 명 없었다 . 정부 주도 모델은 비지니스와 개발자 커뮤니티와 괴리가 있다는 것을 반증 . 미 정부 api.data.gov 가 이제 나온걸 보면 ... 정부 주도의 한국과 역시 대조적 ~

• (4) API 구조와 설계 , 운영에 대한 세션에 참가자들이 몰리는 것으로 보아 효율적 운영과 서비스에 관심이 많았음 .

9

API 비즈니스 모델

(1) Free (4) IndirectContent AcquistionContent SyndicationAPI as SaaS serviceIntenal API use case

(2) Developer PaysPay as You GoTiered PricingFreemiumUnit-based PricingTransaction Fee

(3) Developer Gets PaidAffiliate Revenue ShareCPACPC

10

11

O’reilly Strata 2013

12

• DW, BI 분야의 주요 콘퍼런스로서 2011 년 부터 Hadoop 및 Big Data 키워드를 통해 데이터 산업 분야 키워드를 리딩하고 있음

• 빅데이터 분야 주요 업체들 모두 참여

올해 주요 키워드

13

• (1) Smart Data : 단순한 빅데이터가 아니라 의미를 뽑아 낼 수 있는 데이터를 찾아내는 것이 중요함

• (2) Real Time: 실시간으로 들어오는 대량 데이터에 대한 분석 기법 및 이를 더 빠르게 전달하는 방법에 대한 탐구– Apache Drill, Storm

• (3) New Map/Reduce 기법– Spark, Spark Streaming, Shark

• (4) Mobile: 모바일의 활동 및 데이터가 PC 의 3 배 이상이므로 이에 대한 데이터 분석 필요

• 주요 슬라이드 및 영상 제공 중– http://

strataconf.com/strata2013/public/schedule/proceedings

BigData Stack

Anaylitcis

Non-releational Relational

Teradata IBM InfoSphere Aster HP Vertica EMC SAP Hana OracleGreenplum SAP

Oracle IBMDB2 SQLServer

Management tools

NoSQL

키 / 값RedisMembrainBerkeleyDB

빅테이블HyperTableHbase

문서기반CouchDBMongoDB

그래프FlockDBNeo4j

NewSQL

DrizzleMySQL ClusterNimbusDB

ScaleBaseVoltDB

Data as a ServiceAppEngine Amazon RDSSimpleDB SQL Azure

Realtime

StormDremel

HadoopHortonClouderaMapRBiqQuery

VisualizeD3Pentaho

CouchBaseCassandra

© Inforchimps. 2012

Day 1 Review

• Beyond Hadoop– Berkeley Stack

• Spark, Shark, and Spark Streaming. • Iterative Job 에 대한 성능 향상 ( 머신러닝 / 그래프 탐색 )• Interactive Data Mining 에 대한 최적화 (R/Excel/Python 등 )• 스토리지 In/Out 대신 주요 데이터셋을 메모리에 올려서 Iternation 에

최적화 시킴• SQL 기반의 Shark 도 동시 제공 , Python, • http://spark-project.org

– Related Works• Impala (Cloudera), Apache Drill (MapR), Hawq (Greenplum, an-

nounced today), Stinger (Hortonworks).

• Easy Analytics– Python Data Science, with an interactive shell called iPython

Notebook

Day 2 Review

16

• Big Data for Game– EA Games– Real-time processing of big data because it's critical to mon-

etization of their games, now that games are free and sales come from in-game ad placement and sales of virtual goods.

• Big Data for Mobile– Increasing Mobile Big Data

Day 3 Review

17

• Intel, EMC- own Hadoop distribution. – Everywhere Intel

• 분석 기술의 변화– 1 세대 : desktop (or single server), R– 2 세대 : Map Reduce (e.g. Mahout)– 3 세대 : post-Map Reduce (e.g. Spark)

• "Excel Big Data" - Microsoft – point-and-click querying of HDFS that translates into Map/

Reduce.

• 주요 트렌드– Hadoop distribution competition is hot and getting hotter – Bring SQL to Big Data is gaining acceptance as the preferred

way to democratize Big Data.

18

• 국내 주요 참석 기업 : KT Cloudware, Daum, NCSoft, SKPlanet 등

References

19

• Articles– From Strata, the New Big Data on the Block, Steve Miller, Information

Management. – Strata Keynoters show big data in action , FierceBigData. – O'Reilly Strata: Busting Big Data Adoption Myths-Part 1, SQL Server

Team. – O'Reilly Strata: Busting Big Data Adoption Myths-Part 2, SQL Server

Team– Big Data insights from the Wikibon project: – Contextual + Situational Awareness: The Next Big Thing in Big Data,

Silicon Angle – Summary of My First Trip to Strata, Ryan Rosario, Byte Mining Blog.– Strata Trip Report: Days 0 & 1, Michael Malak – Strata Trip Report: Day 2, Michael Malak – Strata Trip Report: Day 3, Michael Malak

• Video– http://

www.youtube.com/playlist?list=PL055Epbe6d5ZEYjq8K7CA37-1fEST-yWe