BigQuery를 이용한 데이터 웨어하우스 락플레이스 왕승남 SA

Copyright ⓒ All right reserved by 2017 Rockplace Inc.

BigQuery 를 이용한데이터 웨어하우스

락플레이스 왕승남 SA


Open Source Place, ROCKPLACE

배경 및 목표

● 배경○ 현존하는 전자 상거래 Service 들의 Data 는 매일 예측하기 어려울 정도로 많은 상품 및 고객에 대한 정보가 여러 장소에서 다양한 형태로 수집되고 있습니다.

○ 기존 정보 수집 생태계에서는 여러 장소에 Data 가 다양하게 편재되어 있기에 한 곳에서 접근 할 수 없고, 단 시간 안에 분석을 하기도 어렵습니다.

○ 이러한 문제를 해결하기 위해 Google 의 분석형 Data Warehouse Service 인 BigQuery 를 도입하여 새로운 정보 수집 생태계를 Test 해보기로 하였습니다.



배경 및 목표

● 목표○ Sample Site DB 에서 BigQuery 로 Data Pipeline 구축

■ Fluentd 를 이용하여 MySQL DB 에서 BigQuery 로 Data 를 Streaming 방식으로 전송

○ Google Analytics 에서 BigQuery 로 Data Pipeline 구축

■ Fluentd 를 이용하여 Google Analytics Standard 를 통해 수집한 Sample Site 의 Data 를

BigQuery 로 전송

○ Google BigQuery 에서 Sample Query 로 양쪽에서 수집된 정보 질의 확인

■ MySQL / Google Analytics 에서 모인 정보를 Sample Query 로 질의



배경 및 목표

MySQL Database => BigQueryData Pipeline 구축

Google Analytics => BigQueryData Pipeline 구축

Google BigQuery 에서 Sample Query 로 수집된 정보 질의 확인



Architecture

Google Analytics Suite

Google Analytics

Relay ServerCompute Engine

Data WarehouseBigQuery

MySQL Table

GA Table

BI / Marketing

Sample SiteCompute Engine

MySQL DB



Data Pipe Line Flow 1 (MySQL DB to BigQuery)



MySQL Table

Sample SiteCompute Engine

MySQL DB



Data Pipe Line Flow 2 (GA to BigQuery)



GA Table

Google Analytics Suite

Google Analytics



Conclusion

● Why use Google BigQuery?○ 유연한 Data Ingestion - BigQuery 로 초당 100,000 Row 의 Data 를 load 하거나 Streaming 할 수 있습니다.

○ 초고속 성능 - Google Infra 의 처리 능력을 사용하여 수 Tera Byte의 Data 에 대한 초고속 Query 를 단지 몇 초 만에 실행할 수 있습니다.

○ 장기 Data 저장 할인 - BigQuery 에 Load 한 Data 를 장기간 저장하는 경우, 90일 이상 저장된 Data 에 대해 GB 당 $0.02 에서 $0.01 로 자동 할인이 적용됩니다.

○ 고가용성 - 여러 지역에 걸쳐 Data 가 복제 및 저장되기 때문에 고가용성 및 내구성을 보장합니다.


감 사 합 니 다

Data & Analytics

BigQuery를 이용한 데이터 웨어하우스 락플레이스 왕승남 SA