13
ヤフーの広告レポートと SQL on Hadoop の選択 ヤフー データ&サイエンスソリューション統括本部 データインフラ本部 朋広 1

ヤフーの広告レポートとSQL on Hadoopの選択#yjdsw3

  • Upload
    yahoo

  • View
    535

  • Download
    0

Embed Size (px)

Citation preview

  • SQL on Hadoop

    1

  • 2

    2002

    20022011Yahoo!Yahoo! JAPAN IDDB

    2012Hadoop

  • Agenda

    4

    1.

    2.

    3.

  • Agenda

    5

    1.

    2.

    3.

  • YDN (GDN)

  • Agenda

    8

    1.

    2.

    3.

  • A

    B

    C

    n

    2015-11-24

    2015-11-23

    : : : :2014-10-01

    :13

    10/Day()

  • SQL on Hadoop

    Impala Hive on Tez

    1(25)

    2,500 7,500

    1(50)

    2,500 15,000

    200(6) 50(1)

    Tez

  • Agenda

    11

    1.

    2.

    3.

  • Sub-second

    Hive on Tez + llap Phoenix

    Hortonworks SalesForce

    Live Long and Process SQL on HBase

    KVS +

    HDFS/ORCFile HBase

    1

    HIVE-12049 HIVE-11525 PHOENIX-2126

  • EOP