11
* 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2016 Insight Technology, Inc. All Rights Reserved. JR東⽇本で利⽤された IoTによるBIインテグレーション NTTソフトウェア株式会社 ⽯⿊博之 株式会社インサイトテクノロジー 平間⼤輔

[db tech showcase Tokyo 2016] C21: JR東日本で利用されたIoTによるBIインテグレーション by 株式会社インサイトテクノロジー 平間 大輔

Embed Size (px)

Citation preview

Page 1: [db tech showcase Tokyo 2016] C21: JR東日本で利用されたIoTによるBIインテグレーション by 株式会社インサイトテクノロジー 平間 大輔

* 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2016 Insight Technology, Inc. All Rights Reserved.

JR東⽇本で利⽤されたIoTによるBIインテグレーション

NTTソフトウェア株式会社 ⽯⿊博之

株式会社インサイトテクノロジー 平間⼤輔

Page 2: [db tech showcase Tokyo 2016] C21: JR東日本で利用されたIoTによるBIインテグレーション by 株式会社インサイトテクノロジー 平間 大輔

* 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2016 Insight Technology, Inc. All Rights Reserved.

Vector™JR東⽇本で使われているDWH向けデータベース

Page 3: [db tech showcase Tokyo 2016] C21: JR東日本で利用されたIoTによるBIインテグレーション by 株式会社インサイトテクノロジー 平間 大輔

* 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2016 Insight Technology, Inc. All Rights Reserved.

Whatʼs Vector™

Price/PerformanceUS$/QphH@3TB

0

Performance(QphH@3TB)

Source: www.tpc.org / Jul 7, 2016

500,000

1,500,000

2,000,000

1,000,000

Sybase IQ30 Dec 2013

$1.29 US230,11932cores

MicrosoftSQL Server

201631 Jul 2016

$0.72 US

969,504

72cores

$0.38 US

2,140,307

96cores

ActianVector5.031Jul 2016

MicrosoftSQL Server

201601 Jun 2016

$0.60 US

1,071,018

72cores

MicrosoftSQL Server

201414 Sep 2015

$1.08 US

725,686

72cores

MicrosoftSQL Server

201426 May 2015

$0.99 US

700,392

72cores

MicrosoftSQL Server

201416 Apr 2014

$2.04 US

461,837

60cores3TB RAM3TB RAM

3TB RAM3TB RAM

3TB RAM3TB RAM

1TB RAM

Top 7 Non-Clustered Database SystemTPC-H 3TB Scale Factor

Page 4: [db tech showcase Tokyo 2016] C21: JR東日本で利用されたIoTによるBIインテグレーション by 株式会社インサイトテクノロジー 平間 大輔

* 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2016 Insight Technology, Inc. All Rights Reserved.

Advantage of Vector™ ベクター演算

CPU効率を⾼めるためにVector (SIMD)演算を活⽤

カラムナーI/Oを制限することにより、効率的かつリアルタイム更新処理が可能

データ⾃動圧縮データの⾃動圧縮により、ストレージ使⽤効率の向上と、IO量の削減、およびキャッシュ効率を⾶躍的に⾼める

CPUキャッシュ

RAMでなく、オンチップでのデータ処理

マルチコア並列処理 システムリソースを最⼤限に活⽤…

ストレージインデックス即座に対象データブロックを特定し、I/Oを最⼩限におさえる。

Tim

e / C

ycle

s to

Pro

cess

Data Processed

DISK

RAM

CHIP

10GB2-3GB40-400MB

2-20

150-250

Millions

Page 5: [db tech showcase Tokyo 2016] C21: JR東日本で利用されたIoTによるBIインテグレーション by 株式会社インサイトテクノロジー 平間 大輔

* 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2016 Insight Technology, Inc. All Rights Reserved.

カラムナーのメリット

(シーケンシャルな)アクセス効率 + データ圧縮 = 分析基盤に向いている

Prod ID Prod NameProd ID Prod NameProd ID Prod NameProd ID Prod NameProd ID Prod Name

DateDateDateDateDate

Prod ID Prod NameProd ID Prod NameProd ID Prod NameProd ID Prod NameProd ID Prod Name

DateDateDateDateDate

1ブロックには様々なタイプのデータが格納されているので圧縮効率を上げにくい

1ブロックには同様のタイプのデータが格納されているので圧縮効率を上げやすい

Page 6: [db tech showcase Tokyo 2016] C21: JR東日本で利用されたIoTによるBIインテグレーション by 株式会社インサイトテクノロジー 平間 大輔

* 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2016 Insight Technology, Inc. All Rights Reserved.

カラムナーのデメリット⼀般的に(ランダムな)アクセスが⾮効率 + データ圧縮 = OLTP基盤に向いていない

Prod ID Prod NameProd ID Prod NameProd ID Prod NameProd ID Prod NameProd ID Prod Name

DateDateDateDateDate

Prod ID Prod NameProd ID Prod NameProd ID Prod NameProd ID Prod NameProd ID Prod Name

DateDateDateDateDate

更新時に圧縮・展開のオーバーヘッドが⼤きい(*1)

Page 7: [db tech showcase Tokyo 2016] C21: JR東日本で利用されたIoTによるBIインテグレーション by 株式会社インサイトテクノロジー 平間 大輔

* 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2016 Insight Technology, Inc. All Rights Reserved.

SIMDSIMD (Single Instruction Multiple Data)

Pentium ⅢよりSSE(Streaming SIMD Extensions)として搭載され、Sandy BridgeよりIntel AVX(Advanced Vector eXtensions)へ

・・

・・

・・

・・

・・

・・

・・

Instruction

Data

Output

Page 8: [db tech showcase Tokyo 2016] C21: JR東日本で利用されたIoTによるBIインテグレーション by 株式会社インサイトテクノロジー 平間 大輔

* 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2016 Insight Technology, Inc. All Rights Reserved.

Certified/tested In progress

各種BIツールとの連携

Page 9: [db tech showcase Tokyo 2016] C21: JR東日本で利用されたIoTによるBIインテグレーション by 株式会社インサイトテクノロジー 平間 大輔

* 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2016 Insight Technology, Inc. All Rights Reserved.

Machine-Generated Data Social Media Internet Retail

Financial

Government

Research/Education

Vector™ 主要顧客

9

Page 10: [db tech showcase Tokyo 2016] C21: JR東日本で利用されたIoTによるBIインテグレーション by 株式会社インサイトテクノロジー 平間 大輔

* 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2016 Insight Technology, Inc. All Rights Reserved.

国内事例(医療系企業の例)

0 50 100 150 200 250 300トップ

メーカーメーカー_規格詳細メーカー_品⽬詳細

品⽬品⽬_詳細グループ

グループ(抜粋)グループ(抜粋)_詳細

グループ(抜粋)_全店舗⼀覧グループ(抜粋)_全店舗⼀覧(スクロールなし)

グループ_詳細グループ_全店舗⼀覧

グループ_全店舗⼀覧(スクロールなし)

画⾯表⽰までの経過時間(秒)

更新後 更新前

更新前 更新後

表⽰待ち時間を最⼤92%短縮

Page 11: [db tech showcase Tokyo 2016] C21: JR東日本で利用されたIoTによるBIインテグレーション by 株式会社インサイトテクノロジー 平間 大輔

* 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2016 Insight Technology, Inc. All Rights Reserved.

記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。Copyright 2016 Insight Technology, Inc. All Rights Reserved.

技術的な話題を深掘りしたい⽅は…明⽇7/1510:00セッションD31「データ分析⽤データベース-SMPとMPPってどう違うの?-」へGO!