BIG DATAサービスとツール

サービス

ビッグデータ解析

ミックスパネル（米）

● https://mixpanel.com/segmentation/● http://youtu.be/nR2MzOeMoLc● Google Analyticsより詳細にユーザ行動分析可能

● A/Bテストやファネルドライバー分析可。

● 簡単なコード、ミックスパネルのAPI経由により収集・分析可

能

Five Rocks（韓）

● https://www.5rocks.io/en/technology● ミックスパネル的な機能を広告/ゲーム向けに強化● Tapjoy社による買収

Intimate Merger● http://corp.intimatemerger.com/● インターネット上の様々なサーバーに蓄積されるビッグデー

タや自社サイトのログデータなどを一元管理、分析

● 広告配信などのアクションプランの最適化を実現

Flurry● http://www.flurry.com/● モバイルアナリティクス：ユーザ・アプリ インターアクション解

析● In-app広告システム

Google Analytics● http://www.google.com/analytics/features/● http://youtu.be/WC3ONXJn9FQ● 分析ツール● コンテンツの分析

● ソーシャル解析

● モバイル アクセス解析

● コンバージョン解析

● 広告の分析

サービス

スマホアプリのクラッシュログ解析

Crittercism● https://www.crittercism.com/● ライブラリをアプリに追加

● 無償版/有償版有り。(フリーミアムモデル)● 有償版は $24/月● クラッシュログを Unresolved, Known, Resolved の3種

類に分類

● 同様のログをまとめる

Bugsense (Splunk MINT Express)● https://mint.splunk.com/● ほぼcrittercismと同。

● 有償版は $19/月● 無料プランは1ヶ月あたり500件までしかログを取得できな

い。

Smartbeat● http://smrtbeat.com/● http://youtu.be/P7y4gOASy80● マルチプラットフォーム対応

● iOS(Objective-C), Android(Java) に加えiOS C/C++, Android NDK(C/C++)

● レイヤーでのクラッシュ、例外発生の検知・解析が可

● ゲームエンジンUnity(C#, JS), Cocos2d-xでのエラー検知

もサポート済

● クラッシュ直前のユーザの画面キャプチャ確認可能

ツール

収集 保管 検索 共有 解析 可視化

EC2: virtual private servers using Xen.

EMR: (Elastic MapReduce): allows businesses, researchers, data analysts, and developers to easily and cheaply process vast amounts of data. It uses a hosted Hadoop framework running on the web-scale infrastructure of EC2 and Amazon S3.

S3: Web based storage.

Redshift: petabyte-scale data warehousing with column-based storage and multi-node compute.

SimpleDB: allows developers to run queries on structured data. It operates in concert with EC2 and S3 to provide "the core functionality of a database".

DynamoDB: scalable, low-latency NoSQL online Database Service backed by SSDs.

RDS: scalable database server with MySQL, Oracle, SQL Server, and PostgreSQL support.

http://en.wikipedia.org/wiki/Amazon_Web_Services

Cloud: Amazon Web Services (AWS)

Cloud: Google Cloud Platform

https://cloud.google.com/

Fluentdhttp://www.fluentd.org/architecture

http://docs.fluentd.org/articles/free-alternative-to-splunk-by-fluentd

Fluentd + ElasticSearch + Kibana

ElasticSearch: Distributed, scalable 検索エンジンKibana: ElasticSearchの可視化UI

http://www.elasticsearch.org/overview/kibana

MongoDB

http://www.mongodb.org/

ドキュメント指向データベース：使いやすい。

簡単にできる：

● レプリケーション、High Availability● Auto-Sharding● Map/Reduce

http://www.mongodb.com/use-cases/real-time-analytics

Cassandra

http://cassandra.apache.org/

分散、イベンチュアル・コンシステンシー、

列指向データベース

MongoDBより使いにくいが、speedが速いと言われる。

http://www.datastax.com/wp-content/uploads/2013/02/WP-Benchmarking-Top-NoSQL-Databases.pdf

Hazelcasthttp://hazelcast.org/

In-memory, multiple-node data grid cluster

Distributed Data Structures: Map, MultiMap, Queue, Set, List, Topic, Lock, AtomicLong, AtomicReference, Semaphore, CountDownLatch, IdGenerator

Distributed Computing: Executor Service, Entry Processor

Distributed Query: MapReduce, Aggregators

Integrated Clustering: JCache, Hibernate Second Level Cache, Servlet Session Replication, Spring Integration, J2EE Transactions

Client inteface: Java, C++, .NET, REST, Memcache

Hadoop

http://hadooparchitecturetraining.blogspot.jp/2013/05/apache-hadoop-components-ecosystem.html

https://storm.apache.org/

● Distributed realtime computation system.● Storm makes it easy to reliably process unbounded

streams of data, doing for realtime processing what Hadoop did for batch processing.

● Use cases: realtime analytics, online machine learning, continuous computation, distributed RPC, ETL, and more

Realtime: Storm

Batch + Realtime: Spark

https://spark.apache.org/http://www.slideshare.net/search/slideshow?q=apache+spark

速度:100x faster than Hadoop MapReduce in memory, or 10x faster on disk.

Runs Everywhere:Spark runs on Hadoop, Mesos, standalone, or in the cloud. It can access diverse data sources including HDFS, Cassandra, HBase, S3.

汎用性:Combine SQL, streaming, and complex analytics.

Machine learning 機能 (MLlib 1.1):● linear SVM and logistic regression● classification and regression tree● k-means clustering● recommendation via alternating least squares● singular value decomposition● linear regression with L1- and L2-regularization● multinomial naive Bayes● basic statistics● feature transformations

Graph 機能:● GraphX unifies ETL, exploratory analysis, and

iterative graph computation within a single system.● Seamlessly work with both graphs and collections:

You can view the same data as both graphs and collections, transform and join graphs with RDDs efficiently, and write custom iterative graph algorithms using the Pregel API.

● Algorithms: PageRank, Connected components, Label propagation, SVD++, Strongly connected components, Triangle count...

Streaming 機能:Spark Streaming can read data from HDFS, Flume, Kafka, Twitter and ZeroMQ. You can also define your own custom data sources.

Cloud: Databricks

https://databricks.com/product

Founded by the creators of Apache Spark, that aims to help clients with cloud-based big data processing using Spark.

http://youtu.be/dJQ5lV5Tldw

可視化ツール

Web時代ですから、可視化ツールは基本的にJavaScriptです：

https://github.com/sorrycc/awesome-javascript#data-visualization

例: D3 https://github.com/mbostock/d3/wiki/Gallery

例: Query Builderhttp://mistic100.github.io/jQuery-QueryBuilder/