#TokyoR 39 高速に前処理するNYSOL

NYSOL Partner KSK Analytics

2014/5/31 第39回R勉強会＠東京（#TokyoR） Lightning Talk

高速に前処理するNYSOL

株式会社KSKアナリティクスデータアナリスト　北島聡


データ分析のプロセス実は8割以上は前処理

社外データ

業務システム

EXCEL

様々なデータ形式膨大なデータ量複雑なデータ構造

分析用データ

各種・分析モデル

クラス分類

回帰分析

パターン解析

クラスタリング

CSV

繰り返しの前処理 SQLクエリ? AWK? ETLツール? Python?Ruby? R? Excel?

NYSOL Partner KSK Analytics © KSK Analytics Inc. 3

データ分析のプロセス実は8割以上は前処理

1.  システム担当者はデータ加工を嫌がります 2.  SQLは複雑・実行時間もかかりすぎます 3.  プログラミングは実行まで時間がかかります 4.  DWHや専用ツールはお金がかかります 5.  データ加工には特殊な能力が必要？

分析用データ

繰り返しの前処理 SQLクエリ? AWK? ETLツール? Python?Ruby? R? Excel?


・「にそる」と読みます。・日本発のオープンソースです。・すべて無料です。・www.nysol.jp



本日のご紹介は、この「Mコマンド」です。


自信を持って言えること


Rより簡単。

© KSK Analytics Inc. 8

＜


＜

Rより早い。


＜

某DBより早い。


＜

Rより柔らかい。


皆さん、ごめんなさい。


R勉強会ですが、


これからRの話は全くしません m(__)m


簡単。早い。柔らかい。


仕組みはシンプル

Mコマンド・UNIXコマンド・約70種類・CSVデータ

組み合わせは無限大・各コマンドを　「パイプ」で接続

© KSK Analytics Inc. 16


顧客の平均来店間隔日数を求めたい


データはCSV


STEP.1) 必要になる「顧客」と「日付」項目を選択する。（「商品」を排除）

mcut f=顧客,日付


STEP.2) 　　　　どの日に来店したかがわかればよいので、　　　　同じ顧客で日付の重複行は省く。

muniq k=顧客,日付


STEP.3) 「日付」項目の下レコードを横にずらす

mslide k=顧客 f=日付:次日付


STEP.4) 「次日付」－「日付」の日数計算を行う。

mcal c=‘$d{次日付}-‐$d{日付}’ a=日数


STEP.5) 「日付」と「次日付」は必要ないので省く。

mcut f=顧客,日数


STEP.6) 顧客別に日数の平均値を計算（項目名を「平均来店間隔日数」とする）

mavg k=顧客 f=日数:平均来店間隔日数


シェルスクリプト

以上のような処理を実際にコンピュータで行うためには、1)コマンドラインから入力する、もしくは2)シェルスクリプトを記述する、の大きく2パターン。入力ファイルを「購買履歴データ.csv」、出力ファイル名を「結果.csv」とすると、シェルスクリプトでの記載は以下のようになります。

#!/bin/sh mcut f=顧客,日付 i=購買履歴データ.csv | muniq k=顧客,日付 | mslide k=顧客 f=日付:次日付 | mcal c='$d{次日付}-‐$d{日付}' a=日数 | mcut f=顧客,日数 | mavg k=顧客 f=日数:平均来店間隔日数 o=結果.csv


約70種類のコマンド（一覧がご覧いただけます）

hmp://www.nysol.sakura.ne.jp/mcmd/jp/index.html


日本発のオープンソースです。みなさん、一緒に応援しましょう！


株式会社KSKアナリティクス　www.ksk-anl.com　セールス & マーケティング本部　[email protected]

www.nysol.jp

株式会社KSKアナリティクスでは、 NYSOLのビジネスサポート、トレーニング等を提供しています。お気軽に問い合わせ下さい。

ダウンロードはこちらから UNIX環境(Linux, Macなど)で動作

Data & Analytics

#TokyoR 39 高速に前処理するNYSOL