R実践機械学習による異常検知 02

入門機械学習異常検知－ R 実践－

2

大國

1

題材

• 井手剛 2015 ,入門機械学習異常検知－ R 実践－ , コロ社

–著者記書籍訳者一人• タン認識機械学習第12章巻

• 統計的学習基礎― タマン推論予測―第6章

2

本書目次

• 1 異常検知基本的考え方

• 2 正規布従うタ異常検知

• 3 非正規タ異常検知

• 4 性能評価方法

• 5 要次元含タ異常検知

• 6 入力出力あタ異常検知

• 7 系列タ異常検知

• 8 くあそ対処法

本資料内容

3

2 正規布従うタ異常検知

内容

• 2章内容 ★ 印部本資料掲載– 2.1 異常検知手流

– 2.2 1変数正規布基く異常検知

– 2.3 1変数ン理論詳細

– 2.4 多変量正規布基く異常検知

– 2.5 多変数ン理論詳細

– 2.6 マビ = タチ法

– 2.7 t 布異常定

– 2.8 ン理論課題

★

★

★

★

★

4

2章前 1/2

• 2章多くン理論割い

– ン理論そ応用マビタチ法 MT法日本特製造業現場広く使わいいう現実考慮構成

• ン理論異常検知理論エセン最重要部いうわい

• 筆者ン理論＋MT法限界課題明示強調？い

– 理論く実用役立ばいい実際ン理論うく使え場面限いう実感 p.57

– ン理論例えば半体プロセ制御実用化い一般的方法妥当非常く制御値静的一定値う状

況い p.58

– 本書 3章以降考えいう

• 幸い 2000 代半ば統計的機械学習実用的異常検知枠組多

様問題適用うン理論位置変わあ p.57

• 次章以降記う課題 ※2.8節念頭機械学習観点異常検知手法見ゆ p.58

5

2章前 2/2

• 2章方

– ン理論必要以意識

– 3章以降機械学習的部

あ種準備運動 ≠異常検知エセンくい気持ばい

あく私見

6

2.1 異常検知手流

7

2. 正規布従うタ異常検知 1/31

• 2.1 異常検知手流 1/4

– ン理論

• 多変量解析外値検出手法

• いわば異常検知典理論

–外値検出問題念頭置い異常値検知流• 0 準備• 1 プ1 布推定

• 2 プ2 異常度定義

• 3 プ3 閾値設定

8


• 2.1 異常検知手流 2/4

– 0 準備• タ準備 M次元観測値 N個• タ中異常観測値含いい含いそ影響無視仮定

– 1 プ1 布推定• タ性質応適確率布仮定

• タ θ

• 典型的布推定問題

{ })()2()1( ,,, NxxxD L=

決問題タ未知 )|( Dxp θθ

9


• 2.1 異常検知手流 3/4

– 2 プ2 異常度定義• 観測値 x 対予測布

– D 変数くタ条件付確率表記使う本来

誤用

– タ D 情報使未知量決後布

いう意味く使わ

• 新観測値 x’ 対異常度

– 異常度定義

» 情報理論的筋通

» 正規布形密接関係

– ⇒付録 A.4.1 理論的議論あ

)|( Dxp

)|'(ln)'( Dxpxa −=

10


• 2.1 異常検知手流 4/4

– 3 プ3 閾値設定

• 異常度決定閾値設定異常検知可能

• 理想的– 正常異常度確率布明示的求観測値理論的発生確率異常定行う

– 一般異常度確率布明示的求簡単い

• 経験的– 正常信タ D 割合位点センタ

使う普通

– 複雑無関係常計算可能実用い便利

11

2.2 1変数正規布基く異常検知

12


• 2.2 1変数正規布基く異常検知 1/6– 2.2.1 プ1 布推定

– 2.2.2 プ2 異常度定義• 式 2.3 異常度定義

– 対数取整え

表う値確率得うい任意観測値予測布

代入式最尤推定タ

式

)ˆ ,ˆ|((2.3) ˆ ,ˆ

)(2

1exp

)2(

1),|( (2.3)

22

2

22/12

2

x'

xN

xxN

σµσµ

µσπσ

σµ

→

−−=

2

2

2 ˆ)ˆ'(

1 (2.6)

−=−≡σ

µµσ

xxa(x')式

子標本均

母ば正規化

13


• 2.2 1変数正規布基く異常検知 2/6– 2.2.3 プ3 閾値設定

• 正規布仮定 a(x’) 確率布明示的出可能

• a(x’) ば原因

– 観測値 x’自体ば

– 推定タ D ば標本限性必然

• 正規布仮定基い異常度確率布うく？統計学外値理論詳細 2.3節

• ン理論ン統計量ン T2 次頁

• 基本的統計的仮検定同手思い

14


• 2.2 1変数正規布基く異常検知 3/6– 2.2.3 プ3 閾値設定

{ } ( )

)1,1(~)'( (2.8)

11 )'( 1

)1,1(~)'(1

1 (2.7)

F )1,1(

)'( (2.6) '

, ,, 1

1 2.1

2

2)()1(

χ

σµ

xa

xaN

NFxaN

N

N

xax

NxxD N

式

乗布従う因子そ自由度特

式

布従うわ自由度

定数倍式う同布独立従新観測値

従い布各観測値独立同次元観測タ

変数布ン統計量定理

>>

−+−

−

= K

ン統計量 or ン T2

15


• 2.2 1変数正規布基く異常検知 4/6– 2.2.4 R 実行例

• 使用 car Davis タ※ car タ使う目的

• weight 体重 1変数使異常検知– 後段 2.4 節 weight 体重 height 身長 2変数即多変数場合異常検知行う

16


• 2.2.4 R 実行例 5/6

# 出力用P）Fファイルに関設定じmg.name <- paste("じmg_「.」", ".p”f", sep="")p”f(fじle = じmg.name, famじlと = "Japan1Gotしじ“BBB")

# ッー読み込み# じnstall.pa“kages("“ar") #インール未済場合実行lじbrarと(“ar)

#================================================================# ータ確認#================================================================# ータ確認”ata(）aづじs)str(）aづじs)しea”(）aづじs)

で <- ）aづじs

# てeじgしt ラしじst(で$てeじgしt, でlじm = “(」5, 105), breaks = 14)

#================================================================# 1変数正規分布に基く異常検知実行例#================================================================#------------------------------# ップ1：分布推定#------------------------------

#------------------------------# ップ1：分布推定#------------------------------# 正規分布ラター標本平均、標本分散を求めmつ <- mean(で$てeじgしt) # 標本平均s「 <- sつm((で$てeじgしt - mつ)^「) / nroて(で) # 標本分散(≠不偏分散)“(mつ, s「)

#------------------------------# ップ「：異常度定義#------------------------------# 式(「.8)によ異常度定義a <- (で$てeじgしt - mつ)^「 / s「

#------------------------------# ップ」：閾値設定#------------------------------# カイ二乗分布を基にた閾値設定(tし <- q“しじsq(0.99, 1)) # 1%基準、自由度 1# 作図plot(a,

maじn = "図「.」）aづじs ータ体重に関異常度",でlab = "標本番号", とlab = "異常度")

lじnes(0:「00, rep(tし, lengtし(0:「00)), “ol = re” , ltと = 「) # 閾値

#================================================================# 出力#================================================================# イを閉”eづ.off()

17


• 2.2.4 R 実行例 6/6

プ

– weight 体重布正規布

タ計算

– 各異常度算出

– 乗布 ※近似基く閾値設定そ閾値超い

確認

右

18

2.4 多変量正規布基く異常検知

19


• 2.4多変量正規布基く異常検知 1/7• 1変数ン理論 ⇒ 2変数以張

• 独立同布従う M次元 N個観測値タ D 想定

• 多次元正規布式(2.30) 化

– ※式複雑そう見え

» 基本的形 1変数正規布同

» ン理論枠組最終的使う異常度布近似的乗布

– 正規布仮定いう

» タ布山いい安定い

» 淡々生産続工場設備異常定いう

−Σ′−−

Σ=Σ −

−

)()(2

1exp

)2(),|( (2.30) 1

2/

2/1

µµπ

µ xxxNM

式

20


• 2.4多変量正規布基く異常検知 2/7– 2.4.1 プ1 多次元正規布最尤推定

– 2.4.2 プ2 異常度定義

• 1変数場合同様負対数尤度 2倍式 2.35• ⇒ 観測タ x’ 標本均μ い表• ⇒マビ距 2乗

– ば大応異常度定義» 正常ばい少見逃い» 正常ば大い多少ば大目見

• M次元系全体要約一値計算– 異常度 a(x’) 高い x’ 変数？– ン理論そ問題ン理論課題 2.8節

)ˆ'(ˆ)ˆ'()( 2.35 1 µµ −Σ′−=′ − xxxa式

∑

∑

=

=

′−−≡Σ=Σ

=

N

n

nn

N

n

n

xxN

xN

1

)()(

1

)(

)ˆ)(ˆ(1ˆ (2.34)

1ˆ (2.32)

µµ

µ

式

式

21


• 2.4多変量正規布基く異常検知 3/7– 2.4.3 プ3 閾値設定ン T2理論

( ) { }

( )

乗布従う因子近似的自由度場合

布従う自由度量く統計式

従う次元ウ布行列由度統計的独立自

次元正規布従う共散均

以成立新観測独立標本

定義式標本共散式標本均

基個独立標本次元正規布

理論多変数ン定理

1)(4.

),()()1(

2.353.

1ˆ2.

101.

,

2.34ˆ2.32ˆ

,, ,

T 2.6 )()1(

2

MxaMN

FMNMxaMN

MN

MNxN

MN

Nx

xN

xxNNM N

′>>

−′+−

Σ−−′Σ

Σ+−′

′ΣΣ

Σ

µ

µ

µµ

µ K

)ˆ(ˆ)ˆ()1(

2.36 12 µµ −′Σ−′+−≡ − xx

MN

MNT T式ン統計量ン T2

22


• 2.4多変量正規布基く異常検知 4/7– 2.4.3 プ3 閾値設定ン T2理論

• ウ布– 乗布多次元張対応

– M = 1 ウ布乗布帰着

• 実用系変数数 M 多いばN >> M 成立う– 異常度 a タ物理的単位や数値普的自由度

M 因子 1 乗布従う⇒定理2.6 命題4. 主張

– 自由度 M 因子 1 乗布期待値M 散2M» 1変数当異常度 a(x) / M 正常 1 中心大体 (2 / M)-1/2 幅ばく

23


• 2.4多変量正規布基く異常検知 5/7– 2.4.4 R 実行例

• 使用 car Davis タ

• weight 体重 height 身長 2変数使う

• 流同 ※言葉 1変数場合微妙変えあ

– タ準備閾値確率値設定

– プ1 標本均標本散計算

– プ2 異常度計算

– プ3 異常定

24


• 2.4.4 R 実行例 6/7#出力用P）Fファイルに関設定じmg.name <- paste("じmg_eで_「.4-5", ".p”f", sep="")p”f(fじle = じmg.name, famじlと = "Japan1Gotしじ“BBB")

# ッー読み込み#じnstall.pa“kages("“ar") #インール未済場合実行lじbrarと(“ar)

#================================================================# ータ確認#================================================================# てeじgしt しeじgしt 「変数ータ行列作成で <- “bじn”(）aづじs$てeじgしt, ）aづじs$しeじgしt)str(で)

# 散布図plot(で[, 1], で[, 「],

p“し = 16,maじn = "図「.5 ）aづじs ータ体重身長に関散布図",でlab = "てeじgしt", とlab = "しeじgしt")

#================================================================# 多変量正規分布に基く異常検知実行例#================================================================#------------------------------# ップ0：閾値設定#------------------------------# カイ二乗分布を基にた閾値設定(tし <- q“しじsq(0.99, 「)) #1%基準、自由度「

#------------------------------# ップ1：分布推定#------------------------------# 標本平均(ベル)(mつ <- applと(で, 「, mean))# で - μ 算出(中心化)で“ <- で - matrじで(1, nroて(で), 1) %*% mつ# 標本分散(共分散行列)(“oづ <- t(で“) %*% で“ / nroて(で))

#------------------------------# ップ「：異常度計算#------------------------------# 式(「.」5)によ異常度定義 --> マラ距離( 「乗)a <- applと((で“ %*% solづe(“oづ)) * で“, 1, sつm)str(a)

#------------------------------# ップ」：閾値設定#------------------------------# 異常度判定作図plot(a,

maじn = "図「.」）aづじs ータ体重身長「変数に関異常度",でlab = "標本番号", とlab = "異常度")

lじnes(0:「00, rep(tし, lengtし(0:「00)), “ol = "re”", ltと = 「) #閾値#================================================================# 出力#================================================================# イを閉”eづ.off()

25


• 2.4.4 R 実行例 7/7

26

2.6 マビタチ法

27


• 2.6 マビタチ法

– 2.6.1 手法概要

• ン理論多変量– 全系総合的異常度あ

– 個変数異常度い

• マビタチ法 MT法 MT MTS– ン統計量 or マビ距基く

外値検出手法加え

– 異常変数選択手法組入

28


• 2.6 マビタチ法

– 手 2.3 マビタチ法

• 想定タ

– D = {x(1), …, x(n)} 正常タ倒的多数タセ

– D’ = {x’(1), …, x’(n’)} 異常明いタセ

– 変数数 M M次元集

• 1) 布推定標本均標本散計算

• 2)異常度計算 1変数当マビ距計算

• 3)異常定1– D 標本正常範入う 1変数当マビ距

閾値決

• 4)異常定2– D’ 各標本対 M変数中いく変数選そ変数集合 1変数当異常度計算

29


• 2.6 マビタチ法– 手 2.3 マビタチ法

• 経験的指標 SNq 入– 変数集合 q 対 SN 比– aq タン q 対応 Mq× Mq次元共散行列

使異常度

– SN 比部» 子 =1 正常状態 1変数当異常度期待値

» 母異常状態 1変数当異常度

• SNq 見方– 1変数見場合

» q M通 Mq = 1» 第 q変数 N’個異常例大半大く寄い

1変数当異常度大変大く⇒ SNq 大く⇒ SNq 見ば変数 q 異常定用性

– 複数変数考え場合実験計画法直交表利用

30


• 2.6 マビタチ法– 2.6.2 R 実行例

• MASS road タ• road タ内容

– 26州– deaths 交通死亡故者数– drivers 運転者数– popden 人密度– rural 郊外地区道路延長距– temp 1 1日最高気温均値– fuel 1 燃料消費量

• プロやい– 26州い州比異常 ※あく取いタ限定州いそ原因い考え変数マビタチ法 MT法特定

– temp drivers 割奇異計算

31


• 2.6.2 R 実行例 ※一部省略

※前略

> #================================================================> # ータ確認準備> #================================================================> #------------------------------> # ータ確認> #------------------------------> ”ata(roa”)> str(roa”)'”ata.frame': 「6 obs. of 6 づarじables:$ ”eatしs : じnt 968 4」 588 640 474」 566 」「5 118 115 1545 ...$ ”rじづers: じnt 158 11 91 9「 95「 109 167 」0 」5 「98 ...$ pop”en : nつm 64 0.4 1「」4 100 ...$ rつral : nつm 66 5.9 」」 7」 118 7」 5.1 」.4 0 57 ...$ temp : じnt 6「」0 64 51 65 4「」7 41 44 67 ...$ fつel : nつm 119 6.「 65 74 105 78 95 「0 「」「16 ...> しea”(roa”)

”eatしs ”rじづers pop”en rつral temp fつelAlabama 968 158 64.0 66.0 6「 119.0Alaska 4」 11 0.4 5.9 」0 6.「Arじzona 588 91 1「.0 」」.0 64 65.0Arkanas 640 9「」4.0 7」.0 51 74.0（alじf 474」 95「 100.0 118.0 65 105.0（olo 566 109 17.0 7」.0 4「 78.0

32



> sつmmarと(roa”)”eatしs ”rじづers pop”en rつral

Mじn. : 4」.0 Mじn. : 11.0 Mじn. : 0.40 Mじn. : 0.00 1st Qつ.: 571.5 1st Qつ.: 86.5 1st Qつ.: 」1.75 1st Qつ.: 」0.00 Me”じan : 799.5 Me”じan :148.5 Me”じan : 66.00 Me”じan : 65.50 Mean :1000.7 Mean :191.「 Mean : 595.74 Mean : 60.71 」r” Qつ.:1「65.8 」r” Qつ.:「「6.「」r” Qつ.: 1」5.00 」r” Qつ.: 9」.50 Maで. :474」.0 Maで. :95「.0 Maで. :1「5「4.00 Maで. :1「4.00

temp fつel Mじn. :「「.00 Mじn. : 6.「0 1st Qつ.:」」.75 1st Qつ.: 67.「5 Me”じan :41.50 Me”じan :104.50 Mean :4」.69 Mean :115.「4 」r” Qつ.:5」.「5 」r” Qつ.:154.50 Maで. :67.00 Maで. :」50.00 > plot(roa”)>

� plot 散布出力

33



> #------------------------------> # 加工変数作成> #------------------------------> # 全変数を運転者数(”rじづers) 割> で1 <- roa” / roa”$”rじづers

中略

> # 運転者数(”rじづers)以外変数にい 1を足対数を取> で「 <- log(で1[, -「] + 1)

中略

> plot(で「)> > # 上記で「を分析用ータで> で <- matrじで(as.nつmerじ“(as.matrじで(で「)), 「6, 5)> str(で)nつm [1:「6, 1:5] 1.96 1.59 「.01 「.07 1.79 ...

�数値行列変換く

34



> #================================================================> # MT法によ異常検知実行例> #================================================================> #------------------------------> # ップ1：標本平均、標本分散計算> #------------------------------> # 標本平均(ベル)> (mつ <- applと(で, 「, mean))[1] 1.8585916 0.668448」 0.」48965」 0.」671115 0.5「64756> > # で - μ 算出(中心化)> で“ <- で - matrじで(1, nroて(で), 1) %*% mつ> > # 標本分散(共分散行列)> (“oづ <- t(で“) %*% で“ / nroて(で))

[,1] [,「] [,」] [,4] [,5][1,] 0.14157「989 -0.147619580 0.0」4」1「5「8 0.00669「856 0.01「110」56[「,] -0.147619580 1.」154」」86」 -0.1「9「75「78 0.10」6」」5「7 -0.004655647[」,] 0.0」4」1「5「8 -0.1「9「75「78 0.054」4「「46 0.01「1「6「」6 0.008」17778[4,] 0.00669「856 0.10」6」」5「7 0.01「1「6「」6 0.08「911「」6 0.00「」1685」[5,] 0.01「110」56 -0.004655647 0.008」17778 0.00「」1685」 0.0089「776「>

35



> #------------------------------> # ップ「：異常度計算> #------------------------------> # マラ距離( 「乗) 異常度 a1 を変数数割> # -->1変数当た異常度算出> a <- applと((で“ %*% solづe(“oづ)) * で“, 1, sつm) / n“ol(で)> > #------------------------------> # ップ」：異常判定1> #------------------------------> # 異常度判定作図(※閾値を1 い )> plot(a,+ maじn = "図「.7(a) roa” ータ各標本 1変数当た異常度",+ でlab = "標本番号", とlab = "異常度"+ )> lじnes(0:」0, rep(1, lengtし(0:」0)), “ol = "re”", ltと = 「)>

� 5 異常標本存伺え標本番号 2, 5, 9, 19, 26 5 最異常

36



> #------------------------------> # ップ4：異常判定「> #------------------------------> # 行列に列名、行名を入 (復活させ )> “olnames(で“) <- “("”eatしs", "pop”en", "rつral", "temp", "fつel")> roてnames(で“) <- “(+ "Alabama",

中略+ "Mont"+ )> > #+++++++++++++++> # 異常標本> #+++++++++++++++> # 5番目標本("（alじf")におけ SN比算出作図> samp.no = 5> で“「 <- で“[samp.no, ]> sn <- 10 * log10(で“「^「 / ”じag(“oづ))> str(sn)Name” nつm [1:5] -14.6」11 -6.0951 -0.0」7」 0.」87 1「.9957- attr(*, "names")= “しr [1:5] "”eatしs" "pop”en" "rつral" "temp" ...

> barplot(sn, maじn = paste(samp.no, "_", roてnames(で“)[samp.no], sep = ""))

� fuel 飛抜高い値� そ 0 近傍以※負 SN比偏差標準偏差表

⇒ 異常 fuel 帰う

解釈

37


• 2.6.2 R 実行例 ※一部省略– そ州 SN比フ抜粋

• 異常正常• いく州い出力出力PDF参照

異常標本番号 9 正常標本番号 1 標本番号 8

38


• マビタチ法い補足

– SN比理論的根脆弱性• マビ距⇒正規布基負対数尤度

• ⇒ SN比正規布重対数変換• ⇒統計学い統計的機械学習観点正当化困

– SN比定義変数数 M 意味合い変わう

• 異常度マビ距標準偏差 SQRT 2/M⇒M 異⇒ SN比定義意味合い M 変わう

– 実問題 MT 法適用際特徴く理解必要あ

39

2.8 ン理論課題

40


• 2.8 ン理論課題–実用課題

• 1 タ生成単一正規布従ういう仮定限界– いくあう場合変化追従誤報頻発

• 2 少数変数生異常捉えい– ン統計量 M 次元系異常度単一指標表

– 変数多数異常捉えく

• 3 動的系適用い– 異常度定義一定均値基く

– 値動的変化系適用困

41


• 2.8 ン理論課題

–一般的方法妥当非常く制御値静的一定値う状況

工程管理プロセ制御等

– 記う課題念頭次章 3章以降機械学習観点異常検知手法見ゆく

42

参考著者

• 本書最大目的異常検知基本技術完全理解完全いうタ表方始異常度計算方曖昧く理解いう一般異常検知行う対象

違う前処理機械学習的タ使流作業的行え解析や画像解析状況違う思いそう場合異常検知基礎理論そ自体理解避通い

思いそ伝え第1 目的

• 一方現場問題解決そ実装必要あ実本書主想定い者機械電気材料制御非計算機系学科卒業実務携わいエンそういう人機械学習群通いい思わ最初一

歩壁取除く注力そ第2 目的

• 目的最適ン R 実行例数行書実装い主

そ同種本い現状十日本エン実践思い

• http://ide-research.net/book/support.html

Data & Analytics

R実践 機械学習による異常検知 02

R実践機械学習による異常検知 02