データサイエンティスト協会木曜勉強会 #09 『意志の力が拓くシステム～最適化の適用事例から見たデータ活用システムの現在と未来～』

Copyright © 2011 NTT DATA Corporation

Copyright © 2014 NTT DATA Mathematical Systems Inc.

株式会社 NTTデータ数理システム

数理計画部田辺隆人

意志の力が拓くシステム～最適化の適用事例から見た

データ活用システムの現在と未来～

2015年 10月 01日

2Copyright © 2014 NTT DATA Mathematical Systems Inc.

株式会社ＮＴＴデータ数理システム所在地東京都新宿区

従業員数約100名

設立

１９８２年４月１日

※２０１２年２月１５日ＮＴＴデータグループへ加入

主な業務

パッケージソフトウェア開発・販売

ソフトウェア・システム組み込み開発

データ分析、数理計画の各種コンサルティング

パッケージソフトウェア（自社開発）

最適化パッケージ Numerical Optimizer(旧ＮＵＯＰＴ）

データ解析ソフト Visual R Platform

データマイニングツール Visual Mining Studio

テキストマイニングツール Text Mining Studio

シミュレーションツール S4 Simulation System

ベイジアンネット構築支援システム BayoNet

半導体形状シミュレーション Paradise World 2

会社紹介

数理科学とコンピュータサイエンスで社会の問題を解決しよう

Copyright © 2014 NTT DATA Mathematical Systems Inc. 3

I 黎明期～’90年代末


線形計画問題

2 4y x

2 6y x

2y x

を満たしつつ，を最大化するを求めよ,x yy


線形計画問題の気持ち

2 4y x

2 6y x

2y x

を満たしつつを最大化するが欲しい！,x yy

現実の制約の中で

意志を持つ数学

やり方


線形計画法（LP）

x

y

2 4y x

2 6y x

2y x


線形計画法（LP）の気持ち

x

y

2 4y x

2 6y x

2y x 16 14

,3 3

構造を読み切って解の存在を特定！


線形計画法の応用例（古典）

組成制約を満たした製品をできるだけ安価に作りたい

x y zc x c y c z 最小化コスト：

配合成分

原油Ｘ原油Ｙ原油Ｚ



栄養を満たしつつできるだけ安価な献立を

x y zc x c y c z 最小化コスト：

栄養素

食品Ｘ食品Ｙ食品Ｚ



需要を満たすコスト最安な輸送を求めよう

ij

j

x =需要

ij

i

x =供給

,

ij ij

i j

c x 最小化

供給地Ａ

供給地Ｂ

供給地Ｃ

需要地1

需要地2


線形計画法の応用例（今日的話題）

分散を保存する類似度の高いデータの対応付けを求めよう

ij

i

x =対応[→]数

,

ij ij

i j

c x 最大化（類似度合計）

レコードＡ

レコードＢ

レコードＣ

レコード1

レコード2




ij

j

x =対応[←]数

ij

i

x =対応[→]数

,

ij ij

i j


レコードＡ

レコードＢ

レコードＣ

レコード1

レコード2




ij

j

x =対応[←]数

ij

i

x =対応[→]数

,

ij ij

i j


レコードＡ

レコードＢ

レコードＣ

レコード1

レコード2

100000×1000レコードのフュージョンが2.5時間


整数計画法の応用例

店舗容量制約を満たす最良のレコメンドを求めよう

ij

j

x 店舗容量

ij

i

x =1

,

ij ij

i j

c x 最大化（親和度合計）

ユーザーＡ

ユーザーＢ

ユーザーＣ

店舗1

店舗2

{0,1}ijx


整数計画問題とは

x

y

2 4y x

2 6y x

2y x

実行可能解


整数制約で大違いなケース

x

y

実行可能解

LP解

整数解


意志が先行？

x

y

2 4y x

2 6y x

2y x

実行可能解

意志＞数学的事実

とにかく何とか答えを！効率的な汎用解法

は存在しないのですが．．


整数計画法の応用例

店舗容量制約を満たす最良のレコメンドを求めよう

ij

j

x 店舗容量

ij

i

x =1

,

ij ij

i j


ユーザーＡ

ユーザーＢ

ユーザーＣ

店舗1

店舗2

{0,1}ijx


整数計画問題の緩和による解法

x

y

2 4y x

2 6y x

2y x

LP解の最寄りを解とする


緩和による解法の気持ち

x

y

2 4y x

2 6y x

2y x

LP解の最寄りを解とする

構造は似ているならまずはLP解を使ってみては．．


整数計画法の応用例（丸めによる解法）

容量制約を満たすレコメンドを求めよう

ij

j

x 容量

ij

i

x =1

,

ij ij

i j


ユーザーＡ

ユーザーＢ

ユーザーＣ

店舗1

店舗2

{0,1}ijx

5000000×30のレコメンドが6時間⇒実用的な精度


整数計画問題（緩和が効かない例）

デジタルな調整で需要にできるだけ無駄なく需要に追従させたい

一時間に一回の変化が可能：±10kwh， ±15kwh，±30kwh

緩和＝アナログな調整⇒問題として成立しない


整数計画問題（緩和が効かない例）

デジタルな調整で需要にできるだけ無駄なく需要に追従させたい

最適解


x3=0x3=0

x1=1x1=0

全ての変数を [0,1] に緩和（ルート問題）

x2=0x2=0x2=1

x2=1

x3=1x3=1x3=1 x3=1 x3=0

x3=0

整数計画問題に対する汎用解法（分枝限定法）

比較で残った現状の最適解

緩和解（一部整数性を満たさない）

暫定解（整数性を満たす）

制約を満たさない解

制約を満たさない解は分枝不要


x3=0x3=0

x1=1x1=0


x2=0x2=0x2=1

x2=1

x3=1x3=1x3=1 x3=1 x3=0

x3=0

整数計画問題に対する汎用解法（分枝限定法）





緩和解の情報から最適解になる可能性がわかる

分枝不要な解


x3=0x3=0

x1=1x1=0


x2=0x2=0x2=1

x2=1

x3=1x3=1x3=1 x3=1 x3=0

x3=0

分枝限定法（厳密解法）の気持ち





分枝不要な解

唯一の厳密解を追い求めよう！必ず解は存在する．緩和問題の答え（LP解）から情報を引き出し，最適解のない領域は切り捨てて絞り込めば厳密解はいつか求まるはずだ．．


ガスを入力して電気と蒸気を出力蒸気を入力

温水を出力

電気を入力冷水を出力

ガスを入力温水を出力

温水を入力冷水を出力

ガス料金

電力料金

入力：プラント設備特性，一日の需要予測

出力：各時刻・各機器の運転 ⇒ 自動化も可

動力プラントのオペレーション最適化


ガスを入力して電気と蒸気を出力蒸気を入力

温水を出力

電気を入力冷水を出力

ガスを入力温水を出力

温水を入力冷水を出力

ガス料金

電力料金

入力：プラント設備特性，一日の需要予測

出力：各時刻・各機器の運転 ⇒ 自動化


現実のプラントの30分刻みの運転計画が数分で求まる



http://www.azbil.com/jp/case/aac/nou_283/nou_283a.html


CSナンバー算出

「N勝すればクライマックスシリーズ進出」

⇒「 N勝して４位以下になることができないこと

(実行不可能性）の証明」


CSナンバー算出

「N勝すればクライマックスシリーズ進出」

⇒「 N勝して４位以下になることができないこと

(実行不可能性）の証明」

数分あれば全球団について計算できる


それにしても・・

単純な例題の解（再掲）？

解の納得性？予測に対する overfitting？


II 00’年代～現在


NTTデータ数理システムの最適化ビジネス

1. 実社会の問題を数理モデル化して解く支援

2. 数理モデルの解析ツールの開発（もその一つ）

アカデミック（オープンなノウハウ）

実務家（現場要件）

NTTデータ数理システム

スポンサー

http://www.msi.co.jp/nuopt/

http://www.msi.co.jp/nuopt/


リソース（会議室）調整問題

各会議の

スケジュール

選択肢

100件の会議の予定を前後に動かして会議室9個に収めたい会議は前後1時間まで動かしてよい

各会議について，このうちひとつを

選択する整数計画問題だ！


会議時間調整問題（初期状態）


会議時間調整問題（解１）

84件の会議を動かせって？会議室に納めりゃいいって

いうもんじゃない

会議を動かす数も最小化します！


会議時間調整問題（解２）

１時間も動かすのはやむをえないときだけにしたい

動かすペナルティ重みを調整します！


会議時間調整問題（解２）

うーん．そういえば・・

同じ人が出席する会議は重ねてはだめ．会議室の収容人数の考慮すること．たまに会議室の工事・改修もあるよ人の都合でどうしてもずらせない会議があるんだけど，調整不可な場合の折り合いのつけ方は，

どうしようかね？

「．．．」


実務的な最適化案件の特徴

最適解は意外と多い

最適化の意図は複数あって唯一ではない

折り合いが付けにくいので沢山答えが見たい

出てきた解を見ながらモデルを調整したい

モデルは完全でない答えは一つしか出ない同程度の良さの答えが幾つあるかはわからないし，制約を満たす解が存在しないならば出力なし．厳密解が求まるまで止まらないが何時止まるかはわからない．

厳密解法はではちょっと．．


[メタ]ヒューリスティクス登場

道具立て

選択肢から制約違反量を計算x1 x2 x3 x4 x5 x6 x71 ○2 ○ ○ ○ ○3 ○4 ○5

計算

違反量重み係数c1 0 10c2 0 2c3 5 2c4 2 1c5 10 1c6 2 1c7 7 500c8 0 0c9 2 3c10 1 2

3532

あえて「ブラックボックス」に

初期点は乱数に


[メタ]ヒューリスティクス

アクション

変更する変数を選ぶ

変数の値探索

最良の値に決定

x1 x2 x3 x4 x5 x6 x71 ○2 ○ ○ ○ ○3 ○4 ○5

x1 x2 x3 x4 x5 x6 x71 ○2 ○ ○ ○ ○34 ○5 ○

違反量重み係数c1 0 0c2 0 0c3 5 8c4 2 2c5 10 2c6 2 2c7 7 600c8 0 0c9 2 5c10 1 1

4279

制約の重みを変更する

x1 x2 x3 x4 x5 x6 x71 ○2 ○ ○ ○ ○34 ○5

105回以上の繰り返し


[メタ]ヒューリスティクス

近傍（一反復で考慮する範囲）

初期解

一定回数・時間で止める，その時点の解が結果


[メタ]ヒューリスティクスの気持ち

近傍（一反復で考慮する範囲）

初期解

一定回数・時間で止める，その時点の解が結果

どうせ探しきれないのだから

厳密解はあきらめて許される時間の範囲でできるだけ良い答えを拾い集めよう

初期点を変更すればその近くの解が出る


厳密解法との対比

厳密解法メタヒューリスティクス

実行可能解の一つ

最適解が存在しない領域


スケジューリング関連受託の事例

株式会社カネカ食用油脂配送配車計画システムhttp://www.msi.co.jp/nuopt/interview/interview5.html

大阪ガス株式会社当直シフト編成ツールhttp://www.msi.co.jp/nuopt/interview/interview4.html

社団法人日本将棋連盟関東奨励会における対戦表自動作成システムhttp://www.msi.co.jp/nuopt/interview/interview1.html

東日本旅客鉄道株式会社大規模勤務システムの自動勤務作成機能http://www.msi.co.jp/nuopt/solution/shift/case_jr.html

財団法人鉄道総合技術研究所鉄道線路保守計画の最適化システムhttp://www.msi.co.jp/userconf/2009/pdf/09miwa.pdf

・大学病院ナーススケジューリング・ケアセンター介護士シフトスケジューリング・銀行窓口業務スタッフスケジューリング・美容院における美容師スタッフスケジューリング・メディカルセンター健診スタッフスケジューリング・エネルギー事業所発電設備運転計画・コールセンター受電予測を考慮したインバウンドオペレータースケジューリング・コールセンター架電計画を考慮したアウトバウンドオペレータースケジューリング・フィットネスクラブスタッフ・ビル清掃／ビル警備／テナントスタッフ（ 2011 年度・ 2012 年度実績）

http://www.msi.co.jp/nuopt/interview/interview5.html



http://www.msi.co.jp/nuopt/solution/shift/case_jr.html


スケジューリング関連受託の事例

株式会社カネカ食用油脂配送配車計画システムhttp://www.msi.co.jp/nuopt/interview/interview5.html

大阪ガス株式会社当直シフト編成ツールhttp://www.msi.co.jp/nuopt/interview/interview4.html

社団法人日本将棋連盟関東奨励会における対戦表自動作成システムhttp://www.msi.co.jp/nuopt/interview/interview1.html

東日本旅客鉄道株式会社大規模勤務システムの自動勤務作成機能http://www.msi.co.jp/nuopt/solution/shift/case_jr.html

財団法人鉄道総合技術研究所鉄道線路保守計画の最適化システムhttp://www.msi.co.jp/userconf/2009/pdf/09miwa.pdf

・大学病院ナーススケジューリング・ケアセンター介護士シフトスケジューリング・銀行窓口業務スタッフスケジューリング・美容院における美容師スタッフスケジューリング・メディカルセンター健診スタッフスケジューリング・エネルギー事業所発電設備運転計画・コールセンター受電予測を考慮したインバウンドオペレータースケジューリング・コールセンター架電計画を考慮したアウトバウンドオペレータースケジューリング・フィットネスクラブスタッフ・ビル清掃／ビル警備／テナントスタッフ（ 2011 年度・ 2012 年度実績）

ほぼすべてメタヒューリスティクス解法を利用




http://www.msi.co.jp/nuopt/solution/shift/case_jr.html


実務的な最適化案件の特徴

最適解は意外と多い

最適化の意図は複数あって唯一ではない

折り合いが付けにくいので沢山答えが見たい

出てきた解を見ながらモデルを調整したい

モデルは完全でない初期値を変えて試してみれば複数の

解が得られる，制約を満たす解がなくてもできるだけ良い答えを出す

所定の時間内で確実に止まる

実務とアルゴリズムの「気持ち」が合致


あるシステム企画段階での会話

数理：「プロトの結果も大丈夫です．成果が見込めますよ」

経営サイド責任者：「うん，業界の人が集まる会議があるので聞いてみる」

…

数理：「どうでした？」

経営サイド責任者：

「それがみんなバブルのころに作ったんだけどもう使ってないって言ってたんだよな．．」

数理：「・・・」

最適化には負の歴史がある


立場と考え方の違い

システム担当

Ａ現場担当者

Ｂ現場担当者

Ｃ現場担当者

標準化・給与システムとの連携

眼前の業務

眼前の業務

眼前の業務

マネジメント

効率化・コスト削減

具体的・制約式重視抽象的・目的関数重視


マネジメント側にとっての最適化（イメージ）

コスト最適・効率向上！


マネジメント側にとっての最適化（イメージ）

コスト最適・効率向上！

≒厳密解法の描像

きっかけとしてはよいのですが．．


現場担当者にとっての最適化（イメージ）

最適解は複数存在し，微小な違いが実は重要


悪い相互作用

システム化の気持ち

なんでも取り込みたい

要件は変わらない

工数さえかければ何でもできる

厳密解法の気持ち


悪い相互作用の帰結

システム化の気持ち

なんでも取り込みたい ⇒ その分脆くなる

要件は変わらない ⇒ 変化するのが普通

工数さえかければ何でもできる ⇒ 数学的な限界がある

厳密解法の気持ち

•

⇒ 使えない解ばかり⇒ 解がいつ出るかわからない

• ⇒ 条件が悪いと解は出ない•

でも改修予算は出ない


ヒューリスティクスアルゴリズムの特性

スパイラルな開発プロセス

プロトタイピングで直接のユーザーと対話

対抗措置

何を言われても驚いてはならない


現場より

積み付け「詰め込めばいいっていうもんじゃない」

板取り「ロスが少なければいいっていうもんじゃない」

重心・作業性・荷崩れ防止・複数コンテナ平準化

オーバーハング・重量制約・回転方向・・

作業の手順・板の状態・・・


現場より

スケジューリング「いくらなんでもこのままでは使えない」

現場担当者：「店長が掃除やってるんですけど」

数理：「だってできるってデータに入ってるんですが」

現場担当者：「それはいざというときだけなんです！」

現場担当者：「ＡさんはＸだけ，ＢさんはＹだけやってるね」

数理：「Ａさん，Ｂさんどちらもできるって．．」

現場担当者：「均等にやらせてほしいんです！」

配車計画「タイムウインドウだけ守ればいいっていうものじゃない」

「積載量車両稼働可能時間同時配達作業不可時間

車両連続運転時間現地解散・現地集合とかあるんだよ」


平準化の定式化TIPS

ぶれの｛１ノルム，２ノルム｝の最小化

ii

N N

理想

人

2( )i

i

N N

理想

人

＝

＞

ぶれの平準化は１ノルム最小化では表現できない


教訓

現場の要請は必ず矛盾する

だからこそ最適化

結果で会話すべし

重要なルールが明文化されていない

担当者は結果を見せるまで気づかない

仕様を表現する言葉があいまい

試行錯誤が必須

低コストで「とりあえず解いてみる」ことが必須


シミュレーションソフト（＋人間系）

http://lnews.jp/2015/06/h062315.html


厳密解法＋ヒューリスティクス

分枝限定法ソフトウエアにヒューリスティクス導入

列生成法（ラグランジュ緩和）アルゴリズムの成功

選択肢の列挙 ⇒ 厳密解法

選択肢の重ね合わせ ⇒ ヒューリスティクス

＋


生産計画＋装置の設定

各製品の各生産工程には装置が介在

製品・工程の実施には装置設定（設備投資）が必要

装置の稼働時間の制約あり

装置の設備投資を最小化するためには

各製品の工程をどの装置で担当させればよいか？

製品A

製品B

製品Bの生産経路候補

製品Aの生産経路候補

装置


１．製品別パス（選択肢）の列挙

２．パスの選択と重ね合わせ

アルゴリズム（列生成）

製品Ａ：製品B：

厳密解法

ヒューリスティクス


１．製品別パス（選択肢）の列挙

２．パスの選択と重ね合わせ


製品Ａ：製品B：

厳密解法


実務的制約やノウハウを厳格に反映

全体を見て幅広く要件を満たす


目的関数値：

46318.5

生産計画＋装置の設定（求解イメージ）

適当な初期値から出発．設備投資が分散するのは最適ではない


目的関数値：

37737.0

下界値：

33902.1


経路を列挙，組み合わせを繰り返す


目的関数値：

36007.4

下界値：

34228.6





目的関数値：

35684.1

下界値：

34367.5




目的関数値：

35216.1

下界値：

34483.7




目的関数値：

35080.0

下界値：

34535.0




目的関数値：

34912.2

下界値：

34574.7



目的関数値：

34916.7

下界値：

34620.3




目的関数値：

34868.3

下界値：

34620.7





目的関数値：

34770.8

下界値：

34670.9

設備投資を集約させる結果になる


保守計画スケジューリング

土木建造物の安全性のため定期的に保守を実施

保守には費用が必要

土木建造物は200～2000件ある，来歴も様々，

自治体の予算を平準化するには？

保守スケジュール

選択肢


１．建造物保守スケジュール（選択肢）の列挙

２．スケジュール選択と重ね合わせ


道路Ａ：道路B：

厳密解法



0

10000

20000

30000

40000

50000

60000

70000

80000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70

周是費用

計画年次

計画年次と修繕費用

（反復回数１）

各建造物が標準の計画だと予算は偏る


0

10000

20000

30000

40000

50000

60000

70000

80000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70

修繕費用

計画年次


（反復回数２）

選択肢を列挙，組み合わせを繰り返す


0

10000

20000

30000

40000

50000

60000

70000

80000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70

修繕費用

計画年次


（反復回数３）



0

10000

20000

30000

40000

50000

60000

70000

80000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70

修繕費用

計画年次


（反復回数４）



0

10000

20000

30000

40000

50000

60000

70000

80000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70

修繕費用

計画年次


（反復回数５）



0

10000

20000

30000

40000

50000

60000

70000

80000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70

修繕費用

計画年次


（反復回数６）



0

10000

20000

30000

40000

50000

60000

70000

80000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70

修繕費用

計画年次


（反復回数７）



0

10000

20000

30000

40000

50000

60000

70000

80000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70

修繕費用

計画年次


（反復回数８）

平準化達成


III 今後に向けて


世の中はまだ知らない

データ活用システムのもたらす価値は何なのだろう？

コスト削減

平等性

手間の削減

明文化・属人化防止

安心感・納得感

安価な意思決定

高価な意思決定の材料供給


連携例（シフト自動計算の全体像）

事務件数予測

事務件数

シフト表

事務件数⇒人数変換

シフトスケジューリング

所要人数

外部要件

人員スキル就業規則

カレンダー情報など

時系列予測モデル

ルールベース

最適化


必要なこと，気になること

他システム（人間系を含む）との協調ノウハウ

リアルタイム性への対応

組み合わせ世界の把握の新しい方法

⇒サーチエンジン形式？

協働しましょう




設立

１９８２年４月１日


主な業務





数理計画・最適化パッケージ Numerical Optimizer(旧ＮＵＯＰＴ）







会社紹介





設立

１９８２年４月１日


主な業務





数理計画・最適化パッケージ Numerical Optimizer(旧ＮＵＯＰＴ）







会社紹介


ありがとうございましたよろしくお願いいたします

Data & Analytics

データサイエンティスト協会 木曜勉強会 #09 『意志の力が拓くシステム～最適化の適用事例から見たデータ活用システムの現在と未来～』

データサイエンティスト協会木曜勉強会 #09 『意志の力が拓くシステム～最適化の適用事例から見たデータ活用システムの現在と未来～』