並列分散遺伝的アルゴリズムの有効性

並列分散遺伝的アルゴリズムの有効性

学績番号　 36980705

畠中　一幸

知的システムデザイン研究室

Intelligent Systems Design Laboratory

Intelligent Systems Design Laboratory,Doshisha University

講演内容

•最適化と遺伝的アルゴリズム最適化と遺伝的アルゴリズム

•並列分散遺伝的アルゴリズム並列分散遺伝的アルゴリズム

•計算時間の短縮計算時間の短縮

•解探索過程の比較解探索過程の比較

•環境分散遺伝的アルゴリズム環境分散遺伝的アルゴリズム

•結論結論


最適化とは問題解決のために，選択肢の中から最も良いと思われる方法を選ぶこと

　　 Ex. 携帯電話の料金プラン，最短経路探索


従来の手法による最適化

目的関数の傾きを利用

頂点が増える

最適化困難


生物の進化

遺伝子のコピーミスが

起こる

有性生殖により生まれた子供は両親の特徴を

併せ持つ

交叉

自然淘汰優れた個体ほど子孫を残しやすい

突然変異

生物は長い年月を経るうちに，環境に適合するように進化してきた．


GA による最適化評価

11

22

選択遺伝的操作


問題点問題点

•計算時間が膨大•局所解への収束•パラメータ設定

•傾きを利用しない•確率的多点探索

GAGA の特徴の特徴

並列分散化並列分散化

解決策解決策

Intelligent Systems Design Laboratory,Doshisha University従来の GA

並列分散 GA

速い

遅い


並列分散 GA における移住

•移住間隔•移住率

n 世代 2n 世代1 世代

分割母集団間での個体の交換操作


対象問題

節点 4 と６に 10 ｋＮの水平荷重

目的目的総体積の最小化

•６番節点の変位が臨界値以内•各部材が座屈破壊を起こさない•引張応力が臨界値以内

制約条件制約条件

節点 1 と 2 は単純支持 5kN

5kN


計算条件

個体数 320 個体終了条件 500 世代選択ルーレット選択＋エリート保存交叉方法一点交叉交叉率 60 ％突然変異率遺伝子長の 1

分割数が 2n 個の GA に対し，10 試行の試行平均で比較．

パラメータパラメータ

比較項目比較項目


計算時間の短縮

1 2 4 8 16 320

20

40

60

80

100

120x1

03 Tim

e(s)

Number of Sub-populations

Average time Ideal time


0 5 10 15 20 25 30 351.5

1.6

1.7

1.8

1.9

2.0

2.1

Tot

al V

olum

e(x1

0-3 m

3 )


Best Mean Worst

初期値依存性の減少


移住の効果

0 5 10 15 20 25 30 351.5

1.6

1.7

1.8

1.9

2.0

2.1

To

tal V

olu

me(

x10

-3 m

3 )


Best Mean Worst


解探索過程の比較

13

57

9 1 2 3 4 5 6 780

500

1000

1500

2000

2500

3000

3500

4000

Are

a(m

m2 )

Truss Member Order

初期母集団の個体はランダムに生成されている

上位上位 88 個体の断面積分布（個体の断面積分布（ 00 世代）世代）

同じ初期母集団に対し，以下の GA を適用

•　 SGA•　移住なし PGA•　隔移住あり PGA

移住間隔 50 世代移住率 30% 　

解探索過程の比較を行う


上位 8 個体の断面積分布（中間世代）

13

57

9 1 2 3 4 5 6 780

500

1000

1500

2000

2500

Are

a(m

m2 )

Truss Member Order

PGA

各母集団毎に固有の個体が生成されている

SGA

13

57

9 1 2 3 4 5 6 780

500

1000

1500

2000

2500

Are

a(m

m2 )

Truss Member Order

単一母集団のため個体の性質が似ている


最終結果（ SGA）

1.875×10-3（ m3）

最適解の 1.25倍

変数の分布が最適解と異なり，個体同士の形状が類似

13

57

9 0 1 2 3 4 5 6780

500

1000

1500

2000

Are

a(m

m2 )

Truss MemberOrder

＝大域的最適解

→最適解を得るには，多くの世代が必要


最終結果（ PGA：移住なし）

1.624×10-3（ m3）


13

57

9 0 1 2 3 4 5 6780

500

1000

1500

2000

Are

a(m

m2 )

Truss Member Order


分割母集団 1 の解が最適解と類似→　しかし初期値依存性の問題は残る


最終結果（ PGA：移住あり）

13

57

9 0 1 2 3 4 5 6780

500

1000

1500

2000

Are

a(m

m2 )

Truss Member Order


1.548×10-3（ m3）


どの分割母集団においても最適解に非常に類似した解が得られている


環境分散遺伝的アルゴリズム

環境分散アルゴリズム

を提案

適切なパラメータ設定に関する問題適切なパラメータ設定に関する問題

•GA の探索パフォーマンスは，パラメータ設定に大きく影響される．

•最適なパラメータ設定は問題によって異なる　　　

DGA,SGA,DGA,SGA, との比較により，有効性を検との比較により，有効性を検証証


パラメータ設定に関する予備実験

0.60.6

0.30.3

0.60.6

1.01.0

0.30.3

0.60.6

1.01.0

0.30.3

0.60.6

1.01.01.01.0

0.30.3

Cro

ssov

er

　 R

ate

MutationMutation 　　 RateRate

0.1/L

0.1/L

1/L

0.1/L

0.1/L 1/L

1/L

1/L

10/L10/L

10/L10/L

10/L10/L

10/L10/L

注） L は個体長

9 つのパラメータ設定

を SGA と DGA に適用

パラメータ設定が，解探索に与える影響

をしらべる


適合度の履歴（ SGA）

1.0

1.2

1.4

1.6

1.8

0 200 400 600 800 1000

Number of Generations

Fitn

ess

Val

ue

0.3 - 0.1/L0.6 - 0.1/L1.0 - 0.1/L0.3 - 1/L0.6 - 1/L1.0 - 1/L0.3 - 10/L0.6 - 10/L1.0 - 10/L


適合度の履歴（ DGA）

1.0

1.2

1.4

1.6

1.8

0 200 400 600 800 1000


Fitn

ess

Val

ue

0.3 - 0.1/L0.6 - 0.1/L1.0 - 0.1/L0.3 - 1/L0.6 - 1/L1.0 - 1/L0.3 - 10/L0.6 - 10/L1.0 - 10/L


分散 GA の効果

パラメータ設定が等しければ， DGA が良い

しかしながら，パラメータ設定の

問題は残る1

1.2

1.4

1.6

1.8

SGA DGA

Fitn

ess

Val

ue

0.3 - 0.1/L0.6 - 01/L1.0 - 0.1/L0.3 - 1/L0.6 - 1/L1.0 - 1/L0.3 - 10/L0.6 - 10/L1.0 - 10/L



従来の DGA 環境分散 GA


1

1.2

1.4

1.6

1.8

SGA DGA DEGA

Fitn

ess

Val

ue

0.3 - 0.1/L0.6 - 01/L1.0 - 0.1/L0.3 - 1/L0.6 - 1/L1.0 - 1/L0.3 - 10/L0.6 - 10/L1.0 - 10/L DEGA

Worst = 1.38

Avg.1.58

Best = 1.74

Avg.1.70

Best = 1.78

Worst = 1.58

環境分散 GA の効果

1.75


結　論

•並列処理を行うことにより，計算時間が短縮した．

•母集団を分割し移住を行うことで解の品質と信頼性が向上

した．

•環境分散 GA は最適な交叉率，突然変異率が不明な場合に有効

制約条件付き最適化問題にSGA と並列分散 GA を適用することにより，以下のことがらが判明した．


今後の課題

• 総個体数と分割数．– 効率的に探索を行うにはどうすれば良いのか．

• 適切な移住スキームの提案．– 「いつ」，「どこで」，「どのような個体」と行う

のか．

• 分割母集団での役割分担– 選択方法や，交叉方法を各母集団で変化させる．


論文リスト1. 三木光範 , 畠中一幸 :　分散並列 GAによる計算時間の短縮と最適解の高品質化 , 第10回超並列計算研究会 , (1998).2. 三木光範 , 畠中一幸 :　並列分散 GAによる計算時間の短縮と解の高品質化 , 日本機械学会 [No.98-14], 第3回最適化シンポジウム講演論文集 , pp..59-64, (1998).3.Mitsunori MIKI, Tomoyuki HIROYASU and Kazuyuki HATANAKA:　 Parallel Genetic Algorithms with Distributed-Environment Multiple Population Scheme,Proc. 3rd World Congress of Structural and Multidisciplinary Optimization (WCSMO), Vol. 1, pp.186-191,(1999).4. 三木光範 , 廣安知之 , 金子美華 ,畠中一幸 :　環境分散型並列遺伝的アルゴリズム , 電子情報通信学会電子情報通信学会技術研究報告 AI99011~21, pp.87-94,(1999).5.畠中一幸 , 三木光範 , 廣安知之 :　分割母集団 GAにおける移住間隔の最適化 , 日本機械学会 , (1999).6.畠中一幸 :並列分散遺伝的アルゴリズム , 第 1回同志社大学工学部並列研究会 ,　 (1999).7. 三木光範 ,廣安知之 ,金子美華 ,畠中一幸 :環境分散遺伝的アルゴリズムにおける探索メカニズム , 情報処理学会９９年度秋期全国大会 , (1999).8.Mitsunori MIKI, Tomoyuki HIROYASU, Mika KANEKO and Kazuyuki HATANAKA:　 A Parallel Genetic Algorithm with Distributed Environment Scheme,IEEE Proceedings of Systems, Man and Cybernetics Conference SMC'99, (1999) , pp.695-700 (1999).


Appendix

補　足　資　料


最適化問題の定式化

min)( xF

),,,( 21 nxxx x

Sx

目的関数目的関数

設計変数設計変数

制約条件制約条件


従来の最適化手法

長所 : 高速短所 : 勾配の評価，初期値依存性

線形計画法線形計画法非線形計画法非線形計画法


遺伝的アルゴリズム遺伝的アルゴリズムシミュレーテッドアニーシミュレーテッドアニーリングリング

確率的戦略

モンテカルロモンテカルロ法法　

長所 : 初期値依存性が無い，勾配の評価が不要短所 : 計算コストが高い

ランダム重点的


進化的戦略

遺伝的アルゴリズム（ Genetic Algorithms:GA）遺伝的プログラミング（ Genetic Programming:GP），進化戦略（ Evolutionary Strategy:ES）進化的プログラミング（ Evolutionary Programming:EP），クラシファイアシステム（ Classify System）ニューラルネットワーク（ Neural Network:NN），セルラーオートマトン（ Cellar Automata:CA），

シミュレーテッドアニーリング (Simulated Annealing:SA）も，進化戦略との類似性が高い．

生物の営みの一部を工学的にモデル化した手法

これらの方法を用いた最適化手法の特徴は，目的関数の感度を用いない点である．


遺伝的アルゴリズム生物の進化を工学的にモデル化した手法

海外1985 　 ICGA: International Conference on Genetic Algorithms1990 　 PPSN: International Conference on Parallel Problem Solving from Nature1994 　 ICEC: International Conference on Evolutionary Computation1999 　 GECCO: 国内

人工知能学会，情報処理学会，日本ファジィ学会等

J.H.Holland：Adaptation In Natural and Artificial Systems,University of Michigan Press,(1975).

D.E.Goldberg:Genetic Algorithms in Search Optimization and Machine Leraning. Addison-Wesley,Reading,Mass. (1989).


単一母集団を使用個体の評価を並列に行う

共有メモリ型の並列計算機向き

大規模並列化モデル


粗粒度並列化モデル

母集団を複数のサブ母集団に分割「移住」と言う解交換を

行う．


細粒度並列化モデル

プロセッサ 1 つに1 つまたは比較的少数の個体

解交換は近傍のみ

計算効率は優れているが，距離の離れたプロセッサ間で

の情報交換が行えない


Performance of DEGA

1.0

1.2

1.4

1.6

1.8

0 200 400 600 800 1000


Fitn

ess

Val

ue

0.3 - 0.1/L0.6 - 0.1/L1.0 - 0.1/L0.3 - 1/L0.6 - 1/L1.0 - 1/L0.3 - 10/L0.6 - 10/L1.0 - 10/LDEGA


1.2

1.3

1.4

1.5

1.6

1.7

1.8

0.3 0.6 1.0 0.3 0.6 1.0 0.3 0.6 1.0

Crossover Rate

Fitn

ess

Val

ue

SGA 270

SGA 2430

パラメータ設定の影響 (SGA)Mutation Rate

0.1/L 1/L 10/L


1.2

1.3

1.4

1.5

1.6

1.7

1.8

0.3 0.6 1.0 0.3 0.6 1.0 0.3 0.6 1.0

Crossover Rate

Fitn

ess

Val

ue

DGA 270

DGA 2430

パラメータ設定の影響 (DGA)Mutation Rate

0.1/L 1/L 10/L



分割母集団毎に，異なる突然変異率と，

交叉率を設定


最適解の形状

5kN

5kN


-5

-2.5

0

2.5

5

-5

-2.5

0

2.5

5

0

20

40

60

80

-5

-2.5

0

2.5

5

0

20

40

60

80

特徴•多峰性関数•設計変数間に依存関係が無い依存関係が無い

で最小値 0 となる

Rastrigin 関数

n

iiin xxnxxf

1

21 )2cos(1010),,( ･･･

12.512.5 ix

)0,,0(),,( 1 nxx


Rosenbrock 関数

n

iiin xxxxxf

1

2211 )1()(100),,( ･･･

048.2047.2 ix

)1,,1(),,( 1 nxx

-2

-1

0

1

2

-2

-1

0

1

2

0

1000

2000

-2

-1

0

1

2

特徴•単峰性関数•設計変数間に強い依存関係強い依存関係がある

で最小値 0 となる


移住間隔の最適化

初期段階初期段階分離された母集団の独立性を高めることが重要

初期段階初期段階分離された母集団の独立性を高めることが重要

移住間隔移住間隔

大大


大大

収束段階収束段階分割母集団全体で良好な解の交換が必要

収束段階収束段階分割母集団全体で良好な解の交換が必要


小小


小小

移住間隔を解探索の進行と共に減少解探索の進行と共に減少させる方法を提案移住間隔を解探索の進行と共に減少解探索の進行と共に減少させる方法を提案


提案手法の効果（ Rastrigin）

100 50 10 5 1-5

-4

-3

-2

-1

0

0 200 400 600 800 1000

Number of GenerationsF

itnes

s va

lue

151050100∞SGAVariable


提案手法の効果（ Rosenbrock）

100 50 10 5 1-0.5

-0.4

-0.3

-0.2

-0.1

0

0 200 400 600 800 1000


Fitn

ess

valu

e

151050100∞SGAVariable


提案手法の効果（トラス構造物）

100 50 10 5 11.6

1.64

1.68

1.72

1.76

1.8

0 200 400 600 800 1000

Number of GenerationsF

itnes

s va

lue

1 510 50100 ∞SGA Variable


適合度の履歴（ SGA:pop.2430）

1.0

1.2

1.4

1.6

1.8

0 200 400 600 800 1000


Fitn

ess

Val

ue

0.3 - 0.1/L0.6 - 0.1/L1.0 - 0.1/L0.3 - 1/L0.6 - 1/L1.0 - 1/L0.3 - 10/L0.6 - 10/L1.0 - 10/L


Documents

並列分散遺伝的アルゴリズムの有効性