Upload
klaus
View
49
Download
0
Embed Size (px)
DESCRIPTION
第8回輪講 2011.06 .28 ( 火 ). 慶應義塾大学 理工学部 管理工学科4年 曹研究室 60803571 遠藤 健司. 今週やったこと. 非線形計画法 ラグランジュ 緩和問題 双対 問題 不等式 制約の ある最適化問題最適性 KKT 条件 制約条件のない最適化問題の最適性 最急降下法. 参考にした書籍. 「数理計画法の基礎」 坂和正敏 著 森北出版(株)( 1999, 初版) 「数理計画法」~最適化の手法 森哲夫 著 共立出版 (株)( 1994, 初版). 非線形計画問題. 主問題. - PowerPoint PPT Presentation
Citation preview
第8回輪講2011.06.28
(火 ) 慶應義塾大学 理工学部 管理工学科4年 曹研究室 60803571遠藤 健司
今週やったこと
非線形計画法 ラグランジュ緩和問題 双対問題 不等式制約のある最適化問題最適性 KKT 条件 制約条件のない最適化問題の最適性 最急降下法
参考にした書籍 「数理計画法の基礎」
坂和正敏 著 森北出版(株)( 1999, 初版)
「数理計画法」~最適化の手法 森哲夫 著 共立出版(株)( 1994, 初版)
を で最適化したもの→ 双対関数
非線形計画問題
n
j
i
R
ljh
migts
f
x
x
x
x
,...,2,1,0)(
,...,2,1,0)(..
)(min
主問題
lj
mi
j
i
,...,2,1
,...,2,1)0(
ラグランジュ乗数
ラグランジュ乗数と、対応する主問題の制約関数との積の和に、目的関数を加える。→ ラグランジュ関数
l
jjj
m
iii hgfL
11
)()()()( xxxμλ,x,
ラグランジュ関数
)( μλ,x,L x
n
m
i
l
ijjii
X
Rts
hgf
L
x
xxx
μλ,x,x
..
)()()(min
)(min
1 1
双対関数
主問題の目的関数をラグランジュ関数に置き換えることで、満足すべき制約条件が緩くなり、解き易くなる。(緩和問題)→ ラグランジュ緩和問題
)(min)( μλ,x,μλ,xLd
X
ラグランジュ緩和問題
双対問題双対問題(ラグランジュ双対問題)
0λ
μλ,
..
)(max
ts
d
主問題が与えられた場合、これとペアになる問題である、双対問題が必ず存在する。しかし、主問題の最適解に対する最適値と、双対問題の最適解に対する最適値が等しくなるとは限らない。→ 弱双対定理
:,
:
x 主問題の最適解
双対問題の最適解
l
jjj
m
iii hgfL
11
)()()()( xxxμ,λ,x
mi
ljh
mig
i
j
i
,...,2,1,0
,...,2,1,0)(
,...,2,1,0)(
x
x
これらの値をラグランジュ関数に代入する。
但し、
)()( xμ,λ,x fL
)()(
)(min)(
μ,λ,xμ,λ
μλ,x,μλ,x
Ld
LdX
また、双対関数の定義より、
・・・①
・・・②
式①、②より、)()( μ,λx df → 弱双対定理
)()( μ,λx df ※ の場合、双対ギャップが存在する。
凸計画問題双対ギャップが存在しない非線形計画問題→ 凸計画問題
凸計画問題
n
j
i
R
lih
migts
f
x
x
x
x
,...,2,1,0)(
,...,2,1,0)(..
)(min → 凸関数→ 凸関数→ 一次関数
→ 凸集合
定理:局所的最適性の2次必要条件 のとき、 が制約条件のない最適化問題の局所的最適解であるための必要条件は で、しかも におけるヘッセ行列 が半正定 となることである。
制約条件のない最適化問題に対する最適性の条件
nRts
f
x
x
..
)(min
制約条件のない非線形計画問題
大域的最適解nRff xxx )()(
局所的最適解
)()(
}|||||{),(0
00
xx
xyyx
ff
RN n
x
0x
定理:局所的最適性の必要条件 のとき、 が制約条件のない最適化問題の局所的最適解であるための必要条件は が成立することである。
1)( Cf x 0x
0)( 0 xf
2)( Cf x 0x
0)( 0 xf0x)( 02 xf
nT Rf ddxd ,0)( 02定理:凸関数の最適性の必要十分条件 が 上で微分可能な凸関数とするとき、 が制約条件のない最適化問題の大域的最適解であるための必要十分条件は、 が成立することである。
)(xf
0)( 02 dxd fT
nRd
nR x0)( xf
不等式制約条件のある最適化問題に対する最適性の条件
不等式条件のある非線形計画問題
mi
gts
f
i
,...,2,1
,0)(..
)(min
x
x
不等式制約式による制約集合
},...,2,1,0)(|{
,...,2,1
},0)(|{
1
mixgR
XX
mi
xgRX
in
i
m
i
in
i
x
x
定理:凸計画問題の最適性の条件不等式条件のある非線形計画問題の制約集合が凸集合で、目的関数が凸関数であれば、その局所的最適解は大域的最適解であり、最適解の集合は凸集合である。
が全て凸関数であれば、 は凸集合となる。
)(xigX
:Xx
不等式条件のある非線形問題の実行可能解
:}0)(|{)( xx igiI
活性制約式( )の添字集合0)( xig
Kuhn-Tucker, KKT 条件定義:線形独立制約想定(正規条件)先述の非線形計画問題の制約関数 は全て 級の関数で、 とする。このとき、 における勾配ベクトル が線形独立であれば、制約関数 は で線形独立制約想定を満たすという。
)(xig 1CXx
Xx)(),( xx Iigi
)(xigXx
→ ラグランジュ乗数の存在を保証する。
1:)(),( Cgf i xx 級の関数
:0 Xx局所的最適解
Kuhn-Tucker, KKT 条件
mi
g
g
gfL
i
ii
i
m
iii
,...,2,1,0
0)(
0)(
0)()(),(
0
00
0
1
00000
x
x
xxλxx
→ 相補条件
定理:凸計画問題に対する最適性の十分条件不等式条件のある非線形計画問題において、 が全て凸関数の時、(つまり、凸計画問題の時) において、 KKT 条件を満たしていれば、 は大域的最適解 となる。
migf i ,...,1),(),( xx
X0x0x x
KKT 条件を満たすラグランジュ乗数 が存在すると仮定した場合、 KKT条件を満たす はラグランジュ関数 の最小値を与える。→ ラグランジュ緩和問題の最適解となる。(凸計画問題の場合)
0i
0x )( 0λx,L
降下法
では、非線形計画問題が凸計画問題ではなかった場合は・・・ある初期点から出発して、目的関数 の値を次々と減少させるようなの点列、 となるような点列 を系統的に生成する。→ 降下法
)(xfnR
)()()( 21 lfff xxx }{ lx
:
:
:
:1
l
l
l
l
d
x
x
現在の点
次の新しい点方向ベクトルステップ幅
更新公式,...2,1,:1 lllll dxx
方向ベクトル はあるステップ幅に対して、 を満たす必要がある。( :降下方向)またステップ幅 は一次元探索問題 を解くことで求められる。
ld 0la)()( llll ff xdx
ld0l)()(min
0
lll
af dx
最急降下法 降下法のアルゴリズム1. 初期点 を選び、 とする。2. 現在の点 において停止基準
をみたせば終了、そうでない場合は降下方向 をもとめる。
3. 一次元探索問題を解き、ステップ幅 をもとめ、
として、手順 2. へ戻る。
目的関数の微分可能性を仮定すると、テイラーの定理より、
であるため、方向ベクトル は を満たせば降下方向になる。
dxxdx )()()( fff lll d
0)( dxf
降下方向 を勾配ベクトル を用いて、 とすることにより、 の近傍で を最も急激に減少させる最急降下方向に選ぶ手法→ 最急降下法
ld )( lf x)( lTl f xd
lx )( lf x
lx 1:llx
ld
l1:,:1 llllll dxx
※ 停止基準: ||)(|| lf x
一次元探索問題の最小値が正確に求められた場合
0)(
)(
1
ll
llll
f
fl
dx
ddx
は と直交するので、新しい方向ベクトル はこれまでに得られている全ての方向ベクトルと直交する。
ld )( 1 lf x
)( 11 lTl f xd
等高線が超球(二次元の場合は円)となる関数の場合、一回の探索で最小点に到達できる。しかし、それ以外の等高線が偏心しているよう一般の関数では、最小点の近傍での探索でジグザグになり、効率のよい探索方法とは言えない。
初期点を とする。
2変数の 2 次関数に対する最急降下法
0,0
0,
41
14
222
1)( 2
22121
aQ
xxxxQaf T
b
xxxbx T
0)()(
0})({
0)()(min
(
0
lTlllTT
llllT
llll
TT
Q
f
Qf
l
dddxb
ddxb
ddx
xbx)
より、
となるので、 α に関する式に変換すると、最適ステップ幅が解析的に与えられる。
,...2,1,)(
)(
l
Q
qlTl
lll
dd
dx
)3,2(1 x
)4,4()(
20)(
2121
1
xxxxQf
fT
xx
x
なので、
)10,5()(
)10,5()(11
1
xd
x
f
fT
二次関数に対する一次元探索問題の最適ステップ幅は、
16
5
10
5
41
14)10,5(
10
5)10,5(
)(
)(11
11
dd
dx
Q
qT
l
1250.0
4375.0
2
7
16
1
10
5
16
5
3
2
1112
dxx
よって、
同様にして x3 を求めると、
0703.0
0469.0
3
2
128
1
2223
dxx
となり、点列 は右図のように2つの直線
上の値を交互に取りながら、最適解 に近づいていく。
}{ lx
1212 2
7,
2
3xxxx
T)0,0(0 x
次回論文に戻る
「 A Paradigm for the Scheduling of a Continuous Walking Beam Reheat Furnace Using a Modified Genetic Algorithm」
Jonathan S. Broughtona, Mahdi Mahfoufb* & Derek A. LinkensbMaterials and Manufacturing Processes
Volume 22, Issue 5, 2007 An Optimal Scheduling Algorithm for Reheating Furnace in Steel Production
NING Shu-shi,WANG Wei,LIU Control and Decision 2006-10