目 　 次

3. 凸 関 数 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 13. 1 基本となる性質と例（3.1.1節-3.1.9節） · · · · · · · · · · · · · · · · · · · · · · 1

3. 1. 1 凸関数と基本的な性質 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 63. 1. 3 凸関数の 1次の条件 (3.1.3節) · · · · · · · · · · · · · · · · · · · · · · · · · · · · 93. 1. 4 凸関数の 2次の条件 (3.1.4節) · · · · · · · · · · · · · · · · · · · · · · · · · · · · 113. 1. 5 凸関数の例（3.1.5節） · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 133. 1. 6 準位集合 (3.1.6節) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 183. 1. 7 エピグラフ (3.1.7節) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 213. 1. 8 Jensenの不等式 (3.1.8節) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 243. 1. 9 不等式 (3.1.9節) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 25

3. 2 凸性を保持する操作（3.2.1節-3.2.6節） · · · · · · · · · · · · · · · · · · · · · · 263. 2. 1 非負の重み付け (3.2.1節) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 27

目 　 次

3. 凸 関 数 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 13. 2 凸性を保持する操作 (3.2.1節－ 3.2.6節) · · · · · · · · · · · · · · · · · · · · · · 28

3. 2. 2 アフィン写像との合成 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 283. 2. 3 各点ごとの最大化 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 293. 2. 4 合 成 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 313. 2. 5 最 小 化 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 333. 2. 6 関数の透視 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 36

3. 3 共役関数 (3.3.1節－ 3.3.2節) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 383. 3. 1 定 義 と 例 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 383. 3. 2 基本的な性質 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 42

3. 4 準凸関数 (3.4.1節－ 3.4.5節) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 443. 4. 1 定 義 と 例 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 443. 4. 2 基本的な性質 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 463. 4. 3 微分可能な準凸関数 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 483. 4. 4 準凸関数を保持する操作 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 503. 4. 5 凸関数の族としての表現 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 51

3. 5 対数凹，対数凸関数 (3.5.1節－ 3.4.2節) · · · · · · · · · · · · · · · · · · · · · · 523. 5. 1 定 義 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 523. 5. 2 性 質 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 53

3. 6 一般化された不等式に関する凸性 (3.6.1節－ 3.6.2節) · · · · · · · · · · 563. 6. 1 一般化された不等式に関する単調性 · · · · · · · · · · · · · · · · · · · · · · · 563. 6. 2 一般化された不等式に関する凸性 · · · · · · · · · · · · · · · · · · · · · · · · · 59

3凸 関 数

3. 1 基本となる性質と例（3.1.1節-3.1.9節）

2 3. 凸 関 数

多変数関数の微分可能性

o(�)は，

lim�→0

o(�)�

= 0

となる量を表す記号であるとする．

f が x ∈ dom f において (Fréchet)微分可能であるとは，

|f(x + Δx) − f(x) −∇f(x)T Δx| = o(‖Δx‖)

となるベクトル∇f(x)が存在することであり，このとき∇f(x)を，f の xにおける勾配ベクトルとよぶ．

lim supの表記を用いれば，

lim sup‖Δx‖→0

|f(x + Δx) − f(x) −∇f(x)T Δx|‖Δx‖ = 0

となるベクトル∇f(x)が存在することと等価である．定義より，勾配ベクトル∇f(x)が存在するのであれば唯一であることが確かめられる．

dom f 上の任意の点 xにおいて微分可能であるとき，f は微分可能であると

いう．また，∇f(x)が xに関して連続であるとき，f は 1回連続微分可能であるといい，f ∈ C1 と表す．

f が微分可能であるとき，勾配ベクトル∇f(x)は

∇f(x) =(

∂f(x)∂x1

, · · · , ∂f(x)∂xn

)

で与えられる．

f が x ∈ dom f において 2回微分可能であるとは，f ∈ C1 であって，

‖∇f(x + Δx) −∇f(x) −∇2f(x)Δx‖ = o(‖Δx‖)

となる行列 ∇2f(x) : �n → �n が存在することであり，このとき ∇2f(x)を，f の xにおけるヘシアンとよぶ．

lim supの表記を用いるならば，

lim sup‖Δx‖→0

‖∇f(x + Δx) −∇f(x) −∇2f(x)Δx‖‖Δx‖ = 0

3. 1 基本となる性質と例（3.1.1 節-3.1.9 節） 3

となる行列∇2f(x)が存在することと言い換えることもできる．勾配ベクトルと同様に，∇2f(x)が存在するのであれば唯一であることが示

せる．

dom f 上の任意の点 xにおいて 2回微分可能であるとき，f は 2回微分可

能であるという．また，∇2f(x)が xに関して連続であるとき，f は 2回連続微分可能であるといい，f ∈ C2と表す．

f が 2回微分可能であるとき，∇2f(x)は対称行列

∇2f(x) =[

∂2f(x)∂xi∂xj

]n×n

=[

∂2f(x)∂xj∂xi

]n×n

で与えられる．

4 3. 凸 関 数

多変数関数の線分上での微分

以下は，多変数関数の凸性を線分上の関数値の変化（1変数関数の問題）と

して議論する際に有用な性質である．

命題 3.1. dom f は凸開集合であり，f は 2回微分可能であるとする．x, y ∈dom f に対して，1変数関数 φ : [0, 1] → �を

φ(τ) := f(x + τ(y − x))

と定義する．このとき，

φ′(τ) = ∇f(x + τ(y − x))T (y − x),φ′′(τ) = (y − x)T∇2f(x + τ(y − x))(y − x)

である．

証明: τ ∈ [0, 1]を固定し，u = x + τ(y − x)とする．dom f が開凸集合であることから，u ∈ dom f であり，f の uにおける勾配ベクトル∇f(u), ヘシアン∇2f(u)が存在する．このとき，∇f(u)の定義より，

lim supσ→0

|φ(τ + σ) − φ(τ) − σ∇f(u)T (y − x)||σ|

= lim supσ→0

|f(u + σ(y − x)) − f(u) −∇f(u)T (σ(y − x))||σ|

= ‖y − x‖ lim supσ→0

|f(u + σ(y − x)) − f(u) −∇f(u)T (σ(y − x))|‖σ(y − x)‖

≤ ‖y − x‖ lim sup‖Δu‖→0

|f(u + Δu) − f(u) −∇f(u)T Δu|‖Δu‖

= 0

が得られ，

φ′(τ) = ∇f(u)T (y − x) = ∇f(x + τ(y − x))T (y − x)

を得る．

3. 1 基本となる性質と例（3.1.1 節-3.1.9 節） 5

同様に，

lim supσ→0

|φ′(τ + σ) − φ′(τ) − σ(y − x)T∇f2(u)(y − x)||σ|

= lim supσ→0

|∇f(u + σ(y − x))T (y − x) −∇f(u)T (y − x) − σ(y − x)T∇2f(u)(y − x)||σ|

= lim supσ→0

|[∇f(u + σ(y − x)) −∇f(u) −∇2f(u)σ(y − x)]T (y − x)||σ|

≤ lim supσ→0

‖∇f(u + σ(y − x)) −∇f(u) −∇2f(u)σ(y − x)‖‖y − x‖|σ|

= ‖y − x‖2 lim supσ→0

‖∇f(u + σ(y − x)) −∇f(u) −∇2f(u)σ(y − x)‖‖σ(y − x)‖

≤ ‖y − x‖2 lim sup‖Δu‖→0

‖∇f(u + Δu) −∇f(u) −∇2f(u)Δu‖‖Δu‖

= 0

が得られ，

φ′′(τ) = (y − x)T∇2f(u)(y − x) = (y − x)T∇2f(x + τ(y − x))(y − x)

を得る．

6 3. 凸 関 数

3. 1. 1 凸関数と基本的な性質

以下の 2つをみたすとき，関数 f : dom f → �は凸であるという．(i) dom f が凸であり，

(ii) 任意の x, y ∈ dom f，θ ∈ [0, 1]に対して，

f(θx + (1 − θ)y) ≤ θf(x) + (1 − θ)f(y)

がなりたつ．

特に，(ii)の代わりに以下の (ii’)をみたすとき，関数 f : dom f → �は狭義凸であるという．

(ii’) 任意の x, y ∈ dom f，x �= y, θ ∈ (0, 1)に対して，

f(θx + (1 − θ)y) < θf(x) + (1 − θ)f(y)

がなりたつ．

凸関数に関する以下の性質は重要である．

命題 3.2. dom f は凸開集合であり，f は dom f 上の凸関数であるとする．

(i) f は dom f 上で連続である．

(ii) S ⊂ dom fは凸かつ非空な有界閉集合（コンパクト集合）であって，

x ∈ intS, すべての y ∈ ∂S に対して f(x) ≤ f(y)

である xが存在するならば，f は S の要素である dom f 上の最小解

をもつ．

(iii) dom f が非空かつ有界であるならば，f は dom f 上で下に有界

な関数である．

証明: (i): 証明略．(参考文献：H. Bazarna, H. Sherali, and C. Shetty,

Nonlinear Programming Theory and Algorithms, Second edition, Wiley,

New York, 1993. pp.82-83.）

(ii): Sはコンパクト集合であり, (i)より f は S上で連続であるので，f は S上

で最小解 x̄ ∈ Sをもち，f(x̄) ≤ f(x)をみたす．よって，任意の z ∈ dom f \S

3. 1 基本となる性質と例（3.1.1 節-3.1.9 節） 7

について，f(z) ≥ f(x)であることを示せば十分である．z ∈ dom f \ S であるとする．

τ̄ := sup{τ ∈ [0, 1] : τz + (1 − τ)x ∈ S}

とすれば，dom f \ S が開集合であり x ∈ intS であることから，

0 < τ̄ < 1

であり，さらに S は閉集合であることから，

ȳ := τ̄ z + (1 − τ̄ )x ∈ ∂S

である．よって仮定より，f(ȳ) ≥ f(x)をみたす．f は凸関数であるので，

f(ȳ) = f(τ̄ z + (1 − τ̄ )x) ≤ τ̄ f(z) + (1 − τ̄ )f(x)

がなりたち，0 < 1 − τ̄ , f(ȳ) ≥ f(x)より，

f(z) ≥ 11 − τ̄ f(ȳ) −

τ̄

1 − τ̄ f(x)

≥ 11 − τ̄ f(x) −

τ̄

1 − τ̄ f(x)= f(x)

を得る．

(iii): dom f が有界であるとき，f は下に非有界であったとする．このとき，

limk→∞

f(xk) = −∞

である点列 {xk} ⊂ dom f が存在する．dom f は有界であることから，あるx̄ ∈ cldom f に収束する部分点列 {xk : k ∈ K}が得られる．

y ∈ dom f としよう．f はdom f 上の凸関数であることから，任意の k ∈ Kに対して

f((1/2)xk + (1/2)y) ≤ (1/2)f (xk) + (1/2)f (y) (3.1)

がなりたつ．ここで

8 3. 凸 関 数

limk→∞,k∈K

(1/2)xk + (1/2)y = (1/2)x̄ + (1/2)y

について，dom f は凸開集合であるので，

(1/2)x̄ + (1/2)y ∈ int (cldom f) = dom f

であることがわかる．(この性質は凸集合の顕著な性質であり，一般の集合では

成立しないが，ここではその証明を割愛する．）

f : dom f → �は dom f 上で連続であるので，

limk→∞,k∈K

f((1/2)xk + (1/2)y) = f((1/2)x̄ + (1/2)y) > −∞

であるが，これは (3.1)の右辺が点列 {xk : k ∈ K}にそって −∞に発散することに矛盾する．よって f は下に有界である．

3. 1 基本となる性質と例（3.1.1 節-3.1.9 節） 9

3. 1. 3 凸関数の 1次の条件 (3.1.3節)

命題 3.3. dom f は凸開集合であり，f は 1 回微分可能であるとする．f が

dom f 上で凸であることと，任意の x, y ∈ dom f について，

f(y) ≥ f(x) + ∇f(x)T (y − x)

がなりたつことは等価である．

証明: まず必要性を示す．

f は dom f 上で凸関数であるならば，任意の x, y ∈ dom f , τ ∈ (0, 1]において，

f(x + τ(y − x)) ≤ f(x) + τ(f(y) − f(x))

がなりたち，さらに

limτ→0

f(x + τ(y − x)) − f(x)τ

≤ f(y) − f(x)

を得る．φ(τ) := f(x + τ(y − x))とすれば，命題 3.1より

φ′(0) = limτ→0

f(x + τ(y − x)) − f(x)τ

= ∇f(x)T (y − x)

であるので，

f(y) ≥ f(x) + ∇f(x)T (y − x)

を得る．

次に十分性を示そう．任意の x, y ∈ dom f に対して，

τy + (1 − τ)x ∈ dom f, τ̃y + (1 − τ̃ )x ∈ dom f (3.2)

であるならば, 仮定より，

f(τy + (1 − τ)x) ≥ f(τ̃y + (1 − τ̃)x) + ∇f(τ̃ y + (1 − τ̃ )x)T (y − x)(τ − τ̃)

を得る．φ(τ) := f(x + τ(y − x)) とすれば，命題 3.1より

φ(τ) ≥ φ(τ̃ ) + φ′(τ̃ )(τ − τ̃ )

10 3. 凸 関 数

であることがわかる．すなわち，(3.2)をみたすすべての τ, τ̃ に対して上記が

なりたつことがわかる．

τ̃ ∈ [0, 1]としよう．dom f は凸であるので τ̃ は (3.2)をみたす．さらに特に τ = 0とすれば，

φ(0) ≥ φ(τ̃ ) + φ′(τ̃ )(0 − τ̃)

を得，特に τ = 1とすれば，

φ(1) ≥ φ(τ̃ ) + φ′(τ̃ )(1 − τ̃)

を得る．最初の式に (1 − τ̃)をかけ，2番目の式に τ̃ をかけ，これら 2つを加えると，

(1 − τ̃ )φ(0) + τ̃φ(1) ≥ φ(τ̃ )

を得る．φ(τ) := f(x + τ(y − x))であることを思い出せば，

(1 − τ̃ )f(x) + τ̃ f(y) ≥ f((1 − τ̃ )x + τ̃ y)

が得られ，τ̃ ∈ [0, 1]であることから，f が凸であることがわかる．

以上の議論から，f が dom f 上で凸であることと，任意の x, y ∈ dom f に対して，

φ(τ) := f(x + τ(y − x))

が 1変数 τ について，集合 (区間）

{τ : τy + (1 − τ)x ∈ dom f}

上で凸であることが等価であることもわかる．

3. 1 基本となる性質と例（3.1.1 節-3.1.9 節） 11

3. 1. 4 凸関数の 2次の条件 (3.1.4節)

命題 3.4. dom f は凸開集合であり，f は 2回微分可能であるとする．

(i) f が凸関数であることと，任意の x ∈ dom f において ∇2f(x)が半正定値であることは等価である．

(ii) 特に，任意の x ∈ dom f において ∇2f(x)が正定値であるならば，f は狭義凸関数である.

証明: (i): 既与の x, y ∈ dom f に対して．1変数関数

φ(τ) = f(x + τ(y − x))

を考えよう．命題 3.1で示したように，φは 2回微分可能であり，その 2次微

係数 φ′′(τ)は，

φ′′(τ) = (y − x)T∇2f(x + τ(y − x))(y − x)

で与えられる．

f が凸であるとは，任意の τ ∈ [0, 1]について

f(x + τ(y − x)) ≤ f(x) + τ(f(y) − f(x))

がなりたつことであり，このことを φを用いて表せば，

φ(τ) ≤ φ(0) + τ(φ(1) − φ(0))

となる．

上記の関係は 1変数関数 φ(τ)が下に凸であることを意味することから，関

数 f が凸であることは，任意の x, y ∈ dom f と任意の τ ∈ [0, 1] についてφ′′(τ) ≥ 0であることと等価であることがわかる．よって，任意の x, y ∈ dom f，τ ∈ [0, 1]において，

(y − x)T∇2f(x + τ(y − x))(y − x) ≥ 0

である必要十分条件が, 任意の z ∈ dom f において∇2f(z)が半正定値であることを示せばよい．

12 3. 凸 関 数

十分性は自明であるので，必要性のみを示す．

ある x ∈ dom f において∇2f(x)が半正定値ではなかったとする．対称行列が半正定値である必要十分条件は固有値がすべて非負であるので，∇2f(x)が半正定値行列ではないとすれば，

∇2f(x)d = λd

をみたす固有値 λ < 0と固有ベクトル d ∈ �n が存在する．dom f は開であることから，十分小さな � > 0に対して y := x+�d ∈ dom f

であり，τ = 0において

(y − x)T∇2f(x)(y − x) = λ‖y − x‖2 < 0

となって矛盾することから，必要性が示された．

(ii): 任意の z ∈ dom f に対して ∇2f(z)が正定値であれば，任意の x, y ∈dom f，τ ∈ [0, 1]において，

(y − x)T∇2f(x + τ(y − x))(y − x) > 0

がなりたつ．

よって任意の x, y ∈ dom f，τ ∈ [0, 1]において，φ′′(τ) > 0であり，関数f は任意の x, y ∈ dom f，x �= y, τ ∈ (0, 1)に対して，

f(x + τ(y − x)) < f(x) + τ(f(y) − f(x))

をみたす．

上記の命題 (ii)において，逆は成り立たないことに注意しよう．例えば，

f(x) = x4 (x ∈ �)

とすれば，f は狭義凸関数であるが，

∇2f(x) = 12x2, ∇2f(0) = 0

であって，∇2f(x)は x = 0において正定値ではない．

3. 1 基本となる性質と例（3.1.1 節-3.1.9 節） 13

3. 1. 5 凸関数の例（3.1.5節）

凸関数の例：指数関数 ex

-10 -8 -6 -4 -2 0 2 4 6 8 100

0.5

1

1.5

2

2.5x 10

4

x

exp(1*x)

14 3. 凸 関 数

凸関数の例：絶対値のべき乗 |x|p (p = 1)

-100 -80 -60 -40 -20 0 20 40 60 80 1000

10

20

30

40

50

60

70

80

90

100

x

x * log(x)

3. 1 基本となる性質と例（3.1.1 節-3.1.9 節） 15

凸関数の例：絶対値のべき乗 |x|p (p = 10)

-100 -80 -60 -40 -20 0 20 40 60 80 1000

1

2

3

4

5

6

7

8

9

10x 10

19

x

x * log(x)

16 3. 凸 関 数

凸関数の例：負のエントロピー関数 x log x

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1-0.4

-0.35

-0.3

-0.25

-0.2

-0.15

-0.1

-0.05

0

x

x * log(x)

3. 1 基本となる性質と例（3.1.1 節-3.1.9 節） 17

非凸関数の例：|x|p (p = 0.5)

-100 -80 -60 -40 -20 0 20 40 60 80 1000

1

2

3

4

5

6

7

8

9

10

x

x * log(x)

18 3. 凸 関 数

3. 1. 6 準位集合 (3.1.6節)

関数 f : dom f → �と，実数 α ∈ �対して，以下の集合を α-準位集合とよぶ．

Cα := {x ∈ dom f : f(x) ≤ α}

命題 3.5. f が dom f 上の凸関数であるならば，任意の α ∈ �に対して，α-準位集合 Cα は凸である．

証明: x, y ∈ Cα とし，θ ∈ [0, 1]とする．

θx + (1 − θ)y ∈ Cα

を示せばよい．

x, y ∈ Cα であることは，Cα の定義より，

x, y ∈ dom f

であり

f(x) ≤ α, f(y) ≤ α

であることを意味する．

f は dom f 上で凸であることから，dom f は凸であり，

θx + (1 − θ)y ∈ dom f

を得，さらに

f(θx + (1 − θ)y) ≤ θf(x) + (1 − θ)f(y)

をみたすが，

f(x) ≤ α, f(y) ≤ α

であるので，

f(θx + (1 − θ)y) ≤ θα + (1 − θ)α = α

をみたす．よって，

3. 1 基本となる性質と例（3.1.1 節-3.1.9 節） 19

θx + (1 − θ)y ∈ Cαを得る．

上記の命題の逆は成り立たないことに注意しよう.

Cα が凸であっても凸関数ではない f の例：f(x) = −ex

f ′(x) = f ′′(x) = −ex < 0, (x ∈ �)

であるので, f は凹関数であり，さらに単調減少関数である．

この f に対して，x, y ∈ Cα, θ ∈ [0, 1]とする．一般性を失うことなく，x ≤ yと仮定しよう．f は単調減少関数であることから，f(x) ≤ αであることは，任意の z ≥ xに対して f(z) ≤ αであることを意味する．さらに

θx + (1 − θ)y = x + (1 − θ)(y − x) ≥ x

であることから，f(θx + (1− θ)y) ≤ αが得られ，θx + (1− θ)y ∈ Cα であることがわかる．

f の凸性から集合の凸性がわかる例：p.75, Example 3.3

命題 3.6. x ∈ �n+ に対して,

G(x) := (Πni=1xi)1/n

, A(x) :=1n

n∑i=1

xi

(ただし 01/n = 0と定義)とすれば，G(x) ≤ A(x)がなりたつ.

証明:

ケース 1：n = 2p の場合

帰納法で示す. p = 1は相加相乗平均

√x1x2 ≤ x1 + x22

20 3. 凸 関 数

であり，(√

x1 −√x2)2 ≥ 0より導かれる. pで，G(x) ≤ A(x)が成り立つとき，p + 1について考えると，

12p+1

2p+1∑i=1

xi =

∑2pi=1

xi

2p +∑2p+1

i=2p+1xi

2p

2

≥(Π2

p

i=1xi)1/(2p)

+(Π2

p+1

i=2p+1xi

)1/(2p)2

≥((

Π2p

i=1xi

)1/(2p) (Π2

p+1

i=2p+1xi

)1/(2p))1/2

=(Π2

p+1

i=1 xi

)1/(2p+1)となり，p + 1でも G(x) ≤ A(x)が成り立つことがわかる.ケース 2：一般の場合

n ≥ 2に対して，2p−1 < n ≤ 2pとなる整数 pが存在する. この pに対して，m = 2p − nとすれば，m + n = 2pであるので，ケース 1で示したことから，∑n

i=1 xi + mA(x)n + m

≥ (Πni=1xi × A(x)m)1/(n+m) (3.3)

が成り立っている．このとき左辺は，∑ni=1 xi + mA(x)

n + m=

nA(x) + mA(x)n + m

= A(x)

であるので，(3.3)の両辺を n + m乗すれば，

A(x)n+m ≥ Πni=1xi × A(x)m

となり，よって

A(x)n ≥ Πni=1xiすなわち，A(x) ≥ G(x)を得る．

3. 1 基本となる性質と例（3.1.1 節-3.1.9 節） 21

3. 1. 7 エピグラフ (3.1.7節)

f : dom f → �に対して，集合

{(x, f(x)) : x ∈ dom f}

を f のグラフとよび，集合

{(x, α) : x ∈ dom f, f(x) ≤ α}

を f のエピグラフとよび，epi f と書く．

また集合

{(x, α) : x ∈ dom f, f(x) ≥ α}

を f のハイポグラフとよび hypo f と書く．

命題 3.7. f が dom f 上の凸関数であることと，epi f が凸集合であることは

等価である．

証明: fが凸関数であるときに，epi fが凸であることを示そう．(x,α), (y, β) ∈epi f であるとしよう．epi f の定義より，

x, y ∈ dom f, f(x) ≤ α, f(y) ≤ β

をみたす．f が凸関数であることから，任意の θ ∈ [0, 1]に対して，

θx + (1 − θ)y ∈ dom f、 f(θx + (1 − θ)y) ≤ θf(x) + (1 − θ)f(y)

であるので，

f(θx + (1 − θ)y) ≤ θα + (1 − θ)β

が得られ，

(θx + (1 − θ)y, θα + (1 − θ)β) ∈ epi f

であることがわかる．

逆に，epi f が凸であるときに f が凸であることを示そう．x, y ∈ dom f と

22 3. 凸 関 数

し，α = f(x), β = f(y)とすれば，

(x,α) ∈ epi f, (y, β) ∈ epi f

を満たす．epi f が凸であることから，任意の θ ∈ [0, 1]に対して，

(θx + (1 − θ)y, θα + (1 − θ)β) ∈ epi f

であり，epi f の定義から，

θx + (1 − θ)y ∈ dom f, f(θx + (1 − θ)y) ≤ θα + (1 − θ)β)

であることがわかる．α = f(x), β = f(y)としていることから，上記は f が

凸関数であることを意味している．

epi f が凸であることから凸関数であることがわかる f の例：p.76, Example

3.4

この例を理解するために，いくつかの準備を与えておく．証明は，R. A. Horn,

C. R. Johnson, Matrix Analysis, Cambridge University Press, Cambridge,

1985 等を参照されたい．

n次正方行列 Aと添え字集合 α ⊂ {1, 2, . . . , n}が与えられているとき，αに対応する行と列から作られた部分行列 Aαα を αに対する Aの首座小行列と

よぶ．

補助定理 3.1. 正定値行列の首座小行列は，正定値である．

補助定理 3.2 (Shur補完) 正方行列 A, C によって以下のように分割された

対称行列を考える． ⎡⎢⎢⎣ A B

B∗ C

⎤⎥⎥⎦

この行列が正定値行列であるため必要十分条件は，

3. 1 基本となる性質と例（3.1.1 節-3.1.9 節） 23

A O かつ C B∗A−1B

であることである．

上記の必要性については，テキスト 88頁 Example 3.15で証明が与えられる．

凸関数 f が 1回微分可能であり，x ∈ dom f であるとする．任意の (y, β) ∈epi f に対して，凸関数の x ∈ dom f での 1次の必要十分条件

f(y) ≥ f(x) + ∇f(x)(y − x)

を用いれば， ⎡⎢⎢⎣∇f(x)

−1

⎤⎥⎥⎦

T⎛⎜⎜⎜⎝⎡⎢⎢⎣ y

β

⎤⎥⎥⎦

T ⎡⎢⎢⎣ x

f(x)

⎤⎥⎥⎦

T⎞⎟⎟⎟⎠ ≤ 0

が得られ，(∇f(x),−1)によって定まる超平面が，epi f の (x, f(x)における支持超平面を与えることがわかる．

吉瀬章子長方形

訂正 �ハンドアウト ����）：

���

��

�

��

������

吉瀬章子添付ファイルtypo-handout-p23.pdf

24 3. 凸 関 数

3. 1. 8 Jensenの不等式 (3.1.8節)

命題 3.8 (Jensenの不等式) f が dom f 上の凸関数であるならば，任意の

x1, . . . , xn ∈ dom f と θ1, . . . , θn ≥ 0, θ1 + · · · + θn = 1に対して，

f(θ1x1 + · · · + θnxn) ≤ θ1f(x1) + · · · + θnf(xn)

が成り立つ．

証明: nに関する帰納法で示す．n = 2のときは凸関数の定義より成り立つ．

nで成り立っているとき，n + 1を考えよう．θn+1 = 0のときは自明であるの

で，θn+1 > 0であるとする．このとき，

f(θ1x1+· · ·+θnxn+θn+1xn+1) = f(

(1 − θn+1)(

θ11 − θn+1 x1 + · · · +

θ11 − θn+1 xn

)+ θn+1xn+1

)

であり，dom f が凸集合であることから

θ11 − θn+1 x1 + · · · +

θ11 − θn+1 xn ∈ dom f

であるので，f の凸性から，

f

((1 − θn+1)

(θ1

1 − θn+1 x1 + · · · +θ1

1 − θn+1 xn)

+ θn+1xn+1

)

≥ (1 − θn+1)f(

θ11 − θn+1 x1 + · · · +

θ11 − θn+1 xn

)+ θn+1f(xn+1)

を得，帰納法の仮定より，

f

(θ1

1 − θn+1 x1 + · · · +θ1

1 − θn+1 xn)

≤ θ11 − θn+1 f(x1)+· · ·+

θn1 − θn+1 f(xn)

であるので，n + 1でも成り立つことがわかる．

吉瀬章子ノートかつ　$\theta_{n+1}=1$

吉瀬章子ノートかつ$\theta_{n+1} < 1$

吉瀬章子取り消し線

吉瀬章子置換するテキスト$\theta_n$

吉瀬章子取り消し線

吉瀬章子置換するテキスト$\theta_n$

吉瀬章子取り消し線

吉瀬章子置換するテキスト$\theta_n$

吉瀬章子取り消し線

吉瀬章子置換するテキスト$\theta_n$

吉瀬章子取り消し線

吉瀬章子置換するテキスト$\theta_n$

補足 �テキスト ����� �����式）：

� � � � �が �� 上の凸関数であり，� � ��，�������� � �であると

きの，����の不等式

�

���

�������

��

��

����������

も � の凸性より以下のように示すことができる．

証明：簡単のため，� は �� 上で１階微分可能であるとし，

�� �

��

�������� � � � ������ � � ������ ��������

とする．� は凸関数であることから，任意の � � � に対して，

��� � � � ������ � ������ �������� � ����� � �

�������� ��� � ����

を得る．よって ��

���� �������� �

��

����������

が成り立つ．ここで�������� � �であることと ��� �� �の定義より，上式の左

辺は��

���� �������� � �

��

������� � �

��

������

� ��� � �

� � ������� � ������� ���������

� �����

� �

���

�������

�

となって題意を得る．

�

吉瀬章子長方形

3. 1 基本となる性質と例（3.1.1 節-3.1.9 節） 25

3. 1. 9 不等式 (3.1.9節)

命題 3.9 (Hölderの不等式) p > 1, 1/p + 1/q = 1と x, y ∈ �n に対して，n∑

i=1

xiyi ≤(

n∑i=1

|xi|p)1/p( n∑

i=1

|yi|q)1/q

が成り立つ．

証明: − log xの凸性と Jensenの不等式から，a, b > 0, θ ∈ [0, 1]に対して

− log(θa + (1 − θ)b) ≤ −θ log a − (1 − θ) log b

が得られ，両辺の指数をとれば，

aθb1−θ ≤ θa + (1 − θ)b

を得ることから,

a =|xi|p∑ni=1 |xi|p

, b =|yi|q∑ni=1 |yi|q

, θ = 1/p

を代入することで得られる．

26 3. 凸 関 数

3. 2 凸性を保持する操作（3.2.1節-3.2.6節）

3. 2 凸性を保持する操作（3.2.1 節-3.2.6 節） 27

3. 2. 1 非負の重み付け (3.2.1節)

1）f1, . . . fn が凸であり，w ∈ �n+ であれば，∩ni=1dom fi 上で，

f = w1f1 + · · ·wnfn

は凸．

2）各 y ∈ Aに対して，f(x, y)が xについて凸であり，各 y ∈ Aに対してw(y) ≥ 0であれば，

g(x) =∫A

w(y)f(x, y)dy

は凸．（積分の線形性より）

3）w > 0に対して，

epi (wf) = {(x, β)| wf(x) ≤ β}= {(x,wα)| f(x) ≤ α}

=

⎧⎪⎪⎨⎪⎪⎩

⎡⎢⎢⎣ I 0

0 w

⎤⎥⎥⎦⎡⎢⎢⎣ x

α

⎤⎥⎥⎦ |f(x) ≤ α

⎫⎪⎪⎬⎪⎪⎭

=

⎡⎢⎢⎣ I 0

0 w

⎤⎥⎥⎦ epi f.

28 3. 凸 関 数

3. 2 凸性を保持する操作 (3.2.1節－ 3.2.6節)

3. 2. 2 アフィン写像との合成

命題 3.1. f : � → �, A ∈ �n×m, b ∈ �とし，g : �m → � を

g(x) := f(Ax + b), dom g := {x| Ax + b ∈ dom f}

とする．f が凸（凹）であれば，gも凸（凹）である．

証明: 凸関数の定義より．

吉瀬章子取り消し線

吉瀬章子置換するテキスト$\Re^m$

3. 2 凸性を保持する操作 (3.2.1 節－ 3.2.6 節) 29

3. 2. 3 各点ごとの最大化

命題 3.2. 各 y ∈ Aに対して f(x, y)が「xについて凸」であるならば，関数

g(x) := supy∈A

f(x, y)

も xについて凸であり，

dom g = {x| ∀y ∈ A, supy∈A

f(x, y) < ∞}

epi g = ∩y∈Aepi f(·, y)

である．

証明: x1, x2 ∈ dom g, θ ∈ [0, 1]に対して，

g(θx1 + (1 − θ)x2) = supy∈A

f(θx1 + (1 − θ)x2, y)

≤ supy∈A

{θf(x1, y) + (1 − θ)f(x2, y)}

(f は xについて凸より)

≤ θ supy∈A

f(x1, y) + (1 − θ) supy∈A

f(x2, y)

(θ, 1 − θ ≥ 0, supの性質より)= θg(x1) + (1 − θ)g(x2).

また，

(x, α) ∈ ∩y∈Aepi f(·, y) ⇔ ∀y ∈ A, f(x, y) ≤ α⇔ sup

y∈Af(x, y) ≤ α

⇔ (x, α) ∈ epi g

例 3.10 (p.82):

yT Xy はX に関する線形関数であることに注意．

30 3. 凸 関 数

命題 3.3 (アフィン関数の各点ごとの最大化としての表現 (p.83)) f : �n →�, dom f = �n であるとき，

f(x) = sup{g(x)| g affine, ∀z, g(z) ≤ f(z)}

で与えられる．

証明: p.83に述べられている証明の補足．

epi f が凸であることから，2.5.1の議論より (x, f(x))における支持超平面

（法線 (a, b) �= (0, 0)）が存在する．epi f は f(x) ≤ tであれば，任意の大きなtに対して (x, t) ∈ epi f となるので，b > 0であることがわかる．こうして得られた支持関数 g(z)は xにおいて g(x) = f(x)であることから，supを達成

していることがわかる．（もし g(x) > f(x)であったら，∀z, g(z) ≤ f(z)であることに矛盾する)．

�� � 凸性を保持する操作 ������ 節－ ����� 節� ��

�� �� � 合 成

合成関数の微分については，「�������� �� ����� �� �」 を参照のこと．

この節では，合成関数が凸となる十分条件が述べられているが，そのひとつ

を以下に示す．�各関数の定義域が �� や �など全領域とは限らない点に注意

する．）

命題 ���� �の拡張関数を !�とすれば，�が凸，!�が非減少，� が凸であると

き，合成関数 � � � Æ �は凸となる．

証明�

�� � � ����� � ��� �� � �� � � ����� ����� ���� � ����� � ��� ��

���� � の定義より�

� � � ��� �� � ��� ��

��� � ��� ��� ���� � ��� �����

��は凸より�

� !����� � ��� ���� !������ � ��� ������

���� � ��� ����� � ����

�!�は非減少であり，�が凸かつ ����� ���� � ����より�

� ��� � ��� ��� � ����

よって � � ��� �� � ���� であり，さらに �の凸性から

������ � ��� ������ ������� � ��� ��������

を得，すなわち

����� � ��� ���� ������� � ��� ��������

となるので，合成関数 � は凸である．

�� �� 凸 関 数

ここで拡張関数は

!���� �

����������� �� � �����

�� �� �����

であり，

!�が非減少� �� � � � ���� �����

� �� � ����� � � � � � � �����

が成り立っている．

上記の議論において，この性質は必要であり，!�が非減少ではないとき，� が

凸にならない例が，��"�#$ ���������に述べられている．

3. 2 凸性を保持する操作 (3.2.1 節－ 3.2.6 節) 33

3. 2. 5 最 小 化

3.2.3節 p.81 (3.7)より, 任意の集合 Aに対して，

[∀y ∈ A, f(x, y) is convex in x] ⇒ [g(x) = supy∈A

f(x, y) is convex in x]

が成り立っていた．inf については，どのようなことが言えるだろうか．

命題 3.5. f が (x, y)について凸であり，C が非空凸であるとする．

g(x) = infy∈C

f(x, y)

とすれば，

dom g = {x| ∃y ∈ C, (x, y) ∈ dom f}

で与えられるとき，gは凸である．

証明: x1, x2 ∈ dom g, θ ∈ [0, 1]とする．g(x1), g(x2) > −∞であるので，gの定義より，

∀� > 0, ∃y1(�), f(x1, y1(�)) ≤ g(x1) + �, (3.1)∀� > 0, ∃y2(�), f(x1, y2(�)) ≤ g(x2) + � (3.2)

が成り立つ（inf の定義を思い出そう）．f は (x, y) について凸であるので，

∀� > 0に対して

(θx1 + (1 − θ)x2, θy1(�) + (1 − θ)y2(�)) ∈ dom f

であり，よって dom gにおいた仮定より，(θx1 + (1− θ)x2 ∈ dom gである．さらに

∀� > 0, g(θx1 + (1 − θ)x2) = infy∈C

f(θx1 + (1 − θ)x2, y)≤ f(θx1 + (1 − θ)x2, θy1(�) + (1 − θ)y2(�))

(inf の定義より)

34 3. 凸 関 数

≤ θf(x1, y1(�)) + (1 − θ)f(x2, y2(�))(f は (x, y)上で凸であることから)

≤ θ(g(x1) + �) + (1 − θ)(g(x2) + �)((3.1), (3.2)より)

= θg(x1) + (1 − θ)g(x2) + �

が成り立つ．2つの実数 a, b ∈ �について

[∀� > 0, a < b + �] ⇔ [a ≤ b]

であるので，

g(θx1 + (1 − θ)x2) ≤ θg(x1) + (1 − θ)g(x2)

が得られ，gは凸であることが示された．

Example 3.17 (p.89) 補足：

f(x, y) =

⎧⎪⎪⎨⎪⎪⎩

h(y) (Ay = x),

∞ (otherwise)

とすれば，

epi f = {(x, y, α)| x = Ay, h(y) ≤ α}= {(Ay, y, α)| h(y) ≤ α}

=

⎧⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎩

⎡⎢⎢⎢⎢⎢⎢⎣

A 0

I 0

0 1

⎤⎥⎥⎥⎥⎥⎥⎦| h(y) ≤ α

⎫⎪⎪⎪⎪⎪⎪⎬⎪⎪⎪⎪⎪⎪⎭

3. 2 凸性を保持する操作 (3.2.1 節－ 3.2.6 節) 35

=

⎡⎢⎢⎢⎢⎢⎢⎣

A 0

I 0

0 1

⎤⎥⎥⎥⎥⎥⎥⎦

epih

であることから，epi f が凸であることがわかり，f は凸となる．

36 3. 凸 関 数

3. 2. 6 関 数 の 透 視

2.3.3節を思い出そう．透視写像

P : �n ×�++ → �, P (z, t) = z/t

について，C が凸であるとき

P−1(C) = {(z, t) ∈ �n ×�++| z/t ∈ C}

は凸である．

命題 3.6. 関数 f : �n → �に対して，

g : �n ×�++ → �, g(x, t) = tf(x/t)

と定義すれば，f が凸であるとき gは凸である．

証明:

(x, t, α) ∈ epi g ⇔ tf(x/t) ≤ α⇔ f(x/t) ≤ α/t⇔ (x/t, α/t) ∈ epi f⇔ (x, t, α) ∈ P−1(epi f)

であるので，

epi g = P−1(epi f)

である．よって，

f is convex ⇔ epi f is convex⇒ P−1(epi f) is convex⇔ epi g is convex

を得る．

3. 2 凸性を保持する操作 (3.2.1 節－ 3.2.6 節) 37

Example 3.18 (p.89) 補足：3.1.5節の議論より，

g(x, t) =n∑

i=1

x2it

として，x2i

t の凸性より gの凸性を導くこともできる．

Example 3.19 (p.90) 補足：

Dkl(u, v) =n∑

i=1

(ui log(ui/vi) − ui + vi)

の関数の性質を調べるには，

f(x) = − log x − 1 + x

について，

f ′(x) = − 1x

+ 1

より，

∀x > 0, f(x) ≥ 0, f(x) = 0 ⇔ x = 1

であることから，

∀u, v ∈ �n++,Dkl(u, v) ≥ 0, Dkl(u, v) = 0 ⇔ ∀i, ui = vi

が得られる．

38 3. 凸 関 数

3. 3 共役関数 (3.3.1節－ 3.3.2節)

3. 3. 1 定 義 と 例

定義 3.1 (共役関数) f �n → �に対して f の共役関数 f∗ : �n → �は，

f∗(y) = supx∈dom f

(yT x − f(x)), dom f∗ = {y| f∗(y) < ∞}

で与えられる．

Figure 3.8 (p.91): この図の見方：

(1) yをひとつ与え，傾きが yの直線 z = yxを引こう．

(2) このケースでは，yx − f(x) ≥ 0となる領域がある．(3) 直線 z = yxを下に平行移動させて，epi f に接するようにすると，そ

の直線の y切片が −f∗(y)の値を与える．

Example 3.21 (p.91):1変数のアフィン関数

f(x) = ax + b ⇒ dom f∗ = {a}, f∗(a) = −b

負の対数関数 g(x) = yx − (− log x)としよう．y ≥ 0であれば，g(x)は非有界．y < 0であれば，g′(x) = y + 1/xより，x = −1/yで最大となるので

f∗(y) = y(−1/y) − (− log(−1/y)) = −1 − log(−y)

となる．

以下は 3.1.3節の凸関数の１次の条件と微分可能性の定義より直ちに導かれ

る結果であるが，凸関数に対する代表的な結果でもある．テキスト内では陽に

述べられていないが何度も用いられているので，ここに示しておく．

�� � 共役関数 ������ 節－ ����� 節� ��

命題 ��� 凸関数の１次の最適性必要十分条件� ���� が開である �回微分可

能な凸関数 � �� � �について，�� � ��� � が最小解であるための必要十

分条件は������ � �である．

証明� １回微分可能な凸関数の１次の条件 �����節の議論より，

� �� &'�(�� � �� � � ����� ���� � ���� �������� � ��

であったことを思い出そう．

�十分性）������ � �であれば，上式より，

� � ����� ���� � �����

となり，�� は最小解である．

�必要性）必要性は，以下に示すように，任意の微分可能な関数に対して成り立

つ．�� が最小解であって，������ �� �であったとしよう．

����� �� � ��������

とすれば，���� が開であることから，十分小さな � � -� � � に対して

���� � ���� である．さらに微分可能性の定義より，

������� � ����� ������������ � �� � �������� ����

� ������ ���������� � ������������

� ������ ���������� � ������������

� ����� � ���������

�����������

����

�

�

を得るが，�の定義より，

�"���

����

�� �

であるので，十分小さな � � !� � �に対して，

��������������

�� �

40 3. 凸 関 数

となる．α∗ = min{ᾱ, α̃}とすれば，y(α∗) ∈ dom f かつ f(y(α)) < f(x∗)となり，x∗ が最小解であることに矛盾する．

同様に，以下も得る．

命題 3.8 (凹関数の１次の最適性必要十分条件) dom f が開である 1回微分可

能な凹関数 f : �n → �について，x∗ ∈ dom f が最大解であるための必要十分条件は∇f(x∗) = 0である．

Example 3.22 (p.91): ここでは命題 3.7で示した，凸関数の１次の必要十

分条件を使っている．

∇g(x) = y − Qx = 0 ⇒ x = Q−1y

Example 3.23 (p.91):

f∗(X) = supx�0

(tr (XY ) − log (det X−1))

= supx�0

(tr (XY ) − log

(1

det X

))= sup

x�0(tr (XY ) + log detX)

Y �≺ 0であれば tr (XY ) + log detX が非有界であることを示そう．

Y �≺ 0 ⇒ ∃v : ‖v‖ = 1,∃λ ≥ 0, Y v = λv,X = I + αvvT ⇒ tr (Y X) + log detX = tr (Y + αY vvT ) + log det(I + αvvT )

= tr (Y + αλvvT ) + log det(I + αvvT )

= trY + tr (αλvvT ) + log det(I + αvvT )

= trY + αλ + log det(I + αvvT )

3. 3 共役関数 (3.3.1 節－ 3.3.2 節) 41

(tr (vvT ) = vT v = 1より)

= trY + αλ + log(1 + α)

(vvT = PΛPT , Λ = diag {1, 0, . . . , 0}より)

であり，

limα→∞(trY + αλ + log(1 + α)) = ∞

となる．

Y ≺ 0の場合については，A.4.1節の議論より，

∇X log det X = X−1

であり，X = −Y −1 のとき

tr (XY ) = tr (−Y −1Y ) = tr (−I) = −n

であることを用いて，

f∗(Y ) = log det(−Y −1) − n

を得る．

Example 3.24 (p.91): インディケーター関数

IS(x) =

⎧⎪⎪⎨⎪⎪⎩

0 (x ∈ S)

∞ (x �∈ S)

より，

I∗S(y) = supx∈S

{yT x − IS(x)} = supx∈S

{yT x}.

42 3. 凸 関 数

3. 3. 2 基本的な性質

命題 3.9 (Fenchel不等式)

∀x ∈ dom f,∀y ∈ dom f∗, f(x) + f∗(y) ≥ xT y

証明:

f∗(y) = supx∈dom f

{xT y − f(x)} ⇒ ∀x ∈ dom f, f∗(y) ≥ xT y − f(x).

命題 3.10 (共役関数の共役関数) f ;�n → �. dom f = �n について epi fが閉凸であるならば（すなわち f が閉かつ凸であるならば），f∗∗ = f である．

証明: Excersise 3.39 (d).

微分可能な関数

微分可能な関数 f の共役関数は f の Legendre変換と呼ばれる．命題 3.8よ

り以下が得られる．　　

命題 3.11. dom f が開である 1回微分可能な凸関数 f : �n → �について，f の Legendre変換は以下のように与えられる．

y = ∇f(x∗) ⇒ f∗(y) = x∗T∇f(x∗) − f(x∗)

証明: y = ∇f(x∗)であるならば，命題 3.8より，x∗ は凹関数

g(x) = yT x − f(x)

の最大解であることから，

3. 3 共役関数 (3.3.1 節－ 3.3.2 節) 43

f(y) = supx∈dom f

(yT x − f(x)) = ∇f(x∗)T x∗ − f(x∗)

を得る．

スケーリング，アフィン関数との合成

a > 0, b ∈ �について g(x) = af(x) + bとする．このとき，

g∗(y) = supx∈dom g

{yT x − (af(x) + b)}

= supx∈dom g

{a(y/a)T x − af(x) − b}

= a supx∈dom f

{(y/a)T x − f(x)} − b

= af∗(y/a) − b

同様に, A ∈ �n×n が正則で，b ∈ �n であるとき，g(x) = f(Ax + b)とすれば，

g∗(y) = supx∈dom g

{yT x − f(Ax + b)}

= supz∈dom f

{yT (A−1(z − b)) − f(z) − b}

(z = Ax + b ∈ dom f)= sup

z∈domf{(A−T y)T z − f(z)} − bT A−T y

= f∗(A−T y) − bT A−T y

44 3. 凸 関 数

3. 4 準凸関数 (3.4.1節－ 3.4.5節)

3. 4. 1 定 義 と 例

凸関数 f の特徴づけが epi f で与えられるのと対照的に，準凸関数の特徴付

けは準位集合 Sα で与えられる．

定義 3.2 (準凸関数) 関数 f : �n → �について，dom f と任意の α ∈ �に対して準位集合

Sα = {x ∈ dom f | f(x) ≤ α}

が凸であるとき，f は準凸関数（あるいは単峰関数）であるという．

−f が準凸関数であるとき f を準凹関数といい，準凸かつ準凹である関数を準線形関数という．準線形関数であるとき，集合 {x|f(x) = α}はすべての α ∈ �に対して凸である．

Example 3.34 (p.97): ここでは，0期において x0 > 0，割引率を考慮しな

いとき x0 + x1 + · · · + xn > 0であると仮定している．利率 r ≥ 0に対するキャッシュフロー xの現在価値を

PV(x, r) =n∑

i=0

(1 + r)−1xi

とする．このとき，現在価値が 0となる最小利率

IIR(x) = inf{r ≥ 0| PV (x, r) = 0}

は準凹関数になることを示そう。

まず，PV(x, 0) = x0 + x1 + · · · + xn > 0であり，また

limr→∞PV(x, r) = limr→∞

n∑i=0

(1 + r)−1xi = x0 < 0

3. 4 準凸関数 (3.4.1 節－ 3.4.5 節) 45

であることから，PV(x, ·)の連続性から, ある r̄ ∈ �において，PV(x, r̄) = 0となり（中間値の定理参照），IIR(x) ∈ �であることがわかる．さらに

{x| IIR(x) ≥ R} = {x| ∀r; 0 ≤ r ≤ R,PV(x, r) ≥ 0}δ

であり，各 r について PV(x, r) ≥ 0は xに対する半空間であるので，その共通部分である上記の集合は凸となり，IIRが準凹関数であることがわかる．

46 3. 凸 関 数

3. 4. 2 基本的な性質

命題 3.12 (準凸関数の特徴付け) f が準凸関数であるための必要十分条件は，

dom f が凸であり，

∀x, y ∈ dom f,∀θ ∈ [0, 1], f(θx + (1 − θ)y) ≤ max{f(x), f(y)}

をみたすことである．

証明: （必要性）f(x) = α, f(y) = β, γ = max{α, β}とすれば，

x, y ∈ {x| f(x) ≤ γ}

であり，f は準凸関数であることから，{x| f(x) ≤ γ}は凸である．よって任意の θ ∈ [0, 1]に対して

θx + (1 − θ)y ∈ {x| f(x) ≤ γ}

であり，よって

f(θx + (1 − θ)y) ≤ γ = max{α, β}が成り立つ．

(十分性）x, y ∈ {x| f(x) ≤ γ}, θ ∈ [0, 1]とすれば,

f(θx + (1 − θ)y) ≤ max{f(x), f(y)}

が成り立っていることから，

fc ≤ max{f(x), f(y)} ≤ γ

すなわち

θx + (1 − θ)y ∈ {x| f(x) ≤ γ}であるので，{x| f(x) ≤ γ}は凸であり，f は準凸関数である．

�上の準凸関数f : � → �とすれば，f が準凸関数であることは，準位集合が２つ以上に分離しないことと等価であるので，以下の３つのケースのみである．

3. 4 準凸関数 (3.4.1 節－ 3.4.5 節) 47

(1) f は非減少

(2) f は非増加

(3) ある c ∈ dom f が存在して，∀t ∈ dom f ; t ≤ cで f は非増加であり，∀t ∈ dom f ; t ≥ cで f は非減少である．

凸関数と同様に，準凸関数も線分 θx + (1 − θ)y ごとに性質を調べればよいので，上記の３つの場合分けを，f : �n → �に拡張して考えることができる．

48 3. 凸 関 数

3. 4. 3 微分可能な準凸関数

命題 3.13 (１次の条件) f : �n → �は１回微分可能であるとする．f が準凸関数であるための必要十分条件は，

f(y) ≤ f(x) ⇒ ∇f(x)T (y − x) ≤ 0

である．

証明: 凸関数に対する１次の条件の証明 p.70と同様に，１変数のケースを n

変数に拡張することで得られる．Exercise 3.43.

微分可能な凸関数に対する１次の条件

f(y) ≥ f(x) + ∇f(x)T (y − x)

が成り立つとすれば，

f(y) ≤ f(x) ⇒ ∇f(x)T (y − x) ≤ f(y) − f(x) ≤ 0

となり，準凸関数の１次の条件もみたしている．

Figure 3.12 (p.100) 準凸関数も１次の条件を支持超平面定理として説明で

きるが，凸関数における「epi f」の代わりに，「準位集合」に対する支持超平面

に対応していることに注意．

命題 3.14 (2次の条件) f : �n → �は 2回微分可能であるとする．(1) f が準凸関数であるならば，

∀x ∈ dom f,∀y ∈ �, yT∇f(x) = 0 ⇒ yT∇2f(x)y ≥ 0

である．

3. 4 準凸関数 (3.4.1 節－ 3.4.5 節) 49

(2)

∀x ∈ dom f,∀y ∈ �; y �= 0, yT∇f(x) = 0 ⇒ yT∇2f(x)y ≥ 0

であるならば，f は準凸関数である．

証明: p.101を参照．

50 3. 凸 関 数

3. 4. 4 準凸関数を保持する操作

最大化 (p.102) f(x) = supy∈C(w(y)g(x, y))について，

L(y, α) = {x| w(y)g(x, y) ≤ α}

とすると，f の αに対する準位集合は，

∩y∈CL(y, α)

で与えられる．よって，各 yに対して gが xに対する準凸関数であれ

ば，f も準凸関数となる．

最小化 (p.102) 凸関数と同様に，C が凸で，f(x, y)が (x, y)について準

凸関数であれば，

g(x) = infy∈C

f(x, y)

は準凸関数となる．

3. 4 準凸関数 (3.4.1 節－ 3.4.5 節) 51

3. 4. 5 凸関数の族としての表現

φt(x) ≤ 0 ⇔ f(x) ≤ t

である φt(一通りではない）を用いて，f の t－準位集合のインディケーター関

数（p.68 Example 3.1を参照）を

φt(x) =

⎧⎪⎪⎨⎪⎪⎩

0 (x ∈ {y|f(y) ≤ t})

∞ (otherwise)

とすれば，インディケータ関数は凸であることから，準凸関数を凸関数の族で

表現することができる．

52 3. 凸 関 数

3. 5 対数凹，対数凸関数 (3.5.1節－ 3.4.2節)

3. 5. 1 定 義

定義 3.3 (対数凸関数) 関数 f : �n → �が以下をみたすとき，関数 f は対数凸であるという．

∀x ∈ dom f, f(x) > 0, log f is convex.

log f(θx + (1 − θ)y) ≤ θ log f(x) + (1 − θ) log f(y)�

f(θx + (1 − θ)y) ≤ f(x)θf(y)1−θ

であり，凸関数が関数値の算術平均としての振る舞いをみるのに対して，対数

凸関数は関数値の幾何平均としての振る舞いをみている．

命題 3.15 (対数凸関数) 対数凸関数は凸関数である．すなわち対数凸関数は特

殊な凸関数である．

証明: 関数 f が対数凸であるならば，関数 log f は凸である．

関数 h(x) = ex は凸であり，単調増加関数であることに注意しよう．関数の

合成の規則 (p.84 (3.11)の最初の条件）より，凸関数 log f と h(x) = ex の合

成関数

h(log f(x)) = elog f(x) = f(x)

も凸である．

3. 5 対数凹，対数凸関数 (3.5.1 節－ 3.4.2 節) 53

3. 5. 2 性 質

2回微分可能な対数凸／凹関数

f が 2回微分可能な関数であるとき

∇ log f(x) = ∇f(x)f(x)

∇2 log f(x) = 1f(x)

∇2f(x) − 1f(x)2

∇f(x)∇f(x)T

であるので，f が対数凸関数であることと

f(x)∇2f(x) � ∇f(x)∇f(x)T

であることは等価である（対数凸であるとき f(x) > 0であることに注意）．

乗法，加法，積分

f, gが対数凸関数であるとき，以下の操作は対数凸の性質を保持する．

正数倍 log(αf(x)) = log f(x) + log α：定数を加えても凸関数．

乗法 log(f(x)g(x)) = log f(x) + log g(x)： 凸関数の和は凸関数．

加法 （この性質は「対数凸」に対して成り立つが，対数凹」に関しては必

ずしも成り立たないことに注意）F (x) = log f(x), G(x) = log g(x)

とすれば，

F (x), G(x) が凸⇒ exp(F (x)), exp(G(x)) は凸 (expは凸かつ単調増加より）　

⇒ exp(F (x)) + exp(G(x)) は凸

⇒ log(exp(F (x)) + exp(G(x))) は凸 (p.87, Example 3.14(2)参照）　

⇒ log(f(x) + g(x)) は凸 (exp(F (x)) = f(x), exp(G(x)) = g(x)より)

54 3. 凸 関 数

積分 さらに一般化して，各 y ∈ C について，f(x, y)が xに関して対数凸であるとき，F (x, y) = log f(x, y)とすれば，

∀y ∈ C, F (x, y) が凸⇒ ∀y ∈ C, exp(F (x, y)) は凸(expは凸かつ単調増加より）　

⇒∫

y∈Cexp(F (x, y))dy は凸

(p.79, 3.2.1節を参照）　

⇒ log(∫

y∈Cexp(F (x, y))dy

)は凸

(p.87, Example 3.14(2)参照）　

⇒ log(∫

y∈Cf(x, y)dy

)は凸

(exp(F (x)) = f(x)より)

しかし，対数凹については Example 3.14(2)のような関係が示せず，加法に

ついて閉じていない．例として，

f(x) = x, g(x) = ex

とすれば，共に対数凹関数であるが，

(log(f(x) + g(x)))” =ex(x − 2) − 1

(x + ex)2

となって常に (log(f(x) + g(x)))” ≥ 0とは限らないことがわかる．

対数凹関数の積分

証明は容易ではないが，以下が知られている．

命題 3.16 (対数凹関数の積分) f : �n ×�m → �が (x, y)に関して対数凹関

3. 5 対数凹，対数凸関数 (3.5.1 節－ 3.4.2 節) 55

数であるとき，

g(x) =∫

f(x, y)dy

は対数凹関数となる．（�m 上の積分であることに注意．）

証明: Prékopa(1980)等を参照．

この結果を用いると，以下のように関数の畳み込みの性質が導かれる．

f, g が �n 上で対数凹⇒ f(x − y), g(y) は �2n,�n 上で対数凹(log f の凸性は，アフィン関数との合成に不変)

⇒ f(x − y)g(y) は �2n 上で対数凹(対数凹は積に関して不変)

⇒∫

f(x − y)g(y)dy は �n 上で対数凹(命題 3.16より)

56 3. 凸 関 数

3. 6 一般化された不等式に関する凸性 (3.6.1節－ 3.6.2節)

3. 6. 1 一般化された不等式に関する単調性

定義 3.4 (一般化された不等式に関する単調性) K ⊆ �n が一般化された不等号�K に関して properであるとする．f : �n → �が以下をみたすとき，f はK-非減少であるという．

x �K y ⇒ f(x) ≤ f(y).

また、f : �n → �が以下をみたすとき，f はK-増加であるという．

x �K y, x �= y ⇒ f(x) < f(y).

Example 3.46(p.108) n次対称行列上の関数 f : Sn → �について，半正定値行列錐上で非減少であるとき，行列単調であるという．

tr (WX)はW � 0であるとき行列非減少であり，W � 0であるとき行列増加である．（p.52の Example 2.24を参照)

X � Y ⇒ X − Y � 0 ⇒ tr (W (X − Y )) ≥ 0 ⇒ tr (WX) ≥ tr (WY ).

同様に tr (WX)はW � 0であるとき行列非増加であり，W ≺ 0であるとき行列減少である．

命題 3.17 (微分可能なK 単調関数) f : �n → � の dom f が凸であり，微分可能であるとき，

[∀x ∈ dom f, ∇f(x) �K∗ 0] ⇔ [x �K y ⇒ f(x) ≤ f(y)]

が成り立つ．

3. 6 一般化された不等式に関する凸性 (3.6.1 節－ 3.6.2 節) 57

証明:

(⇐) 任意の x ∈ dom f において∇f(x) �K∗ 0であるが，非減少ではない，すなわち

∃x, y; x �K y, f(y) < f(x)

であったとする．

∃x, y; x �K y, f(y) < f(x) ⇒ ∃t ∈ [0, 1], ddt

f(x + t(y − x)) = ∇f(x + t(y − x))T (y − x) < 0(dom f は凸であり，f は微分可能であることから)

⇒ ∇f(x + t(y − x)) �∈ K∗

(K∗ の定義より)

⇒ ∇f(x) �K∗ 0に矛盾

(⇒)∀x ∈ dom f, ∇f(x) �K∗ 0

ではないと仮定し，x = z において，

∇f(z) ��K∗ 0

であるとする．

∇f(z) ��K∗ 0 ⇒ ∃v ∈ K, ∇f(z)T v < 0(K∗ の定義より)

⇒ h(t) = f(z + tv) に対して h′(0) = ∇f(z)T z < 0

⇒ ∃t > 0, h(t) = f(z + tv) < h(0) = f(z)

58 3. 凸 関 数

⇒ ∃y(= z + tv), y � x f(y) < f(z)

⇒ f はK-非減少ではない

同様に，

[∀x ∈ dom f, ∇f(x) �K∗ 0] ⇒ [x �K y, x �= y ⇒ f(x) < f(y)]

を示すことができるが，通常の 1変数に対する場合と同様に，逆は必ずしも成

り立たないことに注意しよう．

(例えば，f : � → �, f(x) = x3とすれば，f は増加関数であるが，f ′(0) = 0であり，

∀x ∈ �, f ′(x) > 0

を満たしてない．）

3. 6 一般化された不等式に関する凸性 (3.6.1 節－ 3.6.2 節) 59

3. 6. 2 一般化された不等式に関する凸性

定義 3.5 (一般化された不等式に関する凸性) K ⊆ �n が一般化された不等号�K に関して properであるとする．f : �n → �m が以下をみたすとき，f はK-凸であるという．

∀x, y ∈ dom f, θ ∈ [0, 1], f(θx + (1 − θ)y) �K θf(x) + (1 − θ)f(y).

また、f : �n → �が以下をみたすとき，f は狭義K-凸であるという．

∀x, y ∈ dom f ; x �= y, θ ∈ (0, 1), f(θx+(1−θ)y) ≺K θf(x)+(1−θ)f(y).

Example 3.48 (p.110): f : �n → Sm であるとする．

[∀z, zT f(x)z が凸] ⇔ [∀z, ∀θ ∈ [0, 1], ∀x, y, zT f(θx + (1 − θ)y)z ≤ θzT f(x)z + (1 − θ)zT f(y)z]

⇔ [f(θx + (1 − θ)y) � θf(x) + (1 − θ)f(y)]

であり，これを f の行列凸性 とよぶ．

f(X) = XXT , X ∈ �n×m は行列凸関数である．

凸関数に関する多くの結果は，K-凸関数にも拡張できる．

K-凸性の双対な特徴づけ

命題 3.18 (K-凸性の双対な特徴づけ) K ⊆ �nが一般化された不等号�K に関して properであるとする．f : �n → �m について以下が成り立つ．

f がK-凸 ⇔ ∀w �K∗ 0, wT f が凸

証明:

f がK-凸⇔ ∀θ ∈ [0, 1], ∀x, y, f(θx + (1 − θ)y) �K θf(x) + (1 − θ)f(y)

60 3. 凸 関 数

⇔ ∀θ ∈ [0, 1], ∀x, y, θf(x) + (1 − θ)f(y) − f(θx + (1 − θ)y) �K 0

⇔ ∀θ ∈ [0, 1], ∀x, y, ∀w ∈ K∗, wT (θf(x) + (1 − θ)f(y) − f(θx + (1 − θ)y)) ≥ 0(p.53, K = K∗∗ = {x| ∀w ∈ K∗, wT x ≥ 0} )

⇔ ∀θ ∈ [0, 1], ∀x, y, ∀w ∈ K∗, wT (θf(x) + (1 − θ)f(y)) ≤ wT f(θx + (1 − θ)y)

⇔ ∀w ∈ K∗, wT f は凸

微分可能なK-凸関数

命題 3.19 (微分可能なK-凸関数) K ⊆ �n が一般化された不等号 �K に関して properであるとする．微分可能な関数 f : �m → �m について，以下が成り立つ．

f がK-凸 ⇔ ∀x, y ∈ dom f, f(y) �K f(x) + Df(x)(y − x)

(Df(x) ∈ �m×n は f の xにおけるヤコビ行列（A.4.1節を参照）．）

合成定理

命題 3.20 (K-凸関数の合成) K ⊆ �n が一般化された不等号 �K に関してproperであるとする．g : �n → �が K-凸であり，h : �p → �が凸であり，拡張関数 h̃がK-非減少であるとき，h ◦ gはK-凸である．ここで，h̃がK-非減少であるならば，domh − K = domhである．

convex-optimization-supplement.pdfMay29,06June5,06June12,06JUne19,06convex-optimization-supplement2.pdfMay22.06