第二章 优化设计数学基础

本章内容 优化问题分单变量和多变量，有约束和无约束，

线性和非线性问题。 无约束优化就是数学上的无条件极值，约束优化

就是数学上的条件极值。 我们常见的是非线性规划问题。 本章是回顾相关的数学基础，讨论约束最优化的

条件等问题

第一节 多元导数的方向导数与梯度方向导数 一个二元函数在 处的偏导数

0x

1

0

10 1 20 10 20

01 1

, ,limx

x

f x x x f x xf

x x

2

0

10 20 2 10 20

02 2

, ,limx

x

f x x x f x xf

x x

图 2-1 二维空间中的方向

一个二元函数在 处的沿方向 d 的导数0x

0

10 1 20 2 10 20

0

, ,limd

x

f x x x x f x xf

d d

0

10 1 20 2 10 20

0

, ,limd

x

f x x x x f x xf

d d

10 1 20 10 20 1

01

, ,limd

f x x x f x x x

x d

10 1 20 2 10 1 20 2

02

, ,limd

f x x x x f x x x x

x d

0 0

1 21 2

cos cosx x

f f

x x

同理，三元函数的方向导数

多元函数的方向导数

0 0 0 0

1 2 31 2 3

cos cos cosx x x x

f f f f

d x x x

0 0 0 0

1 21 2

cos cos cos nx nx x x

f f f f

d x x x

0

n

1

cos ii i x

f

x

图 2-2 三维空间中的方向

二元函数的梯度二元函数的梯度

称函数在 处的梯度。

0 0 0 0

11 2

21 2 1 2

coscos cos

cosx x x x

f f f f f

d x x x x

0

0

10

1 2

2

T

x

x

f

x f ff x

f x x

x

0x

方向导数的几种形式：

1

2

cos

cosd

0

0

T

x

ff x d

d

0

0 0 cos ,T

x

ff x d f x f d

d

图 2-3 梯度方向与等值线的关系

当在 平面内画出 的等值 线1 2x x 1 2,f x x 2x

1 2,f x x c

可以看出，在等值线的切线方向 d 是函数变化率为零的方向，即有

0x

0

0 cos , 0x

ff x f d

d

cos , 0f d 所以

作业：求二元函数

在 处函数变化率最大的方向和数值。

2 21 2 1 2 1 2, 4 2 5f x x x x x x

0 0 0T

x

多元函数的梯度

0

1

201 2

n

T

n x

n x

f

x

ff f f

xf xx x x

f

x

d 方向上的方向导数

0 0

0 01

cos cos ,n

T

iix i x

f ff x d f x f d

d x

1

2

cos

cos

cos n

d

0

12 2

01

n

i i x

ff x

x

为梯度 的模。 0f x

0

0

f xp

f x

为梯度方向单位向量，它与函数等值面 相垂直。

f x c

图 2-5 梯度方向与等值面的关系

多元函数的泰勒展开一元函数 在 点处的泰勒展开式为 f x 0x x

20 0 0

1' ''

2f x f x f x x f x x

其中 220 0,x x x x x x

二元函数 在 点处的泰勒展开式为 1 2,f x x 0 10 20,x x x

0 0

0 0 0

1 2 10 20 1 21 2

2 2 22 21 1 2 22 2

1 1 2 2

, ,

12

2

x x

x x x

f ff x x f x x x x

x x

f f fx x x x

x x x x

其中 1 1 10 2 2 20,x x x x x x

0

0

10

21 2

2 2

21 1 2 1

1 2 2 22

22 1 2

1

2

x

f

x

xf ff x f x

xx x

f f

x x x xx x

xf

x x x

0 0 0

1

2T Tf x f x x x G x x

其二阶偏导数矩阵：

又称 hession 矩阵

0

2 2

21 1 2

0 2 2

22 1 2 x

f f

x x xG x

f f

x x x

0 0

2 2

1 2 2 1x x

f f

x x x x

作业 求二元函数 在 点处的二阶泰勒展开式。

2 21 2 1 2 1 2, 4 2 5f x x x x x x

100

20

2

1

xx

x

将二元函数的泰勒展开式推广到多元函时，则 在 点处泰勒展开式的矩阵形式为 1 2, , , nf x x x 0x

0 0 0

1

2T

f x f x f x x xG x x

其中 0

01 2

T

n x

f f ff x

x x x

为函数 在 点处的梯度 f x 0x

0

2 2 2

21 1 2 1

2 2 2

20 2 1 2 2

2 2 2

21 2

n

n

n n n x

f f f

x x x x x

f f f

G x x x x x x

f f f

x x x x x

若将函数的泰勒展开式只取到线性项，即取

0 0 0

Tz x f x f x x x

则 是过 点和函数 所代表的超曲面相切的切平面。

z x 0x f x

第二节 无约束优化的极值条件 对于二元函数 ，若在 点处取得极值，其必要条件是

1 2,f x x 0 10 20,x x x

0 01 2

0x x

f f

x x

0 0f x

为了判断从上述必要条件求得的 是否是0x

极值点，需要建立极值的充分条件。根据二元函数 在 点处的泰勒展开式，考虑上述极值必要条件，有

1 2,f x x 0x

0 0 0

2 2 22 2

1 2 10 20 1 1 2 22 21 1 2 2

1, , 2

2x x x

f f ff x x f x x x x x x

x x x x

设0 0 0

2 2 2

2 21 1 2 2

, ,x x x

f f fA B C

x x x x

则

2 21 2 10 20 1 1 2 2

2 2 210 20 1 2 2

1, , 2

21

,2

f x x f x x A x B x x C x

f x x A x B x AC B xA

即要求 :

或表示为

2 21 2 10 20 1 1 2 2

2 2 210 20 1 2 2

1, , 2

21

,2

f x x f x x A x B x x C x

f x x A x B x AC B xA

1 2 10 20, , 0f x x f x x

2 2 21 2 2

10

2A x B x AC B x

A

20, 0A AC B

0

2

21

0x

f

x

该条件反映了函数在 处的各阶主子式大于 00

22 2 2

2 21 2 1 2

0

x

f f f

x x x x

0

2 2

21 1 2

0 2 2

22 1 2 x

f f

x x xG x

f f

x x x

0

2

21

0x

f

x

0

2 2

21 1 2

0 2 2

22 1 2

0

x

f f

x x xG x

f f

x x x

0x

多元函数的极值充分条件

*

*

1 2

0T

n x

f f ff x

x x x

*

2 2 2

21 1 2 1

2 2 2

* 22 1 2 2

2 2 2

21 2

n

n

n n n x

f f f

x x x x x

f f f

G x x x x x x

f f f

x x x x x

正定

函数的极小点和最小点

第三节 凸集、凸函数与凸规划

图 2-7 下凸的一元函数

凸集

一个点集（或区域），如果连结其中任意两点 和 的线段全部包含在该集合内，就成该点集为凸集，否则称非凸集。凸集的概念可以用数学的语言简练地表示为：如果对一切 ， 及一切满足 的实数 ，点 ，则称集合 为凸集。凸集既可以是有界的，也可以是无界的。 n 维空间中的 维子空间也是凸集（例如三维空间中的平面）。

1x 2x

1x R

2x R 0 1 1 21x x y R R

图 2-8 凸集与非凸集

凸集具有以下性质：

（ 1 ）若 A 是一个凸集， 是一个实数， 是凸集 A 中的动点，即 ，则集合

还是凸集

aa A

: ,A x x a a A

（ 2 ）若 A 和 B 是凸集， 、 分别是凸集 A 、 B中的动点，即 ， ，则集合

还是凸集。

a ba A b B

: , ,A B x x a b a A b B

（ 3 ）任何一组凸集的交集还是凸集。

这三个性质如图所示

凸集的性质

凸函数 函数 如果在连接其凸集定义域内任意两点 、 的线段上，函数值总小于或等于用 及 作线性内插所得的值，那么称 为凸函数。用数学语言表达为

f x

1x 2x 1f x 2f x

f x

1 2 1 21 1f x x f x f x

0 1

凸函数的定义

下面给出凸函数的一些简单性质：

设 为定义在凸集 上的一个凸函数，对任意实数 ，则函数 也是定义在 上的凸函数。

设 和 为定义在凸集 上的两个凸函数，则其和 也是 上的凸函数。

对任意两个整数 和 ，函数 也是在 上的凸函数。

f x R0

2f x 1f x

f x R

R 1 2f x f x R

1 2f x f x

R

凸性函数 设 为定义在凸集 上，且具有连续一阶导数的函数，则 在 上为凸函数的充分必要条件是对凸集 内任意不同两点 、 ，不等式

f x R f x R

R 1x 2x

2 1 2 1 1

Tf x f x x x f x

这是根据函数的一阶导数信息——函数的梯度 来判断函数的凸性。也可以用二阶导数信息——函数的海塞矩阵 来判断函数的凸性。

f x G x

设 为定义在凸集 上且具有连续二阶导数的函数，则 在 上为凸函数的充分必要条件是海塞矩阵 在 上处处半正定。（证明从略）

恒成立。

f x

R

f x

R G x

R

凸规划对于约束优化问题 min f x

. . 0 1,2, ,js t g x j m 若 1,2, ,jf x g x j m 、 都为凸函数，则称此问题为凸规划。凸规划有如下性质：

1 ）若给定一点 ，则集合 为凸集。此性质表明，当 为二元函数时期等值线成大圈套小圈形式。

0x 0R x f x f x f x

2 ）可行域 为凸集。 0, 1,2, ,jR x g x j m

3 ）凸规划的任何局部最优解就是全局最优解。

第四节 等式约束优化的极值条件

min f x

. . 0 1,2, ,ks t h x k m

求解等式约束优化问题：

需要导出极值存在的条件，这是求解等式约束优化问题的理论基础。对这一问题在数学上有两种处理方法：消元法（降维法）和拉格朗日乘子法（升维法），现分别予以介绍。

消元法 为了便于理解，先讨论二元函数只有一个等式约束的简单情况，即 1 2min ,f x x

1 2. . , 0s t h x x 1 2x x

对于 n 维情况

1 2min , , nf x x x

1 2. . , , 1, 2, ,k ns t h x x x k l

由 个约束方程将 n 个变量中的前 个变量用其余 个变量表示，即有

l ln l

1 1 1 2

2 2 1 2

1 2

, ,

, ,

, ,

l l n

l l n

l l l l n

x x x x

x x x x

x x x x

拉格朗日乘子法 拉格朗日乘子法是求解等式约束优化问题的另一种经典方法，它是通过增加变量将等式约束优化问题变成无约束优化问题。所以又称升维法。

对于具有 个等式约束的 N 维优化问题l min f x

. . 0 1,2, ,ks t h x k l

在极值点 处有*x

* *

1

0n T

ii i

fdf x dx f x dx

x

* *

1

0 1,2, ,n T

kk i k

i i

hdh x dx h x dx k l

x

把 个等式约束给出的 个 分别乘以l1

0n

ki

i i

hdx

x

1,2, ,k k l

l

1

0n

ii i

fdxx

待定系数 再和 相加，得31 2

1 2 31

0n

ll i

i i i i i i

h hh hfdx

x x x x x

（ 2-10 ）

可以通过其中的 个方程l

31 21 2 3 0l

li i i i i

h hh hf

x x x x x

（ 2-11 ）

来求解 个 ，使得 个变量的微分 的系数全部为零。 这样式（ 2-10 ）的等号左边就只剩下 个变量的微分 的项，即它变为

l 1 2, , l l 1 2, , , ldx dx dx

n l 1 2, , ,l l ndx dx dx

31 21 2 3

1

0n

ll j

j l j j j j j

h hh hfdx

x x x x x

（ 2-12 ）

但 应是任意的量，则应有1 2, , ,l l ndx dx dx

31 21 2 3 0l

lj j j j j

h hh hf

x x x x x

（ 2-13 ）

1, 2, ,j l l n

式（ 2-11 ）和式（ 2-13 ）及等式约束 就是点 达到约束极值的必要条件。

0 1,2, ,kh x k l x

1 21 2 0 1,2, ,n

ni i i i

hh hfi n

x x x x

1

,l

k kk

F x f x h x

0 1,2, ,

0 1,2, ,

i

k

Fi n

x

Fk n

设 ，目标函数是 ，约束条件是 的 个等式约束方程。为了求出 的可能的极值点 ，引入拉格朗日乘子 ，并构成一个新的目标函数

1 2

T

nx x x x f x

0 1,2, ,kh x k l l f x * * * *

1 2

T

nx x x x

1,2, ,k k l

1

,l

k kk

F x f x h x

第五节 不等式约束优化的极值条件工程上大多数问题都是不等式约束优化问题 .一元函数在一定区间的优化问题 :

引入松弛变量

1

2

min

. . 0

0

f x

s t g x a x

g x x b

2 21 1 1 1 1

2 22 1 2 1 1

, 0

, 0

h x a g x a a x a

h x b g x b x b b

得到拉格朗日方程

1 1 1 2 1 1 1 1 2 2 1 1

2 21 1 2 1

, , , , , ,F x a b f x h x a h x b

f x a x a x b b

1 21 2 1 2 0dg dgF df df

x dx dx dx dx

1 11

2 11

2 0

2 0

Fa

a

Fb

b

21 1 1 1

1

22 1 2 1

2

, 0

, 0

Fh x a g x a

Fh x b g x b

分析 可知，此时不是 ，就是 。当 时， ，约束起作用，即为 的情况。当 时， ，约束不起作用，即为 的情况。这个分析结果可表示为

1 1 0a 1 10, 0a

1 10, 0a 1 10, 0a 1 0g x a x x a 1 10, 0a

1 0g x a x x a

1

1

0, 0

0, 0

g x x a

g x x a

为起作用的约束，即为不起作用约束，即

这说明对于 和 ，二者至少必有一个需要取零值，因此可将 的条件写成 。

1 1g x

1 1 0a 1 1 0g x

可将 的条件写成 。2 1 0b 2 2 0g x

1 21 2

1 1 2 2

1 2

0

0, 0

0, 0

dg dgdf

dx dx dxg x g x

1 21 2 1 2 0dg dgdf df

dx dx dx dx

分析极值点 在区间 中所处的位置，将会出现三种可能的情况：

*x ,a b

1 ）当 时，因为此时 ，则极值条件为

*a x b 1 2 0 *

0df x

dx

2 ）当 时，因为此时 ，则极值条件为 ，即 。

*x a 1 20, 0

1 0df

dx *

0df x

dx

3 ）当 时，因为此时 ，则极值条件为 ，即 。

*x b 1 20, 0

2 0df

dx *

0df x

dx

这和如下图所示的从几何概念分析的结果完全一致。

三个极值条件的几何表示

第六节 库恩—塔克条件 将上述一元函数推广到多元函数，可以得到著名的库恩—塔克条件

可以得到拉格朗日函数

min f x

. . 0 1,2, ,js t g x j m

（其中设计变量 为 n 维向量，它受到有 m 个不等式约束的限制）

1 2

T

i nx x x x x

2

1

, ,m

j j n jj

F x x f x g x x

拉格朗日函数的极值条件

从一元函数类推可以得到库恩—塔克条件

1

0 1,2, ,m

jj

ii i i

gF fi n

x x x

2 0 1,2, ,j n jn j

Fx j m

x

2 0 1,2, ,j n jj

Fg x x j m

* *

1

*

0 1,2, ,

0 1,2, ,

0 1,2, ,

mj

jii i

j j

j

f x g xi n

x x

g x j m

j m

库恩 -塔克条件的几何意义是：在约束极小点处函数的负梯度一定能够表示成所有起作用的约束在该点梯度的非负线性组合。

* *

*

0 1,2, ,

0

0

j

jj Ji i

j

j

f x g xi n

x x

g x j J

j J

* * 0j jj J

f x g x

图 2-12 两个起作用的约束

*1 1 2 2

k kf x g x g x

图 2-13 库恩—塔克条件的几何意义

a ）负梯度位于锥角区之内 b ）负梯度位于锥角区之外

K-T 条件关于仅含不等式约束的二维问题的几何解释