智能优化方法Intelligent Optimization Methods
By Wang Hongfeng PhD
ISE, NEU
Shenyang, P.R. China
2
课程安排
No.1 导言、伪随机数的产生方法
No.2 禁忌搜索 (TS)
No.3 模拟退火 (SA)
No.4 进化算法 (GA)
No.5 进化算法 (ES, EP, GP,DE)
3
课程安排
No.6 群体智能算法 (PSO)
No.7 群体智能算法(ACO,BFOA,ABC)
No. 8 智能优化领域的最新进展
4
课程理解
这是一门关于计算智能的课程 这是一门介绍优化工具的课程 这是一门注重技巧学习的课程
让我们共勉!!!
5
教材
《智能优化方法》
汪定伟 王俊伟 王洪峰等编著
高等教育出版社 中英文文献
6
第一章 导言
7
第一章 导言〇 . 最优化的重要性一 . 传统优化方法的基本步骤——三步曲二 . 传统优化方法的局限性三 . 实际问题中对最优化方法的要求四 . 智能优化算法的产生与发展五 . 应用前景局限性和研究方向、注意事项六 . 优化领域的新进展七 . 学习这门课程需要具备的基础
8
1. 人类的一切活动都是认识世界和改造世界的过程
即: 认识世界 → 改造世界 ↓ ↓
( 建模 ) → ( 优化 )
〇 . 最优化的重要性( 1 )
9
2. 一切学科都是建模与优化在某个特定领域中的应用
概念模型 ( 定性 ) → 结构模型 ( 图 )
→ 数学模型 → 智能模型
〇 . 最优化的重要性( 2 )
10
3. 最优化理论的发展① 极值理论② 运筹学的兴起 (OR)
③ 数学规划:线性规划 (LP) ;非线性规划(NLP) ;动态规划 (DP) ;马尔可夫规划(MDP)
4. 最优化理论在国民经济中的广泛应用
〇 . 最优化的重要性( 3 )
11
如右图所示1. 选一个初始解① LP :大 M 法,二阶段法② NLP :任意点或一个内点
一 . 传统优化方法的基本步骤—三步曲( 1 )
停止
选初始解
停止判据
改进解
开始
Y
N
12
2. 停止判据——最优性检验
① LP :检验数
当∏≥ 0 时有可能减小
② NLP :
一 . 传统优化方法的基本步骤—三步曲( 2 )
0)( xf
TN
TB CNBC 1
TNB CCC | NBA |
13
3. 向改进方向移动——改进解
① LP :转轴变换(进基、退基)
② NLP :向负梯度方向移动(共轭梯度方向、牛顿方向)
一 . 传统优化方法的基本步骤—三步曲( 3 )
14
停止
选择一个初始解
最优性检验
向改进方向移动
开始
Y
N
一 . 传统优化方法的基本步骤—三步曲( 4 )
15
1. 对问题中目标函数、约束函数有很高的要求——有显式表达,线性、连续、可微,且高阶可微
2. 只从一个初始点出发,难以进行并行、网络计算,难以提高计算效率
二 . 传统优化方法的局限性( 1 )
16
3. 最优性达到的条件太苛刻——目标函数为凸,可行域为凸
4. 在非双凸条件下,没有跳出局部最优解的能力
二 . 传统优化方法的局限性( 2 )
17
1. 对问题的描述要宽松(目标和约束函数)——可以用一段程序来描述 ( 程序中带判断、循环 ) ,函数可以非连续、非凸、非可微、非显式
2. 并不苛求最优解——通常满意解、理想解,甚至可行解就可以
三 . 实际问题中对最优化方法的要求( 1 )
18
3. 计算快速、高效,可随时终止(根据时间定解的质量)
4. 能够处理数据和信息的不确定性(如数据的模糊性,事件的随机性)
三 . 实际问题中对最优化方法的要求( 2 )
19
1. 基于单点的元启发式算法: 1977年 Glover 提出禁忌搜索 (TS)
1982年 Kirkpatrick 提出模拟退火 (SA)
1995年 Feo 提出贪婪随机适应性搜索算法(GRASP)
1995年 Mladenovic 提出可变邻域搜索(VNS)
1997年 Voudouris 提出导向局域搜索 (GLS)
四 . 智能优化算法的产生与发展( 1 )
20
2. 进化算法: 1965年 Rechenberg 等提出进化策略 (ES)
1975年 Holland 提出遗传算法 (GA)
1995年 Fogel 提出进化规划 (EP)
1995年 Tackett 提出遗传规划 (GP)
1995年 Storn 等提出差分进化 (DE)
四 . 智能优化算法的产生与发展( 1 )
21
3. 群体智能算法: 1995年 Kennedy 等提出粒子群优化算法
(PSO)
1995年 Dorigo 提出蚁群算法 (ACO)
2002年 Passino 提出细菌觅食优化算法(BFOA)
2005年 Karaboga 提出人工蜂群算法 (ABC)
四 . 智能优化算法的产生与发展( 2 )
22
4. 其他智能优化算法: 1994年 Reynolds 提出文化算法 (CA)
1998年 Linhares 提出捕食搜索算法 (PS)
2002年 Narayanan 提出量子进化算法(QEA)
2004年 Wang 提出群落选址算法 (CLA)
四 . 智能优化算法的产生与发展( 3 )
23
1. 应用前景十分广阔
2. 局限性——不能保证最优解,理论上不完备
五 . 应用前景局限性和研究方向、注意事项( 1 )
24
3. 研究方向及注意事项① 以应用为主,扩大面向新问题的应用;不要刻意做
理论研究,若碰上也不拒绝
② 算法改进表现在以下几个方面:问题的描述、编码方法、算法构造及可行性修复策略
③ 要进行大量的上机计算
五 . 应用前景局限性和研究方向、注意事项( 2 )
25
④ 算例的选取 以下算例的说服力降序排列:网上的测试用例、文献中
的例子、实际例子、随机产生的例子、自己编的例子
Benchmark 的不断发展
⑤ 如何检验算法的好坏:比较计算速度及消耗、可解规模、 (从不同的随机种子出发)达优率——客观公正与良心!
五 . 应用前景局限性和研究方向、注意事项( 3 )
26
1. 随着人们关注的系统越来越复杂,最优化技术也相应不断发展
多目标环境 动态环境 多峰环境
六 . 优化领域的新进展
27
2. 最优化方法的发展 1940s- 1970s :数学规划阶段——目标和
约束是解析函数 1970s—2000s :智能优化阶段——目标和约
束可以放宽为含有判断逻辑的计算机程序 2000s之后:基于仿真优化阶段
六 . 优化领域的新进展
28
1. 信心、决心、热情
2. 良好的外语能力
3. 较为熟练的计算机编程能力
4. 一定的数学基础
七 . 学习这门课需要具备的基础