智能优化方法Intelligent Optimization Methods

By Wang Hongfeng PhD

ISE, NEU

Shenyang, P.R. China

2

课程安排

No.1 导言、伪随机数的产生方法

No.2 禁忌搜索 (TS)

No.3 模拟退火 (SA)

No.4 进化算法 (GA)

No.5 进化算法 (ES, EP, GP,DE)

3

课程安排

No.6 群体智能算法 (PSO)

No.7 群体智能算法(ACO,BFOA,ABC)

No. 8 智能优化领域的最新进展

4

课程理解

这是一门关于计算智能的课程 这是一门介绍优化工具的课程 这是一门注重技巧学习的课程

让我们共勉！！！

5

教材

《智能优化方法》

汪定伟 王俊伟 王洪峰等编著

高等教育出版社 中英文文献

6

第一章 导言

7

第一章 导言〇 . 最优化的重要性一 . 传统优化方法的基本步骤——三步曲二 . 传统优化方法的局限性三 . 实际问题中对最优化方法的要求四 . 智能优化算法的产生与发展五 . 应用前景局限性和研究方向、注意事项六 . 优化领域的新进展七 . 学习这门课程需要具备的基础

8

1. 人类的一切活动都是认识世界和改造世界的过程

即： 认识世界 → 改造世界 ↓ ↓

( 建模 ) → ( 优化 )

〇 . 最优化的重要性（ 1 ）

9

2. 一切学科都是建模与优化在某个特定领域中的应用

概念模型 ( 定性 ) → 结构模型 ( 图 )

→ 数学模型 → 智能模型

〇 . 最优化的重要性（ 2 ）

10

3. 最优化理论的发展① 极值理论② 运筹学的兴起 (OR)

③ 数学规划：线性规划 (LP) ；非线性规划(NLP) ；动态规划 (DP) ；马尔可夫规划(MDP)

4. 最优化理论在国民经济中的广泛应用

〇 . 最优化的重要性（ 3 ）

11

如右图所示1. 选一个初始解① LP ：大 M 法，二阶段法② NLP ：任意点或一个内点

一 . 传统优化方法的基本步骤—三步曲（ 1 ）

停止

选初始解

停止判据

改进解

开始

Y

N

12

2. 停止判据——最优性检验

① LP ：检验数

当∏≥ 0 时有可能减小

② NLP ：

一 . 传统优化方法的基本步骤—三步曲（ 2 ）

0)( xf

TN

TB CNBC 1

TNB CCC | NBA |

13

3. 向改进方向移动——改进解

① LP ：转轴变换（进基、退基）

② NLP ：向负梯度方向移动（共轭梯度方向、牛顿方向）

一 . 传统优化方法的基本步骤—三步曲（ 3 ）

14

停止

选择一个初始解

最优性检验

向改进方向移动

开始

Y

N

一 . 传统优化方法的基本步骤—三步曲（ 4 ）

15

1. 对问题中目标函数、约束函数有很高的要求——有显式表达，线性、连续、可微，且高阶可微

2. 只从一个初始点出发，难以进行并行、网络计算，难以提高计算效率

二 . 传统优化方法的局限性（ 1 ）

16

3. 最优性达到的条件太苛刻——目标函数为凸，可行域为凸

4. 在非双凸条件下，没有跳出局部最优解的能力

二 . 传统优化方法的局限性（ 2 ）

17

1. 对问题的描述要宽松（目标和约束函数）——可以用一段程序来描述 ( 程序中带判断、循环 ) ，函数可以非连续、非凸、非可微、非显式

2. 并不苛求最优解——通常满意解、理想解，甚至可行解就可以

三 . 实际问题中对最优化方法的要求（ 1 ）

18

3. 计算快速、高效，可随时终止（根据时间定解的质量）

4. 能够处理数据和信息的不确定性（如数据的模糊性，事件的随机性）

三 . 实际问题中对最优化方法的要求（ 2 ）

19

1. 基于单点的元启发式算法： 1977年 Glover 提出禁忌搜索 (TS)

1982年 Kirkpatrick 提出模拟退火 (SA)

1995年 Feo 提出贪婪随机适应性搜索算法(GRASP)

1995年 Mladenovic 提出可变邻域搜索(VNS)

1997年 Voudouris 提出导向局域搜索 (GLS)

四 . 智能优化算法的产生与发展（ 1 ）

20

2. 进化算法： 1965年 Rechenberg 等提出进化策略 (ES)

1975年 Holland 提出遗传算法 (GA)

1995年 Fogel 提出进化规划 (EP)

1995年 Tackett 提出遗传规划 (GP)

1995年 Storn 等提出差分进化 (DE)

四 . 智能优化算法的产生与发展（ 1 ）

21

3. 群体智能算法： 1995年 Kennedy 等提出粒子群优化算法

(PSO)

1995年 Dorigo 提出蚁群算法 (ACO)

2002年 Passino 提出细菌觅食优化算法(BFOA)

2005年 Karaboga 提出人工蜂群算法 (ABC)

四 . 智能优化算法的产生与发展（ 2 ）

22

4. 其他智能优化算法： 1994年 Reynolds 提出文化算法 (CA)

1998年 Linhares 提出捕食搜索算法 (PS)

2002年 Narayanan 提出量子进化算法(QEA)

2004年 Wang 提出群落选址算法 (CLA)

四 . 智能优化算法的产生与发展（ 3 ）

23

1. 应用前景十分广阔

2. 局限性——不能保证最优解，理论上不完备

五 . 应用前景局限性和研究方向、注意事项（ 1 ）

24

3. 研究方向及注意事项① 以应用为主，扩大面向新问题的应用；不要刻意做

理论研究，若碰上也不拒绝

② 算法改进表现在以下几个方面：问题的描述、编码方法、算法构造及可行性修复策略

③ 要进行大量的上机计算

五 . 应用前景局限性和研究方向、注意事项（ 2 ）

25

④ 算例的选取 以下算例的说服力降序排列：网上的测试用例、文献中

的例子、实际例子、随机产生的例子、自己编的例子

Benchmark 的不断发展

⑤ 如何检验算法的好坏：比较计算速度及消耗、可解规模、 （从不同的随机种子出发）达优率——客观公正与良心！

五 . 应用前景局限性和研究方向、注意事项（ 3 ）

26

1. 随着人们关注的系统越来越复杂，最优化技术也相应不断发展

多目标环境 动态环境 多峰环境

六 . 优化领域的新进展

27

2. 最优化方法的发展 1940s－ 1970s ：数学规划阶段——目标和

约束是解析函数 1970s—2000s ：智能优化阶段——目标和约

束可以放宽为含有判断逻辑的计算机程序 2000s之后：基于仿真优化阶段

六 . 优化领域的新进展

28

1. 信心、决心、热情

2. 良好的外语能力

3. 较为熟练的计算机编程能力

4. 一定的数学基础

七 . 学习这门课需要具备的基础