Transcript
Page 1: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

7.5 模拟退火算法求解最优化问题

真实退火

Page 2: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

日常生活中的最优化每天早上从寝室到教室 ,你总是希望用最短的时间 ,也就是说挑选最近的路径 .还要加上一些条件限制 ,例如 ,你希望在路上有一个卖包子的小店 .

Page 3: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

最优化问题

● 最简单的最优化问题 :求一个很好的函数的最小值例如 : 求

● 约束最优化问题●

minx∈−∞ ,∞H x

Page 4: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

最优化问题的解法

● 上面的问题可以用数学分析中学的知识求解 ,

● 求稳定点● Lagrange 乘子法

Page 5: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

线性规划问题 Linear Programming

Page 6: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

无约束的凸规划问题

Page 7: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

组合优化问题Combinatorial optimization

Traveling Salesman Problem

目标 : 最短路径

要求 : 走过的城市不能重复

Page 8: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

TSP:http://www.tsp.gatech.edu/

Page 9: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

TSP: 数学描述

Page 10: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

组合优化 : 图像平滑问题 (image smoothing)

Page 11: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

图像平滑问题的数学描述

Page 12: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

图像平滑问题的数学描述

可行解的个数是 256 J

Page 13: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

被广泛研究图像

Page 14: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

贪心算法 (greedy algorithm)

Page 15: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

模拟退火方法的历史

Page 16: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

模拟退火算法Simulated Annealing Algorithm

Page 17: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

模拟退火算法的流程图 I

Page 18: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

模拟退火算法流程图 II

Page 19: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

TSP 的预选策略

● 随机交换两个城市的先后次序

Page 20: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

模拟退火算法的要素

Page 21: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优
Page 22: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

模拟退火算法的要素

Page 23: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优
Page 24: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优
Page 25: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优
Page 26: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优
Page 27: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优
Page 28: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优
Page 29: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

模拟退火的物理直观解释

Page 30: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

模拟退火和贪心算法的区别

模拟退火 贪心算法

只能达到局部最小可能达到全局最小

Page 31: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

TSP 的预选策略

● 随机交换两个城市的先后次序

Page 32: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

拟蒙特卡罗方法

Page 33: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

常用的拟随机序列● Van der Corput 序列 (d=1)

Page 34: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

常用随机序列

● Halton 序列 (d>1)

Page 35: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

遗传算法

● 从初始状态 怎样选择下一个状态 , 利用了遗传学的术语和模式 :遗传 ,编译 ,杂交等 ,这些行为以一定的概率发生 ,最后希望得到最优解 .

Page 36: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

遗传算法 (generic algorithm)

利用

na2010

下的文件

Page 37: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

遗传算法的基本思想

Page 38: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

遗传算法的描述

Page 39: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优
Page 40: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

遗传算法的描述 III

Page 41: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优

遗传算法的描述 IV


Recommended