智能计算 Computational Intelligence¶

王峰

Preparation¶

参考教材：张军，詹志辉，计算智能. 北京：清华大学出版社，2009

博客：https://blog.csdn.net/qq_44186838/category_10493995.html

考核方式：

期末成绩50%：提交与本课程相关的一篇论文/报告（含程序和仿真实验结果）
- 要按照格式来
- 可以做与自己研究内容相关的部分
平时成绩50%：分享一篇与本课程相关的论文研读报告（PPT），课程讨论
- 论文要求选自近三年的主流期刊和会议
- 一次 3-4 个同学，10.26开始

先选一篇计算智能方面的论文，作为平时的研读报告，然后将这篇论文的算法应用到测试生成中，写一些实验代码，作为最终的课程论文。

1 计算智能¶

内容： - 最优化问题 - 计算复杂性及 NP 理论 - 计算智能算法 - 分类和理论 - 研究和发展 - 特征和应用

1.1 最优化问题¶

什么是最优化问题？
最优化问题的分类
- 根据决策变量 \(X_i\) 的取值类型，可以分为函数优化问题（连续变量）和组合优化问题（离散变量）
  - 函数优化问题
    - \(X_i, i \in [-100, 100]\)，其中 \(i\) 的范围即为维度。需要优化的变量的取值是某个连续区间上的值，是一个实数，各个决策变量之间可能是独立的，也可能是相互关联、相互制约的，它们的取值组合构成了问题的一个解。
  - 组合优化问题
    - 决策变量是离散取值的
    - 例子：旅行商问题、0-1背包问题

1.2 计算复杂性及 NP 理论¶

计算复杂性
- 描述求解问题的难易程度或者算法的执行效率
NP 理论
- P 类问题：多项式时间内求解的问题
- NP 类问题：多项式复杂程度的非确定性问题

1.3 计算智能方法¶

逻辑主义（模糊计算）
行为主义（进化计算）
联结主义（神经计算）

智能计算-模糊计算总结

研究领域	主要特点
人工神经网络	模拟人脑构造和信息处理的过程
模糊逻辑（模糊系统）	模拟人类语言和思维中的模糊性概念
进化计算	模拟生物进化过程和群体智能过程，模拟大自然的智慧

理论基础：

数学基础：马尔可夫过程、统计学习过程、随机过程、模式定理、稳定性、收敛性……
生物学技术：自然选择、人脑模拟
群体智能

2 神经网络¶

内容：

神经网络简介
神经网络的典型结构
神经网络的学习算法
BP 神经网络
进化神经网络
神经网络的应用

2.1 神经网络简介¶

Neural Netowrk, NN

神经元	神经网络	功能
树突	输入层	接收输入信号
细胞体	加权和	加工和处理信号
轴突	阈值函数	控制信号的输出
突触	输出层	对结果进行输出

2.2 神经网络的经典结构¶

按网络的结构区分
- 前向网络
- 反馈网络
按学习方式区分
- 有监督学习网络
- 无监督学习网络
按网络的性能区分
- 连续性和离散型网络
- 随机型和确定型网络

3 模糊计算¶

模糊逻辑取消二值之间非此即彼的对立，用**隶属度**表示二值之间的过渡状态。

4. 遗传计算¶

如果在进化开始时保证初始群体已经是一定程度上的优良群体的话，将能够有效提高算法找到全局最优解的能力。

5. 蚁群算法¶

群体智能（Swarm intelligence）

6. 粒子群优化算法¶

7. 免疫算法¶

8. 分布估计算法（Esitimation of Distribution Algorithm, EDA）¶

基于种群的新型进化算法，思想起源于遗传算法。改进遗传算法的交叉操作和编译操作，防止破坏积木块，采用概率模型和抽样的隐式形式产生新个体。下图为分布估计算法和遗传算法的流程比较。

"发展历史"

开山始祖
- PBIL: (1994 Baluja)
- UMDA: (1996 H.Miihlenbein & Paass)
早期的算法专注于二进制编码
- MIMIC: (1997 J.S.D.Bonet) 基于链式概率模型的EDA
- COMIT: (1997 S.Baluja) 基于树状概率模型的EDA
- FDA: (1999 HM Uhlenbein)
- BOA: (1999 M.Pelikan) 基于贝叶斯网络模型的EDA
逐渐扩展到连续分布估计算法
- PBILc (Sebag, 1998)
- UMDAc (Larrañaga, P., et al, 2000)
- CEDGA (Q. Lu, 2005)
- FWH & FHH (Tsutsui et al , 2001)
- sur-shr-HEDA (N. Ding, et al, 2006)
混合分布估计算法
- EDA与粒子群优化的混合
- EDA与遗传算法的混合
- EDA与差分进化算法的混合
并行分布估计算法
- 主从模式
- 岛屿模型
收敛性证明
应用领域越来越广泛

并行分布估计算法：

种群级别并行化
适应度评估并行化
概率模型构建并行化

Research hotspot: learning guided optimization

分布估计算法的理论研究：

分布估计算法的应用领域（函数优化）：

有效地保护 “积木块”，能够高效求解高维的复杂函数优化问题.
在具有先验知识的情况下，可有针对地选择概率模型，从而设计出性能优越的分布估计算法.
已成功应用于求解复杂的多峰函数, 关联性强的复杂函数优化以及多目标函数优化.

分布估计算法的应用领域（组合优化）：

9. Memetics 算法¶

基于群体的计算智能方法与局部搜索相结合的一类算法的总称。

Ref: https://blog.csdn.net/qq_44186838/article/details/109181453

部分代表性的静态 Memetic 算法