智能计算也有人称之为“软计算”，是们受自然（生物界）规律的启迪，根据其原理，模仿求解问题的算法。从自然界得到启迪，模仿其结构进行发明创造，这就是仿生学。这是我们向自然界学习的一个方面。另一方面，我们还可以利用仿生原理进行设计(包括设计算法)，这就是智能计算的思想。这方面的内容很多，如人工神经 络技术、遗传算法、模拟退火算法、模拟退火技术和群集智能技术等。
1、人工神经 络算法
“人工神经 络”(ARTIFICIAL NEURAL NETWORK，简称ANN)是在对人脑组织结构和运行机制的认识理解基础之上模拟其结构和智能行为的一种工程系统。早在本世纪40年代初期，心理学家McCulloch、数学家Pitts就提出了人工神经 络的第一个数学模型，从此开创了神经科学理论的研究时代。其后，F Rosenblatt、Widrow和J. J .Hopfield等学者又先后提出了感知模型，使得人工神经 络技术得以蓬勃发展。
几种典型神经 络简介
1.1 多层感知 络(误差逆传播神经 络)
在1986年以Rumelhart和McCelland为首的科学家出版的《Parallel Distributed Processing》一书中，完整地提出了误差逆传播学习算法，并被广泛接受。多层感知 络是一种具有三层或三层以上的阶层型神经 络。典型的多层感知 络是三层、前馈的阶层 络，即：输入层I、隐含层(也称中间层)J和输出层K。相邻层之间的各神经元实现全连接，即下一层的每一个神经元与上一层的每个神经元都实现全连接，而且每层各神经元之间无连接。
但BP 并不是十分的完善，它存在以下一些主要缺陷：学习收敛速度太慢、 络的学习记忆具有不稳定性，即：当给一个训练好的 提供新的学习记忆模式时，将使已有的连接权值被打乱，导致已记忆的学习模式的信息的消失。
1.2 竞争型(KOHONEN)神经 络
它是基于人的视 膜及大脑皮层对剌激的反应而引出的。神经生物学的研究结果表明：生物视 膜中，有许多特定的细胞，对特定的图形(输入模式)比较敏感，并使得大脑皮层中的特定细胞产生大的兴奋，而其相邻的神经细胞的兴奋程度被抑制。对于某一个输入模式，通过竞争在输出层中只激活一个相应的输出神经元。许多输入模式，在输出层中将激活许多个神经元，从而形成一个反映输入数据的“特征图形”。竞争型神经 络是一种以无教师方式进行 络训练的 络。它通过自身训练，自动对输入模式进行分类。竞争型神经 络及其学习规则与其它类型的神经 络和学习规则相比，有其自己的鲜明特点。在 络结构上，它既不象阶层型神经 络那样各层神经元之间只有单向连接，也不象全连接型 络那样在 络结构上没有明显的层次界限。它一般是由输入层(模拟视 膜神经元)和竞争层(模拟大脑皮层神经元，也叫输出层)构成的两层 络。两层之间的各神经元实现双向全连接，而且 络中没有隐含层。有时竞争层各神经元之间还存在横向连接。竞争型神经 络的基本思想是 络竞争层各神经元竞争对输入模式的响应机会，最后仅有一个神经元成为竞争的胜者，并且只将与获胜神经元有关的各连接权值进行修正，使之朝着更有利于它竞争的方向调整。神经 络工作时，对于某一输入模式， 络中与该模式最相近的学习输入模式相对应的竞争层神经元将有最大的输出值，即以竞争层获胜神经元来表示分类结果。这是通过竞争得以实现的，实际上也就是 络回忆联想的过程。
除了竞争的方法外，还有通过抑制手段获取胜利的方法，即 络竞争层各神经元抑制所有其它神经元对输入模式的响应机会，从而使自己“脱颖而出”，成为获胜神经元。除此之外还有一种称为侧抑制的方法，即每个神经元只抑制与自己邻近的神经元，而对远离自己的神经元不抑制。这种方法常常用于图象边缘处理，解决图象边缘的缺陷问题。
竞争型神经 络的缺点和不足：因为它仅以输出层中的单个神经元代表某一类模式。所以一旦输出层中的某个输出神经元损坏，则导致该神经元所代表的该模式信息全部丢失。
1.3 Hopfield神经 络
1986年美国物理学家J.J.Hopfield陆续发表几篇论文，提出了Hopfield神经 络。他利用非线性动力学系统理论中的能量函数方法研究反馈人工神经 络的稳定性，并利用此方法建立求解优化计算问题的系统方程式。基本的Hopfield神经 络是一个由非线性元件构成的全连接型单层反馈系统。
络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息。即： 络中的神经元t时刻的输出状态实际上间接地与自己的t-1时刻的输出状态有关。所以Hopfield神经 络是一个反馈型的 络。其状态变化可以用差分方程来表征。反馈型 络的一个重要特点就是它具有稳定状态。当 络达到稳定状态的时候，也就是它的能量函数达到最小的时候。这里的能量函数不是物理意义上的能量函数，而是在表达形式上与物理意义上的能量概念一致，表征 络状态的变化趋势，并可以依据Hopfield工作运行规则不断进行状态变化，最终能够达到的某个极小值的目标函数。 络收敛就是指能量函数达到极小值。如果把一个最优化问题的目标函数转换成 络的能量函数，把问题的变量对应于 络的状态，那么Hopfield神经 络就能够用于解决优化组合问题。
对于同样结构的 络，当 络参数(指连接权值和阀值)有所变化时， 络能量函数的极小点(称为 络的稳定平衡点)的个数和极小值的大小也将变化。因此，可以把所需记忆的模式设计成某个确定 络状态的一个稳定平衡点。若 络有M个平衡点，则可以记忆M个记忆模式。
当 络从与记忆模式较靠近的某个初始状态(相当于发生了某些变形或含有某些噪声的记忆模式，也即：只提供了某个模式的部分信息)出发后， 络按Hopfield工作运行规则进行状态更新，最后 络的状态将稳定在能量函数的极小点。这样就完成了由部分信息的联想过程。
Hopfield神经 络的能量函数是朝着梯度减小的方向变化，但它仍然存在一个问题，那就是一旦能量函数陷入到局部极小值，它将不能自动跳出局部极小点，到达全局最小点，因而无法求得 络最优解。
—————————————————–
2、遗传算法
遗传算法（Genetic Algorithms）是基于生物进化理论的原理发展起来的一种广为应用的、高效的随机搜索与优化的方法。其主要特点是群体搜索策略和群体中个体之间的信息交换，搜索不依赖于梯度信息。它是在70年代初期由美国密执根（Michigan）大学的霍兰（Holland）教授发展起来的。1975年霍兰教授发表了第一本比较系统论述遗传算法的专著《自然系统与人工系统中的适应性》（《Adaptation in Natural and Artificial Systems》）。遗传算法最初被研究的出发点不是为专门解决最优化问题而设计的，它与进化策略、进化规划共同构成了进化算法的主要框架，都是为当时人工智能的发展服务的。迄今为止，遗传算法是进化算法中最广为人知的算法。
近几年来，遗传算法主要在复杂优化问题求解和工业工程领域应用方面，取得了一些令人信服的结果，所以引起了很多人的关注。在发展过程中，进化策略、进化规划和遗传算法之间差异越来越小。遗传算法成功的应用包括：作业调度与排序、可靠性设计、车辆路径选择与调度、成组技术、设备布置与分配、交通问题等等。
2.1 特点
遗传算法是解决搜索问题的一种通用算法，对于各种通用问题都可以使用。搜索算法的共同特征为： ① 首先组成一组候选解 ② 依据某些适应性条件测算这些候选解的适应度 ③ 根据适应度保留某些候选解，放弃其他候选解 ④ 对保留的候选解进行某些操作，生成新的候选解。在遗传算法中，上述几个特征以一种特殊的方式组合在一起：基于染色体群的并行搜索，带有猜测性质的选择操作、交换操作和突变操作。这种特殊的组合方式将遗传算法与其它搜索算法区别开来。
遗传算法还具有以下几方面的特点：
(1)遗传算法从问题解的串集开始嫂索，而不是从单个解开始。这是遗传算法与传统优化算法的极大区别。传统优化算法是从单个初始值迭代求最优解的 容易误入局部最优解。遗传算法从串集开始搜索，覆盖面大，利于全局择优。(2)许多传统搜索算法都是单点搜索算法，容易陷入局部的最优解。遗传算法同时处理群体中的多个个体，即对搜索空间中的多个解进行评估，减少了陷入局部最优解的风险，同时算法本身易于实现并行化。
(3)遗传算法基本上不用搜索空间的知识或其它辅助信息，而仅用适应度函数值来评估个体，在此基础上进行遗传操作。适应度函数不仅不受连续可微的约束，而且其定义域可以任意设定。这一特点使得遗传算法的应用范围大大扩展。
(4)遗传算法不是采用确定性规则，而是采用概率的变迁规则来指导他的搜索方向。
(5)具有自组织、自适应和自学习性。遗传算法利用进化过程获得的信息自行组织搜索时，硬度大的个体具有较高的生存概率，并获得更适应环境的基因结构。
2.2 运用领域
前面描述是简单的遗传算法模型，可以在这一基本型上加以改进，使其在科学和工程领域得到广泛应用。下面列举了一些遗传算法的应用领域： ① 优化：遗传算法可用于各种优化问题。既包括数量优化问题，也包括组合优化问题。 ② 程序设计：遗传算法可以用于某些特殊任务的计算机程序设计。 ③ 机器学习：遗传算法可用于许多机器学习的应用，包括分类问题和预测问题等。 ④ 经济学：应用遗传算法对经济创新的过程建立模型，可以研究投标的策略，还可以建立市场竞争的模型。 ⑤ 免疫系统：应用遗传算法可以对自然界中免疫系统的多个方面建立模型，研究个体的生命过程中的突变现象以及发掘进化过程中的基因资源。 ⑥ 进化现象和学习现象：遗传算法可以用来研究个体是如何学习生存技巧的，一个物种的进化对其他物种会产生何种影响等等。 ⑦ 会经济问题：遗传算法可以用来研究 会系统中的各种演化现象，例如在一个多主体系统中，协作与交流是如何演化出来的。
—————————————————————–
在工程实践中，经常会接触到一些比较“新颖”的算法或理论，比如模拟退火，遗传算法，禁忌搜索，神经 络等。这些算法或理论都有一些共同的特性（比如模拟自然过程），通称为“智能算法”。它们在解决一些复杂的工程问题时大有用武之地。
这些算法都有什么含义给出个局部搜索，模拟退火，遗传算法，禁忌搜索的形象比喻：
为了找出地球上最高的山，一群有志气的兔子们开始想办法。
1．兔子朝着比现在高的地方跳去。他们找到了不远处的最高山峰。但是这座山不一定是珠穆朗玛峰。这就是局部搜索，它不能保证局部最优值就是全局最优值。
2．兔子喝醉了。他随机地跳了很长时间。这期间，它可能走向高处，也可能踏入平地。但是，他渐渐清醒了并朝最高方向跳去。这就是模拟退火。
3．兔子们吃了失忆药片，并被发射到太空，然后随机落到了地球上的某些地方。他们不知道自己的使命是什么。但是，如果你过几年就杀死一部分海拔低的兔子，多产的兔子们自己就会找到珠穆朗玛峰。这就是遗传算法。
4.兔子们知道一个兔的力量是渺小的。他们互相转告着，哪里的山已经找过，并且找过的每一座山他们都留下一只兔子做记 。他们制定了下一步去哪里寻找的策略。这就是禁忌搜索。
“物竞天择，适者生存”，是进化论的基本思想。遗传算法就是模拟自然界想做的事。遗传算法可以很好地用于优化问题，若把它看作对自然过程高度理想化的模拟，更能显出它本身的优雅——虽然生存竞争是残酷的。
遗传算法以一种群体中的所有个体为对象，并利用随机化技术指导对一个被编码的参数空间进行高效搜索。其中，选择、交叉和变异构成了遗传算法的遗传操作；参数编码、初始群体的设定、适应度函数的设计、遗传操作设计、控制参数设定五个要素组成了遗传算法的核心内容。
作为一种新的全局优化搜索算法，遗传算法以其简单通用、健壮性强、适于并行处理以及高效、实用等显著特点，在各个领域得到了广泛应用，取得了良好效果，并逐渐成为重要的智能算法之一。
遗传算法的伪码：
procedure genetic algorithm
begin
initialize a group and evaluate the fitness value ; （1）
while not convergent （2）
begin
select; （3）
if random[0,1] crossover; （4）
if random (0,1) mutation; （5）
end;
end
上述程序中有五个重要的环节：
（1）编码和初始群体的生成：GA在进行搜索之前先将解空间的解数据表示成遗传空间的基因型串结构数据，这些串结构数据的不同组合便构成了不同的点。然后随机产生N个初始串结构数据，每个串结构数据称为一个个体，
N个体构成了一个群体。GA以这N个串结构数据作为初始点开始迭代。
比如，旅行商问题中，可以把商人走过的路径进行编码，也可以对整个图矩阵进行编码。编码方式依赖于问题怎样描述比较好解决。初始群体也应该选取适当，如果选取的过小则杂交优势不明显，算法性能很差（数量上占了优势的老鼠进化能力比老虎强），群体选取太大则计算量太大。
（2）检查算法收敛准则是否满足，控制算法是否结束。可以采用判断与最优解的适配度或者定一个迭代次数来达到。
（3）适应性值评估检测和选择：适应性函数表明个体或解的优劣性，在程序的开始也应该评价适应性，以便和以后的做比较。不同的问题，适应性函数的定义方式也不同。根据适应性的好坏，进行选择。选择的目的是为了从当前群体中选出优良的个体，使它们有机会作为父代为下一代繁殖子孙。遗传算法通过选择过程体现这一思想，进行选择的原则是适应性强的个体为下一代贡献一个或多个后代的概率大。选择实现了达尔文的适者生存原则。
（4）杂交：按照杂交概率（pc）进行杂交。杂交操作是遗传算法中最主要的遗传操作。通过杂交操作可以得到新一代个体，新个体组合了其父辈个体的特性。杂交体现了信息交换的思想。
可以选定一个点对染色体串进行互换，插入，逆序等杂交，也可以随机选取几个点杂交。杂交概率如果太大，种群更新快，但是高适应性的个体很容易被淹没，概率小了搜索会停滞。
（5）变异：按照变异概率（pm）进行变异。变异首先在群体中随机选择一个个体，对于选中的个体以一定的概率随机地改变串结构数据中某个串的值。同生物界一样，GA中变异发生的概率很低。变异为新个体的产生提供了机会。
变异可以防止有效基因的缺损造成的进化停滞。比较低的变异概率就已经可以让基因不断变更，太大了会陷入随机搜索。想一下，生物界每一代都和上一代差距很大，会是怎样的可怕情形。
就像自然界的变异适和任何物种一样，对变量进行了编码的遗传算法没有考虑函数本身是否可导，是否连续等性质，所以适用性很强；并且，它开始就对一个种群进行操作，隐含了并行性，也容易找到“全局最优解”。
禁忌搜索算法（Tabu Search，TS）
为了找到“全局最优解”，就不应该执着于某一个特定的区域。局部搜索的缺点就是太贪婪地对某一个局部区域以及其邻域搜索，导致一叶障目，不见泰山。禁忌搜索就是对于找到的一部分局部最优解，有意识地避开它（但不是完全隔绝），从而获得更多的搜索区间。兔子们找到了泰山，它们之中的一只就会留守在这里，其他的再去别的地方寻找。就这样，一大圈后，把找到的几个山峰一比较，珠穆朗玛峰脱颖而出。
当兔子们再寻找的时候，一般地会有意识地避开泰山，因为他们知道，这里已经找过，并且有一只兔子在那里看着了。这就是禁忌搜索中“禁忌表（tabu
list）”的含义。那只留在泰山的兔子一般不会就安家在那里了，它会在一定时间后重新回到找最高峰的大军，因为这个时候已经有了许多新的消息，泰山毕竟也有一个不错的高度，需要重新考虑，这个归队时间，在禁忌搜索里面叫做“禁忌长度（tabu
length）”；如果在搜索的过程中，留守泰山的兔子还没有归队，但是找到的地方全是华北平原等比较低的地方，兔子们就不得不再次考虑选中泰山，也就是说，当一个有兔子留守的地方优越性太突出，超过了“best
to
far”的状态，就可以不顾及有没有兔子留守，都把这个地方考虑进来，这就叫“特赦准则（aspiration
criterion）”。这三个概念是禁忌搜索和一般搜索准则最不同的地方，算法的优化也关键在这里。
伪码表达：
procedure tabu search;
begin
initialize a string vc at random,clear up the tabu list;
cur:=vc;
repeat
select a new string vn in the neighborhood of vc;
if va>best_to_far then {va is a string in the tabu list}
begin
cur:=va;
let va take place of the oldest string in the tabu list;
best_to_far:=va;
end else
begin
cur:=vn;
let vn take place of the oldest string in the tabu list;
end;
until (termination-condition);
end;
以上程序中有关键的几点：
（1）禁忌对象：可以选取当前的值（cur）作为禁忌对象放进tabu
list，也可以把和当然值在同一“等高线”上的都放进tabu
list。
（2）为了降低计算量，禁忌长度和禁忌表的****不宜太大，但是禁忌长度太小容易循环搜索，禁忌表太小容易陷入“局部极优解”。
（3）上述程序段中对best_to_far的操作是直接赋值为最优的“解禁候选解”，但是有时候会出现没有大于best_to_far的，候选解也全部被禁的“死锁”状态，这个时候，就应该对候选解中最佳的进行解禁，以能够继续下去。
（4）终止准则：和模拟退火，遗传算法差不多，常用的有：给定一个迭代步数；设定与估计的最优解的距离小于某个范围时，就终止搜索；当与最优解的距离连续若干步保持不变时，终止搜索；
禁忌搜索是对人类思维过程本身的一种模拟，它通过对一些局部最优解的禁忌（也可以说是记忆）达到接纳一部分较差解，从而跳出局部搜索的目的。
人工神经 络（Artificial Neural Network，ANN）
神经 络从名字就知道是对人脑的模拟。它的神经元结构，它的构成与作用方式都是在模仿人脑，但是也仅仅是粗糙的模仿，远没有达到完美的地步。和冯·诺依曼机不同，神经 络计算非数字，非精确，高度并行，并且有自学习功能。
生命科学中，神经细胞一般称作神经元，它是整个神经结构的最基本单位。每个神经细胞就像一条胳膊，其中像手掌的地方含有细胞核，称作细胞体，像手指的称作树突，是信息的输入通路，像手臂的称作轴突，是信息的输出通路；神经元之间错综复杂地连在一起，互相之间传递信 ，而传递的信 可以导致神经元电位的变化，一旦电位高出一定值，就会引起神经元的激发，此神经元就会通过轴突传出电信 。
而如果要用计算机模仿生物神经，就需要人工的神经 络有三个要素：（1）形式定义人工神经元；（2）给出人工神经元的连接方式，或者说给出 络结构；（3）给出人工神经元之间信 强度的定义。
历史上第一个人工神经 络模型称作M－P模型，非常简单：
其中，
表示神经元i在t时刻的状态，为1表示激发态，为0表示抑制态；
是神经元i和j之间的连接强度；
表示神经元i的阈值，超过这个值神经元才能激发。
这个模型是最简单的神经元模型。但是功能已经非常强大：此模型的发明人McCulloch和Pitts已经证明，不考虑速度和实现的复杂性，它可以完成当前数字计算机的任何工作。
以上这个M－P模型仅仅是一层的 络，如果从对一个平面进行分割的方面来考虑的话，M－P 络只能把一个平面分成个半平面，却不能够选取特定的一部分。而解决的办法就是“多层前向 路”。
图2
图2是多层前向 络的示意图。最下面的
称作输入层，最上面一层称作输出层，任何一个中间层都接受来自前一层的所有输入，加工后传入后一层。每一层的神经元之间没有联系，输入输出层之间也没有直接联系，并且仅仅是单向联系，没有反馈。这样的 络被称作“多层前向 络”。数据在输入后，经过每一层的加权，最后输出结果。
图3
如图3，用可覆盖面来说明多层 络的功能：单层 络只能把平面分成两部分，双层 络就可以分割任意凸域，多层 络则可以分割任意区域。
为了让这种 络有合适的权值，必须给 络一定的激励，让它自己学习，调整。一种方法称作“向后传播算法（Back
Propagation，BP）”，其基本思想是考察最后输出解和理想解的差异，调整权值，并把这种调整从输出层开始向后推演，经过中间层，达到输入层。
可见，神经 络是通过学习来达到解决问题的目的，学习没有改变单个神经元的结构和工作方式，单个神经元的特性和要解决的问题之间也没有直接联系，这里学习的作用是根据神经元之间激励与抑制的关系，改变它们的作用强度。学习样本中的任何样品的信息都包含在 络的每个权值之中。
BP算法中有考察输出解和理想解差异的过程，假设差距为w，则调整权值的目的就是为了使得w最小化。这就又包含了前文所说的“最小值”问题。一般的BP算法采用的是局部搜索，比如最速下降法，牛顿法等，当然如果想要得到全局最优解，可以采用模拟退火，遗传算法等。当前向 络采用模拟退火算法作为学习方法的时候，一般成为“波尔兹曼 络”，属于随机性神经 络。
在学习BP算法学习的过程中，需要已经有一部分确定的值作为理想输出，这就好像中学生在学习的时候，有老师的监督。如果没有了监督，人工神经 络该怎么学习r> 就像没有了宏观调控，自由的市场引入了竞争一样，有一种学习方法称作“无监督有竞争的学习”。在输入神经元i的若干个神经元之间开展竞争，竞争之后，只有一个神经元为1，其他均为0，而对于失败的神经元，调整使得向对竞争有利的方向移动，则最终也可能在一次竞争中胜利；
人工神经 络还有反馈 络如Hopfield 络，它的神经元的信 传递方向是双向的，并且引入一个能量函数，通过神经元之间不断地相互影响，能量函数值不断下降，最后能给出一个能量比较低的解。这个思想和模拟退火差不多。
人工神经 络应用到算法上时，其正确率和速度与软件的实现联系不大，关键的是它自身的不断学习。这种思想已经和冯·诺依曼模型很不一样。
总结
模拟退火，遗传算法，禁忌搜索，神经 络在解决全局最优解的问题上有着独到的优点，并且，它们有一个共同的特点：都是模拟了自然过程。模拟退火思路源于物理学中固体物质的退火过程，遗传算法借鉴了自然界优胜劣汰的进化思想，禁忌搜索模拟了人类有记忆过程的智力过程，神经 络更是直接模拟了人脑。
它们之间的联系也非常紧密，比如模拟退火和遗传算法为神经 络提供更优良的学习算法提供了思路。把它们有机地综合在一起，取长补短，性能将更加优良。
这几种智能算法有别于一般的按照图灵机进行精确计算的程序，尤其是人工神经 络，是对计算机模型的一种新的诠释，跳出了冯·诺依曼机的圈子，按照这种思想来设计的计算机有着广阔的发展前景
文章知识点与官方知识档案匹配，可进一步学习相关知识算法技能树首页概览34595 人正在系统学习中
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！