霍普菲尔德（ Hopfield ）神经网络

1 、网络结构形式2 、非线性系统状态演变的形式3 、离散型的霍普菲尔德网络（DHNN）4 、连续性的霍普菲尔德网络（ CHNN ）

网络结构形式

Hopfield 网络是单层对称全反馈网络，根据激活函数选取的不同，可分为离散型和连续性两种

（ DHNN,CHNN ）。DHNN ：作用函数为 hadlim ，主要用于联想记忆。CHNN ：作用函数为 S 型函数，主要用于优化计算。 反馈网络的结构如图 2.8.1 所示。

图 2.8.1

Hopfield 网络结构

非线性系统状态演变的形式

在 Hopfield 网络中，由于反馈的存在，其加权 输入和 ui， i=1~n 为网络状态，网络的输出为 y1~yn ， 则 u,y 的变化过程为一个非线性动力学系统。可用非线性差（微）分方程来描述。一般有如下的几种状态演变形式：

（ 1 ）渐进稳定 （ 2 ）极限环 （ 3 ）混沌现象 （ 4 ）状态轨迹发散

Hopfield 网络的稳定性可用能量函数进行分析。 目前，人工神经网络常利用渐进稳定点来解决某些问题。例如，如果把系统的稳定点视为一个记忆的话，那么从初态朝这个稳定点的演变过程就是寻找记忆的过程。初态可以认为是给定的有关记忆的部分信息。如果把系统的稳定点视为一个能量函数的极小点，把能量函数视为一个优化问题的目标函数，那么从初态朝这个稳定点的演变过程就是一个求该优化问题的过程。这样的优点在于它的解并不需要真的去计算，而只要构成这种反馈网络，适当的设计其连接值和输入就可达到目的。

离散型的 Hopfield 神经网络

1 、 I/O 关系2 、两种工作方式3 、网络的稳定性分析4 、 DHNN 网络设计

网络结构及 I/O 关系 图 2.8.2 是一个有三个节点的 DHNN 结构。 对于以符号函数为激活函数的网络，网络的方程可写为：

图 2.8.2

ni

tutx

txwtu

ii

n

jijiji

,,2,1 )1(sgn)1(

)1(1

两种工作方式 DHNN 主要有以下两种工作方式： （ 1 ）串行工作方式 在某一时刻只有一个神

经元按照上式改变状态，而其它神经元的输出不变。这一变化的神经元可以按照随机的方式或预定的顺序来选择。

（ 2 ）并行工作方式 在某一时刻有 N 个神经元

按照上式改变状态，而其它的神经元的输出不变。变化的这一组神经元可以按照随机方式或某种规则来选择。当 N=n 时，称为全并行方式。

DHNN 的稳定工作点

Xi(t+1)= Xi(t)=sgn(∑j=1nWijXi(t)-θi )

i=1,2,…,n

网络的稳定性分析 DHNN 的能量函数定义为：

有界E

w

xxxwE

XWXX

xxxwE

n

ii

n

i

n

jij

n

iii

n

i

n

jjiij

TT

n

iii

n

i

n

jjiij

11 1

11 1

11 1

2

1

2

12

1

2

1

关于 DHNN 的稳定性有如下的定理： 当网络工作在串行方式下时，若 W 为

对称阵，且其对角元素非负，则其能量函数单调下降，网络总能收敛到一个稳定点。

kk

kkk

n

jjkjk

n

iiikk

kk

kk

kk

k

kkkk

x

xwtxwxtxwxE

tutxtutx

tutxx

xtxtxxtE

2

1

1sgn,1 21sgn,1 2

sgn 0

1 1 1tEE

2

11

证明

一个局部极小点。所以它总能收敛到它的的，。另外能量函数是有界有故对任意的神经元

，。又因为的运行规则，根据

故有因为根据定理条件有

0

001 2

11

2

1

,

2

2

1

Ek

wtuxDHNN

kwtux

kwtxwxE

ww

kkkk

kkkk

kk

n

jkjkjk

jiij

全并行方式下也有同样的结论。

DHNN 网络设计 用 DHNN 实现联想记忆需要考虑两个重要的问题：① 怎样按记忆确定网络的 W 和；②网络给定之后如

何分析它的记忆容量。下面将分别讨论。1 、权值设计的方法2 、记忆容量分析3 、权值修正的其它方法 在 MATLAB 中，用函数 newhop.m 来设计一个

Hopfield 网络： net = newhop(T)

权值设计的方法 权值设计的方法有外积法、伪逆法、正交设

计法等。下面仅介绍外积法，它是一种比较简单，在一定条件下行之有效的方法。

niw

xxw

IXXW

nnIRXmKX

ii

m

k

kj

kiij

m

k

TKK

nK

~1 0

,,~1,

1

1

单位阵，则为给定输入

例 设计 DHNN ，并考察其联想性能。

说明所设计的网络没有准确的记忆所有期望的模式。

3233

222

!11

3

1

sgn Y

sgn Y

sgn Y

031301110

111111

111

TTWX

TWX

TWX

IXXW

TX

K

TKK

验证：

解：

记忆容量分析 当网络只记忆一个稳定的模式时，该模式肯定被网络准确无误的记忆住。但当所要记忆的模式增加时，情况则发生了变化，主要表现在下列两点上：

1 、权值移动2 、交叉干扰

权值移动

在网络的学习过程中，网络对权值的记忆实际上是逐个实现的。即对权值 W ，有程序 :

当网络准确的 X1 时，为了记忆 X2, 需要在记忆样本 X1

的权值上加上对样本 X2 的记忆项 X2 X2T-I ，将权值在原来值的基础上产生了移动。这样网络有可能部分得遗忘了以前以记忆住的模式。

end

IXXWWqkfor

W

TKK

,1

0

从动力学的角度来看， k值较小时，网络 Hebb 学习规则，可以使输入学习样本成为其吸引子。随着 k值的增加，不但难以使后来的样本成为网络的吸引子，而且有可能使已记忆住的吸引子的吸引域变小，使原来处于吸引子位置上的样本从吸引子的位置移动。对一记忆的样本发生遗忘，这种现象称为“疲劳”。

交叉干扰 网络在学习多个样本后，在回忆阶段即验证该

记忆样本时，所产生的干扰，称为交叉干扰。 对外积型设计而言，如果输入样本是彼此正交

的， n 个神经元的网络其记忆容量的上界为 n 。但是在大多数情况下，学习样本不可能是正交的，因而网络的记忆容量要比 n 小得多，一般为 (0.13~0.15)n ， n 为神经元数。

权值修正的其它方法

1 、学习规则2 、伪逆法3 、正交化权值设计

学习规则 学习规则基本公式是：

即通过计算该神经元节点的实际激活值 A(t) ，与期望状态 T(t) 进行比较，若不满足要求，将两者的误差的一部分作为调整量，若满足要求，则相应的权值保持不变。

tPtAtTtwtwPWijij

1

伪逆法

来。

求出权矩阵满秩，其逆存在，则可线性无关的，则如果样本之间是为伪逆，有其中

由此可得

来映射，则有输入输出之间用权值设输入样本

WPP

PPPPP

PNW

NYXWNW

XXXX

T

TT

N

,

sgn,

1

21

正交化权值设计

这一方法的基本思想和出发点是为了满足下面四个要求：

1 ）保证系统在异步工作时的稳定性，即它的权值是对称的；

2 ）保证所有要求记忆的稳定平衡点都能收敛到自己；

3 ）使伪稳定点的数目尽可能的少； 4 ）使稳定点的吸引域尽可能的大。MATLAB 函数[w,b]=solvehop(T);

连续性的 Hopfield 网络 CHNN 是在 DHNN 的基础上提出的，它的原理和 DHNN相似。由于 CHNN 是以模拟量作为网络

的输入输出量，各神经元采用并行方式工作，所以它在信息处理的并行性、联想性、实时性、分布存储、协同性等方面比 DHNN更接近于生物神经网络。我们将从以下几点来讨论 CHNN 。1 、网络模型2 、 CHNN 方程的解及稳定性分析3 、关于 Hopfield 能量函数的几点说明4 、关于 CHNN 的几点结论

CHNN 的网络模型 图 2.8.3 是 Hopfield 动态神经元模型。 对于神经元，放大器的 I/O 关系可用如下的方程

来描述：

图 2.8.4 是 CHNN 的结构图。

xxe

x

uv

IuvRR

u

dt

duc

x

ii

i

n

jij

iji

iii

tanh 1

1

1

10

或

Hopfield 动态神经元模型

图 2.8.4

u1

u 1 u 2 u n

v 1 v n v 2

对上述方程变形得：

i

ii

iijij

n

j iijiii

i

n

jjij

i

ii

cI

cRw

cRcR

vwu

dt

du

,1

,111

10

1

的一种特殊情况。视为可以此可见，模型有相同的形式。由上式与

则有如果令

为向量

矩阵形式：

CHNNDHNNDHNN

Wvuu

Rvdiagww

wwW

Wvuu

nn

nnn

n

,0

, , ,

121

1

111

1

CHNN 方程的解及稳定性分析 对于 CHNN 来说，关心的同样是稳定性问题。

在所有影响电路系统稳定的所有参数种，一个比较特殊的参数值是放大器的放大倍数。从前面的分析中可以看出，当放大器的放大倍数足够大时，网络由连续性转化成离散型，状态与输出之间的关系表现了激活函数的形状，而正是激活函数代表了一个网络的特点，所以，下面着重分析不同激活函数关系对系统的稳定性的影响。

1 、激活函数为线性函数时2 、激活函数为非线性函数时

当激活函数为线性函数时，即

不同的系统解的情况。的不同情况，可以得到，，，解出的特征值为单位对角阵。通过对其中

此系统的特征方程为：

。其中

：此时系统的状态方程为

r

ii

I

IA

WBR

A

BAUU

uv

21

0

1

对于非线性系统进行稳定性分析，方法之一就是在系统的平衡点附近对系统进行线性化处理。也可以基于网络的能量函数。下面介绍 Hopfield 能量函数法。

:

1

2

1

:

10

1

11 1

的稳定性有如下的定理关于能量项。入状态和输出值关系的上式第三项表示一种输

能量函数定义为

CHNN

dvvR

IvvvwEn

i

v

ii

n

iii

n

i

n

jjiij

i

dt

dvvc

dt

duc

R

uIvw

R

uIvwvw

v

E

dt

dv

v

E

dt

dE

nidt

dE

dt

dv

dt

dE

ww

cv

iiii

ii

i

ii

n

jjij

i

ii

n

jjji

n

jjij

i

n

i

i

i

i

jiij

ii

1

1

11

1

1

2

1

2

1

,,2,100,0

,

,0

证明：

，时，当且仅当

，有则随着网络状态的变化，且为单调连续递增的函数定理：若

idt

dE

dt

dvdt

dEvc

dt

dvvc

dt

dE

i

iii

n

i

iiii

0 0

0 ,0

1

1

21

时仅当

单调递增，

此定理表明，随着时间的演化，网络的状态总是朝能量减少的方向运动。网络的平衡点就是 E 的极小点。

关于 Hopfield 能量函数的几点说明

当对反馈网络应用能量函数后，从任一初始状态开始，因为在每次迭代后都能满足 E≤0 ，所以网络的能量将会越来越小，最后趋于稳定点 E=0 。

Hopfield 能量函数的物理意义是：在那些渐进稳定点的吸引域内，离吸引点越远的状态，所具有的能量越大，由于能量函数的单调下降特性，保证状态的运动方向能从远离吸引点处，不断地趋于吸引点，直到达到稳定点。

几点说明： 1 ）能量函数为反馈网络的重要概念。

根据能量函数可以方便的判断系统的稳定性；

2 ）能量函数与李雅普诺夫函数的区别在于：李氏被限定在大于零的范围内，且要求在零点值为零；

3 ） Hopfield 选择的能量函数，只是保证系统稳定和渐进稳定的充分条件，而不是必要条件，其能量函数也不是唯一的。

关于 CHNN 的几点结论 1 ）具有良好的收敛性； 2 ）具有有限个平衡点； 3 ）如果平衡点是稳定的，那么它也一定是渐进

稳定的； 4 ）渐进稳定平衡点为其能量函数的局部极小点； 5 ）能将任意一组希望存储的正交化矢量综合为

网络的渐进平衡点； 6 ）网络的存储信息表现为神经元之间互连的分布式动态存储；

7 ）网络以大规模、非线性、连续时间并行方式处理信息，其计算时间就是网络趋于平衡点的时间。

Hopfield 网络在组合优化中的应用

组合优化问题，就是在给定约束条件下，求出使目标函数极小（或极大）的变量组合问题。

将 Hopfield 网络应用于求解组合优化问题，就是把目标函数转化为网络的能量函数，把问题的变量对应于网络的状态。这样当网络的能量函数收敛于极小值时，问题的最优解也随之求出。

旅行商问题，简称 TSP （ Traveling Salesman Problem ）。问题的提法是：设有 N 个城市， , 记为：

, 用 dij表示 ci 和 cj 之间的距离， dij>0,(i,j=1,2,…n) 。

有一旅行商从某一城市出发，访问各城市一次且仅一次后再回到原出发城市。要求找出一条最短的巡回路线。

Nccc ,,, 21

NcccC ,,, 21

N=5 TSP Probelm N=5 ，并用字母 A 、 B 、 C 、 D 、 E 、分别代表这 5 个城市。当任选一条路径如 B->D->E->A->C, ，则其总路径长度可表示为

第一步就是将问题映照到一个神经网络。假定每个神经元的放大器有很高的放大倍数，神经元的输出限制在二值 0 和 1 上，则映照问题可以用一个换位矩阵（ Permutation Matrix ）来进行，换位矩阵可如下图所示。

CBACEADEBD dddddS

换位矩阵次序

城市1 2 3 4 5

A 0 0 0 1 0

B 1 0 0 0 0

C 0 0 0 0 1

D 0 1 0 0 0

E 0 0 1 0 0

约束条件和最优条件 矩阵的每个元素对应于神经网络中的每个神经元，

则这个问题可用 N2=52=25 个神经元组成的 Hop-field 网络来求解。

问题的约束条件和最优条件如下： （ 1)  一个城市只能被访问一次 =>换位矩阵每行

只有一个“ 1” 。 （ 2 ）一次只能访问一个城市 =>换拉矩阵每列只

有一个“ 1” 。 （ 3 ）总共有 N 个城市 =>换位矩阵元素之和为

N 。 (4 ）求巡回路径最短 => 网络能量函数的最小值

对应于 TSP 的最短路径。

结论 用 vij表示换位矩阵第 i 行、第 j列的元素，显然只能取 1 或 0 。同时， vij 也是网络神经元的状态。

结论 :

构成最短路径的换位矩阵一定是形成网络能量函数极小点的网络状态。

网络能量函数的构成 1 ） 第 x 行 的 所 有 元 素 xi 按 顺 序 两 两 相 乘 之 和 xi

N

x

N

ijxi

1

1 1应 为

0 。

2 ） N 个 行 的 所 有 元 素 按 顺 序 两 两 相 乘 之 和 xj

N

x

N

i

N

ijxi

1

1

1 1也 应 为

0 。

3 ） 将 第 2 ） 项 前 乘 系 数 A / 2 ， 则 可 作 为 网 络 能 量 函 数 的 第 一 项

xi

N

x

n

i

N

ij xiA

1

1

1 12

同 理 ， 对 应 于 第 （ 2 ） 个 约 束 条 件 ， 可 得 能 量 函 数 的 第 二 项

yi

N

i

N

x

N

xyxi

B

1

1

1 12

式 中 ， B / 2 为 系 数 。

续 1应于第（3 “）个约束条件，换位矩阵中所有为 1” 元素之和应等于 N

01 1

NN

x

N

ixi

由此可得网络能量函数的第三项

21 12

N

x

N

ixi N

C

式中，取平方值是为了使这项符合能量的表达形式，同时也体现了对不符合约束条件时的一种惩罚；C/2为系数。

续 2

第 （ 4 ） 项 为 优 化 目 标 ， 即 优 化 要 求 其 表 达 式 为

1,1, iydiyd xixyxixy 和

由 前 三 个 约 束 条 件 可 知 ， 这 两 项 至 少 有 一 项 为 0 ， 顺 序 访问 x 、 y 两 城 市 所 有 可 能 途 径 （ 长 度 ） 可 表 示 为

),,(

)1,1,(

11

1

iyiyxixy

N

ixixyyxixy

d

iydid

续 3

N 个 城 市 两 两 之 间 所 有 可 能 的 访 问 路 径 的 长 度可 表 示 为

),,( 111 1 1

iyiyxi

N

x

N

y

N

ixyd

当 这 项 最 小 时 ， 则 它 就 表 示 访 问 N 个 城 市 的 最 短 距离 。 由 此 得 到 网 络 能 量 函 数 的 第 四 项

N

x

N

y

N

iyiyxixy id

D1 1 1

1 )1,,(2

式 中 ， D / 2 为 系 数 。

能量函数表达式网络能量函数的最后表达式

2

1 1

1

1

1 1 1

1

1 1

)(2

22

N

x

N

ixi

N

x

N

i

N

ij

N

i

N

x

N

xyyixixjxi

NC

BAE

),,(2 11

1 1 1

iyiy

N

x

N

y

N

ixy xid

D

E达到极小时，由网络状ij构成的换位矩阵表达了最佳旅行路径。

网络加权及阀值

第 三 步

确 定 网 络 神 经 元 之 间 的 连 接 权 及 神 经 元 输 出 的阀 值 。 设 网 络

),( ix 神 经 元 与 jy , 神 经 元 之 间 的 连 接 权 为

yixi , ， 神 经 元 ),( ix 输 出 的 阀 值 为 xiI ， 则 有

),,(

)1()1(,

11

ijijxy

xyijijxyyjxi

Dd

CBA

CNI xi

)(0

)(1

ji

jiij

求解 TSP 网络的迭代方程 第 四 步 : 求 解 T S P 网 络 的 迭 代 方 程

)(1 1

111

N

x

N

yxy

N

xyy

yi

N

jj

xi

xi

xiixi

NC

BAR

u

dt

duc

N

yyiyxy idD

11 )1,,(

)]tanh(1[21

)(0u

uu xi

xixixi

迭代步骤计算步骤 （1） 初始化：给定一个 0u 值（例如 02.00 u ）。这保证收敛于正确解，按下式取网络各神经元的初始状态：

uxixi uu 00 （2-379）

式中， )1(121

000 Nuu n ，其中 N为网络神经元个数；

uxi 为（-1，+1）区间的随机值。

（2） 按式（2-378）求出各神经元的输出

)

)(tanh(1

21

)(0

00 u

tutu xi

xi （2-380）

迭代续 1

( 3 ) ． 将 )( 0txi 代 入 式 （ 2 - 3 7 7 ） 求 得0tt

xi

dtdu

。

( 4 ) ． 求 下 一 时 刻 的 状 态 量

i . tdt

dututtu tt

xixixi 000 )()(

（ 2 - 3 8 1 ）

( 5 ) ． 返 回 步 骤 （ 2 ）