Transcript

23/4/21 1

知识发现(数据挖掘 )

第八章

史忠植 中国科学院计算技术研究所

http://www.intsci.ac.cn/

神经网络Neural Networks

23/4/21 2

目 录1. 神经计算2. 并行分布式理论框架3. 交互与竞争神经网络4. 误差反向传播神经网络5. Hopfield 神经网络6. 自组织特征映射网络7. 自适应共振理论8. 脉冲耦合神经网络

23/4/21 3

神经网络 一个神经网络是由简单处理元构成的规模宏大的

并行分布处理器。天然具有存储经验知识和使之可用的特性。

神经网络从两个方面上模拟大脑: 神经网络获取的知识是从外界环境中学习得来

的。 内部神经元的连接强度,即突触权值,用于储

存获取的知识。

23/4/21 4

发展历史 萌芽期( 20 世纪 40 年代) 人工神经网络的研究最早可以追溯到人类开始

研究自己的智能的时期,到 1949 年止。 1943 年 , 心 理 学 家 McCulloch 和 数 学 家

Pitts 建立起了著名的阈值加权和模型,简称为M-P 模 型 。 发 表 于 数 学 生 物 物 理 学 会 刊《 Bulletin of Methematical Biophysics》

949 年,心理学家 D. O. Hebb 提出神经元之间突触联系是可变的假说—— Hebb 学习律。

23/4/21 5

发展历史 第一高潮期( 1950~1968 ) 以 Marvin Minsky , Frank

Rosenblatt, Bernard Widrow 等为代表人物,代表作是单级感知器( Perceptron )。

可用电子线路模拟。 人们乐观地认为几乎已经找到了智能的关键。

许多部门都开始大批地投入此项研究,希望尽快占领制高点。

23/4/21 6

发展历史 反思期( 1969~1982 ) M. L. Minsky和 S. Papert,《 Perceptron 》,MIT Press, 1969 年

异或”运算不可表示 二十世纪 70 年代和 80 年代早期的研究结果

23/4/21 7

发展历史 第二高潮期( 1983~1990 ) 1982 年, J. Hopfield 提出 Hopfield 网络

用 Lyapunov 函数作为网络性能判定的能量函数,建立 ANN 稳定性的判别依据

阐明了 ANN 与动力学的关系 用非线性动力学的方法来研究 ANN 的特性 指出信息被存放在网络中神经元的联接上

23/4/21 8

发展历史 第二高潮期( 1983~1990 ) 1984 年, J. Hopfield 设计研制了后来被人们称为Hopfield网 -Tank 电路。较好地解决了著名的 TSP 问题,找到了最佳解的近似解,引起了较大的轰动。

1985 年, UCSD的Hinton、 Sejnowsky、 Rumelhart 等人所在的并行分布处理( PDP )小组的研究者在 Hopfield 网络中引入了随机机制,提出所谓的 Boltzmann 机。

23/4/21 9

发展历史 1986 年,并行分布处理小组的 Rumelhart

等研究者重新独立地提出多层网络的学习算法—— BP 算法,较好地解决了多层网络的学习问题。( Paker1982和Werbos1974 年)

自适应共振理论( ART ) 自组织特征映射理论

23/4/21 10

发展历史 Hinton 等人最近提出了 Helmboltz 机 徐雷提出的 Ying-Yang 机理论模型 甘利俊一 ( S.Amari) 开创和发展的基于统计流

形的方法应用于人工神经网络的研究 ,

国内首届神经网络大会是 1990年 12 月在北京举行的。

23/4/21 11

并行分布式理论框架 1986 年,美国加州大学圣地亚哥分校( UCSD) Rumellhart , McClelland , Hinton : Parallel and

Distributed Processing, MIT Press, Cambridge

23/4/21 12

并行分布式理论框架PDP 模型1 )  一组处理单元( PE或 AN )2 ) 处理单元的激活状态( ai )3 ) 每个处理单元的输出函数( fi )4 ) 处理单元之间的连接模式5 ) 传递规则(∑ wijoi )6 ) 把处理单元的输入及当前状态结合起来产生激

活值的激活规则( Fi )7 ) 通过经验修改连接强度的学习规则8 ) 系统运行的环境(样本集合)

23/4/21 13

神经网络的维数Various types of neuronsVarious network architecturesVarious learning algorithmsVarious applications

23/4/21 14

自组织神经网络的典型结构

交互与竞争 IAC 神经网络

竞争层

输入层

23/4/21 15

竞争学习

)()( iT

ii XXXXXX

相似性测量_欧式距离法

23/4/21 16

i

iT

XX

XXcos

相似性测量_余弦法

竞争学习

23/4/21 17

竞争学习规则—— Winner-Take-All

网络的输出神经元之间相互竞争以求被激活,结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元,而其它神经元的状态被抑制,故称为 Winner Take All 。

竞争学习原理

23/4/21 18

寻找获胜神经元 当网络得到一个输入模式向量时,竞争层的所有神经元对应的内星权向量均与其进行相似性比较,并将最相似的内星权向量判为竞争获胜神经元。

欲使两单位向量最相似,须使其点积最大。即:

)ˆˆ(maxˆˆ},...,2,1{

* XWXW Tj

mj

T

j

竞争学习原理

23/4/21 19

从上式可以看出,欲使两单位向量的欧式距离最小,须使两向量的点积最大。即:

)ˆˆ(maxˆˆ},...,2,1{

* XWXW Tj

mj

T

j

j

mjjWXWX ˆˆminˆˆ

,...,2,1*

)ˆˆ()ˆˆ(ˆˆ*** j

T

j jWXWXWX

T

j

T

j

T

j

T***

ˆˆˆˆ2ˆˆ WWXWXX )ˆ1(2 * XWT

j

竞争学习原理

23/4/21 20

3. 网络输出与权值调整

*

*

0

1)1(

jj

jjto j

)ˆˆ()()(ˆ)(ˆ)1( ***** jjjjjtttt WXWWWW

)(ˆ)1( tt jj WW jj*

步骤 3 完成后回到步骤 1 继续训练,直到学习率衰减到 0 。

竞争学习原理

23/4/21 21

单层感知器模型

前馈神经网络

j=1,2,…,m

Tni ,...,x,...x,xx )( 21X

Tmi ,...,o,...o,oo )( 21O

Tnjijjjj ,...,w,...w,ww )( 21W

23/4/21 22

净输入:

n

iiijj mjxwnet

1

,...,2,1

输出: )()()( XW Tj

n

0i

iijjjj sgnxwsgnTnetsgno

oj

x1

-1xn

单层感知器

23/4/21 23

感知器的功能

(1) 设输入向量 X=(x1 ,x2)T

0Txwxw10Txwxw1

oj2j21j1

j2j21j1j输出:

则由方程 w1jx1+w2jx2-Tj=0

确定了二维平面上的一条分界线。

oj

x1

-1x2

单计算节点感知器

单层感知器

23/4/21 24

感知器的功能 x1

* *

* * O

* * O

* * O O

* O x2

* * O O

O O

单层感知器

23/4/21 25

感知器的功能

(2) 设输入向量 X=(x1,x2,x3)T

01

01

332211

332211

jjjj

jjjjj Txwxwxw

Txwxwxwo输出:

则由方程 w1jx1+w2jx2+w3j x3–Tj=0 (3.4)

确定了三维空间上的一个分界平面。

x2

oj

x1

x3 -1

单层感知器

23/4/21 26

x1

* *

* * O

* * O

* * O O

* O x2

* * O O

O

x3

感知器的功能

单层感知器

23/4/21 27

多层感知器x1

o1

输出层隐藏层输入层

x2o2

omxn

… … … … …… …

W(1) W(2) W(3) W(L)网络的拓扑结构

23/4/21 28

o

T3 y1 y2 -1

w11 w21 w22 T1 T2 w12 -1 x1 x2

双层感知器

x1

S1

O S2

O x2

“异或”问题分类

用两计算层感知器解决“异或”问题。

“异或”的真值表

x1 x2 y1 y2 o

0 0 1

0 1 1

1 0 0

1 1 1

多层感知器

23/4/21 29

o

T3 y1 y2 -1

w11 w21 w22 T1 T2 w12 -1 x1 x2

双层感知器

x1

S1

O S2

O x2

“异或”问题分类

用两计算层感知器解决“异或”问题

“异或”的真值表

x1 x2 y1 y2 o

0 0 1

0 1 0

1 0 1

1 1 1

多层感知器

23/4/21 30

o

T3 y1 y2 -1

w11 w21 w22 T1 T2 w12 -1 x1 x2

双层感知器

x1

S1

O S2

O x2

“异或”问题分类

用两计算层感知器解决“异或”问题。

“异或”的真值表

x1 x2 y1 y2 o

0 0 1 1

0 1 1 0

1 0 0 1

1 1 1 1

多层感知器

23/4/21 31

o

T3 y1 y2 -1

w11 w21 w22 T1 T2 w12 -1 x1 x2

双层感知器

x1

S1

O S2

O x2

“异或”问题分类

例四 用两计算层感知器解决“异或”问题。

“异或”的真值表

x1 x2 y1 y2 o

0 0 1 1 0

0 1 1 0 1

1 0 0 1 1

1 1 1 1 0

多层感知器

23/4/21 32

具有不同隐层数的感知器的分类能力对

感知器结构 异或问题 复杂问题 判决域形状 判决域

无隐层 半平面

单隐层 凸 域

双隐层 任意复杂 形状域

多层感知器

23/4/21 33

基于 BP 算法的多层前馈网络模型 o1 … ok … ol

W1○ Wk○ Wl ○

y1○ y2○ … ○ yj … ○ ym

V1 Vm

○ ○ ○ ○ ○

x1 x2 … xi … xn-1 xn

误差反向传播( BP )网路

23/4/21 34

基于 BP 算法的多层前馈网络模型输入向量: X=(x1,x2,…,xi,…,xn)T

隐层输出向量: Y=(y1,y2,…,yj,…,ym)T

输出层输出向量: O=(o1,o2,…,ok,…,ol)T

期望输出向量: d=(d1, d2,…,dk,…,dl)T

输入层到隐层之间的权值矩阵: V=(V1,V2,…,Vj,…,Vm)

隐层到输出层之间的权值矩阵:W=(W1,W2,…,Wk,…,Wl)

误差反向传播( BP )网路

23/4/21 35

3.4.1 基于 BP 算法的多层前馈网络模型

)( kk netfo 对于输出层: k=1,2,…,l

m

0j

jjkk ywnet k=1,2,…,l

对于隐层: j=1,2,…,m

j=1,2,…,m

)( jj netfy

n

0i

iijj xvnet

误差反向传播( BP )网路

23/4/21 36

3.4.1 基于 BP 算法的多层前馈网络模型

双极性 Sigmoid 函数:

x

x

e1

e1xf

)(

单极性 Sigmoid 函数:

xe1

1xf

)(

误差反向传播( BP )网路

23/4/21 37

一、网络误差 定义与权值调整思路

输出误差 E 定义: 2

2

1E )( Od

l

1k

2kk od

2

1)(

将以上误差定义式展开至隐层:

l

1k

2kk netfd

2

1E )]([

l

1k

2m

0j

jjkk ywfd2

1)]([

BP 学习算法

23/4/21 38

一、网络误差与权值调整

进一步展开至输入层:

l

1k

2m

0j

jjkk netfwfd2

1E )]}([{

l

1k

2m

0j

n

0i

iijjkk xvfwfd2

1)]}([{

BP 学习算法

23/4/21 39

BP 学习算法

jkjk w

Ew

j=0,1,2,…,m; k=1,2,…,l

ijij v

Ev

i=0,1,2,…,n; j=1,2,…,m

式中负号表示梯度下降,常数 η (∈ 0,1) 表示比例系数。

在全部推导过程中,对输出层有 j=0,1,2,…,m; k=1,2,…,l

对隐层有 i=0,1,2,…,n; j=1,2,…,m

BP 学习算法

23/4/21 40

对于输出层,式 (3.4.9a) 可写为

jk

k

kjkjk w

net

net

E

w

Ew

对隐层,式 (3.4.9b) 可写为

ij

j

jijij v

net

net

E

v

Ev

对输出层和隐层各定义一个误差信号,令

k

ok net

E

(3.4.11a)j

yj net

E

yj

xi

BP 算法推导

23/4/21 41

初 始 化 V 、 W 、 E m i n , 、 ηq = 1 , p = 1 , E = 0

输 入 样 本 , 计 算 各 层 输 出 :m21jfy T

jj ,...,,),( XV

l21kfo Tjk ,...,,),( YW

计 算 误 差 :

P

1p

l

1k

2kk od

2

1E )(

计 算 各 层 误 差 信 号 :l21koo1od kkkk ,...,,,))((δ o

k

m21jyy1w jj

l

1kjk

ok

yj ,...,,))((

调 整 各 层 权 值 :

m10jl21k

jyokjkwjkw

,...,,,...,,,

,

n10xm21j

xvv iy

jijij ,...,,,...,,

,

Y p 增 1 , q 增 1 p < P ? N N E = 0 , p = 1 E < E m i n

Y

结 束

(1)初始化;

P

1p

pP1

RME EE

(4) 计算各层误差信号; (5)调整各层权值; (6)检查是否对所有样本完成一次 轮训; (7)检查网络总误差是否达到精 度要求。

(2) 输入训练样本对 X Xp、 d dp

计算各层输出;(3) 计算网络输出误差;

BP 算法的程序实现

23/4/21 42

初 始 化 V 、 W计 数 器 q = 1 , p = 1

输 入 第 一 对 样 本

计 算 各 层 输 出

计 算 误 差 :

P

1p

l

1k

2kk od

2

1E )(

Y p 增 1 p < P ? N

用 E 计 算 各 层 误 差 信 号

调 整 各 层 权 值

q 增 1

N E r m s < E m i n E = 0 , p = 1 Y

结 束

然后根据总误差计算各层的误差信号并调整权值。

P

1p

l

1k

2pk

pk od

2

1E )(总

另一种方法是在所有样本输入之后,计算网络的总误差:

BP 算法的程序实现

23/4/21 43

(1) 非线性映射能力

多层前馈网能学习和存贮大量输入 - 输出模式映射关系,而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供 BP 网络进行学习训练,它便能完成由 n

维输入空间到 m维输出空间的非线性映射。

多层前馈网 ( 感知器 ) 的主要能力

23/4/21 44

(2)泛化能力

当向网络输入训练时未曾见过的非样本数据时,网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。

(3)容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。

多层前馈网 ( 感知器 ) 的主要能力

23/4/21 45

误差函数的可调整参数的个数 nw 等于各层权值数加上阈值数,即:

)1()1( mlnmnw

误差 E 是 nw+1 维空间中一个形状极为复杂的曲面,该曲面上的每个点的“高度”对应于一个误差值,每个点的坐标向量对应着 nw 个权值,因此称这样的空间为误差的权空间。

BP 算法的局限性

23/4/21 46

误差曲面的分布有两个特点:

特点之一:存在平坦区域

jok

ik

yw

E

)1()( kkkkok oood f (x)

1.0

0.5

x0

30

m

jjjk yw

BP 算法的局限性

23/4/21 47

特点之二:存在多个极小点

多数极小点都是局部极小,即使是全局极小往往也不是唯一的,但其特点都是误差梯度为零。

误差曲面的平坦区域会使训练次数大大增加,从而影响了收敛速度;而误差曲面的多极小点会使训练陷入局部极小,从而使训练无法收敛于给定误差。

BP 算法的局限性

23/4/21 48

标准的 BP 算法在应用中暴露出不少内在的缺陷:

⑴ 易形成局部极小而得不到全局最优;⑵ 训练次数多使得学习效率低,收敛速度慢;⑶ 隐节点的选取缺乏理论指导;⑷ 训练时学习新样本有遗忘旧样本的趋势。

针对上述问题,国内外已提出不少有效的改进算法,下面仅介绍其中 3种较常用的方法。

标准 BP 算法的改进

23/4/21 49

1 增加动量项)1(δ)( tt WXW

α为动量系数,一般有 α∈(0 , 1)

2 自适应调节学习率

设一初始学习率,若经过一批次权值调整后使总误差↑,则本次调整无效,且 =β(β<1 ) ;

若经过一批次权值调整后使总误差↓,则本次调整有效,且 =θ (θ>1 ) 。

标准 BP 算法的改进

23/4/21 50

3 引入陡度因子

实现这一思路的具体作法是,在原转移函数中引入一个陡度因子 λ

/1

1nete

o

o

1 =1 >1

21

net

0

标准 BP 算法的改进

23/4/21 51

概述

Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield教授于 1982年提出,是一种单层反馈神经网络。

Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield教授于 1982年提出,是一种单层反馈神经网络。Hopfield网络是一种由非线性元件构成的反馈系统,其稳定状态的分析比前向神经网络要复杂得多。 1984年, Hopfield设计并研制了网络模型的电路,并成功地解决了旅行商 (TSP)计算难题 ( 优化问题 ) 。

Hopfield网络是一种由非线性元件构成的反馈系统,其稳定状态的分析比前向神经网络要复杂得多。 1984年, Hopfield设计并研制了网络模型的电路,并成功地解决了旅行商 (TSP)计算难题 ( 优化问题 ) 。

Hopfield网络分为离散型和连续型两种网络模型,分别记作 DHNN (Discrete Hopfield Neural Network) 和 CHNN (Continues Hopfield Neural Network) 。

Hopfield网络分为离散型和连续型两种网络模型,分别记作 DHNN (Discrete Hopfield Neural Network) 和 CHNN (Continues Hopfield Neural Network) 。

Hello,I’m John Hopfield

23/4/21 52

离散Hopfield 神经网络

1z 1z 1z 1z 1z

23/4/21 53

离散Hopfield 神经网络 网络模型表示法二

23/4/21 54

离散Hopfield 神经网络 相关参数说明

任意神经元 i与 j间的突触权值为 ,神经元之间连接是对称的,神经元自身无连接 .

每个神经元都同其他的神经元相连 , 其输出信号经过其他神经元又有可能反馈给自己

设 Hopfield 网络中有 n 个神经元,其中任意神经元的输入用 表示,输出 用表示,它们都是时间的函数,其中 也称为神经元在时刻 t 的状态。

ijw

iu

iv ( )iv t

n

1

( ) ( )i ij j ij

j i

v t w u t b

( 1) f( ( ))i iv t v t

23/4/21 55

离散Hopfield 神经网络 激励函数

n

1

n

1

1 ( ) 0

( 1)

1 ( ) 0,

ij j ij

j i

i

ij j ij

j i

w v t b

v t

w v t b

23/4/21 56

离散Hopfield 神经网络离散 Hopfield 网络的运行规则

(1) 串行 ( 异步 ) 工作方式 在任—时刻,只有某—神经元 ( 随机的或确定的

选择 ) 依上式变化,而其他神经元的状态不变。 (2) 并行 ( 同步 ) 工作方式

在任一时刻,部分神经元或全部神经元的状态同时改变。

23/4/21 57

离散Hopfield 神经网络 串行 ( 异步 ) 工作方式运行步骤

第一步 对网络进行初始化; 第二步 从网络中随机选取一个神经元; 第三步 按式 (2-5) 求出该神经元 i 的输出; 第四步 按式 (2-6) 求出该神经元经激活函数处理

后的输出,此时网络中的其他神经元的输出保持不变; 第五步 判断网络是否达到稳定状态,若达到稳定

状态或满足给定条件则结束;否则转到第二步继续运行。

23/4/21 58

离散Hopfield 神经网络 稳定状态

若网络从某一时刻以后,状态不再发生变化,则称网络处于稳定状态

网络为对称连接,即;神经元自身无连接

能量函数在网络运行中不断降低,最后达到稳定

( ) ( ) 0v t t v t t

n n n

1 1 1

1E

2 ij i j i ii j ii j j i

w v v b v

23/4/21 59

离散Hopfield 神经网络 网络中神经元能量函数变化量

n

1

1E

2i ij i j i ii

i j

w v v b v

Hopfield 网络状态向着能量函数减小的方向演化。由于能量函数有界,所以系统必然会趋于稳定状态 。

n n

1 1

n

1

E E ( 1) E ( )

1 1( 1) ( 1) ( ) ( )

2 2

1( 1) ( )

2

i i i

ij i j i i ij i j i ii i

i j i j

i i ij j ii

i j

t t

w v t v b v t w v t v b v t

v t v t w v b

= E 0i

23/4/21 60

连续Hopfield 神经网络网络模型

+ 1

N

j

i

1u

1C10R

1I

+iu

iC0iR

iI

+ju

jC0jR

jI

+Nu

NCN0R

NI

11w

N1w

1iw

1jw

1v

Nv

jv

iv

23/4/21 61

连续Hopfield 神经网络 稳定性分析

将下式代入得:

N N

1 1

E E i i iij j i

i ji j

dv u dvd dw v I

dt dv dt R dt

    

   

因为

连续 Hopfield 网络模型是稳定的

N

1

i ii ij j i

j i

du uC w v I

dt R

N

1

E( )i i

ii

du dvdC

dt dt dt

1N

1

f ( )i ii

i

d v dvC

dt dt

1N

1

f ( )i ii

i i

d v dvC

dv dt

1N2

1

f ( )( )i i

ii i

d v dvC

dv dt

21f ( )0, 0, 0,i i

ii i

d v dvC

dv dv

E0

d

dt

23/4/21 62

连续Hopfield 神经网络 连续 Hopfield 网络模型的主要特性

1) 连续 Hopfield 网络的神经元作为 I/O 转换,其传输特性具有Sigmoid 特性;

2) 具有时空整合作用; 3) 在神经元之间存在着大量的兴奋性和抑制性连接,这种联

接主要是通过反馈来实现。 4) 具有既代表产生动作电位的神经元,又有代表按渐进方式

工作的神经元,即保留了动态和非线性两个最重要的计算特性。

Hopfield 神经网络设计的目标就是使得网络存储一些特定的平衡点,当给定网络一个初始条件时,网络最后会在这样的点上停下来

23/4/21 63

Hopfield 神经网络的 MATLAB实现

函 数 名 功 能satlin( ) 饱和线性传递函数satlins( ) 对称饱和线性传递函数newhop( ) 生成一个 Hopfield回归网络nnt2hop( ) 更新 NNT 2.0 Hopfield回归网络

MATLAB中 Hopfield 网络的重要函数和功能

23/4/21 64

Hopfield 神经网络的 MATLAB实现

MATLAB 中与 Hopfield 网络有关的重要函数和功能 newhop( ) 功能 生成一个 Hopfield回归网络。 格式 net = newhop(T) 说明 net 为生成的神经网络,具有在 T 中的向量上稳定的点; T

是具有 Q 个目标向量的 R*Q矩阵(元素必须为 -1或1 )。 Hopfield 神经网络经常被应用于模式的联想记忆中。 Hopfield 神经网络仅有一层,其激活函数用 satlins( ) 函数,层中的神经元有来自它自身的连接权和阈值。

23/4/21 65

Hopfield 神经网络的 MATLAB实现

MATLAB 中与 Hopfield 网络有关的重要函数和功能 satlins( ) 功能 对称饱和线性传递函数 格式 A = satlins(N) A 输出向量矩阵; N 是由网络的输入向量组成的 S*Q矩阵,返回的矩阵 A与 N 的维数大小一致, A 的元素取值位于区间 [0, 1] 内。当 N 中的元素介于 -1和 1 之间时,其输出等于输入;当输入值小于 -1 时返回 -1 ;当输入值大于 1 时返回 1 。

23/4/21 66

Hopfield 神经网络的 MATLAB实现

设印刷体数字由 10 10点阵构成,就是将数字分成很多小方块,每个方块就对应数字的一部分,构成数字本部分的方块用 1 表示,空白处用 -1 表示。试设计一个 Hopfield 网络,能够正确识别印刷体的数字。

由点阵构成的数字 1

由点阵构成的数字 2

23/4/21 67

程序

23/4/21 68

稳定性分析 网络的稳定性是与收敛性不同的问题 Cohen和 Grossberg[1983年 ]:Hopfield 网络

的稳定性定理 如果 Hopfield 网络的联接权矩阵是对角线为 0

的对称矩阵,则它是稳定的 用著名的 Lyapunov 函数作为 Hopfield 网

络的能量函数

23/4/21 69

Lyapunov 函数——能量函数

作为网络的稳定性度量wijoioj:网络的一致性测度。xjoj:神经元的输入和输出的一致性测度。θjoj:神经元自身的稳定性的测度。

h

1jjj

n

1jjj

h

1i

h

1jjiij ooxoow

2

1E

23/4/21 70

当 ANk 的状态从 ok 变成 ok

1、 ANk 是输入神经元

kkkk

kkkk

h

kj&1jkjjk

h

kj&1jjkkj

h

kj&1jjj

n

kj&1jjj

h

ki&1i

h

kj&1jjiij

oox

oow2

1oow

2

1oow

2

1

ooxoow2

1E

kkkk

h

kjjjkkj

h

kjjjj

n

kjjjj

h

kii

h

kjjjiij

ooxoow

ooxoow

&1

&1&1&1 &12

1

23/4/21 71

当 ANk 的状态从 ok 变成 ok′

EEE

wkk=0

)]([1

kkkk

h

jjkj ooxow

kkk onet )(

)()(])([&1

kkkkkk

h

kjjjkkkj ooooxooow

)]([&1

kkkk

h

kjjjkj ooxow

23/4/21 72

ΔΕ=-(netk-θk)Δok

ANk 状态的变化: Δok=(ok′-ok)

Δok=0, ΔΕ =0•Δok>0, ok′=1& ok=0, ok由 0 变到 1 ,netk>θk, netk-θk>0

所以, -(netk-θk)Δok<0故 ΔΕ<0

结论:网络的目标函数总是下降

•Δok<0, ok′=0& ok=1, ok由 1 变到 0

netk<θk, netk-θk<0

-(netk-θk)Δok<0故 ΔΕ<0

23/4/21 73

当 ANk 的状态从 ok 变成 ok

2、 ANk 不是输入神经元

kkkkkk

h

kj&1jkjjk

h

kj&1jjkkj

h

kj&1jjj

n

1jjj

h

ki&1i

h

kj&1jjiij

ooow2

1oow

2

1oow

2

1

ooxoow2

1E

kk

h

kjjjkkj

h

kjjjj

n

jjj

h

kii

h

kjjjiij

ooow

ooxoow

&1

&11&1 &12

1

23/4/21 74

当 ANk 的状态从 ok 变成 ok

kkk

kkk

h

1jjkj

kkk

h

kj&1jjkj

kkk

h

kj&1jjkkkj

o)net(

)oo](ow[

)oo](ow[

)oo(]o)oo(w[

EEE

无论 ANk 的状态是如何变化的,总有 ΔΕ≤ 0

23/4/21 75

联想记忆的结构

自联想异联想

双联想记忆( Bidirectional Associative Memory—BAM )。

双联想记忆具有一定的泛化能力它对含有一定缺陷的输入向量,通过对信号的不断变换、修补,最后给出一个正确的输出。

23/4/21 76

基本的联想记忆结构

 

W

第 1 层 输入向量 第 2 层 输出向量

WT

x1

xn

ym

y1

… … … … …

23/4/21 77

网络运行 Y=F(XW)

X=F(YWT)

X=(x1, x2,…, xn)

Y=(y1, y2,…, ym)

F 为神经元的激活函数,一般可采用 S形函数

)netexp(1

1y

ii

23/4/21 78

激活函数——阈值函数 随着 λ的增加,该函数趋近于阈值为 0 的阈值

函数。 1 if neti>0

yi= 0 if neti<0

yi if neti=0

λ2>λ1 λ1

λ2

1/2

23/4/21 79

基本 BAM 的稳定 Kosko(1987):

基本的双联存储器无条件稳定——联接权矩阵是互为转置矩阵。

当输入向量的维数与输出向量的维数相同时, W 为方阵,此时如果联接矩阵W 是对称的,则基本的双联存储器退化成一个 Hopfield网

23/4/21 80

异联想记忆 样本集: S={(X1,Y1), (X2,Y2)…,(Xs,Ys)}

权矩阵

s

1ii

Ti YXW

•网络需要对输入向量进行循环处理的情况–当输入向量中含有“噪音”–样本集所含的信息超出网络的容量

23/4/21 81

容量 Kosko( 1987 ),一般情况下,相联存储器的容量不

会超过网络最小层神经元的个数 min Haines和 Hecht-Nielson( 1988 ),“非均匀”网络

的容量最多可以达到 2min R. J. McEliece、 E. C. Posner、 E. R. Rodemich

用户随机地选择 L个状态 每个向量中有 4+log2min 个分量为 1 ,其它为 -1 98% 的向量成为稳定状态

22

2

)4min(log

min68.0

L

23/4/21 82

Hopfield 网解决 TSP 问题 1985 年, J. J. Hopfield和 D. W. Tank 用神经

网求解 TSP 。试验表明,当城市的个数不超过 30 时,多可以给出最优解的近似解。而当城市的个数超过 30 时,最终的结果就不太理想了

n 个城市间存在 n!/(2n)条可能路径 设问题中含有 n 个城市 ,用 n*n 个神经元构成

网络

23/4/21 83

Hopfield 网解决 TSP 问题 dxy——城市 X 与城市 Y 之间的距离; yxi——城市 X 的第 i 个神经元的状态:

1 城市 X 在第 i 个被访问yxi=

0 城市 X 不在第 i 个被访问 wxi,yj——城市 X 的第 i 个神经元到城市 Y 的第

j 个神经元的连接权。

23/4/21 84

Hopfield 网用于解决 TSP问题例如:四个城市 X、 Y、 Z、W

城市名访问顺序标示

1 2 3 4

X 0 1 0 0

Y 0 0 0 1

Z 1 0 0 0

W 0 0 1 0

23/4/21 85

Hopfield 网用于解决 TSP问题

连接矩阵 wxi,yj= -Aδxy(1-δij) –Bδij(1-δxy) –C –ζdxy(δji+1+δji-1)

1 如果 i=jδij=

0 如果 i≠j

23/4/21 86

网络的能量函数

x xz izizixixz

x ixi

i x zxzixi

x i ijxjxi

yyydD

nyC

yyB

yyA

E

11

2

2

22

2

23/4/21 87

网络的能量函数

仅当所有的城市最多只被访问一次时取得极小值 0 。

x i ij

xjxi yyA

2

•A、 B、 C、 D 为惩罚因子

第 1 项

23/4/21 88

网络的能量函数

仅当每次最多只访问一个城市时取得极小值 0 。

i x zx

zixi yyB

2第 2 项

23/4/21 89

网络的能量函数

当且仅当所有的 n 个城市一共被访问 n次时才取得最小值 0 。

2

2

x ixi ny

C第 3 项

23/4/21 90

网络的能量函数

表示按照当前的访问路线的安排,所需要走的路径的总长度

x xz i

zizixixz yyydD

112第 4 项

23/4/21 91

Hopfield 网解决 TSP 问题

Hopfield网解决 TSP问题时显示了它强大的计算能力,若对 10个城市的 TSP问题来说,可能存在

n!/2n=10!/20=181440条

它能从近 20万条路线中选出最好的路线,显示它的计算能力。

23/4/21 92

概 述

自组织神经网络,又称为自组织竞争神经网络 , 特别适合于解决模式分类和识别方面的应用问题。

自组织神经网络属于前向神经网络类型,采用无导师学习算法,

自组织特征映射神经网络不仅能够像自组织竞争神经网络一样学习输入的分布情况,而且可以学习神经网络的拓扑结构。

23/4/21 93

概 述 自组织竞争神经网络类型

自组织特征映射 (self-Organizing Map,SOM)网络

自适应共振理论 (Adaptive Resonance Theory, ART)网络

对传 (Counter Propagation, CP)网络

协同神经网络 (Synergetic Neural Network. SNN)

23/4/21 94

自组织特征映射神经网络结构 由芬兰学者 Teuvo Kohonen于 1981年提出

基本上为输入层和映射层的双层结构 , 映射层的神经元互相连接,每个输出神经元连接至所有输入神经元

Kohonen的思想在本质上是希望解决有关外界信息在人脑中自组织地形成概念的问题。

I’m Teuvo Kohonen

23/4/21 95

SOM 网的生物学基础 Kohonen 认为人的大脑有如下特点:1 .大脑的神经元虽然在结构上相同,但是它们的排序不同。排序不是指神

经元位置的移动,而是指神经元的有关参数在神经网络受外部输入刺激而识别事物的过程中产生变动。

2 .大脑中神经元参数在变动之后形成特定的参数组织;具有这种特定参数组织的神经网络对外界的特定事物特别敏感。

3 .根据生物学和神经生理学,大脑皮层分成多种不同的局部区域,各个区域分别管理某种专门的功能,比如听觉、视觉、思维等。

4 .大脑中神经元的排序受遗传决定,但会在外界信息的刺激下,不断接受传感信号,不断执行聚类过程,形成经验信息,对大脑皮层的功能产生自组织作用,形成新功能。

23/4/21 96

SOM 网的生物学基础 生物学研究的事实表明,在人脑的感觉通道上,神经

元的组织原理是有序排列。因此当人脑通过感官接受外界的特定时空信息时,大脑皮层的特定区域兴奋,而且类似的外界信息在对应区域是连续映象的。

对于某一图形或某一频率的特定兴奋过程,神经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。

23/4/21 97

自组织特征映射神经网络结构竞争层

输入层

SOM 神经网络结构

23/4/21 98

SOM 网的拓扑结构 SOM 网共有两层,输入层模拟感知外界输入信息的视

网膜,输出层模拟做出响应的大脑皮层。

23/4/21 99

SOM 网的权值调整域 SOM 网的获胜神经元对

其邻近神经元的影响是由近及远,由兴奋逐渐转变为抑制,因此其学习算法中不仅获胜神经元本身要调整权向量,它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种函数表示:

23/4/21 100

SOM 网的权值调整域 以获胜神经元为中心设定一个邻域半径,该半径圈定

的范围称为优胜邻域。在 SOM 网学习算法中,优胜邻域

内的所有神经元均按其离开获胜神经元的距离远近不同程

度地调整权值。

优胜邻域开始定得很大,但其大小随着训练次数的增加

不断收缩,最终收缩到半径为零。

23/4/21 101

自组织特征映射网络的学习算法

自组织特征映射学习算法原理 Kohonen 自组织特征映射算法,能够自动找出输入

数据之间的类似度,将相似的输入在网络上就近配置。因此是一种可以构成对输入数据有选择地给予响应的网络。

类似度准则 欧氏距离 n

2

1

( )j i iji

d x w

23/4/21 102

自组织特征映射网络的学习算法 自组织特征映射学习算法步骤

(1) 网络初始化 用随机数设定输入层和映射层之间权值的初始值

(2) 输入向量 把输入向量输入给输入层

(3) 计算映射层的权值向量和输入向量的距离 映射层的神经元和输入向量的距离,按下式给出

n2

1

( )j i iji

d x w

23/4/21 103

自组织特征映射网络的学习算法 自组织特征映射学习算法步骤

(4) 选择与权值向量的距离最小的神经元 计算并选择使输入向量和权值向量的距离最小的神经

元,把其称为胜出神经元并记为 ,并给出其邻接神经元集合。

(5)调整权值 胜出神经元和位于其邻接神经元的权值,按下式更新:

(6) 是否达到预先设定的要求如达到要求则算法结束,否则返回 (2) ,进入下一轮学习

h( , )( )ij i ijw j j x w

( 1) ( )ij ij ijw t w t w

j

23/4/21 104

自组织特征映射网络的学习算法邻域函数

由邻域函数可以看到,以获胜神经元为中心设定了一个邻域半径,称为胜出邻域。学习初期,胜出神经元和其附近的神经元全部接近当时的输入向量,形成粗略的映射。 随着学习的进行而减小,胜出邻域变窄,胜出神经元附近的神经元数变少。因此,学习方法是一种从粗调整向微调整变化,最终达到预定目标的过程。

2

2h( , ) exp( )

j jj j

2

23/4/21 105

初 始 化 、 归 一 化 权 向 量 W :

jˆW , j = 1 , 2 , … m ;

建 立 初 始 优 胜 邻 域 N j * ( 0 )

学 习 率 ( t ) 赋 初 始 值

输 入 归 一 化 样 本pX̂ , p { 1 , 2 , … , P }

计 算 点 积 pTj XW ˆˆ , j = 1 , 2 , … m

选 出 点 积 最 大 的 获 胜 节 点 j *

定 义 优 胜 邻 域 N j * ( t )

对 优 胜 邻 域 N j * ( t ) 内 节 点 调 整 权 值 :)]()[()()( twxN,ttw1tw ij

piijij

i = 1 , 2 , … n j N j * ( t )

N )( t <

min

Y结 束

Kohonen

学习算法程序流程

23/4/21 106

Hierarchical and Partitive Approaches

Partitive algorithm Determine the number of clusters. Initialize the cluster centers. Compute partitioning for data. Compute (update) cluster centers. If the partitioning is unchanged (or the algorithm has

converged), stop; otherwise, return to step 3

k-means error function To minimize error function

23/4/21 107

Hierarchical and Partitive Approaches

Hierarchical clustering algorithm (Dendrogram) Initialize: Assign each vector to its own cluster Compute distances between all clusters. Merge the two clusters that are closest to each other. Return to step 2 until there is only one cluster left.

Partition strategy Cut at different level

23/4/21 108

Hierarchical SOM

GHSOM – Growing Hierarchical Self-Organizing Map grow in size in order to

represent a collection of data at a particular level of detail

23/4/21 109

自组织网络学习算法的 MATLAB实现

MATLAB 中自组织神经网络的重要函数和基本功能

函 数 名 功 能newsom() 创建一个自组织特征映射神经网络plotsom() 绘制自组织特征映射网络的权值矢量vec2ind() 将单值矢量组变换成下标矢量compet() 竞争传输函数midpoint() 中点权值初始化函数learnsom() 自组织特征映射权值学习规则函数

23/4/21 110

自组织网络学习算法的 MATLAB实现

MATLAB 中自组织神经网络的重要函数和基本功能 newsom()

功能 创建一个自组织特征映射网络函数 格式 net = newsom(PR,

[D1, D2, ...], TFCN, DFCN,OLR,OSTEPS, TLR, TND)

说明 net 为生成的新 BP 神经网络; PR 为网络输入矢量取值范围的矩阵 [Pmin Pmax]; [D1, D2, ...] 为神经元在多维空间中排列时各维的个数; TFCN 为拓扑函数,缺省值为hextop; DFCN 为距离函数,缺省值为 linkdist;OLR 为排列阶段学习速率,缺省值为 0.9;OSTEPS 为排列阶段学习次数,缺省值为 1000; TLR 为调整阶段学习速率,缺省值为 0.02, TND 为调整阶段领域半径,缺省值为 1 。

23/4/21 111

自组织网络学习算法的 MATLAB实现

plotsom() 功能 绘制自组织特征映射网络图的权值向量

函数 格式

(1) plotsom(pos) (2) plotsom(W, D , ND)

说明 式中 pos是网络中各神经元在物理空间分布的位置坐标矩阵;函数返回神经元物理分布的拓扑图,图中每两个间距小于 1 的神经元以直线连接; W 为神经元权值矩阵;D 为根据神经元位置计算出的间接矩阵; ND为领域半径,缺省值为 1 ;函数返回神经元权值的分布图,图中每两个间距小于 ND的神经元以直线连接。

23/4/21 112

自组织网络学习算法的 MATLAB实现

yec2ind() 功能 将单值向量组变换成下标向量 格式 ind = vec2ind(vec) 说明 式中, vec 为 m 行 n 列的向量矩阵

x , x 中的每个列向量 i ,除包含一个 1 外,其余元素均为 0 , ind 为 n 个元素值为 1 所在的行下标值构成的一个行向量。

23/4/21 113

自组织网络学习算法的 MATLAB实现

例 1 人口分类是人口统计中的一个重要指标,现有 1999共 10 个地区的人口出生比例情况如下: 出生男性百分比分别为: 0.5512

0.5123 0.5087 0.5001 0.6012 0.5298 0.5000 0.4965

0.5103 0.5003;

出生女性百分比分别为: 0.4488 0.4877 0.4913

0.4999 0.3988 0.4702 0.5000 0.5035 0.4897 0.4997

23/4/21 114

自组织网络学习算法的 MATLAB实现

例 1 源程序

23/4/21 115

例 1 SOM 网络权值分布图

23/4/21 116

例 1 SOM 网络数据分类图

类别 1

类别 2

类别 5类别 4

类别 3

测试数据属于类别 5

23/4/21 117

自组织语义图 利用词与词在文档中的上下文关系,将词表示

成一个向量,然后用表示词的向量作为 SOM网络的输入,聚类,输出形成一个词汇类别图(Word category map )

在这个图中,意义相近的词聚在一起,组成一个词类,词在词汇类别图中的位置可以通过快速 Hash 的方法查到。

23/4/21 118

自组织语义图:一种将词向量化的方法 在一个文档集中考虑词与词之间的上下文关系。设

Ii(d) 表示相对于第 i 个词位移为 d 的位置上出现的词集

合(有可能出现多次),例如, Ii(1) 表示第 i 个词的所

有前趋邻接词 用向量 xi 表示第 i 个词,对位移集 {d1,…,dN} : ,

其中, 表示 中词的数量 一般地,为计算简单,只取 d=1和 d=-1

Tdi

dii

Ni xxx )()( ,...,

)(

)(

)( 1

diIk

kdi

di e

Ix

)(diI

)(diI

23/4/21 119

自组织语义图:另一种对中文词汇向量化的方法 对每一个词,在文档集合中出现该词的时候会伴随一些修饰词。因此可以用修饰词来表示该词,提供该词的一些语义信息

例如对名词“大学”,会出现一些修饰词如“本科”、“重点”、“合格”等,则定义,大学 ={本科,重点,合格,… }

23/4/21 120

自组织语义图:另一种对中文词汇向量化的方法 一般地,词 wi(i=1,2,…,N) 为: 其中 ni 表示修饰词个数 定义词 wi 的向量表示为: 其中, , ; ,

cij 表示词 wi 和词 wj 的修饰词集合中都出现的修饰词个数

将词用这种向量表示后,作为一个 SOM 网络的输入,可以聚类形成中文语义图。

},...,,{ )()(2

)(1

in

iii i

aaaw

TiNiii dddwV ,...,,)( 21

ijji

ijjijiij cnn

cncnd

)()( ji 0ijd ji

23/4/21 121

自组织语义图:示例

23/4/21 122

利用 SOM进行文本聚类:预处理

去掉非文本信息去掉在整个文档集合中出现次数小于 50次的词

去停用词 经过上述处理后,词的个数由 1 127 184 减少为 63 773

23/4/21 123

利用 SOM进行文本聚类:Word category map

将词表示成为一个 180维的向量,作为一个SOM 网络的输入,进行聚类

最终产生 13 432 个词类单元( 63 773 13 432 )

23/4/21 124

利用 SOM进行文本聚类:Document map

利用上面产生的词类将文档向量化后,每篇文档表示为一个 13 432 维的向量,再利用随机映射 (Random mapping method) 的降维方法,向量维数减少到 315 维

将这 315 维的向量作为一个 SOM 的输入 相关的结果可以参见

http://websom.hut.fi/websom/

23/4/21 125

利用 SOM进行文本聚类

23/4/21 126

SOM 的特点 自组织映射( Self-organizing Maps,

SOM )算法是一种无导师学习方法 具有良好的自组织 可视化 得到了广泛的应用和研究。

23/4/21 127

脉冲耦合神经网络 随着生物神经学的研究和发展, Eckhorn 等通过对

小型哺乳动物大脑视觉皮层神经系统工作机理的仔细研究,提出了一种崭新的网络模型脉冲耦合神经网络模型 Pulse-Coupled Neural Network, PCNN )。PCNN 来源于对哺乳动物猫的视觉皮层神经细胞的研究成果,具有同步脉冲激发现象、阈值衰减及参数可控性等特性。由于其具有生物学特性的背景、以空间邻近和亮度相似集群的特点,因此在数字图像处理等领域具有广阔的应用前景。将 PCNN 的最新理论研究成果与其他新技术相结合,开发出具有实际应用价值的新算法是当今神经网络研究的主要方向之一。

23/4/21 128

脉冲耦合神经网络 1952 年, Hodgkin与 Huxley 开始研究神经元电化学特性 [216]。

1987 年, Charles M. Gray 等发现猫的初生视觉皮层有神经激发相关振荡现象 [172; 173]。 1989年 ,Reinhard Eckhorn 和Charles M. Gray 研究了猫的视觉皮层,提出了具有脉冲同步发放特性的网络模型 [106; 173]。 1990 年, Reinhard Eckhorn根据猫的大脑皮层同步脉冲发放现象,提出了展示脉冲发放现象的连接模型 [107] 。对猴的大脑皮层进行的试验中,也得到了相类似的试验结果。 1994 年, Johnson 发表论文,阐述了 PCNN 的周期波动现象及在图像处理中具有旋转、可伸缩、扭曲、强度不变性 [244] 。通过对 Eckhorn 提出的模型进行改进,就形成脉冲耦合神经网络( PCNN )模型。于 1999年 IEEE 神经网络会刊出版了脉冲耦合神经网络专辑 . 国内也于 20 世纪 90 年代末开始研究脉冲耦合神经网络。

23/4/21 129

脉冲耦合神经网络 为了更进一步提高性能,必须降低计算复杂度,即要减少神经元连接数。 Ekblad, U.和J.M. Kinser于 2004 年提出了交叉皮层模型( Intersecting Cortical Model, ICM )提高图像处理的速度。

23/4/21 130

脉冲耦合神经网络 视觉皮层各个区域分别用

V1、 V2、 V3、 V4、 V5表示。 V1 表示条纹状视觉皮层区域,它对图像很少进行预处理,但包含着丰富的图像细节信息。 V2进行视觉映射,视觉图谱信息少于Vl。 V3、 V4、 V5 可以是独立处理色彩、静态和运动信息的特定功能区域。

23/4/21 131

Hodgkin-Huxley 模型 20 世纪 50 年代, Hodgkin和 Huxley 研究哺乳动物视觉皮

层细胞,提出了膜电位的运行模型。

3 4( ) ( ) ( )Na Na k k L LI m hG E E n G E E G E E

其中, I是通过膜的离子电流,m表示通道打开的概率, G表示钠、钾等离子的电导和漏电导, E 表示总电位。 m 随时间的变化率为 :

(1 )m m

dma m b m

dt

其中, am是小颗粒未通过通道的比例, bm是通过通道的比例。 am和 bm都取决于总电位 E ,并且对钠离子 Na+ 和钾离子 K+具有不同的值。

23/4/21 132

FitzHugh-Nagumo模型 20 世纪 60 年代初,对神经细胞膜及轴突进行理论分析和

定量模拟,提出 FitzHugh-Nagumo 模型。在此模型中,神经元的行为用一个范德坡振荡器 (van der Pol oscillator)进行描述。该模型有多种描述形式,但每种形式本质是相同的,即用一个耦合振荡器来描述一个神经元。例如, Labbi 等描述神经元的膜电势 x 和电压恢复量 y 之间的相互作用如下

( )dx

y g x Idt

dyx by

dt

23/4/21 133

Eckhorn模型 1990 年,根据猫的视皮层的同步振荡现象, Eckhorn 提出一个脉冲神经网

络模型,如图所示。这个模型由许多相互连接的神经元构成,每个神经元包括两个功能上截然不同的输入部分:分别是常规的馈接( Feeding )输入,和起调制作用的连接( Linking )输入。而这两部分的关系并非像传统神经元那样是加耦合的关系,而是乘耦合的关系。

23/4/21 134

Eckhorn模型

一般表示为

, ( )[1 ( )]m k k kU F t L t

1

( ) [ ( ) ( ) ( )] ( , , )N

f a ak ki i k k

i

F t w Y t S t N t I V t

1

( ) [ ( ) ( )] ( , , )N

l l lk ki i k

i

L t w Y t N t I V t

,1 ( ) ( )

( )0

m k kk

U t tY t

其它

X t Z(t) I( , , )t ( )t /X[n] X[n 1]e VZ[n]

23/4/21 135

脉冲耦合神经网络

神经元主要有两个功能单元构成 :馈接输入域和连接输入域,分别通过突触连接权值 M和 K来与其邻近的神经元相连。两功能单元都要进行迭代运算,迭代过程中按指数规律衰减。馈接输入域多加一个外部激励 S 。

23/4/21 136

Bayes 连接域网络模型w'1w'2

w'm

wn

w2

w1

+

P(f1)

*

P(lm)

P(l2)P(l1)

P(fn)

P(f2)P(X)

Linking

input

Feeding

input

n

jjbefore

ibeforeiafter

XP

XPXP

1

)(

)()(

竞争前的发放概率

竞争后的发放概率

23/4/21 137

图像理解是一个高层的感知任务,基于 Bayes 连接域网络模型 BLFN ,提出了一种特征捆绑计算模型,能够实现物体知觉的整体识别。

特征捆绑的计算模型

23/4/21 138

模拟实验( 1 )一个具体问题

23/4/21 139

模拟实验( 2 )问题的简化

p

o

n

m

k

l

j

i

h

gf

e

d

c

b

a

23/4/21 140

模拟实验( 3 )模型的体系结构

... ...

... iba

M1 M14M3M2 W1 W14W3W2

f

WM

对象Man 的特征

对象Woman 的

特征

对象Man 对象Woman

底层视觉特征Feeding 输入

Linking 输入

23/4/21 141

模拟实验( 4 )实验结果 A

... ...

... iba

M1 M14M3M2 W1 W14W3W2

f

WM

对象Man

对象Man 的特征

对象Woman

对象Woman 的

特征

23/4/21 142

模拟实验( 5 )实验结果 B递归次数 1 2 3 4 5

神经元的发放概率

M1 0.144 0.994 1.000 1.000 1.000

M2 0.577 0.965 1.000 1.000 1.000

M3 0.614 0.949 1.000 1.000 1.000

M4 0.499 0.522 1.000 1.000 1.000

M5 0.505 0.333 1.000 1.000 1.000

M6 0.363 0.773 1.000 1.000 1.000

M 0.497 0.741 1.000 1.000 1.000

W10 0.803 0.020 0.000 0.000 0.000

W11 0.709 0.011 0.000 0.000 0.000

W12 0.102 0.013 0.000 0.000 0.000

W13 0.675 1.000 0.000 0.000 0.000

W14 0.535 1.000 0.000 0.000 0.000

W 0.503 0.259 0.000 0.000 0.000

23/4/21 143

结论 Bayesian Linking Field 模型能够在完成感知

任务的同时实现特征捆绑 特征捆绑与感知是同时完成的,它们相辅相成、

相互促进 特征捆绑是通过振荡完成,而不是简单的

bottom-up 或者 top-down 过程 在特征捆绑的同时,模型完成了视觉特征的选

择,相关特征被增强,无关特征被忽略

23/4/21 144

指纹识别 Bayesian Linking Field 模型能够在完成感知

任务的同时实现特征捆绑 特征捆绑与感知是同时完成的,它们相辅相成、

相互促进 特征捆绑是通过振荡完成,而不是简单的

bottom-up 或者 top-down 过程 在特征捆绑的同时,模型完成了视觉特征的选

择,相关特征被增强,无关特征被忽略

23/4/21 145

指纹识别

23/4/21 146

指纹识别

像素初级剥除

像素精细修剪

23/4/21 147

指纹识别 Bayesian Linking Field 模型能够在完成感知

任务的同时实现特征捆绑 特征捆绑与感知是同时完成的,它们相辅相成、

相互促进 特征捆绑是通过振荡完成,而不是简单的

bottom-up 或者 top-down 过程 在特征捆绑的同时,模型完成了视觉特征的选

择,相关特征被增强,无关特征被忽略

23/4/21 148

指纹识别

指纹识别工作流程


Recommended