基于基于镜像神经机制的人类动作行为认知计算研究

报告人：朱华平导师：孙杳如专业：模式识别与智能系统年级： 2009 年秋研究方向：认知心理学与拟脑计算

报告内容

镜像神经研究情况2 镜像神经元特性

3

4

5

镜像神经元研究领域

镜像神经元参与虚化动作理解机理研究

下一步研究展望

1

1. 镜像神经研究情况—溯源被人誉为可以比肩生物学发现 DNA 一样的重大成就di Pellegrino G, Fadiga L, Fogassi L, Gallese V,

Rizzolatti G. ， the University of Parma

di Pellegrino et al. ， 1992 （最多人接受） Rizzolatti et al.1988( 最早可追溯 )

Rizzolatti et al.1996 （正式提出并延展）

An accidental discovery

镜像神经最早在猿猴的 F5 区 人存在镜像神经和镜像神经系统？ 镜像神经的来源，先天还是后天？

从猿到人

动作理解到行为意图理解 语言理解与习得的动作理论

共情、神经效率……

人类镜像神经系统功能的延展

发现者

研究历程

1. 镜像神经研究情况—论文发表

CE/ 通用格式

CE/ 通用格式

CE/ 通用格式

• 逐年递增• 2007 年以来发表文章

数增加较快• 2010 年井喷

发表论文年份

• 主题： mirror neuron• 来源： web of SCI

• 多篇 science,Nature,Cell

SCI 收录论文数

SCI 收录论文

EI 收录论文其他论文

• 绝对数量有所下降• 分布学科范围较广

• 计算模型仍然很少

2011 年论文

2000 2005 2010

What are “Mirror neuron”• Mirror neurons (MNs) are a specific class of motor neurons

that originally discovered in the macaque’s ventral

premotor cortical area( F5 area).

2. 镜像神经元特性— monkey

Properties

Mirror neurons discharge both when the animal performs an action

(grasps an object) and sees another individual make a similar action

(monkey or human).

2. 镜像神经元特性— monkey

• 记录猴子 F5 脑区的120 个左右神经元

• 观看人类抓花生与猴子自己抓取花生

• 有目标的动作激活强烈• 无目标的动作激活较弱• 用工具有目标的动作激活最弱

2. 镜像神经元特性 -monkey

目标不可见或仅是声音 MNs respond even if the action can’t be

observed directly （ Umiltà et al., 2001, Neuron ）

拨花生的声音也能激活猴子镜像神经元

2. 镜像神经元特性 -monkey

1

2

3

固定模式

目标导向 • 猴子镜像神经元具有目标导向（ object-directed action ）• object alone or hand movement alone is not enough

• 激活是固定的，非奖励激起（ Reward not relevant to fir-ing ）

• 目标存在不一定要眼见（目标是预先编码的？）

多模态 • 有关动作的声音也可以激起（引申到语言习得、理解等）• 可以感知为生物的动作执行体（非工具）

2. 镜像神经元特性—从猿到人

猴子 人类猴子的镜像神经元 人类镜像神经系统存在于 inferior parietal lobe (IPL), the inferior frontal gyrus (IFG)Brodmann 44 ， covering part to Inferior Frontal Gyrus (44,45,47) ， with Brodmann 45 makes up Broca’s Area, known for speech productionIPL,IFG 与 STS 组成人类镜像神经系统（ mirror neuron system ， MNS ）

Macaque’s ventral premotor cortical area Human’s ventral premotor cortex overlaps with Broca’s regionFurthermore, researchers described mirror neurons in songbirds that fired when a bird sings or hears another bird sing a song similar to its own

快速识别动作 , 理解动作意图 , 镜像机制为非受限的智能人机交互带来新的启示与动作相关的精神病共情困难的自闭症阿尔兹海默 ( 老年痴呆 )

由于动作与语言产生的关系，镜像神经系统与语言产生联系起来不需要额外的 mind

reading, 或是过多的推理 , 可以快速理解他人动作的意图

2. 镜像神经元特性—迷人之处

第一人称感同身受A

帮助语言理解B

相关疾病的病理依据

C人机交互的启示

D

3. 镜像神经元研究领域

还涉及研究• 镜像神经系统失衡（自闭症）• 成瘾（烟瘾、暴力模仿）• 神经效率 Neural efficiency• 脑机接口 Brain–machine interfaces• 艺术感觉 Esthetic reactions to art• 人机交互（虚拟人，乃至灵魂出窍）• 拟人机器人 Humanoid robots

Action understanding• 帮助理解意图• 易化（ Facilitating ）模仿• Empathy （共情）Language• 语言的产生• 语言的理解与进化

Consciousness• Theory of mind• Six sense• Social cognition

由于伦理限制，缺少人类镜像神经元单神经的研究证据

镜像神经元的由来 , 镜像机制仅仅是功能体现 ?

多个问题存在 , 如Hicock 的八个问题和 2011 年的论战 ?

4. 镜像神经元参与虚化动作理解机理研究

真实的手动

失真的手动

素描的手动

存二义性的手动

真实手的不及物动作能激活镜像神经元Mu rhythm suppression 被认为是人类镜像神经元活动的 EEG 指标

颜色与纹理不匹配的电脑生成的手或阴影手也用于人类镜像神经系统的研究

素描特征的手部动作极有可能激活人类镜像神经系统，但没有实验验证

行为实验研究显示图示性的手部动作可以引起自动模仿，但缺乏镜像神经激活证据

存二义性的手部动作，与背景知识与指导语有关，研究较少

仅轮廓的手动

4. 镜像神经元参与虚化动作理解机理研究 -1

真实的手颜色、形状、纹理、填充物等高度真实的手

缺颜色、纹理

缺填充物

轮廓、象形

阴影手为刺激

素描手为刺激

线条画的手为刺激

• 直接匹配假说（ Direct Matching Hypothesis ）认为人类镜像神经系统的激活与否不取决于刺激的颜色、形状、纹理、填充物等外观形态，而是取决于观察者是否有对其所观察运动的内在运动表征。

• 镜像神经元可能参与抽象运动理解。

Huaping Zhu, Yaoru Sun, Wenya Duan, Electroencephalogram evidence for mirror neuron activity during the observation of drawn hand, Neural Regeneration Research, 6(18), 1398-1403,2011.

4. 镜像神经元参与虚化动作理解机理研究 -1

实验方法 记录 F3, Fz, F4, C3, Cz, C4, P3, Pz, P4, O1, 和 O2

等 11 导脑电信号 真实手，阴影手，素描手，线条手与基线刺激 计算 mu （ 8-13Hz ）的去同步化（能量降低） 进行重复实验方差分析

实验结果 T检验显示在观看真实手运动和素描手运动时， mu节律抑制（ mu suppression ）现象显著计算mu （ 8-13Hz ）的去同步化（能量降低）

重复实验方差分析显示实验刺激间， C3,Cz,C4 电极间及二者相互交互均无显著差异行重复实验方差分析

对 F3 ， Fz ， F4 电极的 mu抑制现象分析发现与运动区电极有同样的模式

枕区 O1 ， O2 无明显 mu抑制现象，说明不是注意调制引起

4. 镜像神经元参与虚化动作理解机理研究 -1

实验发现 非及物的虚化（ impoverished ）手指运动也能激活人类镜像神经元存在的脑区 刺激的颜色，纹理与填充内容并不是决定镜像神经元激活差异的因素 验证了镜像神经的直接匹配假说

实验结果

4. 镜像神经元参与虚化动作理解机理研究 -2

实验发现 动作执行体确认为手，但不知具体手指运动特征时，

镜像神经系统不激活 通过学习，建立起了执行体，动作特征的一一对应，

镜像神经系统激活（ EEG 特征） 感觉运动学习（ sensorimotor learning ）是镜像神经

元形成的重要条件

学习

提出应用框架 大量研究表明自闭症与镜像神经系统功能失衡有关，虚化的（不同表现特征的生物体运动）

能激活镜像神经系统，但自闭症患者却不一样 脑电的安全性与实时性， mu节律可以反映镜像神经系统的活动 感觉运动学习（ sensorimotor learning ）是镜像神经元形成的重要条件 基于以上发现，借助脑机接口（ BCI ）技术，开发互动的、生动的（或写实的、或抽象的）

人类动作，利用学习强化镜像神经系统，从而达到自闭症康复治疗目的。

Huaping Zhu, Yaoru Sun, JinhuaZeng, Hongyu Sun, “Mirror neural training induced by virtual reality in Brain–Computer Interfaces may provide a promising approach for the autism therapy”, Medical Hypotheses, 76(5), 646-647,2011.

5. 下一步研究展望

镜像神经元的动作链架构• 直接匹配中动作的组织方式—动作链• 动作链的发生、发展、消亡与可塑动作直接映射的计算范式• 建立动作基元的链式表达结构• 动作的快速映射机制

• 人类动作（如手势）快速识别与交互动作认知的相关应用研究

国家自然科学基金（面上） 2012 年 -2015 年：基于动作链及镜像神经系统的人类动作行为理解的认知计算研究

谢谢大家！