Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
心拍による情動スペクトルの推定
名古屋市立大学
大学院医学研究科 医学・医療教育学分野
教授 早野 順一郎
心臓の拍動間隔には1拍ごとの変動がみられるが、その
起源は脳にあり、自律神経を通じて心臓に伝達されている。
映画の様々なシーンにおける観客の心拍の変動パターン
を解析した結果,情動のスペクトルを心拍から推定できるこ
とが分かった。
研究の概要
心拍変動とは?
心臓の拍動間隔の生理的な変動
心拍変動 = 生理的不整脈 = 生理的洞性不整脈
3
心拍変動を可視化するVisualization
心電図のN-N間隔を測ってグラフにする
N-N間隔 = 連続する洞調律のR-R間隔
変動の大きさや特徴を定量化する.
4
5
心拍変動のvisualization
HRV
Physiological fluctuations in inter-beat interval of cardiac sinus rhythm
6
HRV can be visualized by the time series of R-R intervals.
心拍変動のvisualization
0 20 40 60 80 100 120
R-R
in
terv
al
ms
400
600
800
1000
1200
Time, sec
0 20 40 60 80 100 120
400
600
800
1000
1200
0 20 40 60 80 100 120
400
600
800
1000
1200
Time, sec
0 20 40 60 80 100 120
R-R
in
terv
al
ms
400
600
800
1000
1200
Healthy at rest Healthy duringmental stress
Healthy during exercise
Congestive heart failureat rest
様々な状態の心拍変動
心拍変動の特徴
7
情動の二次元スペクトルCircumplex model of affect
Posner J, Russell M, and Peterson B. Dev Psychopathol 17, 715-34, 2005 より
AROUSAL
VALENCE
Activation
Deactivation
Pleasant
Unpleasant
HAPPY
RELAXED
ANGRY
SAD
alert
excited
elated
happy
content
serene
relaxed
calm
tense
nervous
stressed
upset
sad
depressed
fatigued
bored
方法
1. 健常成人を対象に,様々な情動を惹起することが期待される映画を見てもらい、その間の心電図を連続記録。
2. 映画を見ている間に、以下の情動を自覚した時に、対応するボタンを押してもらう。
①喜び,②心配,③驚き,④悲しみ,⑤嫌悪,⑥怒り
3. 心電図より1拍ごとのR-R間隔時系列をもとめ,その変動のcomplex demodulationによって,低周波数(LF,0.04-0.15 Hz)成分振幅および高周波数(HF,0.15-0.45 Hz)成分振幅の時系列を連続関数として計算
4. 各ボタンが押された前後5分間のR-R間隔,LF振幅およびHF振幅の時系列を自動抽出し,情動の種類ごとにsignal averagingを行って心拍およびその変動成分の変化パターンの特徴を抽出
5. パターンの機会学習によって,情動の2次元スペクトル上の座標を推定するシステムを構築
Circumplex model of affect
AROUSAL
VALENCE
Activation
Deactivation
Pleasant
Unpleasant
HAPPY
RELAXED
ANGRY
SAD
alert
excited
elated
happy
content
serene
relaxed
calm
tense
nervous
stressed
upset
sad
depressed
fatigued
bored
①喜び
②心配
⑥怒り
⑤嫌悪
④悲しみ ③驚き
方法
1. 映画鑑賞中の情動を、その種類に応じて、2
次元スペクトル上の適切と考える位置に配置し,そのvalenceとarousalの座標を決める。
2. 各情動が生起したいときのR-R間隔、LF振幅,HF振幅のsignal averagedデータのパ
ターンから、情動スペクトル座標を推定するモデルを構築。
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)Time(sec)
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)Time(sec)
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
喜び N=7 心配 N=16 驚き N=9
悲しみ N=10 嫌悪 N=3 怒り N=2
Event 喜び 心配 驚き 悲しみ 嫌悪 怒り
N 7 16 9 10 3 2ALLSignal Average RRI
喜び 心配 驚き
悲しみ 嫌悪 怒り
Event 喜び 心配 驚き 悲しみ 嫌悪 怒り
N 7 16 9 10 3 2ALL
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
Signal Averaged LF amplitude
喜び 心配 驚き
悲しみ 嫌悪 怒り
Event 喜び 心配 驚き 悲しみ 嫌悪 怒り
N 7 16 9 10 3 2ALL
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
Signal Averaged HFamplitude
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
喜びN=7
心配N=16
Signal Averaging
RRI
0
20
40
60
80
-300-240-180-120-60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
LF HF
驚きN=9
悲しみN=10
Signal Averaging
RRI LF HF
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
嫌悪N=3
怒りN=2
Signal Averaging
RRI LF HF
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
Circumplex model of affect
AROUSAL
VALENCE
Activation
Deactivation
Pleasant
Unpleasant
HAPPY
RELAXED
ANGRY
SAD
alert
excited
elated
happy
content
serene
relaxed
calm
tense
nervous
stressed
upset
sad
depressed
fatigued
bored
①喜び
②心配
⑥怒り
⑤嫌悪
④悲しみ ③驚き
結果
心拍による情動スペクトルの推定モデルとして、
1. Arousal軸の座標を、R-R間隔とHF振幅のレベルから推定するモデル
2. Valence軸の座標を、R-R間隔およびその変
動指標のパターンから推定するモデル
を作成した。
情動と心拍変動との関連は従来から研究されているが、
それらは心拍変動の自律神経指標と、ストレスやリラクセイ
ションとの関連に関するものであり、情動の種類の識別を
試みたものはない。本法は、従来の心拍変動指標ではなく
心拍やその変動成分の変動様式から情動の種類を推定す
るものである。
従来の研究との比較
1. 心拍の時間的変動パターンから情動を判定する。
2. 心拍変動パターンから情動の種類を推定する。
3. 情動反応の経時的な変化を追跡する。
新技術の特徴
1. 音楽、ドラマ、映画などに対する情動反応の客観的評価
2. 商品やサービスの開発におけるモニタの情動反応の客観的な把握
3. 情動障害の客観的診断
想定される研究成果の用途
お問い合わせ先
名古屋市立大学
社会連携センター(事務局学術課内)
TEL 052 - 853 - 8041
FAX 052 - 841 - 0261
e-mail ncu_renkei@sec.nagoya-cu.ac.jp