Embed Size (px)
Citation preview
시각적 시각적 시각적 시각적 단어인지 단어인지 단어인지 단어인지 시 시 시 시 친밀도에 친밀도에 친밀도에 친밀도에
따른 따른 따른 따른 N400 N400 N400 N400 사건관련 사건관련 사건관련 사건관련 전위 전위 전위 전위 및 및 및 및
감마대역 감마대역 감마대역 감마대역 활성화 활성화 활성화 활성화 패턴 패턴 패턴 패턴 관찰관찰관찰관찰
연세대학교 대학원
의 공 학 과
윤 진
시각적 시각적 시각적 시각적 단어인지 단어인지 단어인지 단어인지 시 시 시 시 친밀도에 친밀도에 친밀도에 친밀도에
따른 따른 따른 따른 N400 N400 N400 N400 사건관련 사건관련 사건관련 사건관련 전위 전위 전위 전위 및 및 및 및
감마대역 감마대역 감마대역 감마대역 활성화 활성화 활성화 활성화 패턴 패턴 패턴 패턴 관찰관찰관찰관찰
지도 김 경 환 교수
이 논문을 석사 학위논문으로 제출함
2008년 월 일
연세대학교 대학원
의 공 학 과
윤 진
윤진의 석사 학위논문을 인준함
심사위원 인
심사위원 인
심사위원 인
연세대학교 대학원
2008년 월 일
차 차 차 차 례례례례
그림 차례 ..................................................................................................... iii
표 차례 ....................................................................................................... v
국문 요약 .................................................................................................... vi
제 1장 서론 .................................................................................................. 1
제 2장 방법 .................................................................................................. 6
2.1. EEG 기록 및 실험방법 .................................................................... 6
2.1.1 EEG 기록 .............................................. 6
2.1.2 한글과 영어단어인지 실험(N400) 방법 .............................. 6
2.1.3 작업난이도가 있는 oddball task(P300) 방법 .............................. 7
2.2. 데이터 분석 방법 .............................................. 9
2.2.1 ERP 요소 분석 .............................................. 9
2.2.2. Gamma band Activity 분석 방법 ............. 9
2.2.2.1 time-frequency 분석 ............. 9
2.2.2.2 evoked Gamma band activity 분석 ............. 10
2.2.2.3 induced Gamma band activity 분석 ............. 10
2.2.3. theta/ gamma band phase synchronization 분석 ............. 11
2.2.3.1 Phase Lacking Value 계산 .............................................. 11
2.2.3.2 double threshold phase synchronization
분석 방법.............. 12
제 3장 결과 .................................................................................................. 17
3.1 N400 실험의 ERP 분석 결과 .............................................. 17
3.2 P300 실험의 ERP 분석 결과 .............................................. 20
3.3 응답 시간 및 정답률 .............................................. 23
3.4. Gamma Band Activity 결과 .............................................. 24
3.4.1 evoked Gamma Band Activity 결과 .............................. 24
3.4.2 induced Gamma Band Activity 결과 .............................. 25
3.5 theta phase synchronization 결과 .............................. 27
3.6 gamma phase synchronization 결과 .............................. 29
제 4장 고찰 .................................................................................................. 32
4.1 ERP 파형의 시간영역 특성 .............................................. 32
4.2 Gamma Band Activity 특성 .............................................. 34
4.3 theta/gamma phase synchronization 특성 .................................. 35
제 5장 결론 ................................................................................................. 38
참고 문헌 ................................................................................................. 40
영문 요약 ................................................................................................. 45
그그그림림림 차차차례례례
그림 1.1 시간지연과 위상차이의 관계 ........................... 4
그림 2.1 한글과 영어단어 인지실험의 자극제시 방법 ........................... 7
그림 2.2(a) oddball task의 자극종류
(b) 자극 제시 방법 ........................... 8
그림 2.3 (a) 원신호의 PLV의 계산방법
(b) 대리신호의 PLV의 계산방법................. 13
그림 2.4
(a) 원신호와 대리신호의 PLV 분포
(b) (a)에서 구한 통계치와 PLV값
(c) 위상동기화가 일어난 시간구간
................. 14
그림 2.5 근거리 전극끼리의 거짓위상동기화 ........................... 15
그림 3.1 단어제시조건에 따른 평균 ERP ........................... 17
그림 3.2 단어제시조건에 따른 GFP ........................... 18
그림 3.3 단어제시조건에 따른 각 ERP의 topography ........................... 19
그림 3.4 난이도조건에 따른 평균 ERP ........................... 20
그림 3.5 난이도조건에 따른 GFP ........................... 21
그림 3.6 난이도조건에 따른 각 ERP의 topography ........................... 22
그림 3.7 단어제시조건에 따른 평균 eGBA ........................... 24
그림 3.8 난이도조건에 따른 평균 eGBA ........................... 25
그림 3.9 단어제시조건에 따른 평균 iGBA ........................... 26
그림 3.10 난이도조건에 따른 평균 iGBA ........................... 27
그림 3.11 단어제시조건에 따른 세타대역의 위상동기화 ........................... 28
그림 3.12 난이도조건에 따른 세타대역의 위상동기화 ........................... 29
그림 3.13 단어제시조건에 따른 감마대역의 위상동기화 .......................... 30
그림 3.14 난이도조건에 따른 감마대역의 위상동기화 ........................... 30
표표표 차차차례례례
표 2.1
대리신호를 이용하여 구한 한글과 영어단어 자극제시 전과
후의 통계치 및 이 통계치를 사용하여 위상동기화가 관찰된
전극 쌍의 개수
.... 15
표 3.1 단어제시 조건에 따른 각 ERP요소의 latency와 영역 ............ 19
표 3.2 난이도에 따른 각 ERP요소의 latency와 영역 .............22
국국국 문문문 요요요 약약약
시각적 시각적 시각적 시각적 단어인지 단어인지 단어인지 단어인지 시 시 시 시 친밀도에 친밀도에 친밀도에 친밀도에 따른 따른 따른 따른 N400 N400 N400 N400 사건관련 사건관련 사건관련 사건관련 전위 전위 전위 전위
및 및 및 및 감마대역 감마대역 감마대역 감마대역 활성화 활성화 활성화 활성화 패턴 패턴 패턴 패턴 관찰관찰관찰관찰
본 연구에서는 한글과 영어단어의 인지 과정에서의 대뇌 정보처리 과정을 이해
하기 위하여 해당언어의 친밀도에 따라 시각적 단어인지 과정 시 뇌 활성화 패턴
간 차이가 있을 것이라는 가정을 세우고 이를 검증하기 위한 실험적 연구를 수행
하였다. 12명의 정상인 피험자들에게 범주에 해당되거나 해당되지 않는 두 개의
단어 쌍으로 구성된 자극을 시각적으로 제시하였다. 친밀도가 높은 한글단어 쌍의
전후관계를 판단하는 작업의 수행난이도가 영어단어 자극제시 조건보다 쉬울 것
으로 예상하고 작업난이도가 있는 oddball task의 결과와 비교하여 해당언어의 친
밀도와 작업난이도의 관계를 확인하고자 하였다. 친밀도와 작업난이도에 따른 순
차적인 뇌 활성화 패턴을 관찰하기 위해 단어의 시각적 제시에 따라 유도되는 사
건관련전위(Event Related Potential, ERP)의 차이를 통계적으로 비교하였다. 시
-주파수 분석을 통해 evoked와 induced 활성화를 통해 근거리 감마대역 동기화
의 발생크기와 시점을 통계적으로 비교하였다. 또한 원거리간 감마대역 동기화를
관찰하기위해 위상동기화지수(Phase Locking Value, PLV)를 계산하여 17개 전
극 쌍의 위상동기화를 세타와 감마대역에서 관찰 하였다.
시각 자극에 대한 친밀도를 반영하는 초기 시각 ERP요소인 N1의 크기가 한글
에서 영어단어자극 조건보다 크게 발생하였으며 의미처리과정을 반영하는 N400
요소의 잠복기와 응답시간이 한글단어자극에서 지연되었다. 또한 작업난이도를 가
지는 oddball task의 P300요소의 잠복기와 응답시간이 어려운 난이도에서 지연되
어 나타났다. 한글과 영어단어 자극 제시 조건 모두에서 감마대역 활성화가 증가
되었으며 감마대역의 evoked 활성화의 발생시점이 한글 보다 영어단어자극 제시
조건에서 지연되어 나타났다. 작업난이도에 따른 oddball task의 감마대역 활성화
또한 자극 전보다 증가되었으며 어려운 난이도에서 evoked 활성화의 발생시점이
지연되어 나타났다. 세타대역의 위상동기화를 관찰 한 결과 해당 단어 자극 후 초
기 시간에 frontal을 중심으로 동기화가 활발하였다가 central을 중심으로 동기화
가 전이되었으며 영어단어가 한글단어자극제시 조건보다 동기화의 활성시점이 지
연되어 나타났다. 감마대역의 위상동기화의 결과에서도 영어단어자극제시 조건에
서 지연되어 나타났으며 작업난이도에 따른 oddball task의 위상동기화 결과에서
도 어려운 난이도에서 지연되어 동기화가 일어났다. 본 연구에서는 한글과 영어단
어를 인지하는 뇌의 기능적 패턴이 해당언어의 친밀도에 따라 달라지는지를 관찰
하였으며 이는 작업의 난이도에 따른 기능적 패턴과 유사한 것으로 확인 하였다.
한국인이 한글과 영어단어를 인지할 때 공간적인 패턴은 유사하나 해당언어를 이
해하고 상황을 판단하는 인지과정의 시간 차이가 있는 것은 전반적으로 각 언어
에 대한 친밀도 및 숙련도, 작업난이도를 반영하는 것으로 해석될 수 있다.
keyword: 시각적 단어인지, oddball task, 사상관련전위(ERP), 감마대역 활성화
(GBA), 위상동기화
- 1 -
제 제 제 제 1 1 1 1 장 장 장 장 서 서 서 서 론론론론
뇌의 언어인지 메커니즘에 대한 이해를 위하여 일정 시간 동안 유발된 전기적
신호를 관찰하는 방법이 활발하게 연구되고 있다. 여기서 유발된 전기적 신호를
사상관련전위(event related potential, ERP)라고 부르며 측정된 뇌파
(electroencephalogram, EEG)로부터 일정 시간 동안 주어진 자극에 반응하는 성
분을 추출함으로써 얻을 수 있다. ERP는 여러 정점의 극성 (polarity)과 잠재시간
(latency)에 따라 ERP 요소를 명명하고, 주로 요소파형들에 관한 통계적 분석을
수행하여 순차적 대뇌의 정보처리 과정 혹인 인지과정을 이해할 수 있다[1]. 시각
적 단어인지과정 중 측정된 ERP는 시각인지 및 언어 정보처리 과정을 반영하는
대뇌피질 내 여러 영역들의 전기적 활동을 반영한다. 단어 인지에서 관찰되는 대
표적인 초기 ERP 요소 중 P1요소는 자극 후 약 100ms에 occipital을 중심으로
시각 자극제시 종류에 반응하여 관찰된다. N1요소는 약 150~200ms에 posterior
temporal, parietal 및 occipital 영역을 중심으로 관찰되고 시각적 언어변화
(visual linguistic)와 작업 요인(task factor)의 영향을 받으며 단어의 의미적 처리
과정까지 미치지 못 한다[2]. 언어인지 처리과정에서의 발생하는 N400요소는 단
어 인지 처리과정에서 보이는 ERP요소로서 언어 이해 난이도와 의미의 부적절성
과 관련되어 의미적 처리과정을 반영한다. N400요소의 크기(amplitude)는 제시단
어(target word)와 반응단어(prime word)간의 사용빈도(frequency of usage), 반
복(repetition), 의미적 관계(semantic relatedness), 적합성(congruity)에 따라 민
감하게 달라지므로 N400의 크기는 의미적 기억(semantic memory) 과정의 활동
정도를 측정하는 용도로 쓰인다[3,4]. 언어가 다른 문장 또는 단어들을 제시하여
관찰한 N400요소의 크기는 자극종류와 언어사용능력과 나이 등에 따라 다르다는
보고들을 하고 있으며 숙련도나 친밀도가 높은 언어에서 공통적으로 잠복기와 응
답시간이 빠르다고 보고하고 있다[5,6,7]. P600요소는 frontal 및 central에서 약
500ms 이후에 관찰되며 논리적 통합의 과정과 재분석등과 같은 처리 과정에서
- 2 -
관찰되며 장기간 기억에 기반을 둔 입력정보의 정밀한 처리 과정을 한다. 친밀한
단어에서 친밀하지 않은 단어 보다 P600의 크기가 작아지고 잠복기가 빠르다는
연구보고들이 있다[8,9].
시각적 단어인지에서는 기능적으로 다양한 신경회로들의 결합에 의한 정보통합
을 필요로 한다. 따라서 순차적인 뇌 활성화를 관찰하는 것뿐만 아니라 신경회로
망들의 국소적인 결합 또한 관찰되어야 한다. 시각적 정보처리 과정 시 약 30–
50Hz의 감마대역에서 신경세포들의 발진이 동기화되는 특성을 관찰하는 연구가
진행되고 있다[10,11]. 이는 특정정보통합을 위하여 관여하는 여러 신경세포들의
활동이 이 주파수 대역에서 서로 리듬 있게 동기화되어 연합(binding)되는 현상으
로 인한 것으로 판단된다[12]. 따라서 이러한 감마대역 활성화(Gamma band
activity, GBA)의 관찰을 통하여 서로 긴밀하게 관련된 신경회로망들의 통합적 정
보처리의 정량적 분석이 가능하다. 초기 감각 정보처리 과정 시 발생하는 유발감
마대역활동(evoked gamma band activity, eGBA)은 약 100ms에서 활성화되는
것으로 알려져 있으며 자극처리 시 작업난이도와 자극종류에 반응하여 달라지고
자극의 전후 관계에 따라 의미기억(semantic memory) 내의 관련정보와 비교하여
부합되는지를 판단하고 선택하는 과정에서 eGBA가 발생한다[13]. eGBA 뿐만
아니라 증가감마대역활성화(induced Gamma band activity)를 관찰하는 연구가
진행되고 있다. 전후 상황의 관계에 따라 많은 양의 자료로부터 관련 정보를 선택
하는 언어인지 메커니즘은 단어 인지작용을 수행하기 위해 필수적이며 이로 인해
iGBA가 발생하게 된다. Krause의 연구에 의하면 소리로 제시된 단어를 인식할
때 iGBA를 관찰하였으며 단어의 의미에 따라 iGBA가 관찰되는 영역이 다르다는
것을 보였다[14,15]. Eulitz는 시각과 청각으로 언어자극을 제시한 후 240 ms에
좌반구에서 뇌자도의 스펙트럼 파워가 60 Hz 부분에서 증가하는 것을 관찰했다
[16]. Crone은 ERP와 같은 영역에서 iGBA를 토포그래피(topography)로 확인했
으며, 40~100 Hz에서 동조화된 신경세포들의 발진이 대뇌 활성화 정도를 나타내
는데 있어 ERP보다 매우 유용함을 보였다[17]. 친밀도가 높은 한글이 친밀도가
낮은 영어 단어보다 의미를 판단하는 작업의 정도가 쉬울 것으로 기대하며 한글
이 영어보다 eGBA의 활성화 발생시점이 빠를 것으로 예상한다. 한글과 영어단어
- 3 -
인지 시 iGBA가 발생할 것으로 예상하며 한글과 영어 단어 제시조건 간의 활성화
패턴이 다를 것으로 기대한다.
EEG는 서로 다른 영역에 위치한 채널에서 기록되며 그 기록들은 각기 다른 뇌
영역에서의 해석을 가능하게 한다. 대뇌피질에 있는 뉴런들은 특정 사건이 일어날
때 순간적이고 공간적인 결합으로 뇌파를 유도하고 신경회로망 사이에 복잡한 상
호연결 관계를 가지게 된다. 최근에는 공간적으로 넓게 분포되어있는 신경회로망
들 사이에 넓은 범위(large-scale)의 기능적 상호 연결성을 확인하는 연구가 활발
히 진행되고 있다. 이 관계들은 milli second 단위로 순간적(transient)이며, 대뇌
피질영역 사이에 동적인(time varying nature, dynamic) 성질을 가지고 특정 주
파수 대역과 관계를 가진다고 한다. 특정주파수 대역에서 국소 신경회로망들 간의
연결성뿐만 아니라 대뇌영역들 사이의 연결성을 파악하기 위해 coherence 분석,
위상동기화(phase synchronization)분석을 이용한 연구가 많이 수행되어 왔다
[18,19]. 신호 간 선형적 관계를 주파수대역에서 관찰하는 coherence는 잡음이
많은 EEG에서 순간적으로 발생하는 신경회로망의 기능적 연결성을 관찰하기에는
어려움이 있으므로 잡음이 내제되어있는 amplitude 성분으로부터 phase 성분을
독립적으로 분리하여 관찰하는 위상동기화 분석이 최근에 많이 사용 되고 있다.
위상동기화를 정량적으로 계산하기위해 Lachaux(1999)가 제안한 위상동기지표
(phase locking value, PLV)를 사용한 연구들이 활발히 진행되고 있다[20]. PLV
는 잡음이 내제되어있는 신호로부터 위상(phase) 성분을 독립적으로 추출하여 신
호 간 위상차를 계산하는 방법이다. 그림 1.1은 위상차이의 개념을 설명하기 위한
것으로 그림 1.1처럼 코사인형태인 두신호의 시간지연(lag)이 특정시간 t0에서 비
슷하다면 그 위상차이 또한 일정하게 유지된다는 것을 의미한다. 만약 그림 1.1이
EEG의 두 전극에서 기록된 신호라면 서로 떨어진 뇌 영역 간의 어떠한 기능적인
연관성이 있다고 볼 수 있다. 이러한 방법으로 4~8Hz의 세타(theta)와 30~50Hz
의 감마(gamma)대역과 같은 특정 주파수 대역에서의 기능적 연결성을 관찰하였
다[21,22]. Sauseng는 세타대역에 frontal과 parietal의 기능적 연결성은 사람이
주의를 집중하고 조작할 수 있는 정보인 작동기억(working memory)의 수준을 반
영하고 오류를 범하는 시각적 자극이 그렇지 않은 자극보다 더 큰 연결성을 보인
- 4 -
다고 한다[23]. 40Hz를 중심으로 관찰되는 동기화된 진동(synchronized
oscillation)은 통합적 뇌기능 수행에 따른 현상으로 알려졌으며 시각적으로 제시
되는 자극의 빈도와 모양 또는 상황 판단의 선택적 집중력과 난이도에 따라 기능
적 연결성이 활발히 발생하는 시점과 발생크기가 달라진다고 한다[24].
그림 1.1 시간지연과 위상차이의 관계
친밀도가 높은 한글단어 쌍의 전후관계를 판단하는 작업의 수행난이도가 영어단
어 자극제시 조건보다 쉬울 것으로 예상하고 작업난이도가 있는 oddball 작업의
결과들을 통해 비교하고자 하였다. Oddball 작업은 높은 빈도와 낮은 빈도를 가지
는 각 자극이 임의의 순서로 제시 될 때 오직 낮은 빈도의 자극에 피험자가 선택
적으로 반응하게 하는 작업이다. 자극 제시 후 약 300ms 근처에서 양극성 파형이
발생하며 이 파형은 인지, 기억, 지각능력, 주의 집중 등과 밀접한 관계가 있는
P300요소로 알려져 있다[25]. Oddball 작업수행 시 목표자극이 제시되는 빈도수,
- 5 -
간격, 자극의 형태, 반응 방법 등에 따라 작업난이도가 달라지며 P300의 크기 및
잠복시간에도 영향을 받는다고 한다. 물리적으로 자극종류의 식별을 어렵게 하거
나 행동반응을 복잡하게 하는 등의 방법으로 작업을 변형시킴으로써 작업난이도
를 높일 수 있고 이에 따라 처리과정에 필요한 노력과 자원이 더 많이 동원 된다.
Polich 등은 주파수가 다른 단음의 청각자극을 이용한 청각적 oddball 작업 수행
시 표준자극과 목표자극의 주파수 차이를 크게 하여 소리를 쉽게 구분할 수 있을
때에 비해 주파수 차이가 작아 구분이 어려울 때 P300의 크기가 감소하고 발생시
간이 늦어짐을 관찰하였다[26]. 시각적 oddball 수행 시에도 목표자극과 표준자극
의 크기 차이를 변화시켜 난이도를 조절한 결과 난이도 증가에 따른 P300 크기감
소 및 발생시간 지연이 관찰되었다[27,28]. 이와 같은 연구결과들은 난이도 증가
에 따라 자극형태를 파악하는데 어려움이 커지고 기억검색작동, 인지과정과 같은
내부 연산이 과부하(overload)된 결과가 P300에 반영됨을 의미하는 것으로 해석
되고 있다[25,27,28]. 따라서 작업난이도를 변화시키면서 oddball 작업을 수행할
때 발생되는 ERP요소 P300을 한글과 영어단어 자극제시 조건에서 관찰되는
N400요소와 비교하는 것은 언어의 친밀도와 작업난이도 변화에 따른 단기기억,
주의집중 등의 인지기능의 변화를 이해하는데 도움이 될 것이다.
본 연구에서는 61개 채널에서 측정된 EEG를 사용하여 한글과 영어단어 인지
과정에서의 대뇌정보처리과정을 추정하고자 하였다. 이를 위하여 해당언어의 친밀
도에 따라 작업의 난이도가 달라져서 뇌 활성화 패턴 간 차이가 있을 것이라는
가정을 세우고 이를 검증하기 위한 실험적 연구를 수행하였다. 12명의 정상인 피
험자들에게 범주 및 이 범주에 해당되거나 해당되지 않는 사물을 나타내는 두 개
의 단어 쌍으로 구성된 자극을 시각적으로 제시하여 N400 요소가 발생되도록 유
도하고 이와 별도로 17명의 정상인 피험자들에게 작업난이도가 있는 시각적
oddball task로 P300요소가 발생되도록 유도 하여 ERP요소파형들을 관찰하고 이
들의 통계적 비교를 수행함으로써 순차적인 뇌 활성화 패턴에 있어서의 해당언어
의 친밀도와 난이도간의 관계를 관찰하였다. 또한 신경회로망 내 신경세포들의 통
합적 정보처리의 정도를 비교하기 위해 time-frequency 분석방법을 사용하여
eGBA와 iGBA의 발생시점과 활성화 크기를 통계적으로 비교하고 세타 및 감마대
- 6 -
역에서의 위상동기화 분석으로 해당언어의 친밀도와 작업난이도간의 시-공간적인
차이를 비교 관찰하였다.
- 7 -
제 제 제 제 2 2 2 2 장 장 장 장 방 방 방 방 법법법법
2.1 2.1 2.1 2.1 EEG EEG EEG EEG 기록 기록 기록 기록 및 및 및 및 실험방법실험방법실험방법실험방법
2.1.1 EEG 기록
N400과 P300실험 모두 64개 Ag/AgCl 전극이 부착되어 있는 모자 (Easy
cap)를 사용하여 확장된 10/10 systems 에 따라 61개의 전극으로부터 EEG 신
호를 500 Hz의 샘플링율로 기록하였다 (BrainAmp., VisionRecorder,
BrainProducts). 기준 (reference) 전극은 Fz와 Cz 사이에 위치시키고 접지는
Fpz와 Fz 사이에 위치시켰다. 안구운동에 의한 아티팩트를 제거하기 위해 오른쪽
눈 밑에 전극을 부착시켜 안전도 (electroculogram, EOG)를 측정하였다. 그밖에
아티팩트(artifact)들을 차단하기 위해 0.03 ~ 100 Hz 대역통과필터와 60 Hz 노
치필터를 적용하였다. 전극과 두피 사이에 겔을 주입시켜 모든 전극의 임피던스
크기는 10 kΩ이하가 되도록 했다.
2.1.2 한글과 영어단어인지 실험(N400) 방법
한국어를 모국어로 사용하며 과거 신경과 및 정신과적 질환 병력이 없는 12명의
연세대학교 의공학부 학생(남성 7명, 여성 5명, 23.4 ± 2.1세)이 실험에 참여하였
다. 피험자들은 모두 정규교육과정을 통해 10년 이상 영어 교육을 받아왔으며 제
시되는 영어단어의 의미를 이미 숙지하고 있는 상태였다. 그림 2.1은 자극제시 방
법에 대한 그림이다.
- 8 -
그림 2.1 한글과 영어단어 인지실험의 자극제시 방법
자극에 대한 지속적인 주의 집중을 유도하기 위하여 ‘+’ 형태를 갖는 고정기호
(fixation mark)를 천 번째 단어 자극제시 전 1000ms로부터 400ms 동안 제시하
였다. 그 후 빈 검정색 화면(blank screen)을 600ms 동안 제시 한 다음 첫 번째
단어를 400ms 동안 제시 한다. 또 600ms 동안 빈 화면을 제시한 다음 다시 두
번째 단어를 400ms 동안 제시한다. 이와 같이 두 단어의 제시를 1 trial로 하여
총 80 trial 을 1 set으로 하였고 각 trial 사이의 시간 간격은 1600 ms가 되도록
하였다. 제시된 한글 및 영어 단어는 각각 총 160쌍으로 구성되었다. 그림2.1의
예시와 같이 한 trial 내의 첫 번째 단어와 두 번째 단어가 동물범주인 소–돼지와
같이 서로 같은 범주(category)에 속할 경우 적합조건(match condition)에 해당하
며 이 때 오른쪽 마우스 버튼을 눌러 응답하도록 요구하였다. 또한 두 단어가 같
은 범주에 속하지 않을 경우 그림 2.1의 예시로 책상-벌과 같은 조건에서는 부적
합(mismatch condition)에 해당하며 왼쪽 마우스 버튼을 클릭하도록 피험자에게
주문하였다.
2.1.3 작업난이도가 있는 oddball작업(P300) 방법
한국어를 모국어로 사용하며 과거 신경과 및 정신과적 질환 병력이 없는 17명의
연세대학교 의공학부 학생(남성 9명, 여성 8명, 23.9 ± 1.8세)이 실험에 참여 하
- 9 -
였다.
그림 2.2 (a) oddball task의 자극종류 (b) 자극 제시 방법
그림 2.2 (a)에 보인바와 같이 사용된 시각자극은 검정바탕 위 중앙에 그려진 노
란색 구형이며 구형의 직경은 2.8cm, 3.6cm, 4.0cm이었다. 자극은 자극제시용 소
프트웨어(Presentation, Neurobehavioral syste ms, Berkeley, CA)를 이용하여
17’’ LCD 모니터를 통하여 제시하였다. 그림 2.2 (b)는 한 시도(trial)의 자극제시
방법을 도시한 것이다. 지속적으로 모니터에 주의 집중하도록 ‘+’ 형태를 갖는 고
정기호(fixation mark)를 자극제시 전 800ms로부터 100ms 동안 보여주었으며,
이후 80ms 동안 시각자극을 제시하였다. 그 외 구간에는 검정색화면(blink)을 보
여주었다. 자극 간 간격은 2000ms로 고정하였으며 표준자극과 목표자극의 발생
빈도가 4:1 이 되도록 임의의 순서로 제시되었다. 표준자극과 목표자극의 크기 차
- 10 -
이를 조절함으로써 시각적으로 식별하기 위한 난이도를 조절하였다. 목표자극은
직경 4cm로 고정하였으며 표준자극의 직경의 직경을 각각 2.8cm 및3.6 cm로 변
화시킴으로써 쉬운 작업(easy task)과 어려운 작업(hard task)을 구성하였다. 피
험자에게는 화면에 목표자극이 제시되면 즉시 마우스 왼쪽버튼을 눌러 반응하도
록 지시하였고 누른 시점은 반응시간으로 기록되었다.
2.2 2.2 2.2 2.2 데이터 데이터 데이터 데이터 분석 분석 분석 분석 방법방법방법방법
2.2.1 ERP 요소 분석
N400 실험은 두 번째 자극단어 제시 시점을 기준점으로 하고 P300 실험은 목
표자극의 제시 시점을 기준점으로 ±100ms 구간의 평균값을 이용하여 기준점 보
정(baseline correction)을 수행한 후 기준점으로부터 -500 ms에서 1000 ms 구
간을 자르고 언어 종류별 또는 난이도별로 모아 재구성하였다. 아티팩트(artifact)
제거를 위하여 우선 단일시행 ERP들 중에서 크기가 ±100 μV 이상인 신호가 관
찰되는 구간과 드리프트 (drift)나 고주파 잡음으로 오염된 정도가 심한 구간을 육
안으로 관찰하여 제외하였다. 이와 같은 전처리 과정을 거친 단일시행 ERP 파형
들을 자극 종류별로 기준점은 0ms로 하여 -100~1000ms(1 epoch) 동안 60채널
평균 ERP 파형을 계산한 후 Global field power (GFP)와 토포그래피
(topography)에 기반 하여 평균 ERP 파형의 정점(peak)들의 시간적, 공간적 발생
특성을 확인하고 이로부터 주요 ERP요소들을 규명하였다. 각각의 ERP요소들이
관찰된다고 판단되는 시간적 구간 내에서의 파형 크기(amplitude)의 평균값을 계
산하여 각각의 ERP요소의 크기를 구하였다. 또한 이러한 시간적 구간 내에서 정
점이 관찰되는 시간을 각 요소의 잠복기(latency)로 정의하였다. ERP 요소의 크
기 및 잠복기를 한글과 영어제시 조건 간 비교하기 위하여 쌍-표본 T검정(paired
sample t-test)을 수행 하였다.
- 11 -
2.2.2 Gamma Band Activity 분석 방법
2.2.2.1 Time-frequency 분석
N400 실험과 P300실험의 시간에 따른 감마대역 스펙트럼 특성의 변화를 관찰
함으로써 GBA가 발생하는 시점을 확인하기위해 그룹평균 ERP 파형과 단일시행
ERP파형으로부터 각 각 eGBA와 iGBA를 Short Term Fourier Transform
(STFT, 1024 point FFT, 80 point Hanning window, 79 point overlap)을 수행
하여 시간-주파수 특성을 관찰하였다[24]. STFT는 신호를 좁은 영역의 단편으로
나눈 후 푸리에 변환을 하는 신호처리방식으로 시간에 따른 스펙트럼 크기 변화
를 알 수 있다. 구간은 창 함수 에 의해 나눠지며, 나눠진 구간의 푸리에 스
펙트럼은 다음과 같다.
(식 2.1)
번째 구간의 은 과 과 곱이다.
≤ ≤ (식 2.2)
≤ ≤
시간이 m일 때 (M-1) 번째에 대해 모든 구간의 푸리에 변환을 계산하면 다음과
같다.
(식 2.3)
는 샘플수가 m개이고 주파수가 w개인 신호 의 time-frequency 분
포이다.
- 12 -
2.2.2.2 Evoked Gamma Band Activity 분석
평균 ERP 파형을 STFT로 수행 한 다음 두 번째 단어 자극제시 또는 목표자극
제시 시점을 기준점(0ms)으로 하여 -200ms 동안의 25–45Hz 대역파워평균 스펙
트럼을 기준시점 1000ms에 빼어 표준화한 후 관찰하였다. eGBA의 크기 및 잠복
기를 정량적으로 비교하기 위하여 25~45Hz 대역파워 및 이 파워가 최대값을 갖
는 시간을 eGBA의 잠복기로 정의하고 각 실험 조건에 시간구간을 설정하였다.
N400 실험은 기준시점 후 70–150ms 구간에서 계산하였고 P300실험은 기준점
후 100ms 구간 내 평균 파워 값을 계산하였다. 이와 같이 얻어진 eGBA 파워 및
잠복기를 쌍-표본 T검정(paired t-test)을 통하여 분석하여 언어에 따른 또는 난
이도에 따라 통계적으로 유의한 차이가 발생하는지의 여부를 확인하였다.
2.2.2.3 Induced Gamma Band Activity 분석
단일시행 ERP 파형을 STFT로 수행 한 다음 평균화하여 두 번째 단어 자극제시
또는 목표자극 제시 시점을 기준점(0ms)으로 하여 -200ms 동안의 30–50Hz 대
역파워평균 스펙트럼을 기준시점 1000ms에 빼어 표준화한 후 관찰하였다. iGBA
의 크기 및 잠복기를 정량적으로 비교하기 위하여 30~50Hz 대역파워 및 이 파워
가 최대값을 갖는 시간을 iGBA의 잠복기로 정의하고 각 실험 조건에 시간구간을
설정하였다. N400실험은 기준점 후 200~300ms 구간에서 계산하였고 P300실험
은 기준시점 후 300~500ms 구간 내 평균 파워 값을 계산하였다. 이와 같이 얻어
진 iGBA 파워 및 잠복기를 쌍-표본 T검정(paired t-test)을 통하여 분석하여 언
어 또는 난이도에 따라 통계적으로 유의한 차이가 발생하는지와 기준점 전
200ms와 잠복기에서의 GBA 증가여부를 확인하였다.
2.2.3 Theta/ Gamma Band Phase Synchronization 분석
- 13 -
2.2.3.1 Phase Lacking Value 계산
ERP 데이터에 대한 특정주파수의 PLV를 계산하기위해서는 크게 세 가지 단계
가 필요하다. 첫 단계는 Neural oscillator는 좁은 주파수 대역에서 각기 다른 역
할을 가지므로 데이터를 분석하기 위해서는 특정 주파수를 중심으로 위상변환이
적은 유한펄스응답(finite impulse response, FIR) 대역통과필터를 적용한다. 다음
단계는 위상 추정(estimation of the phase)을 위해 힐버트 변환(Hilbert
transform)으로 순간 위상을 추출한다. 이 때 힐버트 변환에 의해 왜곡되는 신호
의 끝 지점(end points)들을 잘라주어야 한다. 마지막 단계는 phase locking의 정
량화(quantification of the degree of phase-locking)과정 이다. 이 과정에서는
비교하고자하는 두 신호의 위상 차이를 식 2.4와 같은 방법으로 정량화 시킬 수
있으며 여기서 구한 값이 PLV이다[20].
(식 2.4)
식 2.4는 t시간에 N번째 trial의 위상차이 절대 값의 평균값으로 0~1까지의 범
위를 가지고 1에 가까울수록 위상차이가 일정하다고 할 수 있다. 위에서 구한
PLV가 통계적으로 유의미하게 차이가 있는가는 대리신호(surrogate data)의 PLV
를 구하여 비교 할 수 있다. 이와 같은 방법으로 해부적으로 분리 되어 있는 뉴런
집단들의 순간적인 위상동기화를 알 수 있다.
2.2.3.2 Double threshold phase synchronization 분석 방법.
N400실험과 P300실험 데이터에 PLV를 이용하여 언어 또는 난이도 간 위상동
기화를 관찰하기위해 본 연구에서는 두 개의 통계치를 사용하였다. 하나는 두피위
에 있는 전극의 위치가 가깝거나(3cm 미만) 잡음에 의해 PLV가 높은 수치로 계
- 14 -
산될 수 있기 때문에 PLV가 통계적으로 잡음으로부터 독립적이면서 부피전도체
(volume conduction)에 의한 위상동기화를 차단하기위해서 그림 2.3과 같이 비교
하고자 하는 원신호(original signal)를 무작위로 섞어 만드는 대리신호의 PLV를
구하여 통계치(statistics threshold)를 계산할 수 있다.
그림 2.3 원신호의와 대리신호의 PLV의 계산방법
그림 2.3과 같이 구한 원신호의 PLV의 분포와 대리신호의 PLV분포를 그림
2.4 (a)와 같이 그리고 위상동기화가 일어나지 않았는데 일어났다고 판단할 비율
이 0.01%인 통계치(0.176)를 구하여 그림 2.4 (b)와 같이 통계치(녹색선) 이상의
원신호 PLV가 관찰되는 시간을 위상동기화가 일어난 구간이라고 정의하고 그림
2.4 (c)처럼 그 구간을 나타낼 수 있다.
- 15 -
그림 2.4 (a) 원신호와 대리신호의 PLV 분포, (b) 구한 통계치와 PLV값, (c)
위상 동기화가 일어난 시간구간
그림 2.5는 대리신호를 사용하는 이유를 설명하기위하여 한 피험자의 central
전극(C1,C2,C3,C4,C5,C6,Cz)들 끼리의 PLV를 계산하여 도시한 것이다. 부피전도
체에 의해 특정 소스에서 발생하는 신호를 거리가 가까운(3cm 미만) 전극에서 동
시에 측정되어 PLV값이 높게 측정될 수 있으므로 대리신호를 이용하여 통계적인
- 16 -
차이를 확인하여 가까운 전극들 간의 거짓 위상동기화를 막을 수 있다[20].
그림 2.5 근거리 전극끼리의 거짓위상동기화
표 2.1 대리신호를 이용하여 구한 한글과 영어단어 자극제시 전과 후의 통계치
및 이 통계치를 사용하여 위상동기화가 관찰된 전극 쌍의 개수
대리신호를 이용하여 구한 통계치는 거짓 위상동기화를 차단하는 목적으로 사
- 17 -
용 되었을 뿐 자극 전과후의 차이를 명확하게 확인 할 수가 없었다. 표 2.1은 대
리신호를 이용하여 구한 한글과 영어단어 자극제시 전과 후의 통계지 및 이 통계
치를 사용하여 위상동기화가 일어난 전극 쌍의 개수이다. 여기서 자극 전과 후의
대리신호 통계치의 변화가 없으며 위상동기화의 개수가 자극 후에 증가한 것처럼
보인다. 그러나 너무 많은 전극쌍이 관찰되어 공간적인 특징을 관찰하기 어렵고
통계적인 증가를 비교하기 어렵다. 따라서 통계적인 비교를 위해 두 번째 단어 자
극제시 또는 목표자극제시 시점을 기준점으로 그 전보다 증가된 PLV를 계산하기
위해 기준점 전 일정시간에 대한 PLV의 분포와 기준점 후 일정시간의 PLV분포
를 그림 2.4와 같이 PLV의 분포를 비교하여 또 다른 통계치를 구하였다.
지금 까지 구한 두개의 통계치를 동시에 만족하는 시간구간을 위상동기화가
일어난 시간으로 정의 하였으며 17개 전극(Fp1, Fpz, Fp2, F3, Fz, F4, C3, Cz,
C4, P3, Pz, P4, O1, Oz, O2, T7, T8)쌍에 대해서 수행 하여 위상동기화가 일어
나는 전극 쌍끼리 topography상에 선으로 연결하였으며 그림 2.5와 같이 거짓 위
상동기화가 일어날 우려가 있는 Fp1-Fpz, Fpz-Fp2, O1-Oz, Oz-O2 전극 쌍을
제외하여 총 132 전극 쌍에 대해 분석하였다.
N400 실험과 P300 실험데이터의 PLV를 계산하기 전에 두 번째 단어 자극제
시 시점 또는 목표자극제시 시점을 기준점으로 -500~1000ms까지의 단일 시행
신호를 잘라 연결하여 감마대역에 대한 위상동기화를 관찰 위해 FIR대역통과필터
를 N400 실험데이터는 30~50Hz로 적용하고 P300 실험데이터는 30~38Hz로 적
용하였다. 세타대역에 대한 위상동기화를 관찰하기위해 N400 실험과 P300 실험
데이터에 FIR대역통과필터를 4~8Hz 적용시켰다. 대역 통과된 신호를 각 실험 조
건과 대역에 따라 간 위상을 추출하기위해 힐버트 변환(Hilbert transform)을 수
행하였다. 두 개의 통계치 중 첫 번째 통계치는 원신호의 PLV와 200개의 대리신
호를 이용해서 대리신호 PLV를 구하고 각 전극 쌍 마다 원신호 PLV의 분포를
대리신호 PLV 분포와 비교하여 위상동기화가가 일어나지 않았는데 일어났다고
판단할 비율이 0.01%인 통계치를 구하였다. 두 번째 통계치는 기준점 전 300ms
의 PLV의 분포와 기준점 후 800ms의 분포를 계산하여 자극 전보다 자극 후
PLV가 증가 하지 않았는데 증가 하였다고 판단할 비율이 0.01%가 되는 통계치를
- 18 -
계산 하였다. 기준점 후 800ms까지 위에서 구한 두 개의 통계치를 동시에 만족하
는 17개의 전극 쌍과 시간구간에 대해서 위상동조가 일어났다고 판단하고
topography상에 선으로 연결 하였다.
- 19 -
제 제 제 제 3 3 3 3 장 장 장 장 결 결 결 결 과 과 과 과
3.1 3.1 3.1 3.1 N400 N400 N400 N400 실험의 실험의 실험의 실험의 ERP ERP ERP ERP 분석 분석 분석 분석 결과결과결과결과
그림 3.1 단어제시조건에 따른 평균 ERP
그림 3.1은 한글과 영어 단어가 제시되었을 때 N400이 발생하는 범주 부적합
조건에서의 12명 피험자의 평균 ERP 파형을 주요 17개 채널(Fp1, Fpz, Fp2,
F3, Fz, F4, C3, Cz, C4, P3, Pz, P4, O1, Oz, O2, T7, T8)에서 도시한 결과이
- 20 -
다. 17개 주요 채널의 대부분에서 N1요소와 N400요소가 관찰되었으며 전반적으
로 한글과 영어 조건 간 차이가 보였다....
그림 3.2는 평균 ERP파형으로부터 얻은 한글과 영어단어 제시 조건 간 GFP를
보여주고 있다. 그림 3.1의 평균 ERP파형의 공간적 분포로부터 각각의 ERP요소
가 현저하게 발생하는 공간적 위치를 파악하고 그림 3.2의 GFP의 정점(peak)을
기준으로 각 ERP요소가 현저하게 발생하는 시간구간을 정의하였다. 표 3.1에 제
시된 바와 같이 각각의 ERP요소들이 현저하게 발생하는 것으로 파악된 영역에서
대표전극들을 선정하여 이 전극들에서의 ERP 크기 및 잠복기를 통계적으로 분석
하였다. 그림 3.3은 정의된 각 ERP요소들의 공간적인 분포를 살펴보기 위해 정의
된 발생구간의 평균값을 이용하여 topography상에 도시하였다.
그림 3.2 단어제시조건에 따른 GFP
- 21 -
표 3.1 단어제시조건에 따른 각 ERP요소의 latency와 영역
그림 3.3 단어제시조건에 따른 각 ERP의 topography
한글–영어 간 P1요소의 크기 및 잠복기는 전극 Oz에서 통계적으로 유의한 차이
를 보이지 않았다 (P1요소크기: t=-0.74, p<0.739, P1요소잠복기: t=0.32 ,
p<0.801). 전극 Oz에서 분석한 결과 N1요소의 크기는 영어보다 한글에서 통계적
- 22 -
으로 유의하게 컸으며 잠복기의 차이는 없었다. (N1 크기: t=-3.26, p<0.008, N1
잠복기: t=-1.00, p<0.102). Pz에서 분석한 N400요소의 잠복기는 한글보다 영어
에서 유의하게 지연되었으며 N400요소크기 상의 차이는 관찰되지 않았다(N400
요소크기: t=-0.44, p< 0.142, N400요소 잠복기:t=-3.93, p<0.002 ). Fz 전극에
서의 분석한 P600의 크기는 한글보다 영어에서 더 크게 관찰되고 잠복기는 한글
보다 영어에서 지연되어 관찰되었다(P600요소크기: t=-3.34, p<0.007, P600요소
잠복기: t=-2.24, p<0.044).
3.2 3.2 3.2 3.2 P300 P300 P300 P300 실험의 실험의 실험의 실험의 ERP ERP ERP ERP 분석 분석 분석 분석 결과결과결과결과
그림 3.4 난이도조건에 따른 평균 ERP
- 23 -
그림 3.4는 17명의 피험자의 쉬운 작업과 어려운 작업 목표자극조건에 대한 평
균 ERP파형을 17개 주요채널에서 도시한 것이며 그림 3.5는 난이도에 따른 GFP
그래프이다. 그림 3.4에 나타낸 평균 ERP 파형의 시간적, 공간적 패턴을 GFP와
topography에 기반하여 분석함으로써 중요한 ERP 요소파형으로 5개의 극점
(peak)을 찾을 수 있었다. 그림 3.6은 정의된 각 ERP요소들의 공간적인 분포를
살펴보기 위해 정의된 발생구간의 평균값을 이용하여 topography상에 도시하였
다.
그림 3.5 난이도조건에 따른 GFP
- 24 -
표 3.2 난이도조건에 따른 각 ERP요소의 latency와 영역
그림 3.6 난이도조건에 따른 각 ERP의 topography
표 3.2에 제시된 바와 같이 각각의 ERP요소들이 현저하게 발생하는 것으로 파악
된 영역에서 대표전극들을 선정하여 이 전극들에서의 ERP 크기 및 잠복기를 통
- 25 -
계적으로 분석하였다. 초기 시각자극처리를 나타내는 첫 번째 요소 P1과 두 번째
요소 N1요소는 약 130ms와 170ms에서 각각 occpital과 temporal 영역을 중심
으로 관찰할 수 있었다. 작업난이도간 비교는 요소 P1의 경우 전극 O1과 O2, 요
소 N1의 경우 전극 T7과 T8에서의 평균 크기를 사용하였다. 목표자극에 대한 작
업난이도에 따라 P1 및 N1을 비교한 결과 유의미한 차이가 없었다(p>0.05). 후기
자극 지각처리과정 및 반응과정을 나타내는 세 번째 요소 P2는 약 200ms에
central과 parietal 영역에서 관찰되었고 네 번째 요소 N2는 약 250ms에 central
영역에서 관찰되었다. 작업난이도간 비교는 전극 Pz의 평균 크기를 사용하였다.
요소 P2는 난이도가 낮을 때보다 높을 때 전극 Cz에서 유의미하게 컸다(t=5.078,
p<0.001). 요소 N2는 작업난이도에 따른 유의미한 차이가 없었다(t=-0.700,
p>0.495). 정의된 모든 요소의 잠복기 차이는 없었다(p>0.05). P300은 약 380
ms에 강하게 frontal, central, parietal 영역의 중앙을 중심으로 넓게 관찰되었다.
작업난이도간 P300 크기 비교는 전극 Pz에서의 각 평균크기를 사용하여 수행되
었다. P300의 크기는 작업난이도가 쉬울 때가 어려울 때보다 유의미하게 컸다
(t=3.55, p<0.004). 작업난이도에 따른 P300의 발생시간을 통계 분석한 결과 전
극 Pz에서 작업이 쉬울 때 보다 어려울 때 유의미하게 발생시간이 지연되었다
(t=-3.36, p<0.004).
3.3 3.3 3.3 3.3 응답 응답 응답 응답 시간 시간 시간 시간 및 및 및 및 정답률 정답률 정답률 정답률
N400 실험은 한글에 대한 응답시간이 영어에 대한 응답시간보다 통계적으로
유의하게 빠른 것으로 확인되었다(한글: 357.58 ±57.94ms, 영어: 429.22
±74.15ms, t=6.70, p<0.0001). 그러나 두 언어 간 정답율에 대해서는 통계적으
로 유의한 차이가 관찰되지 않았다 (한글: 94.5 ± 14.2%, 영어: 94. ± 2.9%, t=
0.89, p = 0.388). P300 실험은 작업난이도에 따라 목표자극에 대한 응답시간과
목표자극의 식별 시의 정답률을 비교한 결과 반응시간은 작업이 쉬울 때보다 어
려울 때 더 길었다(easy: 414.03 ±91.06ms, hard: 475.68 ±101.87ms,
- 26 -
t=5.613, p<0.001). 정답률은 작업난이도가 증가함에 따라 크게 감소하였다(easy:
99.57 ±5.2%, hard: 87.96 ±10.9%, t=4.99, p<0.008).
3.4 3.4 3.4 3.4 Gamma Gamma Gamma Gamma Band Band Band Band Activity Activity Activity Activity 결과결과결과결과
3.4.1 Evoked Gamma Band Activity 결과
그림 3.7는 한글과 영어단어 제시 조건에 따른 12명 피험자의 평균 eGBA를 Fz,
Cz, Pz 채널에서 관찰한 시간-주파수그림 이다. 두 언어조건 하에서 모두 100ms
를 중심으로 강한 eGBA가 전 영역에서 관찰되었다. eGBA의 잠복기 및 크기를
통계적으로 분석한 결과 한글에 대한 잠복기가 영어에 비해 유의하게 Pz 전극에
서 빨랐으며(한글: 91.42 ±10.74ms, 영어: 110.50 ±23.57ms, t=-2.984
p<0.010) eGBA의 크기는 한글에 대해 유의하게 큰 것으로 확인되었다 (t=2.731,
p<0.020).
그림 3.7 단어제시조건에 따른 평균 eGBA
- 27 -
그림 3.8은 작업 난이도에 따른 17명 피험자의 평균 eGBA를 Fz, Cz, Pz 채널
에서 관찰한 시간-주파수그림 이다. 두 언어조건 하에서 모두 100ms를 중심으로
강한 eGBA가 관찰되었다. Pz 전극에서 eGBA의 잠복기 및 크기를 통계적으로 분
석한 결과 쉬운 난이도에 대한 잠복기가 어려운 난이도에 비해 빨랐으나(easy:
148.7 ±75.90ms, hard: 193.20 ±60.50ms, t =-1.654 p<0.117) 통계적으로 유
의하지 않았다. eGBA의 크기는 난이도 간에 비슷한 것으로 확인되었다
(t=-0.761, p<0.458).
그림 3.8 난이도조건에 따른 평균 eGBA
3.4.2 Induced Gamma Band Activity 결과
그림 3.9는 두 언어조건에 따른 12명 피험자의 평균 iGBA를 Fz, Cz, Pz 채널에
서 관찰한 시간-주파수그림 이다. 두 언어조건 하에서 모두 250ms를 중심으로
- 28 -
iGBA가 관찰되었다. Pz전극에서 iGBA의 잠복기 및 크기를 통계적으로 분석한 결
과 한글에 대한 잠복기의 차이가통계적으로 유의하지 않았다(한글: 298.7
±95.99ms, 영어: 293.20 ±92.10ms, t =-0.654 p<0.610). iGBA의 크기는 한글
과 영어가 비슷한 것으로 확인되었다(t=1.761, p<0.058). 영어단어에서 GBA가
자극 전보다 자극 후에 증가하였다(t=-3.667, p<0.002).
그림 3.9 단어제시조건에 따른 평균 iGBA
그림 3.10은 작업난이도에 따른 17명 피험자의 평균 iGBA를 Fz, Cz, Pz 채널에
서 관찰한 시간-주파수그림 이다. 두 난이도조건 하에서 모두 300~500ms를 중
심으로 iGBA가 관찰되었다. Pz전극에서 iGBA의 잠복기 및 크기를 통계적으로 분
석한 결과 쉬운 난이도에 대한 잠복기의 차이가통계적으로 유의하였다(easy:
401.7 ±45.00ms, hard: 500.20 ±71.87ms, t =-4.007 p<0.001). iGBA의 크기
는 난이도 간 비슷한 것으로 확인되었다(t=0.991, p<0.474). 쉬운 난이도에서
GBA가 자극 전보다 자극 후에 증가하였다(t=-3.388, p<0.004).
- 29 -
그림 3.10 난이도조건에 따른 평균 iGBA
3.5 3.5 3.5 3.5 Theta Theta Theta Theta phase phase phase phase synchronization synchronization synchronization synchronization 결과결과결과결과
그림 3.11은 한글과 영어단어 제시 조건에 따른 0~800ms 세타대역의 위상동기
화 결과이다. 한글과 영어단어 제시조건 모두 초기 시간대에는 frontal을 중심으로
많은 위상동기화가 관찰되다가 N400요소가 관찰되는 시간대에서 frontal에서
parietal을 중심으로 한글에서는 300~400ms에 많은 위상동기화가 관찰되며 영어
단어 제시 조건에서는 500~550ms에 많은 위상동기화가 관찰되었다. 한글이 영어
단어 제시조건보다 위상동기화가 약 150ms 빨리 관찰되었다.
- 30 -
그림 3.11 단어제시조건에 따른 세타대역의 위상동기화
그림 3.12은 난이도 조건에 따른 0~800ms 세타대역의 위상동기화 결과이다.
P300요소가 관찰되는 시간대에서 frontal, parietal, occipital, temporal을 중심으
로 넓게 쉬운 난이도에서는 200~300ms에 많은 위상동기화가 관찰되며 어려운
난이도에서는 300~400ms에 많은 위상동기화가 관찰되었다. 쉬운 난이도가 어려
운 난이도 제시조건보다 위상동기화가 약 100ms 빨리 관찰되었다.
- 31 -
그림 3.12 난이도조건에 따른 세타대역의 위상동기화
3.6 3.6 3.6 3.6 Gamma Gamma Gamma Gamma phase phase phase phase synchronization synchronization synchronization synchronization 결과결과결과결과
그림 3.13는 한글과 영어단어 제시 조건에 따른 0~800ms 가마대역의 위상동
기화 결과이다. 한글과 영어단어 제시조건 모두 초기 시간대에는 prefrontal을 중
심으로 위상동기화가 관찰되다가 N400요소가 관찰되는 시간대에서 prefrontal과
occipital을 중심으로 한글에서는 400~500ms에 많은 위상동기화가 관찰되며 영
어단어 제시 조건에서는 prefrontal을 중심으로 500~600ms에 많은 위상동기화가
관찰되었다. 한글이 영어단어 제시조건보다 위상동기화가 약 100ms 빨리 관찰되
었다.
- 32 -
그림 3.13 단어제시조건에 따른 감마대역의 위상동기화
그림 3.14 난이도조건에 따른 감마대역의 위상동기화
- 33 -
그림 3.14는 난이도 조건에 따른 0~800ms 감마대역의 위상동기화 결과이다.
P300요소가 관찰되는 시간대에서 frontal, parietal, occipital, temporal을 중심으
로 넓게 쉬운 난이도에서는 400~550ms에 많은 위상동기화가 관찰되며 어려운
난이도에서는 많은 위상동기화가 관찰되지 않았다.
- 34 -
제 제 제 제 4 4 4 4 장 장 장 장 고 고 고 고 찰 찰 찰 찰
4.1 4.1 4.1 4.1 ERP ERP ERP ERP 파형의 파형의 파형의 파형의 시간영역 시간영역 시간영역 시간영역 특성특성특성특성
Occipital를 중심으로 약 130ms에서 관찰되는 P1요소에 대하여 한글과 영어
자극에 대한 크기 및 잠복기의 차이가 관찰되지 않았다. 이는 한글, 영어, 한자
단어의 시각적 제시에서 P1요소의 크기가 언어 종류에 영향을 받지 않았다고 보
고하고 있는 여러 선행연구들과 일치하는 결과이다[2,8,29,30]. P1요소는 단순히
시각중추 경로에서의 초기 정보처리 단계를 반영하는 것으로 생각할 수 있으며
특정언어의 단어를 지각하는 것이 아니라 시각적 입력이 제시됨에 따른 공간적
패턴분석 과정에 관여하는 활동이므로 언어 간 차이가 관찰되지 않는 것이 타당
한 것으로 판단된다. parietal 및 occipital에서 약 160~190ms에서 현저하게 관
찰되는 N1요소는 한글에 대해 유의하게 큰 특징을 보였다. 단어인지에 관여하는
대뇌 정보처리 과정에서 N1요소의 발생 시간대는 단어의 형태를 시각적으로 지
각하는 과정에 해당되며 아직까지 의미적 처리과정에 미치지 못한 것으로 해석된
다. 본 실험에 참여한 피험자들에 대해서는 한글에 대한 친밀도가 훨씬 더 크며
이에 따라 N1요소의 크기가 한글에서 더 크게 관찰되었다고 추정할 수 있다. 친
밀도와 N1요소 간의 관계를 분석한 선행연구들에서도 언어 친밀도가 높은 언어
에서 N1요소의 크기가 크다는 것이 보고된 바 있다[4,7,32].
작업 난이도가 있는 P300 실험에서 평균 ERP에서 발견된 극점 중 P1, N1과
N2는 작업난이도가 쉬울 때와 어려울 때 유의미한 차이를 보이지 않았으며 유의
미한 차이를 보인 극점들은 P2와 P300이었다. 작업난이도에 따라 차이를 보인
첫 번째 요소 P2는 frontal, central, parietal 영역에서 약 200 ms 에 양극성을
띄며, 난이도가 쉬울 때 보다 어려울 때 유의미하게 컸다. 선행연구에 의하면
oddball 작업 시 목표자극이 제시되었을 때 암묵적으로 제시 수를 셈하는 것보다
는 키를 누름으로써 행동반응 보일 경우에 P2의 크기가 더 컸던 결과로부터 P2
가 제시된 자극종류를 평가하여 반응을 보이는 작용과 관련 있다고 하였다. 또
- 35 -
다른 연구에서는 목표자극보다 빈번하게 보여주는 표준자극에 대해 P2의 크기가
컸으며, 이는 P2가 인지작용보다는 지각작용을 반영하는 것이라 하였다
[10,25,26]. 이러한 선행 결과들로부터 작업난이도가 높을 때 P2가 큰 것은 표
준자극과 행동반응을 보여야 하는 목표자극의 구별이 어려울수록 지각정보를 파
악하는 작용이 강화되었기 때문으로 추정된다.
N400요소의 언어 간 차이를 분석한 결과 N400 잠복기가 한글에서 유의하게
빠른 것으로 확인되었다. Moreno 등은 최근 모국어와 외국어 단어인지 과정의 비
교 결과 N400요소의 잠복기 및 응답시간이 외국어에 대하여 지연되었고 N400요
소 크기 자체의 차이는 유의하지 않음을 확인하였으며 이를 모국어보다 외국어
단어 인지 시의 복잡도, 난이도의 증가로 인하여 인지과정이 지연됨으로 인한 것
으로 해석하였다[4]. 이는 본 연구의 결과와 일치하며 여러 관련 연구들에서 친밀
도 또는 숙련도가 서로 다른 여러 언어들을 제시하였을 때 N400요소의 잠복기가
친밀도 또는 숙련도가 낮은 언어에 대하여 늦게 관찰되었다고 보고하고 있는 것
과도 부합된다[4,7,33]. N400요소는 의미적 처리과정을 반영하므로 응답시간과
더불어 N400 잠복기가 영어에서 지연된 것으로 확인된 본 연구 결과는 숙련도와
친밀도가 높은 한글에 대하여 보다 빠르게 의미적 처리과정이 수행되었음을 의미
하는 것으로 해석 할 수 있다. 반면 N400 요소의 크기는 두 언어에 대하여 유의
한 차이가 확인되지 않았으며 이는 피험자들 대부분이 한글과 영어단어의 의미를
인지하는 과정에서의 뇌활성화 강도가 비슷하였음에 기인하는 것으로 해석할 수
있다. 이는 또한 한글과 영어단어 제시 조건 간 정답률 차이가 없다는 결과와도
부합된다.
P300은 frontal, central, parietal 영역에서 약 400 ms 에 강한 양극성을 띄
며 작업난이도가 높을 때 크기가 감소하였으며 발생시간은 지연되었다. 이는 작업
난이도를 조절하여 oddball 작업을 결과를 관찰한 선행연구결과들과 일치 한다
[26,28]. 작업난이도가 커지면 표준자극으로부터 목표자극을 분별하기 어려워지며
자극종류 식별에 대한 집중도가 커지고 그에 따라 기억회상작용의 약화된다고 한
다[28]. 또한, 작업난이도가 커질수록 자극을 판별하는 노력의 정도가 커져 목표
자극에 속하는지 또는 특별한 의미적 범주에 속하는지를 결정하는데 방해를 받고
- 36 -
처리과정 시스템에서 정보 이동의 구조와 내용이 변형되는 것으로 추정된다고 한
다[22,25]. 따라서 표준자극과 목표자극의 크기차이가 작아져 자극종류를 판별하
는데 더 많은 노력이 들기 때문에 약화된 주의집중력 및 기억회상작용이 P300의
크기 감소와 발생시간 지연과 관련된 것으로 판단된다.
단어자극 제시 실험에서만 관찰되었던 500~700 ms의 후기 시간대에 전두부
(frontal region) 및 중앙부 (central region)을 중심으로 관찰된 P600요소는 크
기가 영어에 대해 유의하게 컸으며 한글에 대해 유의하게 빠른 잠복기를 보였다.
선행연구들에 의하면 P600요소는 장기간 기억에 기반을 둔 입력 정보의 정밀한
처리과정으로 기억의 재조합과 재집합 과정을 반영하는 것으로 알려져 있으며 이
의 크기는 친밀한 언어에 대해 감소함이 알려져 있다[1,2]. 이는 단어의 의미적
통합에 관한 처리가 보다 덜 친숙한 언어에 대해 지연되는 현상이 P600의 잠복기
에 영향을 미친 것으로 해석할 수 있으며 이미 단어의 의미적 통합과정이 끝난
뒤 재분석 과정이 영어에 대하여 보다 강도 높게 이루어졌음에 기인하는 것으로
추정 할 수 있다.
4.2 4.2 4.2 4.2 Gamma Gamma Gamma Gamma Band Band Band Band Activity Activity Activity Activity 특성특성특성특성
eGBA는 시각적 혹은 청각적 자극 후 100 ms 근처에서 발생되는 것으로 알려
져 있으며 초기 감각 대뇌영역에 의한 감각정보의 일차적 처리를 반영하는 것으
로 해석된다. 여러 언어 간 eGBA의 발생 특성을 비교한 논문은 아직 없었으나
여러 레벨의 작업난이도를 갖는 시각자극의 분별 실험 수행 시 eGBA를 관찰한
결과, 쉬운 난이도에 대하여 eGBA의 파워가 크고 발생시간이 빠르다는 보고가
있다[34]. 본 연구에서는 한글이 영어보다 친밀도가 크고 이에 따른 작업난이도가
쉽다고 예상하여 작업난이도가 있는 P300실험의 eGBA의 결과와 비교하였다. 두
실험 조건 모두에서 초기 시각신경의 활동을 반영하여 약 100ms를 중심으로 관
찰되었다. P300 실험에서는 난이도간 eGBA의 활성화 크기와 잠복기가 쉬운 난
이도에서 크고 빨랐으나 통계적으로 유의하지는 않았다. 한글과 영어단어자극을
- 37 -
제시하는 N400 실험의 결과에서는 eGBA의 활성화 크기와 잠복기가 영어보다 한
글에서 통계적으로 크고 빨랐다. 한글 단어 쌍의 범주를 판단하는 것보다 영어 단
어 쌍의 범주를 판단하는 과정의 난이도가 크다는 사실이 언어 간 응답시간 차이
와 N400의 잠복기 차이에서 확인되었으며 작업난이도에 따른 P300 실험결과에
서도 응답시간 차이와 P300의 잠복기 차이가 확인되었다. eGBA의 활성화 크기
는 인지과정의 노력 정도를 반영하고 발생시간은 자극을 받아들이는 시간으로 볼
수 있다. 작업난이도가 높을수록 P300과 N400요소의 크기 감소와 잠복기의 지연
이 일어나며 응답시간의 지연과 정답률의 저하는 eGBA에서의 활성화 감소와 발
생시간의 지연으로도 확인되었으며 작업난이도를 반영하는 뇌파 상의 지표로써
eGBA가 효과적으로 사용될 수 있음을 의미한다.
ERP 요소들의 관찰에서 활성화 되는 영역이 순차적으로 발생되는 것과 대조적
으로 iGBA는 대부분 frontal, central, parietal의 midline에서 동시에 관찰되었다.
iGBA가 순차성을 나타내지 않는 것은 특정 정보처리단계와 단련된 대뇌피질 영역
이 짧은 시간동안 활성화되는 반면 신경세포들 간에 또는 신경세포들의 통합작용
간의 관계는 긴 구간동안 지속된다는 것을 반영한다[35].
4.3 4.3 4.3 4.3 Theta/Gamma Theta/Gamma Theta/Gamma Theta/Gamma phase phase phase phase synchronization synchronization synchronization synchronization 특성특성특성특성
대뇌 영역 간 동기화현상은 단어 인지과정에서 분산된 신경세포들이 연합하여
일시적으로 발진 구조가 되는 것이며, 이는 다른 영역간의 피질 사이의 구조적,
기능적 연관성을 나타낸다[22,23]. 선행 연구에 의하면, 전두부에서 세타 및 감마
대역의 동기화가 강하게 증가되는 것은 기억을 검색하고 회상하기 위해 국소 신
경세포들이 긴밀하게 결합되기 때문이며[28,29], 특히 일시적 기억을 요구하는 작
업에서는 세타대역에서 central 영역들의 결합이 강하게 나타난다[23]. 세타대역
의 위상동기화 분석에서 한글과 영어단어 제시조건 모두 초기 시간대에는 frontal
을 중심으로 많은 위상동기화가 관찰되다가 N400요소가 관찰되는 시간대에서
frontal에서 parietal을 중심으로 한글에서는 300~400ms에 많은 위상동기화가 관
- 38 -
찰되며 영어단어 제시 조건에서는 500~550ms에 많은 위상동기화가 관찰되었다.
초기 시간에 frontal 영역 중심으로 신경회로망들의 연결성의 증가는 기억을 회상
하는 과정에서 관찰된 것이며 기억에 의해 단어를 인지하고 전 후 관계를 판단하
는 과정은 N400요소가 발생하는 시간대에 central영역 주변의 신경회로망들이 기
능적으로 연결되어 기인한 현상이라고 볼 수 있다. 작업난이도에 따른 세타대역
위상동기화는 P300요소가 관찰되는 시간대에서 frontal, parietal, occipital,
temporal을 중심으로 넓게 쉬운 난이도에서는 200~300ms에 많은 위상동기화가
관찰되며 어려운 난이도에서는 300~400ms에 많은 위상동기화가 관찰되었다. 이
두 결과에서 우리는 기억과 판단을 반영하는 신경회로망들의 연결성을 시간과 공
간적으로 관찰할 수 있었으며 작업난이도가 큰 자극에 대한인지가 그 보다 쉬운
자극의 인지보다 지연되어 나타난다고 관찰 하였다.
언어가 다른 단어 인지에 대한 감마대역 위상동조에 대한 연구는 아직 없으나
감마위상 동조는 특정자극이나 물체를 판별하고 선택하는 과정에서 증가되고 순
차적인 기능적 연결성이 보인다고 한다[36]. 이 순차적 시간이란 자극의 종류나
실험방법에 따라서 달리 보고 하고 있지만 시각적인 자극에 대해 인지하여 판단
하는 특정 시간구간에 폭발적인 감마대역 동조화가 일어난다고 한다. 또한, 선행
연구 결과들에서는 사람의 얼굴이나 단어 등을 인지하였을 때 인지하기 쉽거나
분별하기 쉬운 자극에 대해서 감마대역 위상동조가 증가한다는 보고를 하고 있다
[28]. 이러한 결과들이 말해주고 있는 것은 어떤 자극이나 물체를 판별하고 선택
하는 과정의 작업이 쉬울 때 원거리간 감마대역 동기화가 활발히 일어난다는 것
은 주어진 문제를 해결하기 위해 넓은 규모로 정보를 통합하는 기능을 수월하게
수행하는 것을 반영한다[20,21]. 한글과 영어자극 제시조건 간의 감마대역 위상동
조를 보면 한글과 영어 모두 특정시간에 확연한 증가가 관찰되는 구간이 있다. 한
글은 200~300ms 구간에 최대 27쌍의 전극에서 감마대역 동기화가 관찰 되었으
며 영어는 350~450ms 구간에 최대 26쌍의 전극에서 감마대역 동기화를 관찰 하
였다. 한글단어와 영어단어를 인지하였을 때 감마대역 동기화가 폭발적으로 증가
하는 구간이 150ms정도 한글이 빠른 것은 긴밀하게 관련된 원거리 신경회로망들
의 통합적 정보처리가 영어보다 빠르다고 볼 수 있다. 이와 같은 결과는 난이도
- 39 -
조건에 따른 감마대역의 위상동기화 결과에서도 나타난다. P300요소가 관찰되는
시간대에서 frontal, parietal, occipital, temporal을 중심으로 넓게 쉬운 난이도에
서는 400~550ms에 많은 위상동기화가 관찰되며 어려운 난이도에서는 많은 위상
동기화가 관찰되지 않았다.
- 40 -
제 제 제 제 5 5 5 5 장 장 장 장 결 결 결 결 론 론 론 론
한국인이 한글과 영어를 인지할 때의 대뇌의 시공간적 활성화 패턴 간 차이가
언어 친밀도에 따라 달라 질것으로 예상하고 이를 확인하기위해 의미오류를 포함
하고 있는 한글과 영어단어 쌍을 시각적으로 제시하면서 측정한 다채널 뇌전위의
분석을 통하여 한글과 영어 인지 시의 뇌 활성화 패턴을 시-공간적으로 분석하였
다. 언어의 친밀도에 따라 의미오류를 판단하는 작업난이도가 다를 것으로 가정하
고 작업난이도가 있는 oddball task의 결과를 통해 이를 확인 하였다. 먼저 순차
적인 뇌 활성화 패턴을 관찰하기 위해 단어의 시각적 제시에 따라 유도되는 사건
관련전위를 통계적으로 비교하였다. 언어의 의미적인 처리과정의 단계에는 못 미
치고 시각적 친밀도가 높은 자극에 크게 반응하는 N1요소의 크기가 한글에서 크
게 관찰되어 영어보다 한글이 시각적 친밀도가 높다는 것을 확인하였다[38]. 단어
의 의미처리를 반영하는 N400요소의 잠복기가 한글보다 영어에서 지연되었으며
작업난이도가 있는 oddball task의 P300요소에서도 난이도가 높을수록 잠복기가
지연되고 크기가 감소하였다. 잠복기는 의미적 처리과정의 수행정도를 추정할 수
있으므로 한글과 영어단어 자극제시조건에서 친밀도가 높은 한글의 경우 작업의
난이도가 쉽다고 판단 할 수 있다. 감마대역 스펙트럼 성분의 분석을 통하여 한글
과 영어단어 인지 시 나타나는 신경회로망들의 통합적 정보처리 패턴을 시-주파
수 분석을 통해 evoked와 induced 활성화를 근거리 감마대역 동기화의 발생크기
와 시점을 통계적으로 비교하고 작업난이도가 있는 oddball task의 활성화 패턴을
통해 단어 친밀도와 작업난이도 간의 관계를 관찰하였다. 한글의 eGBA 잠복기가
영어보다 빨랐으며 작업난이도가 낮은 자극에 대한 eGBA 잠복기 또한 지연되어
나타났다. GBA의 활성화 크기는 인지과정의 노력 정도를 반영하고 발생시간은 자
극을 받아들이는 시간으로 볼 수 있다[24,28]. 작업난이도가 높을수록 P300과
N400요소의 크기 감소와 잠복기의 지연이 일어나며 응답시간의 지연과 정답률의
저하는 eGBA에서의 활성화 감소와 발생시간의 지연으로도 확인되었으며 작업난
이도를 반영하는 뇌파 상의 지표로써 eGBA가 효과적으로 사용될 수 있음을 의미
- 41 -
한다. 근거리 감마대역의 동기화 뿐 만 아니라 원거리간 감마대역 동기화를 관찰
하기위해 위상동기화지수(Phase Locking Value, PLV)를 계산하여 17개 전극 쌍
의 위상동기화를 세타와 감마대역에서 관찰 하였다. 단어 인지 실험의 세타대역에
서 초기 시간에 frontal 영역 중심으로 신경회로망들의 연결성의 증가는 기억을
회상하는 과정에서 관찰된 것이며 기억에 의해 단어를 인지하고 전 후 관계를 판
단하는 과정은 N400요소가 발생하는 시간대에 central영역 주변의 신경회로망들
이 기능적으로 연결되어 기인한 현상이라고 볼 수 있다. 한글단어 자극제시 조건
의 위상동기화가 영어단어 자극제시 조건보다 100ms정도 일찍 일어나는 것은 기
억의 회상과 상황에 대한 전 후 관계를 파악하는 인지활동이 한글에서 빠르다고
볼 수 있다. 이러한 결과는 주의 집중력과 정보를 통합하여 판단의 정도를 반영하
는 감마대역의 위상동기화의 결과에서도 나타나며 작업난이도에 따른 위상동기화
결과와도 일치한다.
본 연구에서는 오류를 범하는 단어 쌍을 피험자가 판별하여 선택하는 과정에서
친밀도가 높은 한글의 경우 영어보다 ERP요소의 잠복기와 응답시간이 빠르다는
것을 확인하고 근거리와 원거리간의 세타대역 활성화가 발생하는 시점 또한 빠르
게 관찰 되었음을 확인하였다. 작업난이도가 있는 oddball task의 결과에서도 위
와 같은 결과가 확인 되었다. 한글과 영어단어를 인지하는 뇌의 기능적 패턴이 해
당언어의 친밀도에 따라 달라지는지를 관찰하였으며 이는 작업의 난이도에 따른
기능적 패턴과 유사한 것으로 확인 하였다. 한국인이 한글과 영어단어를 인지할
때 공간적인 패턴은 유사하나 해당언어를 이해하고 상황을 판단하는 인지과정의
시간 차이가 있는 것은 전반적으로 각 언어에 대한 친밀도 및 숙련도, 작업난이도
를 반영하는 것으로 해석될 수 있다.
- 42 -
참고문헌참고문헌참고문헌참고문헌
[1] American Electroencephalographic Society, “Guidelines for standard
electrode position nomenclature”, J. Clin. Neurophysiol., Vol. 8, pp.
200-202, 1991.
[2] J.T. Baker, A.L. Sanders, L. Maccotta, R.L. Buckner, "Neural correlates
of verbal memory encoding during semantic and structural processing
tasks", NeuroReport, vol. 12, no. 6, pp.287-295, 2001.
[3] S. Fu, Y. Chen, S. Smith, S. Iversen, P. M. Matthews, "Effects of word
form on brain processing of written Chinese", NeuroImage, vol. 17, no. 3,
pp. 1538-1548, 2002.
[4] E.M. Moreno, M. Kutas, "Processing semantic anomalies in two
languages: an electrophysiological exploration in both languages of Spanish
–English bilinguals", Cognit Brain Res., vol. 22, no. 2, pp.205-220, 2005.
[5] J.J. Kim, M.S. Kim, J.S. Lee, D.S. Lee, M.C. Lee, J.S. Kwon,
"Dissociation of Working Memory Processing Associated with Native and
Second Languages: PET Investigation", NeuroImage, vol. 15, no. 4,
pp.879-891, 2002.
[6] S. Fu, Y. Chen, S. Smith, S. Iversen, P. M. Matthews, "Effects of word
form on brain processing of written Chinese", NeuroImage, vol. 17, no. 3,
pp. 1538-1548, 2002.
[7] E.M. Moreno, M. Kutas, "Processing semantic anomalies in two
languages: an electrophysiological exploration in both languages of Spanish
–English bilinguals", Cognit Brain Res., vol. 22, no. 2, pp.205-220, 2005.
[8] K.H. Kim, J.H. Kim, "Comparison of spatiotemporal cortical activation
patt10ern during visual perception of Korean, English, Chinese words: An
event-related potential study", Neurosci. Lett., vol. 394, no. 3, pp.227-232,
- 43 -
2006.
[9] F.P. Geoffrey, "An ERP index of task relevance evaluation of visual
stimuli," Brain Cogn., vol. 56, no. 1, pp. 5-13, 2004.
[10] K.H Kim, J.H Kim, "Analysis of induced gamma-band activity in EEG
during visual perception of Korean, English, Chinese words", Neurosci.
Lett., vol. 403, no. 3, pp.216-221, 2006.
[11] M. M. Muller, T. Gruber, A. Keil., "Modulation of induced gamma
band activity in the human EEG by attention and visual information
processing", Int. J. Psychophys., Vol. 38, pp. 283-299, 2000.
[12] S. P. Fitzgibbon, K. J. Pope, L. Mackenzie, C. R. Clark and J. O.
Willoughby, "Cognitive tasks augment gamma EEG power", Clin.
Neurophys., Vol. 115, pp. 1802-1809, 2004.
[13] A. Khateb, J. M. Annoni, T. Landis, A. J. Pegna, M. C. Custodi, E.
Fonteneau, S. M. Morand, C. M. Michel, “Spatio-temporal analysis of
electric brain activity during semantic and phonological word processing”,
Int. J. Psychophys., Vol. 32, pp. 215-231, 1999.
[14] M. Krause, P. Korpilahti, B. P¨orn, J. J¨antti, H.A. Lang, "Automatic
auditory word perception as measured by 40 Hz EEG responses",
Electroencephalogr. Clin. Neurophysiol., Vol. 107, pp. 84–87, 1998.
[15] F. Pulvermuller, C. Eulitz, C. Pantev, B. Mohr, B. Feige, W.
Lutzenberger, T. Elbert, N. Birbaumer, “High-frequency cortical responses
reflect lexical processing: an MEG study”, Electroencephalogr. Clin.
Neurophysiol., Vol. 98, pp. 76-85, 1996.
[16] C. Eulitz, B. Maess, C. Pantev, A. D. Friederich, B. Feige, T. Elbert.
"Oscillatory neuromagnetic activity induced by language and non-language
stimuli", Cog. Brain Res., Vol. 4, pp. 121- 132, 1996.
[17] N. E. Crone, D. L. Miglioretti, B. Gordon, R. P. Lesser. "Functional
mapping of human sensorimotor cortex with electrocorticographic spectral
- 44 -
analysis", Brain, Vol. 121, pp. 2301–2315, 1998.
[18] L. Melloni, C. Molina, M. Pena, D. Torres, W. Singer and E.
Rodriguez1, "Synchronization of Neural Activity across Cortical Areas
Correlates with Conscious Perception", J. Neurosci., vol. 27, no. 11,
pp.2858-2865, 2007.
[19] W.J. Freeman, "Origin, structure, and role of background EEG activity.
Part 1, Analytic amplitude", Clin. Neurophysiol., vol. 115, no. 9,
pp.2077-2088, 2004.
[20] J.P. Lachaux, E. Rodriguez, J. Martinerie, F.J. Varela, "Measuring
phase synchrony in brain signals", Hum. Bra. Mapp., vol. 8, no. 4,
pp.194-208, 1999.
[21] L.A. Hald, M.C. Bastiaansen MC, P. Hagoort, "EEG theta and gamma
responses to semantic violations in online sentence processing", Brain
Lang., vol. 96, no. 1, pp.90-105, 2006.
[22] T. Gruber, M. M. Muller, "Effects of picture repetition on induced
gamma band responses, evoked potentials, and phase synchrony in the
human EEG", Brain Res., vol. 13, no. 3, pp.377-392, 2002.
[23] P.B. Sederberg, M.J. Kahana, M.W. Howard, E.J. Donner and J.R.
Madsen, “Theta and gamma oscillations during encoding predict subsequent
recall”, J. Neurosci. 23 , pp. 10809–10814, 2003.
[24] C. Tallon-Baudry and O. Bertrand, Oscillatory gamma activity in
humans and its role in object representation, Trends Cogn. Sci., 3, pp. 151
–162,1999.
[25] J. Polich, M.D. Comerchero, "P3a from visual stimuli: typicality, task,
and topography," Brain Topogr., vol. 15, no. 3, pp. 141-152, 2003.
[26]J. Polich, L.D. Hoffman, "Alzheimer's disease and P300: evaluation of
modality and task difficulty," Electroencephalogr. Clin. Neurophysiol. Suppl.
, vol. 1998, pp. 527-536, 1998.
- 45 -
[27] R. Sawaki, J. Katayama,"Difficulty of discrimination modulates
attentional capture for deviant information," Psychophysiology., vol. 44, no.
3,pp. 374-382, 2007.
[28] K. H. Kim, J. Yoon, J. H. Kim, K. Y. Jung, "Changes in gamma-band
power and phase synchronization with the difficulty of a visual oddball
task", Brain res., Epub ahead of print, 2008.
[29] J. W. King, M. Kutas, "Neural plasticity in the dynamics of human
visual word recognition", Neurosci. Lett., pp. 1–4, 1998.
[30] H.A. Barber, M. Kutas, "Interplay between computational models and
cognitive electrophysiology in visual word recognition", Brain Res. Brain
Res. Rev., vol. 53, no. 1, pp.98-123, 2007.
[31] M. Kutas, S. A. Hillyard, "Reading senseless sentences: Brain
potentials reflect semantic incongruity", Science, vol. 207, pp.203–205,
1980.
[32] A. Hahne, "What’s Different in Second-Language Processing?
Evidence from Event-Related Brain Potentials", J. Psycholinguistic Res.,
vol. 30, no. 3, pp.251-266, 2001.
[33] P. Hagoort, "Interplay between syntax and semantics during sentence
comprehension: ERP effects of combining syntactic and semantic
violations", J. Cog. Neurosc., vol. 15, pp.883–899, 2003.
[34] D. Senkowski, C.S. Herrmann, "Effects of task difficulty on evoked
gamma activity and ERPs in a visual discrimination task", Clin.
Neurophysiol., vol. 113, no. 11, pp.1742–1753, 2002.
[35] A. Posada., E. Hugues, N. Franck, P. Vianin, and J. Kilner
"Augmentation of induced visual gamma activity by increased task
complexity", Eur. J. Neurosci., vol. 18,
[36] A. Matsumoto1, T.Iidaka, "Gamma Band Synchronization and the
Formation of Representations in Visual Word Processing: Evidence from
- 46 -
Repetition and Homophone Priming", J. Cogn. Neurosci., vol. 20, pp.1-9,
2008.
[37] J.M. Hurtado, L.L. Rubchinsky, K.A. Sivardt, "Statistical Method for
Detection of Phase-Locking Episodes in Neural Oscillations", J.
Neurophysiol., vol. 91, no. 4, pp.1833-1898, 2004.
[38] J.J. Peissig, J. Singer, K. Kawasaki, D.L. Sheinberg, "Effects of
long-term object familiarity on event-related potentials in the monkey",
Cereb. Cortex, Vol. 17, no. 6, pp.1323-1334, 2007.
- 47 -
AbstractAbstractAbstractAbstract
Observations Observations Observations Observations of of of of the the the the N400 N400 N400 N400 Event Event Event Event Related Related Related Related Potential Potential Potential Potential and and and and
the the the the Gamma Gamma Gamma Gamma Band Band Band Band Activities Activities Activities Activities related related related related to to to to the the the the familiarity familiarity familiarity familiarity
during during during during visual visual visual visual word word word word perception. perception. perception. perception.
The purpose of this study was to investigate the difference and similarity
in temporal brain activation patterns due to the language difference during
visual perception of Korean and English words. The stimulation was
visually presented as word pairs belonging to same or different categories
so that N400 event-related potential (ERP) was evoked. We expected
which signatures of neural activity critically differentiate familarity from
visual word processing. So, we observed to compare with familarity and
difficulty witch the brain activity patterns during visual oddball tasks with
two difficulty levels. We could identify ERP components such as early
visual components N1 and N400 component which seem to be important
task-related components. As the English word task became, the N1
amplitude decreased and the N400 latency delayed. Also, as the task
became difficult, the P300 amplitude decreased and latency delayed.
Induced and evoked gamma-band activity (GBA)was investigated using
ectroencephalograms(EEG) recorded during visual perception of Korean and
English words and visual oddball tasks of two difficulty levels. The results
of spectral and time-frequency analyses showed distinct induced
gamma-band activity (iGBA) at frontal, central and parietal sites. We
found that the evoked gamma-band activity (eGBA) was significantly larger
for English at ~100 ms poststimulus. The latency of the eGBA was also
- 48 -
considerably delayed for English. Considerable phase synchronization in
theta-band (i.e., 4~8 Hz) was observed mostly between prefrontal and
frontal regions at 100~300 ms. The most apparent difference between
Korean and English words between frontal and central regions at 300~500
ms. More intense gamma phase synchronization was observed for Korean.
The difference was most evident in 200~400 ms, where much more
electrode pairs showed significant increase in gamma phase
synchronization. Overall, the results seem to be commensurate with
subjects familiarity of each language, and the difficulty of processing
words of each language. We propose that the critical process mediating
the access to Korean word perception (more familiar language) is the early
transient local/global increase of oscillatory activity in the gamma
frequency range. This may be associated with language familarity and
difficulty-related changing.
Keyword
Visual word perception, EEG, ERP, Gamma-band activity(GBA), Phase
synchronization(PS)
