S o f t m a x 함 수 이 다 .

행렬이다 . f (z ) 는 S i g m o i d 혹 은 T a n h 함 수 이 고 g ( z ) 는

U , W , V 는 가중 치 행렬이며 E 는 단 어 및 자 질 의 가 중 치

P U , lx ) =

y t

T

g jw h , + b, )

- 16 0 -

와 같이 확장하였다 .

R a n d o 田 F i e l d ( C R F s ) 를 이 용 하 여 o u t p u t layer 를

바탕으 로 현 재 레 이 블 을 추 측 할 수 있는 Condit ；

용하고 자 한 다 . 이를 위해 출력 레이블의 인접

역 태그 를 결 정 하 기 위 해 인 접 한 의 미 역 태그 겹따

용하여 문장 전체의 정보 를 사 용 한다 . 또한 현훠

본 논문에서는 H ig h w a y N e t w o r k 를 B i し S IM RNN 모수

거친 정보 를 얼 마 나 사 용 할 지 정하는 역할을 하 1

马 는 비 선 형 변 환 을 거 치 지 않은 정보와 비斟

h ,- f

t 0 o t O t a n h ( c t ) + ( 1 -

f

t ) 0 . E x,

게이트 를 추 가 한 모 델 이 다 . 추가된 게 이 트 \

'

イ ；의 수식은 식 (3 ) 과 같다 .

정보 를 LST M 유 닛 이 사 용 할 수 있게 LS 硇 유닛 1 1

H ig h w a y N e t w o r k 는 비 선 형 변 환 을

그 1 지 슈

LS n ı RwN ī g

그 림 2 . 내민 유닛 구조

X ı

回 国

x ı x t

치 행렬이다 . 그 림 2 는 し S 硎 유 닛 의 구 조 를 나 타 낸 다 .

다 . 예를 들어 W i 는 히 든 레 이 어 와 in p u t g a t e 간 의 가 중

가중치 행렬의 아래 첨자는 연결된 각 노 드 를 표 시 해 준

며 각 벡터의 크 기 는 히 든 레 이 어 의 벡 터 크 기 와 같 다 .

g a t e , fo r g e t g a t e , o u t p u t g a t e , m e m o ry c e ll 벡터 이

e l e m e n t-

w is e p r o d u c t 를 나 타 낸 다 . i, f , o , c 는 각각 in p u t

위 식에서 o 는 S ig m o i d 함 수 이 고, O 는 벡터 간의

P ly t lx ) =

y t

T

g ju /. N

h , + b, )

h ,- o

t O ta n h ( c t )

O t- đ (W . .

E X t + W. h h -

1

+ 14 . c C t + b. )

c t- j O c t -

1

+ i, O t a n h ( W.

E x t + W . nh t -

1 + b . )

It = G (W .. E x t + W

r た h t -

1

+ W r. c t -

1

+ b r)

i, - c r (ıty :× E x t + 1M į h h t -

1

+ IM ic C t -1

+ b u ( 2 )

R N N 은 식 (2 ) 와 같 이 정 의 된 다 .

디언트 소 멸 문 제가 발 생하 는 데 , 이 문제를 해결한 L STM

어져 에러 전파 (e r r o r p r o p a g a t i o n ) 가 어 려 워 지 는 그 래

RN N 은 입 력 데 이 터 의 열 이 길어지 면 신 경 망 구조 가 깊

그 림 1 . RNN 모 텔

·

■제 29 회 한 글 및 한 국 어 정 보 처 리 학 술 대 회 논 문 집 (20 17 년 )

각한다 .

질 정보 를 사 용 하 는 의 미 역 결 정 에 는 맞 지 않 는 다 고 생기가 같아야 하는 제한으 로 인 해 단 어 정 보 및 여 러 자중치 연산이 없고

, 입력 차원의 크 기 와 히 든 레 이 어 의 크가장 낮은 성능을 보 였는 데 H ig h w a y N e t w o r k 와 달 리 가N e t w o r k 【1 2 ] 를 B I L S T M

- CRF s 에 적 용 하 였 으 나 , 실험 결과없이 히든레이어의 입력으 로 사 용 하 는 R e s i d u a ı

H ig h w a y N e t w o r k 와 유 사 하 게 입 력 정 보 들 가 중 치 연 산CRF s 모 델 에 서 는 경 미 한 성 능 하 락 이 있 었 다 .

또 한

- 1 6 1

뇬 ' *o1 H 었으 나 s t a c k e d H i g h w a y B IL s T M

-

u n d e r s t a n d i n g u s i n g l . N

t

s h o r t-

t e r m m e m o r y n e u r a l

ĮŞ ģ, $ ° · . ° , 실험 결과 S t a c k e d B I L S T M R F s 에 [ 4 ] Y A o ,

K a i s h e n g a l . S p o k e n l a n g u a g e

：0 1 々성능 향상에 도움 이 되 는 것 으 로 유 추 할 수 있

A s s o c i a t i o n f o r C o m p u t a t i o n a l L i n g u i s t i c s , P P . 1 12 7 一

1 に 。

형뇽을 보였다 . 앞선 두 모 델 의 성 능 차 이 를 통 s e m a n t i c r o l e l a b e l in g u s i n g r e c u r r e n t n e u r a l

t4ķ&.. E 델이 78 . 84 3 B I L S T M R F s 모 델 보 다 0 . 6 7% [3 ] J ie Z h o u a n d W e i X u , E n d

-

t o -

e n d le a r n i n g o f

Bi 區ぷ S 모 델 이 7 8 . 17 의 성 능 을 보 였 고

, H ig h w a y

권 제 1 호 , 20 17 .：為값훨

별 한국어 의미역 결정 실험 결과이다 .

를 이용한 한국어 의미역 결정 , 정보 과 학 회 논 문 지 , 제 4 4

아挪イ リ

[2 ] 배장성 , 이창기 . S t a c k e d B i d i r e c t i o n a l し S T M- C R F s

き M en t Id e n t i f i c a t i o n a n d C l a s s i f i c a t i o n ) 에 해 당

의 미 역 결 정 . 한국컴퓨터종합학술대회 논문 집 . 6 9 0 - 6 9 2 .

：성능イ 의미역 결정 문제의 논 항 인식 및 분류 [1 ] 매 장 성 , 이창기 , 임수종 . 딥 러닝을 이용한 한국어

翅 F1 지표를 사용 하 였 으 며 , 본 논문에서 제시하고 있

참 고 문 헌

을적용하였다. 성능 지표 는 정 확도 와 재 현 율 의 조 화 평

고, 또한 Pr o j e c t i o n l a y e r 와 히 든 레 이 어 에 D r o p o u t [ 1 1 】

teature e m b e d d in g 은 랜 덤 으 로 초 기 화한 값을 사용하였 지능진화형 W is e Q A 플 랫 폼 기 술 개 발 ]

勾 rd2vec to 山 o ] 를 이 용 하 여 구 한 것 을 사 용 하 였 다 . (엑소 브 레 인- 1 세 부 ) 휴 먼 지 식 증 강 서 비 스 를 위 한

相问 사용한 한국어 w o r d e m b e d d i n g ( 단 어 표 현 ) 은 사업의 일환으 로 하 였 음 . [2 0 13 - 0 - 0 0 13 1 ,

纜 의 위 치

匿睏ゴマ 。，

。 。 。 。茲 。。。 靠 과

휴 연구개 뚫绁 얘 및 품사 정보 1 팔 리 / w 감사의 글

乱骂習·· 國。一 贫馭，飞伢訌，

。 , 되 지 않는다는 것을 알 수 있었다 .

啁및품사 정보 I S N IN N 미 JĶS 용 하 는 것 이 한 국 어 의 미 역 결 정 의 성 능 향 상 에 는 도 움

明어절에 포함된 형태소들 의 362 /SN , 가/JK S , S N , J K S , 과 입력 정보 를 가 중 치 없 이 히 든 레 이 어 의 입 력 으 로 사

, -

은 입력 정보 가 한 국 어 의 미 역 결 정 성 능 향 상 에 도 号 미

로여 졌다 .

'

의 372 대 가 어 절 의 레 이 블 을 결 정 할 적 용 하 였 고 , 한국어 의미역 결정에서 기존 연 구보 다 좋悸차는 총 7 만 2 천 36 2 대 가 팔 려 점 유 율 이 39 . 8 퍼 센트

본 논 문 에 서 는 B i し ST M - CR F s 모 델 에 H i g h w a y N e t w o r k 를彬 나타낸다. 표 1 의 우 측 열 은 문 장'

한편 외국g g 는문에서 사용하 는 한국 어 의 미 역 결 정 자 질 과 그 5 . 결론

·

동일한 학습데이터 , 평가 데이터를 구성하였다 . 표 1；op8 础 [9 ] 를 학 습 말 뭉 치 로 사 용 하 였 으 며 , 기존 연구

본 논문에서는 H ig h w a y B i し S T M

- C RF s 모 델 을 기 존 연 구 S t a c k e d H i g h w a y B I L S T M- CRF s ( 2 l a y e r s )

7 7 . 7 3 (一

ä4 H ig h w a y B I L S ÆR F s

7 8 . 7 7

S t a c k e d B I L S T M- CRF s ( 2 l a y e r s )

7 8 . 84 (+ 0 . 6 7 )

7 8 . 17J 4 4 . H igh w a y B i L a n s 구 조

B IL S T M- CR F s ( b a s e )

7 8 . 5 7

표 2 . 한국며 의미역 곁 싱 실 험 但 -k n

且 u

제 2 9 회 한 글 및 한 국 어 정 보 처 리 학 술 대 회 논 문 집 (20 17 년 )

鹰

im a g e r e c o g n i t i o n . A r x iv : 1 5 1 2 . 0 33 85 (2 0 15 ) .

[ 12 ] H e , K a i m i n g , e t a l . D e e p r e s i d u a l l e a r n i n g f o r

In t e r n a t i o n a l C o n f e r e n c e o n I E E E . p

. 8 6 0 9 - 86 13 . 20 13

In : A c o u s t i c s , S p e e c h a n d S i g n a l P r o c e s s i n g ( I C A S S P ) ,

fo r L V C S R u s i n g r e c t i f i e d l i n e a r u n i t s a n d d r o p o u t .

[1 1 ] G . E D a h l , e t a l . Im p r o v i n g d e e p n e u r a l n e t w o r k s

C o m p o s i t i o n a l i t y . In P r o c e e d i n g s o f N I P S , 2 0 1 3 .

R e p r e s e n t a t i o n s o f W o r d s a n d P h r a s e s a n d t h e i r

[10 ] T o m a s M i k o l o v e t a l . D is t r i b u t e d

h t t p : / / c a t a l o g . id c . up

e n n . e d u / l d c 2 0 0 6 t 0 3 .

[O n I i n e ] . A v a i t a b l e

S in w o n Y o o n , a n d Y e o n gm i J e o n , K o r e a n P r o p b a n k

[9 ] M a r t h a P a l m e r , Sh ij o n g R y u , J i ny o u n

g Ch o i ,

W h a t W o r k s a n d W h a t'

s N e x t . A C L 2 0 16

[8 ] L u h e n g H e , e t a l . D e e p S e m a n t i c R o l e L a b e l i n g

p a g e s 5 7 5 5 5 7 5 9 .

o n A c o u s t i c s , S p e e c h a n d S i g n a l P r o c e s s i n g ( I C A S S P ) .

r e c o g n i t i o n . In 2 0 1 6 I E E E I n t e r n a t i o n a l C o n f e r e n c e

ıo n g s h o r t t e r m m e m o r y r n n s f o r d i s t a n t s p e e c h

S a n j e e v K h u d a n p u r , a n d J a m e s G l a s s . 20 16 . H ig h-

w a y

[7 ] Y u Z h a n g , G u o g u o C h e n , D o n g Y u , K a i s h e n g Y a c o ,

2 0 15 .

용한 멘션탐지 , 한글 및 한국어 정보 처 리 학 술 대 회 ,

[ 이 박천음 , 이창기 . B id ir e c t i o n a l L S T M 一 C RF 모 델 을 이

p p . 3 10 4 - 3 1 12, 20 14 .

A d v a n c e s i n n e u r a l i n f o r m a t i o n p r o c e s s i n g s y s t e m s ,

"

S e q u e s c e t o s e q u e n c e l e a r n i n g w i t h n e u r a l n e t w o r k s

'

,

[5 ] S u t s k e v e r, I ly a , o r i o l v i n y a l s , a n d Q u o c V . L e ,

(S L T ) , IE E E . 18 9 - 19 4 . 20 14 .

n e t w o r k s . In : S p o k e n L a n g u a g e T e c h n o l o g y W o r k s h o p

·

제 29 회 한 글 및 한 국 어 정 보 처 리 학 술 대회 논 문 집 (2 0 17 년 )