효율적인 자동 주석을 위한 단어 임베딩 인공 신경 정리 증명계 구축kiise.or.kr/e_journal/2017/4/JOK/pdf/08.pdf · 가지고 있다[4]. 본 연구에서는

ISSN 2383-630X(Print) / ISSN 2383-6296(Online)

Journal of KIISE, Vol. 44, No. 4, pp. 399-410, 2017. 4

https://doi.org/10.5626/JOK.2017.44.4.399

․이 논문은 2017년도 정부(미래창조과학부)의 재원으로 정보통신기술진흥센

터의 지원을 받아 수행된 연구임. (R0124-16-0002, 상 방의 감정을 추론,

단하여 그에 맞추어 화하고 응할 수 있는 감성지능 기술 연구 개발)

한 2015년도 정부(미래창조과학부)의 재원으로 한국연구재단의 지원을 받

아 수행된 연구임(No. NRF-2014R1A2A1A11052310).

․이 논문은 제28회 한 한국어 정보처리 학술 회에서 ‘효율 인 자동 주

석을 한 단어 임베딩 인공 신경 정리 증명계 구축’의 제목으로 발표된 논문

을 확장한 것임

논문 수 : 2016년 11월 21일

(Received 21 November 2016)

논문수정 : 2017년 2월 9일

(Revised 9 February 2017)

심사완료 : 2017년 2월 11일

(Accepted 11 February 2017)

CopyrightⒸ2017 한국정보과학회ː개인 목 이나 교육 목 인 경우, 이 작물

의 체 는 일부에 한 복사본 혹은 디지털 사본의 제작을 허가합니다. 이 때,

사본은 상업 수단으로 사용할 수 없으며 첫 페이지에 본 문구와 출처를 반드시

명시해야 합니다. 이 외의 목 으로 복제, 배포, 출 , 송 등 모든 유형의 사용행

를 하는 경우에 하여는 사 에 허가를 얻고 비용을 지불해야 합니다.

정보과학회논문지 제44권 제4호(2017. 4)

†

††

†††

비 회 원

학생회원

종신회원

:

:

:

한국과학기술원 산학부

[email protected]

한국과학기술원 산학부

[email protected]

한국과학기술원 산학부 교수(KAIST)

[email protected]

(Corresponding author임)

효율 인 자동 주석을 한 단어 임베딩 인공 신경 정리 증명계 구축(Neural Theorem Prover with Word Embedding for

Efficient Automatic Annotation)

양 원 석† 박 한 철

†† 박 종 철

†††

(Wonsuk Yang) (Hancheol Park) (Jong C. Park)

요 약 본 연구는 문기 에서 생산되는 검증된 문서의 정보를 웹상의 수많은 검증되지 않은 문서에

자동 주석하여 신뢰도를 향상하고 심화 정보를 추가하는 시스템을 제안한다. 제안하는 시스템은 국가암정

보센터의 검증된 문서들에서 추출한 19,304개 명제를 키피디아 암 련 문서에서 추출한 1,486개 명제에

주석하는 과제를 수행하기 해, 기존 인공 신경 정리 증명계의 순환 모듈을 단어 임베딩 모듈로 교체하

다. 이를 통해 기존의 근본 인 문제 이었던 학습 시간 문제를 해결하 고, 동일한 환경에서 기존 시스

템의 학습 시간이 233.9일로 추정된 것에 비해 재구축한 시스템은 102.1분 내로 학습이 완료되었다. 제안

하는 시스템의 장 은 명제를 텐서로 인코딩하여 미분 가능하게 체 인 연산을 진행하는 인공 신경 정

리 증명계가 단어의 정확한 일치를 악하는 통 인 정리 증명계를 포함하며 동시에 유사어 계로부터

의 논리 개 역시 가능하게 한다는 을 실제 문서 데이터에서 입증했다는 것이다.

키워드: 인공 신경 정리 증명계, 단어 임베딩, 신뢰도 향상 심화 정보 추가, 자동 주석 시스템

Abstract We present a system that automatically annotates unverified Web sentences with

information from credible sources. The system turns to neural theorem proving for an annotating task

for cancer related Wikipedia data (1,486 propositions) with Korean National Cancer Center data (19,304

propositions). By switching the recursive module in a neural theorem prover to a word embedding

module, we overcome the fundamental problem of tremendous learning time. Within the identical

environment, the original neural theorem prover was estimated to spend 233.9 days of learning time.

In contrast, the revised neural theorem prover took only 102.1 minutes of learning time. We

demonstrated that a neural theorem prover, which encodes a proposition in a tensor, includes a classic

theorem prover for exact match and enables end-to-end differentiable logic for analogous words.

Keywords: Neural Theorem Prover, Word Embedding, Increasing Source Reliability, Supplementing

Advanced Information, Automatic Annotation System

400 정보과학회논문지 제44권 제4호(2017. 4)

1. 서 론

웹상에 존재하는 수많은 문 문헌들의 신뢰성과 그

내용의 깊이 부재는 심각한 정보 오용의 문제를 야기한

다. 이러한 문제는 웹상의 모든 문헌들이 문 으로 검

증되기 어렵다는 에서 기인한다. 우리가 흔히 하는

어 키피디아의 경우 의학 련 도메인에서의 엄

한 기 에 부합하지 않는 정보의 오류가 90% 이상 나

타난다고 보고되고 있다[1]. 따라서 이러한 오류를 보정

하고 내용의 심화를 자동 으로 수행하기 해 문가

들로부터 검증된 문서의 지식을 극 활용하는 문가

시스템 개발이 요구된다.

그림 1 자동 주석 결과 시

Fig. 1 An example result of automatic annotation

이러한 시스템 구축을 해서는 검증된 문 문헌으

로부터 많은 양의 신뢰도 높은 지식을 추출할 필요가

있다. 그러나 단순히 핵심 어휘만을 기 으로 검증된

문 문서에 한 범주화를 시도할 경우 검증 여부와

련된 주요 정보가 유실될 수 있다. 이를 해결하기 해

논리 구조를 기 으로 련 내용을 추 하는 퍼지로직

정리 증명계(theorem prover)에 한 연구들이 진행

되었다[2,3]. 특히 최근에는 인공 신경 정리 증명계(neural

theorem prover)가 소개되었고, 이 증명계는 제한된 모

델(toy model)에서 논리 계 악에 한 높은 성능을

보여주었다[4]. 그러나 이 연구의 실험 규모는 약 100개

규모의 공리를 이용하여 4개 명제를 증명하는 것이었고,

기본 구조상 계산 복잡도가 명제 개수의 계승에 비례하

며 확률 최 화 계산이 수반되기 때문에, 해당 시스템이

큰 규모의 데이터에 용될 수 없다는 근본 인 문제를

가지고 있다[4].

본 연구에서는 규모 문장 말뭉치 체에 증명계가

용 가능하도록 순환 학습 시스템을 단어 임베딩 기법

을 통해 재구축 하 다. 인공 신경 정리 증명계를 사용

하여 얻은 결과 하나의 시는 그림 1과 같다. 그림 1

의 1) 문장은 문 기 에서 검증을 받지 않은 키피

디아 문서이며1), 2)의 국가암정보센터의 암 방 실

천을 한 책자2)에서 발췌한 문장은 자동 주석된 문장

이다. 재구축한 인공 신경 정리 증명계는 형태소 분석

의미역 결정 과정을 통해 얻은 키피디아 데이터의

1,486개 명제를 상으로 국가암정보센터의 암 방

실천 자료3)의 19,304개 명제를 약 102분 내에 자동 주

석하 다.

2. 련 연구

웹 건강 리 시스템 암 련 문 지식 규격화

시스템에 한 연구는 국내외에서 활발히 진행되고 있

다. 이 문장 단 의 정보를 상으로 퍼지 논리를 기

반으로 한 검색 기법과 규격 범주화에 한 연구들이

있었고, 색인어(keyword) 집합을 기반으로 성능을 측정

하거나, 색인어 간의 연결도를 비선형 인 수식을 통해

정의하는 방법을 사용하 다[5,6].

그러나 색인어 심의 범주화는 문서 내의 색인어 이

외 정보 유실을 야기한다. 따라서 이런 색인어 심의

규격화가 가지는 자료 손실을 최소화하기 해, 순환 신

경망(recurrent neural network)를 이용한 순서 데이터

의 유사도 확인 방법이 연구되었으며, 이는 문장 일치도

확인 과제에서 높은 성능을 보 다[7,8].

한 단어 간의 단순 유사도 측정을 해 순환 신경

망보다 계산 복잡도가 낮으면서도 정보 유실을 최소화

하려는 목 으로 단어 임베딩 기법이 제안되어 최근 들

어 연구되고 있다[9,10].

순서 데이터만을 이용하여 유사도를 확인하는 것을

넘어서, 순환 신경망 혹은 단어 임베딩과 같은 비선형

시스템을 이용하여 논리의 분해, 재조합, 개가 가

능하도록 시스템을 구축하고자 하는 시도도 새롭게 진

행되고 있다[11,12]. 비선형 시스템을 통해 논리 표 을

학습하는 연구 규격화된 명제의 벡터화를 통한 인공

신경 정리 증명계가 소개되었으며[4], 데이터에 미리 주

어진 논리 구조를 데이터만을 이용해 역추론하는 기법

을 소개하 다. 그러나 논리의 분해 재조합이 갖는

경우의 수가 내부 항 개수의 계승이기 때문에, 순서 데

이터 기반 유사도 측정에 비해 계산량이 압도 으로 많

다는 문제가 필수 으로 선결되어야 하는 과제로 두

되었다[4].

기존의 인공 신경 정리 증명계는 유사어를 활용한 논

1) 출처: ko.wikipedia.org/wiki/간암

2) www.cancer.go.kr, 국민암 방수칙 실천지침 암10종 간암

3) 이 자료는 보건복지부 국민건강증진기 의 후원으로 구축된 보건복지부

･국립암센터･국가암정보센터(www.cancer.go.kr)에서 발췌한 것임.

한 국가암정보센터로부터 데이터 사용 허가를 받았음을 명시함.

효율 인 자동 주석을 한 단어 임베딩 인공 신경 정리 증명계 구축 401

리 개를 해 제안되었다. 기존 연구는 자연언어가 아

닌 가상의 소규모 상징(symbol) 집합에 해 사례 검증

을 하 는데, 이는 계산량 문제 때문이었다. 각각의 상

징에 부여된 의미 벡터는 임의의 벡터로 설정되어 순환

모듈을 통해 학습되었다. 이는 각 상징의 기 의미를

서로 완 히 독립 으로 설정하 음을 의미한다. 이는

상징 집합의 크기가 작기 때문에 상징 사이 의미 계

의 기 설정에 따라 실험 결과가 상이해질 수 있기 때

문이었다.

본 연구는 기존 인공 신경 정리 증명계가 단어들 사

이의 의미 계를 추론하기 해 순환하는 미분 과정에

서 가장 많은 시간을 소요한다는 에 주목하 다. 임의

로 설정한 가상의 소규모 상징 집합이 아닌 실제 자연

언어에서는 단어들의 의미 계가 고정되어 있다. 따라

서 상이 되는 소규모 명제 집합만을 이용하여 단어

사이의 의미 계를 악하는 것이 불필요하다고 단

하 다. 이에 있어서 본 연구에서는 단어들 사이의 의미

계를 악하기 한 순환 모듈을 외부 규모 말뭉치

를 활용하는 단어 임베딩 모듈로 체하고 이에 맞게

인공 신경 정리 증명계를 재구축하 다.

3. 단어 임베딩을 통한 인공 신경 정리 증명계

3.1 형태소 분석 의미역 결정

문장 내의 논리를 규격화하여 명제 형태로 변환하기

해서는 해당 문장에 한 의미역 결정 과정을 포함하

여 의미 논항을 분류하는 과정이 필요하다. 의미역 결정

이란 문장 내 구성 성분들의 의미 계를 분석하고 주어

진 역할에 맞게 문장 내 단어들을 재분류하는 것이다. 의

미 역할에는 행 주, 피동작주, 장소, 부정, 목 등이 있다.

이 게 문장에 해 의미역 결정 과정이 필요한 이유

는 하나의 의미가 여러 문장구조를 통해 다른 형태로

나타날 수 있기 때문이다. 같은 의미를 갖는 능동형 문

장과 수동형 문장이 이의 좋은 시이다. 이 뿐 아니라

여러 번의 구묶음 구조에 의해 문장의 형태가 달라진

경우에도 내포된 의미를 잘 추출하는 것이 필요하다. 따

라서 문장에서 규격화된 의미를 추출하여 논리 항으로

활용하기 해서 의미역 결정 과정이 도움이 되는 것으

로 보았다.

의미역 결정을 자동으로 추출한 시는 그림 2와 같

다. 이때 문장 내에서 여러 개의 의미역이 추출되는 경

우에 정리 증명 과정에 있어 추출된 의미역 각각을 서

로 다른 명제로 간주하 으며 인공 신경 정리 증명계를

통해 출력된 명제 단 의 주석을 문장 기 으로 재 수

합하 다.

3.2 단어 임베딩

기존의 인공 신경 정리 증명계는 명제 유사도를 인코

그림 2 의미역 결정 시

Fig. 2 Examples of semantic role labeling

딩하는 텐서와 논리 조합 가능성을 인코딩하는 연결 상

수를 학습하기 해 순환 모듈을 활용한다. 이는 순환모

듈을 사용할 경우 다른 방법론들에 비해서 보다 정교한

시스템 조율이 가능하며, 은 데이터에 해서도 효과

이기 때문이다. 다만 순환 모듈의 효과 인 학습을

해서는 약 50～100번의 순환이 필요하며 정확한 수치는

시스템 조율에 따라서 약간의 차이를 보인다.

본 연구는 주어진 문장에 해 50～100번의 순환을 할

때의 계산량에 비해 약 50～100배 많은 추가 련 문장을

단어 임베딩하는 계산량이 히 다는 에 주목하

다. 따라서 본 시스템은 약 1000배 많은 문장을 추가로

단어 임베딩하는 방법을 통해 순환 모듈을 체하 다.

3.3 인공 신경 정리 증명계

인공 신경 정리 증명계는 크게 세 가지의 입력을 받

는다. 첫 번째는 증명하고자 하는 정리들의 집합이며,

두 번째는 증명을 하는 근거가 되는 공리들의 집합이고,

세 번째는 추론 규칙에 한 추론 틀이다. 추론 틀은 여

러 구조로 정의될 수 있는데, 본 연구에서는 기존 인공

신경 정리 증명계[4]에서 차용한 추론 틀을 그 로 사용

하 다. 차용한 각각의 추론 틀은 그림 3과 같다.


그림 3 인공 신경 정리 증명계에서 사용한 추론 틀

Fig. 3 Inference rule templates in neural theorem prover

인공 신경 정리 증명계는 유사어 계로부터의 논리

개를 진행할 수 있다. 유사어 계로부터의 논리 개

를 를 들어 설명하면 다음과 같다. “술”이 “간암”을

“유발”한다는 것이 사실일 때, 이를 통해 우리는 “알코

올”이 “간암”을 “유발”(추론 틀 1번)한다거나 “술”이

“간암”을 “야기”(추론 틀 2번)한다고 추론할 수 있다.

한 사실로 알려진 명제가 여럿일 때에는 보다 폭넓게

추론 할 수 있다. 를 들어 “술”이 “간암”을 “유발”하

고 “술”이 “간암”을 “ 진”한다는 것이 둘 다 사실일

때, “술”은 “간암”을 “생성”한다는 명제를 추론할 수 있

다(추론 틀 3번). 마찬가지로 “술”이 “간암”을 “유발”하

고 “알코올”이 “췌장암”을 “유발”한다는 것이 둘 다 사

실일 때, “술”이 “췌장암”을 “야기”한다는 명제를 추론

할 수 있다(추론 틀 4번). 추론 틀에서 predicate(유발하

다, 야기하다, 진하다, 생성하다 등)와 argument(술,

알코올, 간암, 췌장암 등)는 엄격하게 구분되어 있다.

인공 신경 정리 증명계는 논리 개에 통 인 역추

론(backward chaining)을 활용한다[13]. 인공 신경 정리

증명계의 통 인 정리 증명계(theorem prover)와의

차이 은 True/False를 계산할 때 if(term1 == term2)

을 신하여 Vector(term1)･Vector(term2)값을 사용한

다는 이다.

True/False 계산에 if(term1 == term2)를 사용하는

경우 비교의 상이 되는 두 개의 명제는 식 (1), (2)와

같이 표 할 수 있다. 두 명제의 일치는 식 (3)과 같이

각각의 성분이 모두 같은지를 확인하는 과정을 통해 정

의할 수 있다. 식 (3)을 다르게 표 하면 식 (4)와 같이

표 될 수 있는데, Match(X, Y)는 X와 Y가 같을 때 1의

값을 가지며 X와 Y가 다를 때에는 0의 값을 갖는다.

(1)

(2)

and

and and

(3)

×

× ×

(4)

True/False 계산에 Vector(term1)･Vector(term2)를

사용하는 경우 하나의 명제를 식 (5)와 같이 하나의 텐

서로 표 할 수 있다. 텐서로 명제를 정의할 경우에 식

(6)과 같이 유연한 방식으로 두 명제의 일치를 정의할

수 있다. 주어진 항에 해당하는 의미역이 없을 경우에는

해당하는 항을 으로 정의한다. 식 (4)에서 일치도가 1

혹은 0의 값만을 갖도록 각각의 항을 곱한 것에 비해

식 (6)에서는 일치하는 항들과 일치하지 않는 항들을 함

께 고려하기 해 각 항들을 더한다. SoftMatch(X, Y)

은 Match(X, Y)의 보다 일반화된 표 으로서, 명제 X

와 Y의 모든 항이 정확히 같을 경우에는 18의 값을 갖

고, 모든 값이 완 히 다를 때(내 의 값이 0일 때)에는

0의 값을 갖는다.

≡ ⊗ ⊗ ⊗ ⊗⊗

(5)

∙

∙

∙

(6)

인공 신경 정리 증명계의 계산 과정을 도식화하면 그

림 4와 같다. 주석을 하고자 하는 상 명제를 T라고

하고, 상 명제에 논리 주석될 수 있는 공리 명제들을

라 하자. 이때 i는 주석 가능한 공리 명제들의 인덱스

이며 인덱스의 최댓값을 N이라 하자. 식 (7), (8)은

상 명제와 공리 명제들을 식 (5)를 통해 텐서로 변환한

것이다. 식 (9), (10)은 추후 계산의 편의를 해 각각의

벡터들을 정규화(normalize)한다.

⊗⊗⊗ ⊗ (7)

⊗⊗⊗⊗ (8)

(9)


그림 4 단어 임베딩 모듈을 이용해 재구축한 인공 신경

정리 증명계 모식도

Fig. 4 Illustration of the neural theorem prover with word

embedding

(10)

공리(axiom, A) 노드에는 각각 가 입력되어 각각

의 추론 틀(rule template, R) 노드에 식 (11)～(14)와

같이 변환되어 한다. 그림 4에서 M은 용 가능한

추론 틀의 개수이며 재의 경우 M은 4이다. 식 (12)～

(14)에서 NR은 정상화된 벡터들의 각 성분이 1보다 작

기 때문에 ～가 같은 규모를 갖지 않음을 보정하

기 한 보정 인자이며 식 (15)를 통해 계산한다. 식

(11)～(14)는 그림 3의 추론 틀 각각에 해 항을 벡터

내 으로 변환하고 정상화 인자를 추가한 것이다. 식

(4)를 식 (6)으로 일반화한 과정은 식 (11)에 해당하는

데, 이처럼 항을 벡터 내 으로 일반화함을 통해 식

(11)～(14)은 각기 다른 추론 틀을 벡터 연산으로 표

한다. 각 식 내부에 정의된 conf는 추후에 신뢰도 수

(confidence value)계산을 하기 해 정의된 변수이다.

⋅

(11)

×

⋅

⋅

(12)

×

⋅ ⋅

⋅

⋅

(13)

×

⋅

⋅

⋅

⋅

(14)

(15)

for ∀ ∈ ∧ ∈∧∈

그림 2의 문장 시들을 활용하여 식 (11)과 (14)의

계산을 풀어 개하면 식 (16), (17)과 같다.

예방⋅일으키

암⋅암

그러나⋅그러나

(16)

(17)

×⋅

⋅

⋅ ⋅

×일으키⋅있×암⋅효소

×

암⋅암효소⋅암

×××

추론 틀 노드의 값들, ∼ 은 식

(18)을 통하여 출력(Output, O)노드로 된다. 기존에

제안된 인공 신경 정리 증명계는 출력(Output) 노드의

값 O를 최 화하도록 식 (18)부터 식 (7)까지 역 하

여 식 (7), (8)에서 정의된 텐서 내 성분 값과 연결 상

수 를 순환 최 화한다.

× (18)

본 연구는 기존의 최 화된 경로 탐색이 규격화된 데

이터에 해 높은 정확도를 보이지만, 과도한 계산 과정

을 요구한다고 단하 다. 특히 기존의 인공 신경 정리

증명계는 논리 규칙이 미리 정의된 가상의 소규모 상징


집합 내에서 테스트 되었지만, 자연언어로 이루어진 문

장들 사이에는 정형화된 논리 규칙이 존재하지 않는다

는 에 집 하 다. 한 기존의 규격화된 데이터에서

는 순환 모듈을 제외한 다른 방식으로 명제 내부 항 사

이의 유사도를 측정할 방법이 없었다. 그러나 자연언어

의 경우에는 단어 임베딩 기법을 이용하여 단어 유사도

를 측정할 수 있다.

따라서 단어 유사도를 학습하기 한 벡터 인코딩에

기존 단어 유사도 악에 높은 성능을 보인 단어 임베딩

기법을 사용하 고, 연결 상수 에 한 강화 규칙(rein-

forcement rule)을 용하여 신경망을 최 화 하 다(식

(19)～(21)). 식 (20)은 헤비사이드 계단 함수(Heaviside

step function, H(x))를 활용하여 인공 신경망 내에서

되는 신호 최댓값만을 통과시킨다. 식 (20)에서

두 번째 항은 각각의 추론 틀이 등장 가능한 경우의 수

를 정상화하기 한 인자이다. 이 정상화 인자는 각각의

추론 틀에 식 (11)～(14)에서 각각 식에 시그마 합(sigma

summation)이 용되는 횟수가 다르기 때문에 발생하

는 빈도 차이를 보정하기 해 도입되었다. 이 정상화

인자의 가장 직 인 형태는 식 (21)과 같지만, 계산의

편의를 해 공통항인 × 으로 양변을 나 었다.

′′

(19)

′

≠

(20)

if if

× × × (21)

식 (18)부터 식 (7)까지 역 (backpropagation) 기

법을 활용하여 순환 최 화할 경우에는 식 (19)～(21)에

해당하는 값들이 자동으로 조정 가능하다. 다만 역

의 경우 연속 인 미분과정을 통해 계산과정이 길어짐

과 동시에 각각의 미분 계산은 단순 연산보다 더 많은

계산 시간을 요구한다. 반면에 식 (19)～(21)를 활용할

경우에는 한 번의 방향 (forward propagation)로

근사치를 얻을 수 있다. 식 (19)～(21)은 단어 임베딩을

통해 단어 유사도가 이미 학습된 이후에 각 규칙이 얼

마나 용 가능한지를 나타내는 연결 상수 를 각 규

칙의 출 빈도에 한 해석 함수(analytic function)으

로 정의한 뒤에 강화 규칙을 용한다. 이는 지정된 함

수 내부의 미정 상수를 데이터로부터 추정하는 과정으

로 이해할 수 있다.

재구축한 시스템의 최 경로(TRJ) 선택 과정은 기존

의 인공 신경 정리 증명계와 같다. 우선 식 (22)를 통해

출력 노드(O)에 가장 큰 값을 한 추론 틀 노드( )

를 선택한다. 선택된 추론 틀 노드()의 인덱스를 c라

할 때, 식 (23)을 통해 선택된 추론 틀 노드()에 가장

큰 값을 한 입력 노드(A)를 선택한다. 이때 식 (23)

에서 ∈ ∧ ∈이며 입력되는 공리 명제들의

독립 인 두 인덱스를 의미한다.

(22)

if ∈

if ∈ (23)

명제 단 의 주석을 해서는 식 (23)으로 계산 과정

이 종료된다. 문장 단 의 주석을 해서는 한 문장에

해 여러 개로 분할된 의미역 명제들을 수합하는 계산

과정이 필요하다. 각각의 추론 틀 노드를 이라 하고

주석의 상이 되는 문장을 라 하자. 상 문

장에 추론 틀 1, 2를 통해 을 주석할 경우 신

뢰도 수는 식 (24)와 같다. 한, 추론 틀 3, 4를 통해

와 의 논리 조합을 주석 시도할 경

우 신뢰도 수는 식 (25)와 같다. 이때, 각각은

, , 내에서 각각 추출한

의미역들의 인덱스이다. 를 들어, 그림 2에서

,

, 이면

∈ ∧∈∧∈∧∈이다. 식 (26)을

통해 모든 추론 틀을 고려한 신뢰도 수( )를

계산할 수 있다.

∈

(24)

∈

(25)

max

sin

(26)

이때 과 자가 후자보다

큰 경우에는 추론 틀 1, 2를 활용한 1 1 주석이 보다

더 합함을 의미한다. 반면 후자가 자보다 큰 경우는

두 개의 공리 명제에 추론 틀 3, 4를 용한 논리 조합

주석이 보다 합함을 의미한다. 상 문장( )

에 주석 가능한 두 문장( , )을 선택

하는 모든 경우의 수에 해 신뢰도 수( )를


계산하여 신뢰도 수가 가장 높은 조합을 선택함으로

써 가장 합한 주석을 선택할 수 있다.

4. 실험

4.1 실험 세

제안하는 시스템의 실 사례 용 가능성을 검증하

기 해 사용한 데이터는 표 1과 같다. 키피디아 암

련 문서는 국가암정보센터의 국민암 방수칙 실천지

침 암 10종에서 다룬 암 종류 10개를 기 으로 선정하

다. 10개 암 종류 키피디아에 문서가 존재하지

않는 방 암을 제외한 9개 암 종을 제목으로 하는 키

피디아 문서 “암”을 제목으로 하는 문서 총 10개를

선정하 으며, 각각의 제목은 다음과 같다: (1) 암, (2)

간암, (3) 갑상선암, (4) 장암, (5) 쓸개암, (6) 암,

(7) 유방암, (8) 자궁경부암, (9) 췌장암, (10) 폐암.

의미역 결정을 해서 CRF(Conditional Random

Field) 기반의 한국어 의미역 결정 시스템을 활용, 총

17개 논항을 갖는 의미역들을 각 문장에서 추출하 다

[14]. 해당하는 17개 논항은 다음과 같다: (1) Agent,

(2) Patient, (3) Start point/Benefactive, (4) Ending

point, (5) Adverbial, (6) Cause, (7) Condition, (8) Direc-

tion, (9) Discourse, (10) Extent, (11) Instrument, (12)

Locative, (13) Manner, (14) Negation, (15) Prediction,

(16) Purpose, (17) Temporal. 의미역 결정 이후 인공

신경 정리 증명계에 입력 데이터로 활용한 데이터는

키피디아 암 련 문서에서 추출한 1,486개 명제와 국가

암정보센터 문서로부터 추출한 19,304개 명제 다.

암 건강 도메인에 합한 단어 임베딩을 해 조

선일보, 동아일보, 서울신문, 한겨례, 코리아 타임즈의

헬스/의학/건강 섹션의 기사를 활용하 다. 각각의 문장

을 형태소 단 로 띄어쓰기 하 으며, 계언과 의존형

태어미에 해당하는 단어는 응되는 색인으로 문자열을

변경하 다. 처리 후에 사용된 문장 수는 총 728,835

개 다.

단어 임베딩을 해서 word2vec[9]을 사용하 으며,

python에서 인공 신경 정리 증명계가 동작되었다. 이

순환 모듈의 네트워크 연산은 (빠른 계산 속도를

해) 별도로 C++에서 연산되었다. 한 기존 인공 신경

정리 증명계에서 사용된 것과 같이 ADAM 확률 최

화(stochastic optimization) 알고리즘[15]을 이용하여

순환 오류역 (backpropagation)를 계산하 다.

단어 임베딩을 이용해 재구축한 인공 신경 정리 증명

계와 기존의 순환 모듈을 이용한 인공 신경 정리 증명

계는 모듈 스 치 온 오 형식으로 구축되었다. 기

매개 변수는 ADAM에서 설정된 값과 같다. Epoch은

50이었는데, 이 값은 유사한 규모의 단어 순서 데이터에

표 1 입력 데이터 통계

Table 1 Input Data Statistics

Wikipedia

cancer

documents

National Cancer

Information Center

Documents

#documents 10 33

#sentences 364 4,927

#words 5,627 67,888

#propositions 1,486 19,304

한 순환 신경망 연구들에서 사용된 값이다[16,17]. 10

0～1000 epoch 이상을 사용하는 경우도 있지만[18],

재 목 인 시스템의 계산속도 최 화와 부합하지 않는

다고 단하여 50 epoch을 사용하 다.

학습 시간의 비교를 해 기존의 인공 신경 정리 증

명계가 보고될 당시의 제한된 모델(toy model) 데이터

(32개 공리에서부터 4개 명제를 검증함)를 같은 환경

코드에서 학습하여 기존에 보고된 정확도까지의 학

습에 소요되는 시간을 측정하 다. 암 문서 주석의 경우

기존의 순환 모듈을 탑재한 상태의 인공 신경 정리 증

명계가 반복 구문 한 번 작동하는 데에 걸리는 시간

을 통해 체 반복 구문을 작동시키는 데에 필요한 시

간을 추정하 다.

한 시스템의 정상 동작을 추가 확인하기 해 신뢰

도 수( )의 분포를 확인하 다. 신뢰도 수

분포가 비정상 으로 집 되어 있지 않은 지를 확인하

여 재구축한 시스템이 비정상 동작을 보이지 않았음을

재검증하 다.

4.2 결과 토의

본 연구는 인공 신경 정리 증명계의 순환 모듈을 단

어 임베딩 모듈로 교체함을 통해 계산 시간을 단축시킬

수 있다는 을 실험으로 입증하 다. 기존에 인공 신경

정리 증명계가 제시될 당시에 소개되었던 32개 공리에

서부터 4개 명제를 검증하는 “소규모 데이터 & 순환 모

듈”을 사용한 시스템의 경우에는 243 의 학습 시간이

소요되었다(그림 5 참조). 동일한 코드에 입력을 암

방 데이터로 변경하 을 경우에는 1개 epoch 내에서 명

제 1개에 한 연산에 272 가 소요되었다. 이때 해당

순환 모듈의 체 연산은 총 50번 epoch에 한 반복문

각각에 있어 1,486개 명제에 한 연산을 요구한다. 이

를 통해 총 20,209,600 (=50*272*1,486 =～233.9일)의

학습 시간을 추정하 다.

이에 비해 “암 방 데이터 & 임베딩 모듈”을 이용해

시스템을 작동시켰을 경우 처리과정에 해당하는 728,835

개 단어 임베딩에 72.7분, 인공 신경 정리 증명 네트워크

내부에서의 경로 연산에 29.4분으로 총 102.1분이 소요되

었다.


그림 5 기존 순환 모듈과 재 임베딩 모듈의 학습시간

비교

Fig. 5 Comparison of the learning time between original

recursive module and current embedding module

그림 6 자동 주석된 국가 암 정보 센터 문장들의 신뢰도

수( ) 분포

Fig. 6 Distribution of confidence score ( ) of

automatically annotated sentences from National

Cancer Information Center

한 그림 6과 같이 신뢰도 수( )의 분포

를 확인하 다. 이때 신뢰도 수가 1보다 작은 주석은

명제 내의 한 항도 정확히 일치하지 않는 경우로서 의

미 없는 주석으로 간주하여 무시하 다. 과도하게 집

된 구역이 발견되지 않음을 통해 네트워크 내부에서 심

한 오버피 과 같은 비정상 인 작동이 발견되지 않았

음을 확인하 다.

이론 으로 벡터곱 연산은 if(term1 == term2)를 포

함한다. 이는 정규화된 벡터의 경우 두 벡터를 곱한 값

이 1인 것과 두 벡터가 같은 것이 서로 필요충분조건이

기 때문이다. 이는 식 (6)과 같이 텐서로 각 명제를 표

한 인공 신경 정리 증명계가 식 (4)와 같이 각 명제

내 항들의 정확한 일치만을 고려하는 통 인 정리 증

명계(theorem prover)의 일반화된 형태임을 의미한다.

이를 검증하기 해 벡터 연산을 모두 연산으로 바

꿨을 때의 주석 결과와 제안하는 인공 신경 정리 증명

표 2 데이터 내 추론 틀이 용 가능한 경우의 수

Table 2 The number of complying cases for each rule

template

exact match soft match

rule 1 38,716 28,685,744

rule 2 23 15,216,453

rule 3 0 7,756

rule 4 0 4,156

표 3 출력 데이터 통계

Table 3 Output Data Statistics

count

annotation with 1,668

annotation with 557

annotation with 7

sentence with annotation ( ) 342



계의 주석 결과를 비교하 다. 보다 세부 인 비교를 해

문장 단 가 아닌 명제 단 로 비교하 다. 식 (24)～

(26)의 와 의 계산에 있어, 문장

내 각기 다른 의미역에 해 여러 추론 틀이 종합 으

로 사용되기 때문에 각각의 추론 틀 용을 비교하기

해서는 명제 단 의 출력 결과를 비교해야 한다.

표 2는 각 명제(proposition) 단의 주석 결과 각

추론 틀이 용된 경우의 수를 측정한 결과이다. 이는

모든 주석 가능성을 악하는 상황으로 해석될 수 있다.

식 (14)까지의 를 계산한 과정에 국한하며 이후에

최 화된 주석을 계산하는 과정은 포함하지 않는다.

Exact Matching의 결과들과 Soft Matching의 결과들

을 비교한 결과, Exact Matching에 해당하는 모든 결

과가 Soft Matching에서 출력된 결과 내에 포함되는

것을 확인하 다. 한 하나의 말뭉치로부터 스스로를

주석하는 경우에 100%의 정확도를 보임 역시 확인하

다. 이를 통해 텐서로 명제를 표 하는 인공 신경 정리

증명계가 정확한 일치만을 고려하는 통 인 정리 증

명계를 포함하는 일반 인 추론 도구임을 확인하 다.

표 3의 출력 결과 통계를 살펴보면, 체 364개 상

문장 신뢰도 수 5 이상으로 정교하게 일치하는 사

례의 수는 7개, 신뢰도 수 3 이상으로 일치하는 사례

의 수는 96개 다. 하나의 명제 하나의 항이 정확히

일치하는 경우마다 신뢰도 수가 1씩 증가한다는 을

고려할 때 신뢰도 수 3은 높은 수로 볼 수 없다. 특

히 “있다”, “되다” 혹은 “많다”와 같이 높은 빈도로 나

타나는 항들 역시 일치 별에 포함된다는 을 고려한

다면 더욱 그 다. 그러나 “있다”, “되다” 혹은 “많다”와


Reli-

ability

Score

Wikipedia Data

(Unverified Sentences)

Cancer Center Data

(Verified Sentences)

7

"췌장암에는 여러 종류 중에서도 췌장관에서

발생하는 췌관선암이 90% 정도를 차지하고 있어

일반적으로 췌장암이라고 하면 췌관선암을 말하는

것이다."- 위키피디아 "암" 문서

"췌장암에는 여러 가지 종류 가 있는데 췌장관에서

발생하는 췌관선암이 90% 정도를 차지하고 있어

일반적으로 췌장암이라고 하면 췌관선암을 말하는

것입니다." - 국가암정보센터,

국민암예방수칙 실천지침 암 10종 중 췌장암

5

"위암이 진행되어 위장 내에서 음식이 내려가는 길을 막게 되면 구토

증상이 있을 수 있고 좌측 빗장뼈 아래 림프절이 촉지되기도 하며 복수가 복강안에 차서 복부 팽만 증상을 보이기도 하는데

이는 위암의 후기 증상이어서 이런 증상이 나타나게 되면 수술이

불가능한 경우가 많다." - 위키피디아 "위암" 문서

"위암은 증상이 생긴 후에 병원을 찾게 되면 이미

상당히 진행된 경우가 많다." - 국가암정보센터,

국민암예방수칙 실천지침 요인별 8종 암검진

4.6

"위암이 진행되어 위장 내에서 음식이 내려가는 길을 막게 되면 구토

증상이 있을 수 있고 좌측 빗장뼈 아래 림프절이 촉지되기도 하며 복수가 복강안에 차서 복부 팽만 증상을 보이기도 하는데

이는 위암의 후기 증상이어서 이런 증상이

"암은 상당히 진행될 때까지도 특이 증상이 없을 수 있으며, 암이 진행되어 나타나는 증상들도 평소

흔히 경험해 오던 증상들과 비슷하기 때문에 암의 진단이 늦어지는 경우가

많습니다." - 국가암정보센터,

같은 항들은 그 의미를 완 히 무시할 수는 없는 항목

이다. 보다 자주 사용되는 단어들에 해서 일치 단에

한 패 티를 주는 것을 고려해볼 수 있지만, 의미 일

치 단에 한 가 치가 주 인 사항이라 간주하여

본 연구에서는 고려하지 않았다.

추론 틀 3, 4를 통해 주석된 다항 추론 결과들은 추

론 보조 기능을 갖는다. 신뢰도 수가 높은 항목 에

원하는 결과가 없을 경우를 보조하는 역할로 다항 추론

검색 결과가 활용될 수 있다. 직 으로 연결되는 공리

가 있을 경우에는 논리 연산을 통한 증명이 큰 의미를

갖지 않으며, 실험 결과에서 추론을 통한 결과는 신뢰도

수 3 이하의 역에서만 발견됨을 확인하 다.

결과 으로 본 시스템의 자동 주석 결과는 논리 항

기 으로 정확한 일치 결과를 추출하는 과정을 포함하

며, 정확한 일치가 없는 경우에도 유사어 계를 이용한

논리 계를 확인한다. 이 을 효과 으로 달하기

해 자동 주석된 결과를 표 4와 같이 나열하 다.

주석된 문장들의 신뢰도 수 분포를 확인한 결과, 인

공 신경 정리 증명계가 포 으로 의미항을 고려하기

해 벡터 형식을 차용함에도 불구하고 두 항이 정확히

일치하는 경우만 추출되어 신뢰도 수가 자연수로 나

타나는 경우가 많았다. 이는 그림 3의 추론 틀 1을 제외

한 나머지 추론 틀에서는 의 곱이 하나 이상 존재하여

자동 소거된 경우를 의미하며, 이를 통해 벡터곱 연산이

if(term1 == term2)을 포함한다는 을 재확인할 수 있

었다.

흥미로운 결과로서, 국가암정보센터 자료의 내용이 정

확히 같이 키피디아의 문서에 존재함을 확인할 수

있었는데, 이는 특정 사용자가 국가암정보센터의 문장을

인용해 넣은 것으로 보인다. 이 사례를 통해 해당 자동

주석 기능이 인용 출처 확인에 사용될 수 있다는 부가

인 가능성을 확인하 다.

인공 신경 정리 증명계를 통한 자동 주석 결과는 상

용되는 검색 엔진의 검색 결과와 유사한 특징을 가진다.

이는 주어진 문장에 해서 유사한 문장을 찾는 기능이

추론 틀 1에 의해 수행되기 때문이다. 따라서 제안하는

시스템은 검증된 문서 내에서 의미항을 기 으로 유사

하거나 논리 으로 연결된 문장을 역추론하는 검색 기

법으로 이해될 수도 있다. 다만 본 연구는 검증된 문

인 문서만을 사실로 간주하고 문장의 신뢰도 향상과

심화 정보 추가를 목 으로 함에 있어서 제안하는 시스

템의 기능을 자동 주석으로 명명하 다.

추출된 의미항 자동 주석에 사용된 특정 항의 경

우 모두 표 4에서 굵은 씨로 표시하 다. 본 연구가

가지는 가장 큰 강 은 기존의 인공 신경망 내부를 해

석하기 힘들었던 것에 비해 내부 개를 명확히 찰할

수 있다는 이다. 식 (22), (23)을 통해 주석된 문장이

어떤 이유로 선택되었는지를 명확히 확인할 수 있다. 인

공 신경 정리 증명계는 텐서 기반의 비선형 인 확률

최 화 계산을 진행하지만 이 식 (23), (24)는 모듈

화 가능한 형태로 구성되어 있다. 따라서 온라인 서비스

를 한 어 리 이션에서 인공 신경 정리 증명계가 다

른 선형 논리 모듈들과 병렬 으로 연결되어 하나의 모

듈로서 기능할 수 있다.

이런 모듈화는 도메인 특화된 어 리 이션에 효과

이다. 본 연구는 유사한 결과까지 포함한 논리 개를

진행할 때의 학습 시간이 단어 임베딩의 빠른 학습 시

간을 통해 실제 서비스를 활용할 수 있는 수 으로 감

소한다는 을 입증하는 것을 주목 으로 하 기에, 특

정 도메인에 특화된 논리 규칙을 정의하지 않았다. 그러

나 실제 온라인 서비스를 진행할 때에는 통상 으로 사

용되는 논리 개를 차용할 수 있을 것으로 보인다.

를 들어 “A가 암을 유발한다” 이면 “A는 피해야 한다”

등을 역추론과정에서 직 으로 활용할 수 있다.

표 4 구간 별 자동 주석 결과 시

Table 4 Example results of the automatic annotation for

each domain of confidence score


나타나게 되면 수술이 불가능한 경우가 많다." - 위키피디아 "위암" 문서


4

"이미 진행된 암이 고통을 유발하기도 하지만 초기

증상은 아닌 경우가 많다." - 위키피디아 "암" 문서

"간암은 주로 무증상으로 진행되는 경우가 많아 암이 이미 상당히 진행되었을 때 발견되는 경향이 있으며, 생존율이 31.4%미만으로

치명률이 높은 암입니다." - 국가암정보센터,

국민암예방수칙 실천지침 암 10종 중 간암

3.5

"담배를 피우지 않아도 간접 흡연으로 걸릴 가능성도 있다." -

위키피디아 "암" 문서

"현재 담배를 피우지 않는 비흡연자(과거흡연포함)의 절반 이상이 직장에서 간접흡연에 노출되고

있습니다." - 국가암정보센터 인터넷 홈페이지, 예방 항목

3

"또한 간암은 아세트알데히드 효소가 부족한 사람(조금만 술을 마셔도 얼굴이 빨개지는

것을 보고 알 수가 있음)에게는 과도한 음주시

걸릴 확률이 높다." - 위키피디아 "간암" 문서

"만일 아세트알데히드를 분해하는 능력이 거의 없는 경우에는 술을 한 잔만

마셔도 심한 숙취 증상을 경험하게 되는데, 아마도 주변에서 이러한 사람들을 드물지 않게 볼 수 있을

것입니다." - 국가암정보센터,

국민암예방수칙 실천지침 요인별 8종 음주

2.6

"2005년에 대한민국에서 암으로 사망한 여자는 총 24,104명, 인구 10만명당 100.9명으로 전체 사망자의

21.9%가 암으로 사망하였는데, 가장 사망이

많은 암종은 위암으로 인구 10만명당

15.7명(15.8%) 이었으며, 다음으로 폐암

15.0명(15.1%), 대장암 11.2명(11.5%), 간암 11.1명(11.2%), 유방암 6,2명의 순 이었다." -

위키피디아 "유방암" 문서

"성별로 보면, 우리나라 국민 중 남자는 5명 중 2명, 여자는 3명 중 1명꼴로 암이 발생하여 궁극적으로는 4명 중 1명이 암으로 사망한다고

볼 수 있습니다."- 국가암정보센터,


2.6

"전반적인 증상으로는 초기에는 특별한 것은 없고 명치 부위가

쓰리거나 아프고, 소화가 안 되는 등의 증상이 있을 수가 있는데, 이는 가벼운 위염이나 위궤양에서 더 흔히 나타나는 증상으로 이들과 구분이 되지

않는다." - 위키피디아 "위암" 문서

"따라서 갑자기 담배를 끊게 되면 니코틴 중독의

영향으로 신체적 의존을 특징으로 하는 금단 증상이

나타나게 됩니다." - 국가암정보센터 인터넷 홈페이지, 예방 항목

&&

"또한 청소년은 흡연을 시작한 지 23개월 내에 흡연 중독과 같은 증상을 보이며, 금연 시 금단 증상이 나타날

수 있습니다." - 국가암정보센터 인터넷 홈페이지, 예방 항목

2.4

"다만, 동물성지방이나 포화지방산을 많이 섭취할

경우 젊은 여성에서의 유방암 위험도를 경미하게 높일 가능성은 있다." -

위키피디아 "유방암" 문서

"따라서 탄수화물 과 포화지방산이 적은 음식을

섭취해야 합니다." - 국가암정보센터,

국민암예방수칙 실천지침 요인별 8종 건강체중

2.1 "발암 물질뿐만 아니라 "암을 일으키는 충분한

태양 광선에 포함되는 자외선, 갖가지 방사선,

물리적인 연속 자극, 암을 일으키는 바이러스, 체내의

호르몬 이상, 200종에 이르는 유전형 등이 암을 일으키는 원인이 된다." - 위키피디아 "암" 문서

근거가 있는 대표적인 물질은 석면, 벤젠, 벤지딘, 6가크롬 불용성화합물 등이

있습니다." - 국가암정보센터 인터넷 홈페이지, 예방 항목

&&

“2011년 국민건강영양조사 자료에 의하면 흡연이 암을 유발한다는 사실을 알고

있는 사람은 95% 이상이었고, 실제 흡연자 중에 금연 계획이 있는 경우는 약 70%에 이르고

있습니다." - 국가암정보센터 인터넷 홈페이지, 예방 항목 중

직업성 암

2.1

"다만, 45세 미만의 경우에 1기로 분류가 되더라도

종양의 크기와 갯수, 위치, 임파선의 전이위치 등에

따라 저위험군과 고위험군으로 분리하여

치료의 기준이 다르다." - 위키피디아 "갑상선암"

문서

"따라서 국가에서는 40세 이상 고위험군에 속한

대상에게 6개월 간격으로 복부초음파검사 및

혈청알파태아단백검사를 받을 수 있도록 국가암검진

프로그램을 제공하고 있습니다." -

국가암정보센터, 국민암예방수칙 실천지침 암

10종 중 간암

1.5

"또한 간암은 아세트알데히드 효소가 부족한 사람(조금만 술을 마셔도 얼굴이 빨개지는

것을 보고 알 수가 있음)에게는 과도한 음주시

걸릴 확률이 높다." - 위키피디아 "간암" 문서

"가령 같은 양의 음주라도 매일 음식과 함께 1~2 잔 정도를 마시는 경우보다 비록 음주 횟수는 주

1회이지만 한 자리에서 7잔 이상 폭음하는 경우에

음주로 인한 특정 질병의 발생 위험이 높아지게

됩니다." - 국가암정보센터, 국민암예방수칙 실천지침 암

10종 중 췌장암

&&

"가족, 친구, 동료와 같은 주변 사람들에게 “앞으로 술을 마시지 않겠다.”고 공표를 하여 지속적인 도움을 받을 수 있도록

합니다." - 국가암정보센터, 국민암예방수칙 실천지침

요인별 8종 음주

5. 결 론

본 연구는 기존의 인공 신경 정리 증명계가 가지고

있던 한계 인 규모 문장 말뭉치에 용 불가능하다

는 을 극복하기 해 기존 인공 신경 정리 증명계 내

부의 순환 모듈을 단어 임베딩 모듈로 체하 다. 국가

암정보센터의 검증된 문서에서 추출한 명제들(총 19,304

개)을 키피디아의 문서에서 추출한 명제들(총 1,486

개)에 자동 주석하는 과제를 통해 두 시스템을 비교하

다. 기존의 순환 모듈을 이용한 인공 신경 정리 증명


계의 경우 233.9일의 학습 시간이 추정됨에 비해 순환

모듈을 단어 임베딩으로 교체해 재구축한 재 시스템

의 경우 처리에 72.7분, 주 계산에 29.4분, 총 102.1분

이 소요되었다.

인공 신경 정리 증명계는 입력으로 주어진 문장에 공

리 항과 정확히 일치하는 논리 항이 포함되어 있을 때

이를 인식해 출력한다. 정확히 일치하지는 않지만 유사

어를 활용한 논리 개가 가능한 경우에도 이를 인식해

출력한다. 이론 으로 인공 신경 정리 증명계에서 출력

된 결과를 다시 입력으로 경우 길게 이어지는 추론

역시 수행 가능하다. 그러나 길게 이어지는 추론의 경우

본 연구의 범 를 넘어선다고 단하여 본 연구에서는

고려하지 않았다.

인공 신경 정리 증명계의 자동 주석 정확도 측정은

증명 상이 되는 말뭉치와 사실로 간주하는 말뭉치의

선택에 의존한다. 본 연구에서는 제안하는 인공 신경 정

리 증명계가 명제 내 항들의 정확한 일치만을 고려하는

통 인 정리 증명계를 포함한다는 것을 이론 으로

고찰하고 사례를 통하여 검증하 다. 한 정확히 같은

두 말뭉치에 해서 인공 신경 정리 증명계는 100% 정

확도를 보임을 확인하 다.

제안하는 시스템의 한계 은 유사어 계 악을 단

어 임베딩 기법에 으로 의존하기 때문에 자연언어

를 기반으로 한 데이터에만 용될 수 있다는 이다.

제안하는 시스템은 자연언어 사용 패턴 악을 한

규모 말 뭉치 없이 독립 으로 생성된 상징(symbol) 집

합에 용될 수 없다. 기존의 인공 신경 정리 증명계는

정형화된 규칙을 통해 생성한 가상의 소규모 상징 집합

을 데이터로 활용하 고, 이는 계산시간 문제 때문이었

다. 따라서 제안하는 시스템과 기존의 시스템은 유사

계 논리 개 가능성 악이라는 같은 목 을 가지

고 있지만 서로 다른 세부 성능 지표를 가진다.

이에 따라 본 연구에서는 공통 으로 용 가능한 성

능 지표로서 기존의 통 인 정리 증명계의 기능을 포

함한다는 단어 유사 계를 성공 으로 악한다

는 만을 검증할 수 있었다. 조사 결과 재까지 유사

어를 통한 논리 개에 한 세부 성능 지표가 정의되

어 있지 않다고 결론 지었는데, 따라서 이를 새롭게 정

의하고 이에 한 골드 스탠더드(gold standard)를 구

축하는 것이 다음 단계로서 해결되어야 할 과제라고

단된다.

서비스 측면에서 제안하는 시스템은 신뢰도 향상

심화정보 추가를 한 자동주석 온라인 서비스를 제공

하고자 할 때 요구되는 시스템의 조건을 만족한다. 목

의 요도에 따라 주석의 범 를 조 할 수 있도록 하

는 것은 자동 주석 시스템의 요한 과제이다. 주석을

달고자 하는 문장의 요도가 매우 높고, 문장의 사실

여부에 많은 이해 계가 엮여 있을 때에는 보다 간

인 정황 증거 역시 가치 있게 여겨지기에 주석되어야

하지만, 일반 상식 혹은 문장의 사실 여부가 명확한 경

우에는 매우 정확한 문장만이 주석되어야 한다. 인공 신

경 정리 증명계 내부에 세부 으로 정의된 신뢰도 수

를 활용하면, 사용자로부터 문장의 사실 여부가 가지는

요도를 입력받아 사용자에게 보여 최소 신뢰도

수를 상정할 수 있다.

과거에 근본 인 문제 으로 제기되었던 인공 신경

정리 증명계의 계산시간 문제에 한 해결안이 제안된

재 시 에서 후속 연구로 심 주제 필터링을 한

후처리 모듈을 추가하고 유사어 논리 개에 한 골드

스탠더드를 구축하고자 한다. 재 시스템은 심 주제

와 계없이 문장만을 입력받는데, 인공 신경 정리 증명

계의 가장 큰 장 이 모듈화 가능한 비선형 시스템이라

는 을 활용하여 사용자의 심 주제 필터링 모듈을

추가하고자 한다. 이와 더불어 문가 집단에 의한 골드

스탠더드 구축 성 검토를 통해 실 사례에서

높은 수 의 사용자 서비스를 제공할 수 있을 것으로

기 한다.

References

[ 1 ] H. Robert, et al., "Wikipedia vs peer-reviewed

medical literature for information about the 10 most

costly medical conditions," J Am Osteopath Assoc,

114.5, pp. 368-373, 2014.

[ 2 ] W. Richard, et al., "Deductive Question Answering

from Multiple Resources," New Directions in Que-

stion Answering, pp. 253-262, 2004.

[ 3 ] S. Kim, Y. Hur, S. Kim, Y. Kim, "Efficient Retrieval

Technique of the Web Document based on Fuzzy

Logic," Communications of the Korean Institute of

Information Scientists and Engineers, 38(2B), pp. 287-

290, 2011.

[ 4 ] T. Rocktäschel and S. Riedel, "Learning Knowledge

Base Inference with Neural Theorem Provers,"

NAACL Workshop on Automated Knowledge Base

Construction, 2016.

[ 5 ] L. Jin, et al., "Fuzzy keyword search over encrypted

data in cloud computing," IEEE INFOCOM, 2010.

[ 6 ] K. Janusz and S. Zadrożny, "Queries with Fuzzy

Linguistic Quantifiers for Data of Variable Quality

Using Some Extended OWA Operators," Flexible

Query Answering Systems 2015, Springer Interna-

tional Publishing, pp. 295-305, 2016.

[ 7 ] S. Ilya, O. Vinyals, and Q. Le, "Sequence to sequence

learning with neural networks," Advances in Neural

Information Processing Systems, 2014.

[ 8 ] K. Cho, et al., "Learning phrase representations

using RNN encoder-decoder for statistical machine


translation," Conference on Empirical Methods in

Natural Language Processing, 2014.

[ 9 ] T. Mikolov and J. Dean, "Distributed representations

of words and phrases and their compositionality,"

Advances in Neural Information Processing Sys-

tems, 2013.

[10] J. Pennington, R. Socher, and C. Manning, "Glove:

Global Vectors for Word Representation," Confer-

ence on Empirical Methods in Natural Language

Processing, 2014.

[11] B. Peng, et al., "Towards neural network-based

reasoning," IEEE Conference on Robotics, Automa-

tion and Mechatronics, 2015.

[12] R. Scott and N. Freitas, "Neural programmer-

interpreters," International Conference on Learning

Representations, 2015.

[13] S. J. Russell and P. Norvig, Artificial Intelligence:

Modern Approach, 3rd edition, Prentice Hall, 1995.

[14] T. H. Park, J. W. Cha, "Feature Selection for Korean

Sematic Role Labeling Using CRFs,” Communica-

tions of the Korean Institute of Information Scien-

tists and Engineers, 34(8), 2016.8, 37-41, Korea

Information Science Society.

[15] K. Diederik and J. Ba, "Adam: A method for

stochastic optimization," International Conference

on Learning Representations, 2015.

[16] M. Xuezhe and E. Hovy, "End-to-end Sequence

Labeling via Bi-directional LSTM-CNNs-CRF,"

Proc. of the 54th Annual Meeting of the Associ-

ation for Computational Linguistics, 2016.

[17] W. Felix, J. Bergmann, and B. Schuller, "Introducing

CURRENNT–the Munich open-source CUDA

RecurREnt neural network toolkit," Journal of

Machine Learning Research 16.3, pp. 547-551, 2015.

[18] G. Alex, N. Beringer, and J. Schmidhuber, "Rapid

retraining on speech data with LSTM recurrent

networks," Technical Report IDSIA-05-05, 2005.

양 원 석

2016년 KAIST 물리학과 졸업(학사). 2016

년～ 재 KAIST 산학부 석사과정

박 한 철

정보과학회논문지

제 44 권 제 2 호 참조

박 종 철

정보과학회논문지

제 44 권 제 2 호 참조