(19) 민 특허청(KR)

(12) 등 특허공보(B1)

(45) 공고 2013 01월11

(11) 등 10-1219469(24) 등 2013 01월02

(51) 특허 (Int. Cl.)

G09B 5/06 (2006.01) G06Q 50/20 (2012.01)(21) 원 10-2011-0028333

(22) 원 2011 03월29

심사청 2011 03월29

(65) 공개 10-2012-0110460

(43) 공개 2012 10월10

(56) 술 사문헌

우 3 , ‘ 지 사 상 연계 천비스 트워크 상 미지동 태 ,’ 보과 문지, vol. 16,

no. 10, pp. 1010-1014, 2010.10.31.

식 2 , ‘단어 간 계 습 통트워크 연 언어 문 생 ,’

보과 문지, vol. 37, no. 3, pp. 205-213,2010.03.31.

KR100785928 B1

KR1020090090613 A

(73) 특허

울 산 단

울특별시 악 악 1 (신림동)

(72)

도

경 도 시 당 야탑동 경 아 트 708동402

식

경 도 시 수지 천동 수지4차삼 아트 101동 305

병탁

울특별시 앙 24 33, 동 e-편 상 103동 501 ( 동)

(74) 리

특허 신

체 청 수 : 5 심사 : 지

(54) 티미 어 컨 티 달 습

(57) 약

본 티미 어 컨 티 달 습 에 것 특 특징 개수 평 고 진

드 티 달 습 트 비 는 단계; 고리 별 각각 특징에 여 가 계산 듈

사 여 상 특징 개수 내 개수 약 집 비 는 단계; 상 약

에 진 식 택 2개 결 여 가 계산 듈 사 여 가 계산 고 진

연산 식 복 여 상 개수 내 약 집 득 는 단계; 상 특 특징 개

수 평 고 진 드 티 달 시험 트 비 는 단계; 상 약 집

과 상 진 드 티 달 시험 트 매 고 가 산 여 산 가 가 가

고리 결 는 단계 포 는 티미 어 컨 티 달 습 공 다.

본 특징 집 약 없 연 도 복 과 에 특징 결 블

지 어 고 결 낮 공 다.

도 - 도2

등록특허 10-1219469

- 1 -

지원 가연 개 사업

과 고 20100017734

처 과 술

연 사업 견연 지원사업/도약연 지원사업

연 과 지능 천 비스 지 계 습 술

주 울 산 단

연 간 2010.05.01 ~ 2015.02.28

등록특허 10-1219469

- 2 -

특허청

청 1

삭

청 2

삭

청 3

특징 개수 평 진 드 티 달 습 트 비 는 단계; 고리 별 각

각 특징에 여 가 계산 듈 사 여 가 순 상 특징 개수 내 개수

약 집 비 는 단계; 상 약 에 룰 식 택 2개

결 여 가 계산 듈 사 여 가 계산 고 가 순 간 약 집 득 고

복 여 상 개수 보다 약 집 득 는 단계; 상 특 특징 개수

평 진 드 티 달 시험 트 비 는 단계; 상 약 집 과 상

진 드 티 달 시험 트 매 고 가 산 여 산 가 가 가 고리

결 는 단계 포 는 티미 어 컨 티 달 습

청 4

3 에 어 , 상 또는 간 약 개수는 약 집 1.5 수 상 티미

어 컨 티 달 습

청 5

4 에 어 , 상 또는 간 약 개수는 약 집 1.5 내지 3 수 티

미 어 컨 티 달 습

청 6

5 에 어 , 상 티미 어 컨 는 미지, 사운드, 동 상과 스트 루어지는 컨 에 택

는 2 상 컨 루어지는 티미 어 컨 티 달 습

청 7

1 에 어 , 상 가 계산 듈 크 스 엔트 계산 듈 또는 TF-idf 계산 듈 티미

어 컨 티 달 습

술 야

본 티미 어 컨 티 달 습 에 것 다. 특 , 본 컨 에

티미 어 컨 티 달 습 에 것 다.

티 달 경에 에 포 개 습 컴퓨 비 , 연어 처리 보트 야 포 공지능

야 지과 야에 매우 다.

또 , 티미 어 컨 개 또는 미 습에 여 얻어진 시스 티미 어 컨 비스

시 에 컨 , 또는 사 평가 같 태그 컨 동 천 시스 에 게 수

다.

경 술

특허공개 10-2006-91063 에는 악 컨 에 어 컨 색, 리듬 또는 무드 등 특징

등록특허 10-1219469

- 3 -

값 양 여 값 악 컨 는 재 어 다. 컨 스 고

룰에 여 찾는 것 쉽지 않다.

특허등 10-845230 에는 미지 컨 에 어 진 알고리 사 고 평가 미지 에

여 미지 싱 라미 , 매 라미 또는 라미 진 알고리 결 는

시스 개시 어 다.

미 특허 7296285 에는 티미 어 컨 에 사 티미 어에 단 아 보

결 복수 아 보 루어지는 사 청에 티미 어 보

개시 다.

미 특허 7430324 에는 비게 시스 에 사 수 는 티 달 연결 리 공

다. 내에 개별 드 리 결과에 상 , 신뢰도 내 수 여 티 달

여 사 비게 에 게 달 고 는 다.

미 특허공개 2006/0143254 에는 스트 엔진에 사 는 신러닝 에 여 개시 고 다.

상과 같 래 술 티 달 에 여 단 드 단 싱에 미리 진 에 라 수

여 는 술 개시 고 다. 또 , 티 달 경에 컨 여

는 시도 지 않고 다.

내

결 는 과

본 티미 어 컨 에 여 신런닝 연 고 공도가 공

것 다.

과 결 수단

본 에 여, 특 특징 개수 평 고 진 드 티 달 습 트 비 는 단계;

고리 별 각각 특징에 여 가 계산 듈 사 여 상 특징 개수 내 개수

진 식에 여 택 약 집 비 는 단계; 상 약 에 진 식

택 2개 결 여 가 계산 듈 사 여 가 계산 고 진 연산 식 복

여 상 개수 내 약 집 득 는 단계; 상 특 특징 개수 평 고

진 드 티 달 시험 트 비 는 단계; 상 약 집 과 상 진

드 티 달 시험 트 매 고 가 산 여 산 가 가 가 고리 결

는 단계 포 는 티미 어 컨 티 달 습 공 다.

본 에 약 라고 단 당 고리 특징 만 갖는 당 고리 매

수만 시 뿐 고리 능 없는 말 다.

본 에 약 집 , 람직 게는, 가 순 택 다. 본 에 진 연

산 식 지 는 약 집 간 약 집 진 연산 결 는 2개

는, 람직 게는, 가 순 택 거 , 가 람직 게는, 가 비 에 라 룰 식

택 다.

약 집 또는 진 연산 식 지 는 약 집 , 간 약 집 개

수는 상 게 지 상 약 집 약 집 에 다. 라

상 약 개수는 약 집 내 또는 진 연산 식 지 는 약

집 내 개수보다 다. 또는 간, 진 연산 식에 지 는 약 개수는 약

집 1.5 수 상 가 , 람직 게는, 략 1.5 내지 3 수 다.

상 티미 어 컨 는, 들 , 미지, 사운드, 동 상 또는 스트 루어지는 컨

에 택 는 2 상 결 것 다.

상 가 계산 듈 , 람직 게는, 크 스 엔트 계산 듈 또는 TF-idf 계산 듈 다.

등록특허 10-1219469

- 4 -

과

본 고리 상 는 약 에 특징 결 에 아무런

지 않았 므 연 특 가지고 다. 라 진 연산 진 에 라, 특징 집 약

없는 (501)가 얻어지게 다.

본 고리에 는 가 가 특징 트 다. 특징 택

능에 라 각 고리 수 다. 또 , 가 가 특징 복 통

도 지 므 복 과 에 특징 결 블 지 어 고 결 낮 공

다.

도 간단

도1 미지 스트 루어지는 드 트 습 식 블 도

도2는 "비 " 고리에 미지- 스트 트 특징 보여주는 그림

도3는 본 습 듈 블 도

도4는 본 그 듈 블 도

도5는 10개 고리 3개 고리에 당 는 그림들과 그 습 원 미지- 스

트 트 진 드 트 보여주는 개략도

도6 든 고리에 진 연결 트

도7 본 그 듈에 약 결 생 보여주는 개략 개 도

도8 시험 에 본 사결 과 개략 개 도

도9는 약 가 습과 에 특 아가 는 는 것 보여주는 개 도.

도10 습 듈(40)에 복 진 시 는 그림.

도11 습 듈(40) 에 각 새 특징 비 보여주는 그래

도12는 습 듈(40)에 특 차수 비 변 과 보여주는 그래

도13 습 듈(40)에 변 에 특징 비 변 그래

도14는 본 습 듈(40)에 "새", " "과 "비 " 고리에 우 특징 보여

주는 그림.

도15는 본 습 듈(40)에 각 특징 집 시각 단어만 루어 미지 결

과 보여 주는 그래

도16 본 습 듈(40)에 각 특징 집 스트 단어 만들어질 얻어진 결과 보

여 주는 그래

도17 각 특징 집 시각 단어 스트 단어 루어 미지 수 보여 주는 그래

실시 체 내

, 본 도 에 여 상 다. 러 본 시 여 것 본

보 것 어 는 아니 다.

도1 미지 스트 루어지는 드 트 습 블 도 다. 티

달 습 단순 여 미지 스트 드 트 사

다. 미지 (101) 스트 (102) 루어진 습 트(10) 미지 는

처리 듈(20)에 SIFT K-means 알고리 사 여 특 개수 평 고 스트 는

처리 듈(20) 단어사 생 (205)에 여 드 생 고 결 여 처리 진 드 습

드 트(30) 비 다. 본 들 라 등(A. Farhadi, M. Hejrati, M. A. Sadeghi,

P. Young, C. Rashtchian, J. Hockenmaier and D. Forsyth, Every picture tells a story: generating

등록특허 10-1219469

- 5 -

sentences from images, Proc. ECCV 2010, pp. 15-29, 2010 ) 트에 문 만 취 고 미지는

크 미지 트(Caltech 101) 체 여 미지- 스트 트 비 다. 미지 SIFT K-

means 알고리 여 변 다.

여 SIFT 는 (Detector) 스크립 (Descriptor) 능 다. 는 특 탐지 다. 스

크립 는 128차수 변 특징 는 사 다. 각각 미지는 다 개수 특 보

므 SIFT 에 특 에 k = 1000 여 K-means 알고리 처리 여 1000개 평 특징

다. 각각 미지에 스트 는 단어 다. 스트에는 "the" "an"과 같

어는 거 다.

트 크 는 1과 같다.

1

미지 스트

습 300 300

시험 300 300

고리 개수 10 10

각 고리에 미지- 스트 트는 30개 다. 도2는 "비 " 고리에 미지-

스트 트 보여 다. 도5는 10개 고리 에 "새", " "과 " 동차" 3 개 고리

고 특 "새" 고리에 미지 스트 특징 열 시 다. 티 달 실험 여 미

지 어 스트 어 연결 다. 든 고리에 진 연결 습

트 도6과 같다.

도3 본 습 듈 보여 주는 블 도 다. 본 습 듈(40) 고리

별 처리 습 트에 단순 특징에 상 는 럼 택 여 약 생 듈(41)에

크 스엔트 계산 듈(45)에 여 능 평가 여 가 계산 고 가 에 비 여 20개 택

여 약 집 (411) 만든다. 크 스 엔트 계산 듈(45) 크 스 엔트 계산 통 여 약

능 어느 도 지 수 가 타내어 능 다.

도4에 보 는 같 그 듈(43)에 는 약 집 (411)에 가 비 에

라 룰 식에 여 2개 택 고 여 결 만들고 크 스엔트 계

산 듈(45)에 여 능 다시 평가 다. 능 어지 거 고 능 아지 약 집 (41

1)에 가 다. 본 습 듈(40)에 여 습 료 20개에 가 가 상

10개 (501) 얻는다.

편, 미지 (701) 스트 (702) 루어지는 상 트(70)는 습 동

식 SIFT K-means 알고리 사 여 특 개수 평 고 스트 는 단어사 생

(805)에 여 드 생 고 들 결 여 처리 진 드 드 상 트(9

0) 비 다. 습 료 (501) 갖는 듈(50)에 처리 새 운

스(60)가 얻어진다.

약 집 (411) 단순 특징 트 집 다. 본 습 듈(40)에 는

알고리 1 진 습 수 다. 안 사 여 진 습 결과 차수

새 운 특징 다. 특징들, 또는 특징들 트는 사 수 다. 러 는

래 진 연산 맥락에 는 크 에 상당 다.

등록특허 10-1219469

- 6 -

알고리 1

: 포 P0에 N 단순 특징(약 ) 가 다.(단순 특징 복 허 지 않는

다.)

while !Termination condition do

Evaluation: evaluate H on a fitness function F

Discarding: Discard Hyperdeges with lower F value

Generation: hnew = com(hparent1 ; hparent2 )

Selection probability:

end while

where,

hαβ = α'th chromsomes with class labelβ

δβ = cl dimensional vector with βth element is 1,

other elements are 0

δ는 상 다. 상 알고리 결 에 여 상 찾고 는 것 다.

알고리 에 x는 처리가 료 후 미 다. 는 도3 진 드 습 트(30)

또는 진 드 시험 트(90)에 상당 다.

특징들 집 약 다 다. 도3 크 스 엔트 계산 듈 식 알고리 w식에

어 다. 는 도7 에 계산 어진 특징들 가 도 같다. 우 가 계산 는 , 는 고

리 별 1차수( 특징만 ) 짜리만 계산 여 20개 약 집 (411) 다. 상

가 가지는 에 2개 가 에 비 여 룰 식 택 여 어 후 가

계산 다. 크 스엔트 는 약 상 크 스엔트 계산 통 여 얻어진다. 여

상 라고 (알고리 ideal classifier) 상 는 특징만 별 경우 100% 실 게 가

가능 (또는 특징) 뜻 다. 개 도9에 도시 다. 알고리 에 는 가 크

등록특허 10-1219469

- 7 -

스엔트 역수 사 여(비슷 포 크 스 엔트 값 낮 값 가지게 므 ),

약 가 가 값 가지도 다.

도10 습 듈(40)에 복 진 보여 다. 특징 집 포(도10 (a))에 보

는 같 미리 계산 가 갖는 낮 차수 특징 보여 다. 특징 결 고 가 매

복마다 계산 차수 특징 다. 도7에 개략 다. 는 20개

약 에 가 순 에 라 10개 여 집 다. 도8 시험

에 본 에 진 시험 트가 들어 경우에 통 여 고리

결 보여 다. 고리 1 가 큰 값 가 가지므 시험 고리 1 간주 다.

여 "약 " 라고 개별 고리에 특징만 가지고 므 그 고리에 가 만

가 고리 수 는 능 없 문 다. 실 고리에 사 결

단 가 고리 결 짓는 것 아니라, 도8에 같 다수 가 통 사

결 문에 약 라고 다. 결과 집 다양 가 다. 각각 달리티 비

각각 특징 차수는 지 않는다. 러 새 운 특징 결 생 고 약

집 찾는다. 복 후 단계에 특 특징 (특징 (h2)) 특 특징(h, h3) 가

생 다. 새 운 미지가 스트 보 께 주어지 안 얻어진 특징 질 에 여 미지

보 스트 보 사 여 식 다.

도11 습 듈(40) 에 각 새 특징 비 보여 다. 단계에 는 특징

집 특징 루어 다. 그러 , 새 특징 비 도 고 집 20

후에는 안 다. 러 태는 도15, 16과 17 미지 결과 다. 비 복

에 는 타내는 특징 가 얻는다. 여 진 연산 다양 연산 척도

크 스엔트 값 사 문에 습 복 수 크 스 엔트 값 약 들

체 집 에 많 게 다.

도12는 습 듈(40)에 특징 차수 보여 다. 0 에는 단지 1차 특징만 재 다. 그러 , 가

진 수 2차 3차 비 격 가 고 1차 비 어든다. 차원 특징 우 것 체

특징 없 도 주어진 고리 가 수 보여 다.

도13 습 듈(40)에 습 료 었 약 들 , 습 진 , 어

비 들 약 들 타 는지 그 도 타내 다. 도13 비 각 에 루

는 특징 비 계산 다. 도13 경 도15, 16과 17에도 보 다. 비 50% 상 , 미지

수 능 안 다. 본 특징 포 꾸어 다양 도 문에 각 루

결 블 지 만 만 루 얻 수 다.

도14는 본 습 듈(40)에 "새", " "과 "비 " 고리에 우 특징 보여

다. 라 등(Farhadi et al ) 트에 스는 주어진 미지 여 사 므

러 문 매우 다. 들 , Focke-Wulf 190 여 "A D-ERFW-6 in flight", "An

army green plane flying in the sky", "An old fighter plane flying with German military markings" "A

WWII fighter plane with its landing gear down"가 사 다. 비 개 특징

"airplane", "white", "passenger" "runway" 같 단어들 포 다. 새 개 는 집

"bird", "water", "perched" "beak" 같 단어들 포 다. 러 단어들 각 고리에 여

것 다. 다 고리들도 진 특징 집 문 에도 고 단어들 다.

러 것 도17에 미지 수 능 다.

도15는 본 습 듈(40)에 각 특징 집 시각 단어만 루어 미지 결

과 보여 다. 도16 본 습 듈(40)에 각 특징 집 스트 단어 만들어질 얻어

진 것 다. 도17 각 특징 집 시각 단어 스트 단어 루어 미지 수 보여

다. 미지 비 처리 에도 고 고리 시 는 비 얼 워드 얻는 것 어

다. 라 , 도15 시험 수 매우 량 다. 스트 에 여 스트 단어에

결과는 상 지 않았다. 도17 티 달 가 미지 에는 도15 도16과 비 씬 여

도가 보여 다. 또 , 가 스트 보 통 미지 수 개 수

다.

등록특허 10-1219469

- 8 -

도

도 1

도 2

등록특허 10-1219469

- 9 -

도 3

도 4

등록특허 10-1219469

- 10 -

도 5

도 6

등록특허 10-1219469

- 11 -

도 7

도 8

등록특허 10-1219469

- 12 -

도 9

도 10

등록특허 10-1219469

- 13 -

도 11

도 12

등록특허 10-1219469

- 14 -

도 13

도 14

등록특허 10-1219469

- 15 -

도 15

도 16

등록특허 10-1219469

- 16 -

도 17

등록특허 10-1219469

- 17 -