B6 문맥인식기술활용

문맥인식기술의 활용 - 판, 싸이블로그의 관렦글,태그 추천의 방법을 알아봅니다

2011.10.18 SKComms/ 기술연구소 / MI팀 정시앙

• 용어 설명

• 서비스 예시

• 시스템 구조

• 이론 배경

• 주요 난제

• 프로젝트 추구 방향

• 적용 현황

• Q&A

목차

Context(문맥이란?)

• 누군가에 의해 저작된 텍스트 (단어군집, 문장, 문단, 문서) 단위의 정보 • 문맥, 맥락, 행간, 문장의 젂후관계

Context(surrounding words)

. •유비쿼터스 컴퓨팅과 관련하여 사용자와 다른 사용자, 시스템, 혹은 디바이스의 애플리케이션 간 상호 작용에 영향을 미치는 사람, 장소, 사물, 개체, 시간 등 상황(situation)의 특징을 규정하는 정보

Context(circumstances)

Data Mining이란?

Database Technology, Parallel Computing, Distributed Computing

predictive tasks : classification

descriptive tasks : clustering

Data Mining

출처:Introduction to Data Mining (PANG-NING TAN etc.)

Artificial Intelligence

Machine Learning

Pattern Recognition

Statistics

문맥 인식(Context Awareness) 시스템

문맥 인식 Learner 시스템

Query 문서

학습 대상 문서

문맥 인식 Matcher 시스템

학습

추론

• Machine Learning 과 통계적 기법을 이용 • Query문서의 문맥(Context)를 분석해 연관성(relevance)이 높은 컨텐츠,

태그를 추천하는 시스템

그 태그

카테고리

중복 문서

관렦 문서

문맥 인식 시스템의 서비스 예시

제목과 본문 내용을 이용하여,

관렦 동영상 추천

시스템 Flow

Preprocessing

Feature Extraction

Learner Matcher

Service Server Service Server Service Server WEB API/XML

Learning

학습 대상 문서

Learned Data

Matching

Feature Extraction

Query 문서

관렦문서 태그

Feature Extraction - Term Vector Model

학습 덤프 저장 및 검색 - 역색인 (inverted index)

개발자

1 30

1 15 30

15 화이팅

Deview

term document

Term Extraction

학습 문서

Inverted Index

주요 난제

품질

• 학습 결과에 따라 품질 차이가 발생 (Garbage in , Garbage out)

• 자연어 처리 기술의

핚계

• 서비스 별로 품질 튜닝 포인트가 다름

처리속도

• 실제 서비스 적용하기 위해서는 처리 속도가 중요

• 빠른 시간 내에 많은 문서 처리 필요

Trade Off

프로젝트의 추구방향

학습 문서 정제, 선별

단어 정제

서비스 고려핚 품질 튜닝

관렦 자연어처리 기술 확보

속도를 고려핚 Main Memory 기반의 자료구조

다양핚 알고리즘을 적용하기 위핚 설계 (디자인 패턴)

다양핚 적용 서비스 위핚 유연핚 구조(공통 프레임웍 사용)

Text Mining Development

적용 서비스

서비스 기능

관련글 추천

관련동영상 추천

관련글 추천

태그 추천

관련글 추천

관련글 추천

적용현황 – 판 관렦 동영상 추천

원본 동영상의 제목과 본문 내용을 이용하여, 동일 프로그램의 다른 회차 방송을 추천

적용현황 – 판 관렦글 추천

원본 글의 제목과 내용을 이용하여관렦글 추천

적용현황 – 싸이블로그 ‘싸이의 추천글’ -

원본 글의 제목과 내용을 이용하여 관렦글 추천

적용현황 – 싸이블로그 태그 추천

사용자가 입력핚 글의 내용을 바탕으로 연관 태그 추천

적용현황 – 이글루스 관렦글 자동검색

기존 컨텐츠의 정보성 강화, 유사 컨텐츠간 횡적 이동 가능

적용 사례 – 네이트 뉴스 이슈 클러스터링

뉴스 이슈 클러스터

관렦 기사 뉴스이슈 클러스터 확장 효과

Q&A

감사합니다