User-Context-Awareness in Networked Multimedia Service

정보통신 미디어 연구본부 스마트미디어 연구센터

금승우 책임 연구원 (swkum@keti.re.kr)

개요 User Context in Audio/Video Service Collaborative Filtering for Service Recommendation User Context Standard User Context Service Implementation

1세대

2세대

3세대

기기 맞춤형

하드웨어 코덱

스크린 Resolution

Sound

단말 내장

코덱 성능

네트워크 맞춤형

네트워크 대역폭

Scalable Codec

고해상도/고화질

네트워크 성능

단말 성능

서버-클라이언트 구조

사용자 맞춤형

자율인지 원격 제공

다종단말 동시지원

서비스 제공자 중심

실시간 UI 구성

상황인지기반 융합 서비스

맞춤형 N-스크린 서비스

멀티 모달 인터페이스

UI/UX 콘텐츠 유통

Which Contents…?

On What Occasion…?

개인 정보 -어떻게 수집할 것인가? -어떻게 배포할 것인가? -보안 처리 방안은?

추천 방법 -어떻게 분류할 것인가? -무엇을 추천할 것인가? -정확도 향상 방법은?

호환성 -서비스를 어떻게 구성할 것인가? -어떻게 배포할 것인가?

User Context for Multimedia Service

Media Storage

Metadata Database

Metadata Extractor

Query Handler

Metadata Process Module

DMS (미디어 서버)

Metadata 기반 Query -2013년 5월 30일에 찍은 사진 -Classical 장르의 음악 중 Mozart 작품 -720p급 MP4 영상

Expert-made Playlist 다양한 사용자 환경 대응 사용자 피드백

• 북미 지역을 대상으로 하는 추천 및 스트리밍 서비스 • Mood/Activity 기반의 추천 서비스 제공 • 상황에 대한 플레이리스트를 전문가가 생성 • 사용자 피드백 기반 갱신 • 광고 기반 무료 인터넷 스트리밍 서비스

• Apple 사의 추천 및 스트리밍 서비스 • 음악 기반의 추천 서비스 제공 • 유료 인터넷 스트리밍 서비스 • 자신의 음악과 iTunes Store 의 음악에 대한 스트리밍 • 기본 제공 Radio 채널에 대한 Feedback 기능 미비

• Google 사의 추천 및 스트리밍 서비스 • 음악 기반의 추천 서비스 제공 • 유료 인터넷 스트리밍 서비스 • “I’m feeling Lucky Radio” : 청취 이력 기반 음원 추천 • Instant Mix에 대한 Feedback 반영

• Google 사의 개인 맞춤형 서비스 • 개인 정보기반의 추천 서비스 제공 • 멀티미디어 컨텐츠(오디오) 연동 : ‘13.10 • Instant Mix Radio에 대한 Google Now로부터의 접근

Hulu Recommendation

Netflix CineMatch

Amazon Recommendation

Hulu’s Recommendation Architecture (Offline)

Hulu’s Recommendation Architecture (Online)

User Preference

Similarity Score

사용자 Preference로부터 콘텐츠의 Similarity를 계산하여 적절한 Contents를 추천

…in Real-time

추천에 대한 결과를 측정하기 위한 Metric을 산정

User Satisfaction

Prediction Accuracy

Coverage/

Diversity Novelty/

Serendipity

Trust Robust

2012년 유사 콘텐츠 추천 기준 변경

기존: 키워드 및 댓글 등 메타데이터 기반의 추천컨텐츠 리스트 생성

변경 후: 현재의 비디오 재생 후 더 오래 재생된 컨텐츠 기반으로 추천컨텐츠 생성

키워드, 메타 정보, 댓글 및 재생횟수 조작을 통한 연관 컨텐츠 생성 방법 차단

사용자 경험 위주의 연관 컨텐츠 생성

사용자 경험 기반 동영상 컨텐츠 추천 서비스 동영상 스트리밍은 자체 제공하지 않음 (SK Hoppin연동)

History

User Context

Activity

Date/Time

Location

• Collaborative Filtering

• 사용자의 기존 선택 (vote) 기준으로 다음 vote를 예측하는 기법

• Memory-based : 사용자 혹은 아이템의 유사도를 비교하기 위해

사용자의 정보(rating/ voting)를 활용

• Model-based : Data Mining, Machine Learning 등 실 데이터 기반

예측을 위한 모델을 적용

User-based

Item-based PCC

사용자의 기존 vote 값

기존 vote에 의거한 Prediction 값

Weight 결정 방법 : PCC

Weight 결정 방법 : COS (vector)

• Momory Based Collaborative Filtering: • 사용자의 Voting에 의거한 사용자의 차기 Voting 값을 예측함 • Model-based에 비해 적은 용량의 메모리를 사용

- 사용자간 혹은 아이템간의 유사도 측정을 사용자 + 아이템간의 복합 유사도로 확장. - Jiang, et al., (2011). An Effective Web Service Recommendation Method Based on Personalized Collaborative Filtering (pp. 211–218).,ICWS '11

- PCC와 COS의 단점을 극복하기 위하여 Preference Matrix를 Normalize. - Sun et al, (2013). Personalized Web Service Recommendation via Normal Recovery Collaborative Filtering. IEEE Transactions on Services Computing,

User Context Standard

2014 2013 2015

’15.1

MPEG-UD 최종국제규격 승인

MPEG-UD WD 승인

’13.11

MPEG-UD 위원회안

승인

’14.4 ’14.7

MPEG-UD 국제규격

승인

목표 일정

ㅇ진행 일정 - ‘14.4 WD 작업 완료

Recommendation Description

MPEG-UD (User Description)

사용 컨텍스트 정보의 분류

- 사용자 정보, 상황 정보, 서비스 정보 및 복합적 Recommendation 정보의 최상위 분류 및 카테고리화

사용자 정보, 상황 정보, 서비스 정보에 대한 세부 컨텍스트 분류

세부 컨텍스트 분류 기반의 서비스 추천 정보

CD: Context Description

Season

Device Characteristics

Network Information

Location & Weather

Other Environmental Information

Service Target Information

Service Interfaces

Internal Services

Database Of Multimedia

Service Available

Service Objects Information

Compact Usage Description

Query Description

Service User Type

Process Chain

Recommendation History

Recommendation Information

Object Information

Car Information

Service General Information

RD: Recommendation Description

SD: Service Description

UD: User Description

User Profile

Usage History

Preference

Emotion

Schedule

Accessibility

Activity

• 홈 네트워크 디바이스 프로파일 • 멀티미디어 콘텐츠 전송용 디바이스 • Peer-to-peer 모델 • 2-tier, 3-tier 모델 • A/V

• MediaServer, MediaRenderer • Home Automation

• SolarProtectionBlind • Digital Security Camera • HVAC • Lighting Controls

• Networking • Internet Gateway

• Printer • Remote Acess • Remote UI • Scanner • Sensor • Telephony

• HTML Header • User-Agent Field

• 홈 네트워크 컨텐츠 프로파일 • 멀티미디어 콘텐츠 프로파일 (Audio, Image, Video) • UPnP

• Mime-type • DLNA

• Custom field (4th field of Mime-type)

• HTML Header • User-Agent Field • Content-Type • Content-Length • Content-Range

제목 음악가 가수 음반명 출시년도 장르

카메라 모델 회전 방향 날짜/시간 색공간 초점거리 플래시 ISO Speed, 조리개 셔터 속도

User Context Service Implementation

기기정보 및 사용자의 환경/감성/인지 정보에 적응적으로 반응하는 정보기기용 원격 UI 기술

문화/지역/언어

사용 환경에 적응적인 표준화된 원격 사용자 인터페이스 기술

사용자의 환경, 감성 및 포괄적 인지 정보에 반응하여 서비스를 이용하는데 있어 최적화된 사용자 인터페이스를 제공하는 정보 기기용 사용자 환경 반응형 원격 사용자 인터페이스 (Responsive Remote User Interface: RRUI) 기술 개발 및 표준화

• MPEG, ITU-T, IGRS, W3C, HbbTV 등

핵심 기술 표준화 및 사업화

반응형 원격 사용자 인터페이스 표준화

국내 표준 반영

국제 표준 반영

• TTA, OHTV, 스마트TV포럼 등

핵심 원천 IPR 확보 상용화

요소기술 반영

• 사용자의 포괄적 정보에 반응하여 최적화된 사용자 인터페이스 제공

반응형 원격 사용자 인터페이스 (RRUI) 프레임워크 개발 2

• 사용자 기기 • 환경기반 인터페이스

• 멀티 모달 인터페이스

• 인지, 감성기반 인터페이스

• RRUI – 홈 네트워크 서버/클라이언트 기술 개발

반응형 원격 사용자 인터페이스 서비스 시스템 개발 3

• 사용자 감성 • 포괄적 인지

• 디바이스 정보 • 사용 환경

Contents, & Layout Component Matching

User Interface Profile Matching

RRUI Schema

& Document

• 사용자의 포괄적 정보 추론 및 Context 분류 기법 정의

1 RRUI를 위한 정보 취득/추론 전송 엔진 및 컨텍스트 정의 및 분류

RRUI Unit Database

RRUI Organizer

User Context Manager

RRUI Client

Context Gathering / User Feedback

User ID, Device Profile

User Context Inference Engine

RRUI Frontend (WAS)

User Info Database

RRUI Contents Request

User Context Query

RRUI Unit Request

RRUI Unit (URL or Code)

RRUI RRUI URL

Device Info List

Device Control

Service Unit

Service Registration

Context Crawler

Service Request

감사합니다

Q&A