M. Y. Sung1

Networked Multimedia Systems

네트워크 기반 멀티미디어 시스템

S.V. RaghavanSatish K. Tripathi

http://www.engr.ucr.edu/faculty/tripathi/visualaids/

M. Y. Sung2

Chapter 1Multimedia Systems Primer

멀티미디어 시스템 입문

M. Y. Sung3

1.1 멀티미디어란 ?

인간의 기능을 자동화 인지 (perception) 보유 ( 기억 )(retention) 추론 (reasoning) 표현 (presentation)

컴퓨터가 전송 (transmission) 을 자동화 : distributed agents 등을 이용

인간의 기능을 자동화하는 두 가지 접근 인간을 대치 : flexible manufacturing system

모든 기능을 컴퓨터가 처리 인간을 위한 이기 (facilitating contrivances) : cooperative

computing and teleconferencing system perception, retention, presentation 은 컴퓨터가 ,

reasoning 은 사람이 처리

M. Y. Sung4

1.1 멀티미디어란 ?

인간의 오감 시각 : tangible (possible to code in digital form) 청각 : tangible 후각 : tangible ? 미각 : tangible ? 촉각 : tangible ?

Multimedia : video, audio, data 코딩 (coding) 저장 또는 데이터베이스 (storage or databases) 자원 할당 또는 스케줄링 (resource allocation or scheduling) 네트워크를 통해 들어오는 여러 미디어 정보의 흐름 (flow of information

in different media form through the network) 흐름에 따른 시간 동기화 (time synchronization across the flow) 성능 (performance)

M. Y. Sung5

1.1 멀티미디어란 ?

미디어 (media) text digitized voice digitized video still digitized images graphics 같은 데이터들

멀티미디어 (multimedia) : 적어도 하나 이상의 연속 미디어 (video, audio) 와 이산 미디어 (text, image) 의 조합

멀티미디어 응용의 2 유형 stored : persistent live : non-persistent

M. Y. Sung6

M. Y. Sung7

1.2 왜 멀티미디어 ?

더욱 풍부 (much richer) 멀티미디어 데이터베이스

store the multimedia information in their original form ( 예 ) photograph, presentation 등을 포함하는 employee

database 멀티미디어 회의 (multimedia conferencing)

limited only by the imagination of the user

M. Y. Sung8

1.3 멀티미디어 시스템이란 ?

멀티미디어 시스템 Data, voice, video, image, graphics 같은 멀티미디어 정보를 그들의

자연스러운 형태대로 처리 , 저장 , 생성 , 조작 , 표출 (rendition) 하는 기계 분산 멀티미디어 시스템 (distributed multimedia system)

컴퓨터 네트워크 지원 OS 지원

멀티미디어 정보의 가장 흥미로운 특징 = 시간 관계 (temporal relationship) = 동기화 (synchronization)s

미디어 내부 미디어 사이

시간 관계에 관한 주요 논점 시간 관계가 어떻게 저장되나 ? 멀티미디어 정보가 어떻게 시간 관계를 엄격하게 지키면서 재생 (play back)

되나 ? ck so that the temporal relationships are strictly maintained? 그렇게 하기 위해 무엇이 필요한가 ?

M. Y. Sung9

1.3.1 멀티미디어 정보의 성질

‘HELLO’ in Data Audio Video Image Graphics

성질 대용량 (the volume) 동기화 (synchronization)

미디어 내 동기화 (intra-media synchronization) : 미디어 자체의 시간 제약 (time constraints)

미디어간 동기화 (inter-media synchronization)

M. Y. Sung10

M. Y. Sung11

M. Y. Sung12

M. Y. Sung13

1.3.2 멀티미디어 정보의 동기화

Inter-media synchronization 예 video of the lecture Image of the transparencies Audio of the lecture itself

Stream = 각 미디어의 정보 단위 / 샘플들의 연속 (the series of information units/samples for each media)

Video stream Image stream Audio stream

예에서의 Inter-media synchronization 순간들 Audio & video : t1, t2, t3, t5, t6 Audio & image : t1, t2, t5, t6 Image & video : t1, t2, t5, t6 All : t1, t2, t5, t6

M. Y. Sung14

M. Y. Sung15

1.3.3 멀티미디어 구성물 (multimedia formation) 개념

Media 응용은 Multimedia formation 들로 구성

멀티미디어 구성물 (multimedia formation) = multimedia stream 들로 구성

Multimedia formation 의 각 streams 은 network 통해 receiving end 로 전달된 후 재생되기 전에 receiver buffer 에서 multimedia formation 으로 재형성 되어야 함

Multimedia formation 의 생성 Retrieved from disk as stored data Integrated from the live input

M. Y. Sung16

M. Y. Sung17

1.3.4 멀티미디어 시스템의 바람직한 기능들

매우 강력한 처리 능력 (Very high processing power) 멀티미디어 정보를 처리할 수 있는 파일 시스템 (A file system

capable of handling multimedia information) 멀티미디어 정보의 고유한 특성을 이용할 수 있는 포맷 (File formats

that exploit the inherent properties of the multimedia information)

멀티미디어 운영체제 (Multimedia operating system) 저장과 메모리 (Storage and memory) 네트워크 지원 (Network support) 소프트웨어 도구들 (Software tools)

M. Y. Sung18

1.3.5 멀티미디어 시스템의 운영 관점 (operational view)

Synchronization Within media

Constant rate Constant size

Audio : 8000 sample/sec * 8 bits Video : 30 frames * 620 * 480 * 24 bits

Inter-media Synchronization 을 방해

통신대역 (communication bandwidth) 의 공유로 인한 비동시성 (asynchrony)

전송 중의 손실 Multimedia formation 의 재구성 문제

M. Y. Sung19

1.4 멀티미디어 시스템의 구성 요소

Capture devices Video camera, video cassette recorder, audio microphone,

keyboard, mouse, etc. Storage devices

CD-ROMs, disks Communication networks

Ethernet (10 to 100 Mbps), Token Ring (100 Mbps), FDDI (100 Mbps), ATM (up to 1Gbps)

Computer systems Pentium PCs, Workstations, MPEG, DSP hardware

Display devices Df-quality speaker (audio), HDTV, SVGA, HiRes monitors

M. Y. Sung20

1.5 멀티미디어 시스템의 유형

Type I : standalone Type II : peer-to-peer, dedicated links Type III : server-client, high-speed WAN

M. Y. Sung21

M. Y. Sung22

M. Y. Sung23

M. Y. Sung24

M. Y. Sung25

1.6 멀티미디어 시스템의 활용

Multimedia System 의 분류 Multimedia Database Systems Multimedia Presentation Systems Multimedia Conferencing Systems

정보 생성 모드에 따른 분류 Orchestrated (Archived) : persistent Live : non-persistent

정보의 시간적 관계 (temporal relationship) 에 따른 분류 이산 (Discrete) : text, image, graphics 연속 (Continuous) : audio, video, animation

M. Y. Sung26

1.6.1 멀티미디어 데이터베이스

도전해야 할 기능 (challenges) 대용량 데이터를 처리 (Handling the voluminous data) 여러 곳에서 온 데이터를 구조화 (Structuring data from different sources) 동기화 정보를 유지 (Maintaining the synchronization information) 효율적인 검색을 위한 적절한 질의어를 제공 (Providing a proper query language

for efficient searching) 멀티미디어 정보의 특징

Non-persistent when created Persistent when retrieved from the database for rendition

( 예 ) Multimedia Digital Library On-demand multimedia server

HDTV-on-demand server 2 modes

Broadcast On-demand

multimedia database server for virtual tourist

M. Y. Sung27

1.6.2 멀티미디어 프리젠테이션 시스템

사용자의 제어 하에 재생됨 멀티미디어 데이터베이스의 도전 기능 + 사용자의 상호작용을 처리

(Handling the user interactions) (VCR-like)

M. Y. Sung28

1.6.3 멀티미디어 회의 시스템

Video, voice, data, image, graphics 등이 생성되고 , 전송되고 , 실시간으로 재생됨 (+ Later playback)

멀티미디어 프리젠테이션 시스템의 도전 기능 + 실시간으로 대용량 non-persistent 정보를 처리 (Dealing with large quantities of non-persistent information in real-time)

M. Y. Sung29

M. Y. Sung30

1.7 인터넷 현황 Ubiquitous internet 의 2 응용

WWW (World Wide Web) Annihilation of distance + With the traditional databases with

ease Components

URL (Uniform Resource Locator) HTML (Hyper-Text Markup Language) HTTP (Hyper-Text Transfer Protocol) : Downloading & Real-

time Mbone (Multicast BackbONE) : University of California at Berkeley

Multicast : sending packets to a group of destinations softwares

sd (Session Directory) : interface to Mbone (joining the conferences)

vat (Visual Audio Tool) : multicasts voice wb (White Board): multicasts text, images, graphics nv (Network Video) : multicasts video (X-window session)

M. Y. Sung31

M. Y. Sung32

M. Y. Sung33

1.8 멀티미디어를 가능하게 하는 기술들 전송 기술 (Carrier Technology) : optical fiber, high capacity, high-speed, high

reliability (computer communication + television + telephony) 스위칭 기술 (Switching Technology) : ATM, DQDB, FDDI, SMDS, frame relays

(network layer and below) 프로토콜 기술 (Protocol Technology) : address location, address resolution,

connection setup, multicasting, end-to-end control, QoS 응용 기술 (Application Technology) : new multimedia applications, user-friendly

interface and equipments 센서 , 코딩 , 및 압축 기술 (Sensor, Coding and Compression Technology) : digital

video camera, digital microphones, digital scanners, video codec, voice codec built-in

데이터베이스 기술 (Database Technology) : large databases, integrated databases, federated databases storing multimedia and retrieving with multimedia keys

소프트웨어 기술 (Software Technology) : distributed programming, parallel programming, object-oriented programming

컴퓨팅 기술 (Computation Technology) : high-performance processors, distributed environments, server-client computing

시스템 통함 기술 (System Integration Technology) : seamless integration (the most important)

모든 기술에 대한 재설계 / 재고려 (redesign/rethinking) 필요

M. Y. Sung34

M. Y. Sung35

다양성

Multimedia application span a large spectrum. At one end of the spectrum we have a simple presentation tool and at the other end we have a doctor performing brain microsurgery with the help of a consultant doctor located at the other side of the globe, both of them sharing a common database in another geographical location – all in real-time.

M. Y. Sung36

1.9 마법의 단어 - QoS

네트워크에서 발생된 비동시성 (asynchrony) 이 동기화를 방해 Transfer-Store-Play : markers (time stamps) Transfer-Play

동기화를 보장하려면 충분한 대역폭을 보장 : 모든 전송에 최대 대역폭을 할당하면 자원 낭비를

초래할 수 있으므로 네트워크 이용율을 극대화할 수 있는 적절한 ( 평균 ) 대역폭 할당

버퍼링 지원 : transmission delay 보상 및 multimedia formation 재구성 가능

Delay jitter 를 일정 한계 이내로 유지 QoS (Quality of Service) = delay, jitter, percentage of loss of packets

등에 대한 요구 및 이에 대한 서비스 Preferred QoS : ideal Guaranteed QoS : negotiation (application .vs. network) Acceptable QoS : minimum

M. Y. Sung37

M. Y. Sung38

1.9 마법의 단어 - QoS

QoS 파라미터 통신 처리율 (Traffic throughput) : amount of data per unit

time (bandwidth) 전송 지연 (Transmission delay) : end-to-end delay (absolute

bound or probabilistic bound) 지연 지터 (Delay jitter) : delay variation 전송 신뢰성 (Transmission reliability) : loosing packets due

to the limited size of buffers 동기화 (Synchronization) : inter-channel bounds on QoS

parameters or multicast relationship

M. Y. Sung39

1.10 시스템 설계 System Hardware : CPU, memory, I/O system for disks, NIU(network

interface unit), display controller, audio controller, disk drives, display, microphones, speaker

Sufficient speed Sufficiently large volume

System Software : OS, file system, compilers. Utilities Large files

Unconstrained block allocation : access time, latency Constrained block allocation : granularity, scattering

parameters Real-time scheduling : started and completed on-time

Communication Support : conforming to a QoS QoS

High bandwidth Low end-to-end delay Bounded delay variation (jitter) Minimum packet loss

Need for new protocols for high-speed network

M. Y. Sung40