多媒体计算机技术 Multimedia Computing Technology

重庆邮电学院计算机学院E-mail: [email protected]

重庆邮电学院计算机学院E-mail: [email protected]

多媒体计算机技术多媒体计算机技术Multimedia Computing TechnoloMultimedia Computing Technolo

gygy

主讲教师：吴渝 Instructor: Wu Yu

2006.3

重庆邮电学院研究生课程 2

课程目标课程目标理论

掌握多媒体技术基础和原理应用

掌握常用多媒体系统与工具的使用研究

广泛涉猎多媒体技术领域的研究概况和最新进展，并针对某具体技术进行研究性学习


教学内容教学内容教学内容的不同视角

概论与原理、技术及应用按媒体类型：文本、声音、图像、视频软件与硬件、单机与网络传统技术、新一代多媒体技术

内容划分概述篇、音频篇、图像篇、视频篇、网络篇、应用系统篇、新技术篇


教学形式与要求教学形式与要求教师讲授（课堂）研究性学习（自学和讨论）

充分调研的基础上选择专题深入学习写作专题报告一篇课堂讨论： ppt 演示文档

实验（课后进行，课堂验收）分组完成实验并进行课堂专题汇报要求研究性学习环节中的选题和实验一致


实验内容实验内容分组实验：每人必须完成至少一项组内任务

音频组• 声音编辑处理、流媒体中的语音技术

图形图像组• 图像编辑处理： Photoshop• 网络动画： Flash

视频组• 视频编辑处理： Adobe Premiere

网络组• 多媒体网站： Dreamweaver• 流媒体：网络电台或电视

自由自选实验组说明：软件工具不限


学习参考学习参考参考教材

Fundamentals of Multimedia, 多媒体技术教程，机械工业出版社

《多媒体技术基础》，林福宗，清华大学出版社

Multimedia Fundamentals, Prentice Hall

Multimedia: Computing, Communication and Application, PRENTICE HALL ，清华影印， 1997年

http://www.china-pub.com


网上学习资源网上学习资源各大搜索引擎：各种学习资源

Google http://www.google.com 北大天网 http://e.pku.edu.cn

专业的网上全文数据库：期刊文献 Citeseer ： http://citeseer.ist.psu.edu/cis 维普中文期刊库其它收费期刊库：学校订购

教育网站和学习论坛：技术方案网上图书馆：书籍

超星、国家图书馆多媒体技术专业网站

比如流媒体


课程考核课程考核采用堂下考查方式，按等级计分考查试卷内容

专题报告 1 份（ doc 文件）实验报告 1 份（ doc 文件）堂上演示文档 1 份（ ppt 格式）其它多媒体作品附件和代码

要求：打包为一个文档，在规定时间内提交

概述篇概述篇第一部分

多媒体技术多媒体技术


第一节多媒体技术的概念第一节多媒体技术的概念媒体的概念和种类多媒体的定义和特征多媒体计算机超媒体与各种标记语言


1. 1. 媒体的概念媒体的概念媒体的概念 Medium

Medium: "Thing in the middle “ ， here means to distribute and present information

汉语词典：媒介 , 手段。如 : 传播媒体 ; 教学媒体 ;视听媒体 ; 印刷媒体

计算机领域：承载信息的载体，信息传递和存储的最基本的技术和手段

媒体在计算机领域中的两种含义存储信息的实体：磁带、磁盘、光盘等信息的载体：数字、文字、声音、图形和图像等


Media dataMedia dataMedia affect human computer interactionThe mantra of multimedia users

Speaking is faster than writing Listening is easier than reading Showing is easier than describing


Media TypesMedia Types

CCITT 规定International Telephone and Telegraph Consultative

Committee, 国际电话与电报顾问委员会The Perception Medium 感觉The Representation Medium 表示The Presentation Medium 显示The Storage Medium 存储The Transmission Medium 传输The Info. Exchange Medium 信息交换


媒体的种类媒体的种类感觉媒体

通过人的五官感受到的，如语音、声音、音乐等；图形、图像、动画、视频等；触觉、嗅觉等；

表示媒体信息的存在形式和表现形式，以编码等形式来描述信息，定义了信息的基本特征

如文本（ ASCII 码）、声音、图形、图像、视频等显示媒体

输出设备：显示器、打印机、扬声器等输入设备：键盘、摄像头、鼠标、扫描仪等


媒体的种类媒体的种类存储媒体

存储数据的物理设备，如软盘、硬盘、光盘、磁带等

传输媒体传输数据的物理设备，包括光纤、双绞线、同轴电缆等

信息交换媒体 Which information carrier will be used for informati

on exchange between different places? Direct transmission using computer networks Combined use of storage and transmission media

(e.g. electronic mail).


2. 2. 多媒体的定义多媒体的定义多媒体（ Multimedia ）

融合两种以上媒体的人机交互式信息交流和传播媒体多媒体计算机技术

计算机综合处理文本、图像、图形、音频和视频等多种媒体信息，集成为一个具有交互性的系统。

说明：多媒体是信息交流和传播媒体多媒体是人机交互式媒体多媒体是以数字形式而不是模拟形式存储和传输的传播信息的媒体种类很多，如文字、声音、电视、图形、图像、动画等


multimedia systemsmultimedia systemsMultimedia: The integrated

generation,manipulation, presentation, storage and communication of discrete and continuous media

多媒体系统

graphics/

image proc.

databases

file systems

computer

networks

operatingsystems


声音运动图像

静止图像文本图形

动画

时间 / 空间属性

基于时间的连续

基于空间的离散

从显示世界捕获通过计算机合成来源

多媒体的类型多媒体的类型文本、声音、图形、图像、动画（运动图形）、视频（运

动图像）等思考：还有别的类型吗？


Dependence of MediaDependence of MediaTime-independent media

Text Graphics Discrete media

Time-dependent media Audio Video Animation Continuous media

Interdependant media Multimedia


任何类型信息的结合都可以被称作多媒体吗 ?

问题问题

在专业上使用多媒体这一术语时，通常包含至少文本、图形、图像中的一个，和音频或视频的信息这两方面。

Best examples are continuous media (e.g.,animations, audio, and video)


SoundSound

MidiUncompressed (Raw) Sound FileCompressed Sound FileStreamed AudioCD AudioDAT(Digital Audio Type) 数字录音带


Images and GraphicsImages and Graphics

Digital Representation of ImagesPicture Elements - PixelsImage Resolution - The Information

Contained in the Image (i.e. Size of the image in Pixels)


Video and AnimationVideo and Animation

Animation: Normally it is a collection of drawings done using a scripting language.

Video: Perception of Color and Movement; 感知 Different Technologies:

• NTSC• PAL• HDTV


多媒体的特征多媒体的特征信息载体的多样性（多维化）

人类对信息的接受和产生主要在五个感觉空间内，即视觉、听觉、触觉、嗅觉和味觉，其中前三者占了 95% 以上的信息量

计算机以及与之相类似的一系列设备，都远远没有达到人类的水平，必须把人类的信息进行变形之后才能使用

视觉65%

20%

10% 2% 3%味觉

嗅觉触觉

听觉


多媒体的特征多媒体的特征交互性

交互可以增加对信息的注意力和理解，延长信息保留的时间

当交互性引入时，活动本身作为一种媒体便介入了信息转变为知识的过程

不同层次的交互• 初级交互：提取信息，从数据库中检索素材• 中级交互：使用户介入在信息过程中，如改变信息

• 高级应用：虚拟现实技术，完全进入到一个与信息环境一体化的虚拟信息空间


多媒体的特征多媒体的特征集成性

信息集成• 包含信息的多通道统一获取，多媒体信息的统一存储与组织，多媒体表现合成等各方面。

设备集成• 硬件：具有能处理多媒体信息的高速及并行的 CPU 系统、大容量的存储，适合多媒体多通道的输入输出能力及外设、宽带的通信网络接口

• 软件：有集成一体化的多媒体操作系统、适合于多媒体信息管理和使用的软件系统和创作工具、高效的各类应用软件等

• 在网络的支持下，集成构造出支持广泛信息应用的信息系统


Multimedia: Not Your Ordinary DataMultimedia: Not Your Ordinary Data

Multimedia is different from traditional digital data: High data volume Continuous streaming Several related streams Quality of services


多媒体处理的目的多媒体处理的目的To enable transparent and augmente

d use of multimedia resources across a wide range of networks and devices.

使能跨越各种不同网络和设备 , 透明地强化地使用多媒体资源


3. 3. 多媒体计算机（多媒体计算机（ MPCMPC ））多媒体计算机硬件

普通计算机硬件，存储设备多媒体（声音、视频）输入输出和处理设备多媒体通信传输设备

代表性的多媒体硬件系统多媒体专用机

• 世界上第一台 MPC 系统 Amiga ， 1985 年， Commodore公司• CD－ I交互式多媒体系统， 1986 年， Philips 和 Sony公司• DVI 数字视频交互系统， 1989 年， IBM 和 Intel公司

多媒体板卡：声卡、压缩卡、视频捕获卡、电视卡等多媒体外设：扫描仪、数字相机、摄像机、打印机、传真机等多媒体处理芯片：信号压缩解压芯片、 FM 音乐合成芯片等


多媒体计算机（多媒体计算机（ MPCMPC ））多媒体计算机的软件组成

多媒体软件的特点：运行于某种多媒体操作系统中；具有高度的集成性和良好的交互性

分为四个层次：• 多媒体操作系统 : 管理动态画面和控制声像设备。专用或扩展

• 数据准备准备工具：采集多媒体数据，如声音录制及编辑、图形图像扫描软件、视频采集软件、动画生成软件等

• 多媒体创作工具：建立多媒体应用的软件工具。可分为基于描述语言、基于流程图、基于时间轴的创作工具三类

• 多媒体应用光盘


多媒体信息系统的技术挑战多媒体信息系统的技术挑战Sheer volume of data

Need to manage huge volumes of dataTiming requirements

among components of data computation and communication.

Must work internally with given timing constraints - real-time performance is required.

Integration requirements need to process traditional media (text, images) as

well as continuous media (audio/video). Media are not always independent of each other -

synchronization among the media may be required.


多媒体信息大容量说明多媒体信息大容量说明类型参数容量

Speech 8000 samples/s 8Kbytes/s

CD Audio44,100 samples/s,

2bytes/sample

176Kbytes/s

SatelliteImagery

180X180 km^230m^2 resolution

600MB/image(60MB compressed)

NTSC Video30fps, 640X480

pixels, 3bytes/pixel30Mbytes/s

(2-8 Mbits/s compressed)


多媒体系统的评价多媒体系统的评价Combination of media

continuous and discrete.Levels of media-independence

some media types (audio/video) may be tightly coupled, others may not.

Computer supported integration timing, spatial and semantic

synchronizationCommunication capability


多媒体的信息管理多媒体的信息管理多媒体信息的数据量大、种类繁多、不规则，每种媒体间差别明显，又具有种种信息上的关联

处理大规模多媒体数据的途径 : 扩展关系型数据库，多媒体数据库建立面向对象的数据库超媒体（ HyperMedia ）系统


4. 4. 超媒体超媒体超媒体（ hypermedia ）

以 Web 系统为基础，把多媒体（图形、图像、声音、动画、视频等）的相关内容通过链接组织在一起。

超文本（ hypertext ）把文本的相关内容通过链接组织在一起


标记语言：标记语言：（（ *ML*ML ）） Markup LanguageMarkup Language

标准通用标记语言（ SGML ）该标准定义独立于平台和应用的文本文档的形式、索引和链接，为用户提供一种类似于语法的机制，用来定义文档的结构和知识文档结构的标签

超文本标记语言（ HTML ）从 SGML导出，是其一个子集。定义文档的格式、组成和链接关系。

虚拟现实造型语言（ VRML ）描述网络上三维交互环境的文件格式。（ HTML是二维世界）

扩展标记语言 XML 是 HTML 的补充，数据处理功能强大


HTMLHTML网上出版的“母语” ，所需要表达的信息按某种规则写成 HTML 文件，通过的浏览器来识别，并将这些 HTML“ 翻译”成可以识别的信息：网页。

主要功能：编写在线文档，通过超链接检索其它的相关信息，通过表单级脚本语言实现交互性

是一种纯文本格式的文件，可以用 Notepad 等文本编辑工具来手工编写，也可用 Dreamweaver ， FrontPage 等可视化的网页编辑工具自动生成


DHTMLDHTML ：： Dynamic HTMLDynamic HTML基于 HTML ，再辅以文件对象模型 (DOM) 和脚本语言 (如 JavaScript ， VBSscript) 可以达到使网页动起来的效果

严格来说 DHTML 并不是什么新技术或新标准的简称，只不过是一些现有网页相关技术与标准的一个整合。通过它，用户可以用一种新的方式来创建网页

DHTML=HTML4.0+ 浏览器对象模型结构＋ CSS＋ Script


VRMLVRML （（ Virtual Reality Modeling Virtual Reality Modeling

LanguageLanguage ））

虚拟现实建模语言 VRML是 HTML 的 3D 模拟， VRML 提供了 6＋ 1度的移动空间，你可以沿着三个方向移动，也可以沿着三个方位旋转，同时还可以建立其它 3D空间的超链接

VRML 文件是虚拟空间的文本描述，它也是一个文本文件，以 .wrl 为扩展名，也可由能够生成三维空间的工具可视化的生成（如 3D Studio MAX ）

IE ， Netscape Navigator只要是 3.0 以上版本均可以安装用于浏览 VRML 文件的插件， IE5.0 自带了一个叫做MicroSoft VRML Viewer 的工具


XMLXML （（ eXtensible Markup LanguageXtensible Markup Languagee ））扩展标记语言是 HTML 的补充，并不是 HTML 的升级替

代版XML是用来描述数据的，而 HTML 则是用来解决如何显

示数据的，也就是说它们之间是合作的它与 HTML及 VRML 一样也是文本文件，以 .xml 为扩

展名XML 数据处理能力很强大，因此自从 XML 规格于 1996年底被提出后，就一直成为网络上处理电子商务、数据仓库、数据交换、多媒体传输、化学及其他专业领域应用程序的主要解决方案。因此 XML也得到了广泛的支持


计算机通信大众传播

多媒体信息系统

0/1

Text

中文图形 , 图像

声音影像视频

MPC

计算机网

邮政电报电话

ISDN

信息高速ITV

电影广播报纸

印刷材料

电视

HDTV

多媒体化过程

数字化过程

第二节为什么要多媒体？第二节为什么要多媒体？多媒体是技术和应用发展的必然


为什么要多媒体为什么要多媒体多媒体改善了人类信息的交流

用户及计算机交流的四种方式，每一种信息的表示和传递都各有不同

• 机－机，人－机，机－人，人－人（经由计算机）机－机

• 计算机之间通信是一门已经得到充分发展的学科，包括通过网络传送数据，存储数据以备后续的检索等。虽然已经开发了许多关于图像、声音的信息交换标准，但不同标准、不同程序和不同类型计算机之间的交流仍很困难

• 多媒体数据对实时性、网络带宽和存储空间上有较大要求



人－机，机－人• 人与计算机之间的交互必须考虑两者的局限性• 为了使计算机发挥应有作用，必须遵循“可计算”的三个条件，即能用形式化的方法描述这个问题，能找到一个算法解决它，以及能以一个合理的复杂度在计算机上实现

• 为了使用计算机，必须把人的思维翻译为串行计算机的机器指令，这种翻译过程是繁琐和机械的，技巧性很强

• 用户接口工作会成为一个系统或一次研究成败的关键部分。多媒体的出现，将会在这个方面起重要作用



人－人（经由计算机）• 计算机起着高效信息传递媒介的作用，不必理解人与人交流通信中的全部内容，但需要计算机帮助人们有效地组织和表达信息

• 计算机将支持更多地人与人交流的应用：从医学会诊、学术讨论的协同性工作，到私人通信、可视电话等个人间信息的交互

• 如果计算机能够理解信息的含义，将显著地改变计算机所支持地人与人之间地交互方式，使之达到一个更高的水平，如自动语言翻译


在用户及计算机交流的四种方式中，你认为未来发展应加强哪一种？

问题问题


为什么要多媒体为什么要多媒体多媒体缩短了人类传递信息的路径

文本、图像、声音等多媒体信息都是人类获取和传递信息极为重要的渠道

多媒体技术使得信息的包装可以随意改变，根据需求选择最好的信息包装形式，这也是改善交流的重要方面

娱乐生活等需要数字电视、 3G （多媒体短信、手机电视）等


第三节多媒体技术的发展历程第三节多媒体技术的发展历程

计算机

0

，1

通

信

大众传媒

文

本

图象图形

声音

视频

MPC

邮

政电

报电

话数字网

ISDN

信息高速

报

纸广播

电

影电

视

HDTV

ITV

多媒体时代


启蒙发展阶段启蒙发展阶段1984年，美国 Apple公司创造了图形用户界面（ GUI ），引入鼠标（ Mouse ）；

1985年， Microsoft 公司推出多任务的图形操作环境 windows；

1985年，美国 Commodore 公司推出世界上第一台多媒体计算机 Amiga ，配备图形、音响、视频三个专用处理芯片；

1986年， Philips 和 Sony 两家公司联合推出 CD-I ，公布了 CD-ROM光盘数据格式；


标准化阶段标准化阶段2020世纪世纪 9090 年代，多媒体技术从以研发年代，多媒体技术从以研发为重心转移到以应用为重心为重心转移到以应用为重心

1990年 10月，微软提出 MPC1.0 标准；1993年， IBM, Intel 等公司组成 MPM

C ，发布MPC2.0；1995年 6月， MPMC 发布MPC3.0此后，多媒体功能成为此后，多媒体功能成为 PCPC 机的基本功能，机的基本功能，

MPCMPC 标准不再发布标准不再发布。。


多媒体个人计算机性能标准多媒体个人计算机性能标准MPC-3

RAM ： 8MB 中央处理器： 75MHz Pentium ，同等级 X86 硬盘容量： 540MB CD-ROM ： 600KB/s ，最大寻址时间 200ms ， C

D-XA 声音卡： 16bit 数字声音， Wavetable(波表 ) ， MI

DI 显示器： 640×480 ， 65536色，视频播放 3

52×240 30f/s(352×288 25f/s) 15bit/pixel 输入输出端口： MIDI I/O ，摇杆端口，串并联端口


其他标准其他标准ISO 和 ITU 联合制定的国际标准

声音编码标准静态图像的数字压缩编码标准： JPEG 标准运动图像的压缩标准： MPEG 系列标准面向可视电话和电视会议的视频压缩算法国际标准： H.26X 标准

ISO对光盘存储系统的规格和数据格式发布了统一标准，特别是对流行的 CD-ROM ，DVD 和以它们为基础的各种音频视频光盘的各种性能都有统一规定


第四节多媒体的研究内容第四节多媒体的研究内容视频音频信息的获取技术

利用计算机产生彩色图形、静态图像和动态图像；利用彩色扫描仪，扫描输入彩色图形和静态图像；利用视频信号数字化仪把彩色全电视信号数字化。

多媒体数据压缩编码和解码技术多媒体数据信息量大，冗余度高，存储空间占用大；压缩标准： JPEG ， MPEG 等。

视频音频数据的实时处理和特技多媒体数据的宽带传输大规模集成电路制造技术 VLSI


多媒体的研究内容多媒体的研究内容多媒体信息的表示、组织与管理

超媒体、多媒体系统数据模型、多媒体数据库与基于内容的检索技术

多媒体数据存储技术大容量光盘存储

多媒体信息和交互多媒体通信和与分布式多媒体系统多媒体应用开发：多媒体开发和编著系统多媒体的软硬件平台：如实时多任务操作系统，

人机协同工作环境其它：虚拟现实技术、网络多媒体


第五节多媒体技术的应用及发展前景第五节多媒体技术的应用及发展前景

多媒体技术的应用教育和培训咨询和演示娱乐和游戏管理信息系统（ MIS ）视频会议系统计算机支持协同工作视频服务系统


Application AreasApplication AreasResidential Services

video-on-demand video phone/conferencing systems multimedia home shopping (MM catalogs,

product demos and presentation) self-paced education

Business Services Corporate training Desktop MM conferencing, MM e-mail


Application AreasApplication Areas教育

远程教育（ Distance education ） – 教学视频通过宽带网访问数字多媒体图书馆

科学与技术 computational visualization and prototyping 天文学、环境科学

医学诊断与治疗 – 提供多媒体数据库 support for queries on scanned images, X-rays, assessments, response etc.


Example ApplicationsExample Applicationshypermedia coursewarevideo-on-demand interactive televisionaudio/video conferencing(GroupWare 组件 )virtual worldsgamesmultimedia authoring 多媒体创作digital librarieswebaudio/video postproduction 后期制作data securityperson authority 身份认证


多媒体技术的发展全景多媒体技术的发展全景家庭教育和个人娱乐是目前国际多媒体市场的主流比尔 .盖茨： Window MPC 标准的首要任务是让每个 PC 用户在硬件和软件的投入与积累得到肯定和连续的支持把 PC 带入家庭使 PC连通每家用户的电视电话与立体声音响并成为家庭管理和娱乐中心是MPC 全部努力的最终目标

内容演示和管理信息系统是多媒体技术应用的重要方面

多媒体通信和分布式多媒体系统是多媒体技术今后的发展方向


多媒体计算机的发展趋势多媒体计算机的发展趋势进一步完善计算机支持的协同工作环境：

通信、合作、协同智能多媒体技术：

文字识别和输入、语言识别和输入、自然语言理解和机器翻译，图形的识别和理解，机器人视觉，智能多媒体数据库，基于内容的检索技术

把多媒体信息实时处理和压缩编码算法集成到CPU芯片中原则：压缩算法采用国际标准的设计；多媒体功能的单独解决变成集中解决；体系结构设计和算法相结合。


若干技术热点若干技术热点人机交互与多通道用户界面

语音输入手写体输入自然语言理解虚拟现实及应用

数字地球分布式虚拟现实技术基于图像绘制技术科学计算可视化及信息可视化视频分割及基于内容的视频检索

视频流分割基于内容的视频检索MPEG-4,MPEG-7标准及应用课题如点播电视视频库 CAI

信息家电多媒体网上传输的服务质量 QoS


多媒体技术和文化现象多媒体技术和文化现象一个馒头引发的血案黑客帝国终极幻想魔戒电子竞技：魔兽争霸、帝国时代等虚拟人生闪客、博客、播客即时通信 IMIP 电话


研究兴趣介绍研究兴趣介绍目前在多媒体领域的课题进展和研究兴趣基于内容的多媒体检索多媒体与模式识别：人脸、表情交互式多媒体技术 3G 中的多媒体通信技术多媒体安全技术网络游戏、数字娱乐


自由讨论和选题可能自由讨论和选题可能多媒体新技术：新一代多媒体技术多媒体技术未来趋势：超媒体以上？超越计算机世界？

多媒体与智能科学：智能多媒体技术移动多媒体技术其它技术增长点？


作业作业 11 ：课程内的选题意向：课程内的选题意向要求：

在选课后 1个月内完成分组，指定个人学习计划，教师同意后才算选题作业完成

目的：通过初步选题，落实课程内以下工作：一个专题报告（ 10－ 20页）；配套的实验一次；一次 10－ 20 分钟课堂讲座

从综述到实验、具体技术，有广度和深度，有理论和实践动手，这才是课程最终目的

建议：把注意力相对集中，在一个方向上做出好的成绩；发挥自主性和创造性，结合个人背景和兴趣，更多参与，这是本课程的特点


作业作业 22 ：多媒体学习资源调研：多媒体学习资源调研内容

多媒体创作工具：• 有哪些很有必要掌握？你最想熟练掌握哪一个？

多媒体应用热门技术• 你认为最有潜力和价值的热门技术，列举，欢迎独特见解

多媒体专业网站• 将最好的推荐给其它同学

其它你认为值得推荐的学习内容上交：发 email到教师信箱

汇总后在下一次课公布建立课程邮件列表

Documents

多媒体计算机技术 Multimedia Computing Technology