多媒体技术Multimedia Technology

全校公选课： 3*12=36 学时， 2 学分研究生选修课： 3*18=54 学时， 3 学分

电子课件： http://sist.sysu.edu.cn/~isscwli

纸质教材：李才伟 . 多媒体技术基础 . 清华大学出版社 / 北京交通大学出版社， 2009.9.

成绩：考勤答问 5% + 平时作业 15% + 大作业 20%+ 期末考试（开卷笔试） 60%

课程要求• 内容：多媒体技术的内容丰富且应用广泛。

通过本课程的学习，掌握各种媒体 ( 文、声、图、像、动画、视频 ) 的性质；掌握多媒体数据的压缩算法、编码标准与存储格式；了解光存储和多媒体网络通信等技术；了解超文本的概念与模型；了解多媒体技术的主要应用。

• 重点：数据压缩、编码标准、标记语言（网页设计） [ 、开发编程 ] 。

参考书• 林福宗 . 多媒体技术基础 (第 3版 ). 清华大学出

版社， 2009.1.• 李泽年、 Mark S. Drew. 多媒体技术教程 . 机械

工业出版社， 2007.1.• Tay Vaughan. 多媒体技术及其应用（第 6 版） .

清华大学出版社， 2004.11• 鄂大伟 . 多媒体技术基础与应用（第二版） . 高

等教育出版社， 2003.9.• 钟玉琢等 . 多媒体技术基础及应用 . 清华大学出

版社， 2000.8.• Ralf Steinmetz & Klara Nahrstedt. 多媒体原理

（第一册）媒体编码及内容分析 . 电子工业出版社， 2003.8.

作业要求• [ 编程工具： Visual C++ 或 Java、 VB、 C#等 ]• 提交的作业内容：（说明文档占作业成绩的 30% 以

上）– 说明性文档：姓名、学号、章节，题目的名称、内容和要求，

使用的算法、方法和技术，程序的模块、功能和使用方法、界面 / 结果画面、参考文献、心得体会。（电子文档，老Word 格式 [.doc 文件 ] ）

– 源程序：工作区与项目文件 (*.sln 与 *.vcproj) 、头文件 (*.h) 、代码文件 (*.cpp) 、资源文件 (*.rc) 等文件及资源目录 res 、数据文件、可执行文件的发行版。（不要其他中间文件及整个Debug 子目录和 Release 子目录中的非可执行文件） ]

– 注意：作业包名应该包含自己的学号、姓名，及与作业内容相关的文字串（如“ 12380123 张三 - 文字 .rar” 、“ 13380124 李四 - 压缩 .rar” 、“ 14380125 王五 -网页 .zip” ）

• 提交作业的方式：将作业打包后作为电子邮件附件，发到我的邮箱 isscwli@mail.sysu.edu.cn 。

• 交平时作业的时间：布置作业后一周之内

第 1 章 引论• 1.1 媒体与多媒体

– 媒体、多媒体• 1.2 多媒体技术

– 概念、主要特点、定义• 1.3 意义、简史与内容

1.1 媒体与多媒体 • 多媒体技术 = 多种 + 媒体 + 技术• 媒体

– 媒体 (medium) = 信息的载体 ( 复数 media)– 1993 年国际电信联盟 (ITU = International

Telecommunication Union) 定义了五种媒体– 本课程所说的媒体是指感觉媒体– 计算机 ( 多媒体技术 ) 所处理的媒体主要是表示媒

体

国际电信联盟 ITU 定义的五类媒体• 感觉 (Perception) 媒体：人的感官能感觉到的东西，

如声音、文字、图像、质地、气味、温度、压力等；• 表示 (Representation) 媒体：为了加工感觉媒体而构造出来的一种媒体，如各种编码。即感觉媒体的数字化编码（人造媒体），如各种媒体文件；

• 展现 (Presentation) 媒体：感觉媒体与通信电信号进行转换的一类媒体，它又可分为：输入展现媒体，输出展现媒体。即 I/O 工具与设备；

• 存储 (Storage) 媒体：用于存放表示媒体的物理实体，如：纸、唱片、录音带、录像带、胶片，内存、硬盘、光盘、磁带等；

• 传输 (Transmission) 媒体： 用来将表示媒体从一处传送到另一处的物理传输介质，如通信电缆、光纤、电磁空间等。

多媒体• 多媒体：多种媒体（文本、图形、图像、声音、动画、视频等）的综合。

• 计算机技术的发展（处理对象）：操作系统：无OS DOS/Unix MacOS/Windows/X-Window

Linux/iOS/Android

编程语言： Fortran COBOL Basic/C C++/Java/C#/Objective-C

处理数据：数字 字符 图形 多媒体适用对象：专家 商用 通用 人性化

人类接受外部信息的途径与所占的百分比

感觉（感官） 百分比

视觉（眼） 80%

听觉（耳） 10%

嗅觉（鼻）味觉（舌）触觉（皮肤）

10%

Ted Nelson ：“我们居身在媒体世界里就像鱼生活在水中”

媒体的种类 • 目前的计算机主要处理 6 种视觉和听觉媒体：文

本、图形、图像、声音、动画、视频等。• 气味（嗅觉）和压力（触觉）媒体（平版电脑和智能手机的触摸屏主要用作输入设备）也有少量应用（如仿真影院、游戏操纵杆、虚拟现实等），但不太普及；味觉媒体至今仍未见应用；所以，这些媒体种类本课程将不予讨论。

• 可以依据是否与时间相关，将媒体分成如下两类：– 静态媒体（离散媒体 / 非时基媒体）：与时间无关的媒

体，如文本、图形、图像；– 流式媒体（连续媒体 / 时基媒体）：与时间有关的媒体，

如声音、动画、视频。该类媒体有实时和同步等要求。

1.2 多媒体技术1.2.1 概念的抽象层次： 哲学 / 信念 ( 社科 ) | 科学 / 研究 ( 理科 ) | 工程 / 应用（工科）

主义—思想— 理论—方法—技术—工艺— 产品 信仰 观念 体系 算法 应用 操作 生产 • 技术：方法的应用，理论性不强、实用性强• 多媒体技术：没有自己的成套理论，是各种相关方

法的综合应用。为计算机应用学科的一个分支。 • 定义：计算机综合处理多种媒体信息，使多种信息建立逻辑连接，集成为一个系统并且具有交互性的一种技术。（至今无严格统一的定义）

1.2.2 多媒体技术的主要特点(1) 多样性：多种媒体、丰富感觉(2) 集成性：多种媒体信息与技术设备的综合集成与同步

(3) 交互性：人机交互、主动参与[(4) 实时性：流媒体（音频 / 动画 / 视频） ]• 传统电视符合 (1)(2)(4) ，但不符合 (3) • 数字电视全符合多媒体的其他特点：数字化、数据量巨大

（所以数据压缩是多媒体的核心技术）

1.3 意义、简史与内容1.3.1 多媒体技术的意义• 人类最重要的三大资源：材料（物质）、能源

（动力）、信息（数据）• 信息技术的五飞跃：印刷术、广播电视、计算机、

多媒体、因特网（万维网）• 信息环境 E = 多媒体 m * 计算机 c * 通信 c （ ~ 质能公式 E = mc2 ）

• 信息时代计算机的发展方向：智能（聪明） + 多媒体（人性化） + 网络（便

捷） = 智能手机 /普适计算？

1.3.2 多媒体技术的简史下面从图形用户界面、光存储、多媒体系统、压缩编码标准、网络与标记语言等几个方面来介绍多媒体技术的发展简史。

• 图形用户界面：– 1950年MIT 的林肯实验室推出 CRT显示器– 1963年 Douglas Engelbart 发明鼠标， 1968 年他公开演

示视窗与人机界面、超媒体和群件– 1972年 Alan Kay 设计出面向对象的 Smalltalk 语言，首创下拉式菜单，提出 GUI 概念

– 1973 年施乐 Xerox 公司的 PARC 研究中心推出具有图形用户界面（键盘 +显示器 / 鼠标 +位图）的原型机 Alto

– 1982 年多伦多大学发明感应食指指压的多点触控（ multi-touch ）屏幕。 1984 年贝尔实验室研制出一种能够以多于一只手控制改变画面的触屏

– 1984年 Apple 公司推出 Macintosh 计算机 (Motorola 6800) ，在微机中引入图形界面； 1987年 8月 Apple 公司在Mac 机中引入超级卡 HyperCard系统，使其成为多媒体计算机

– 1985年MIT推出 X-Window（ Unix 的图形界面）– 1985年 11月Microsoft推出 Windows 1.0（ PC 机的图形

界面）， 1990年 5月Windows 3.0获得成功， 1992年 4月推出多媒体操作系统 (MOS) Windows 3.1， 1999 年推出具有流媒体功能的 MOS Windows 2000， 2006年 11月推出具有 3D 用户界面的 Windows Vista （远景）， 2012年10月推出支持Metro卡片界面与多点触控的 Windows 8

– 2005年 9月 17日日本的任天堂公司发布了 Wii游戏机的Wii遥控器，支持指向定位与动作感应

– 2007年 1月 Apple推出支持多点触控的智能手机 iPhone ，大获成功，开创了智能手机的新时代

– 2008年 4月 17日Microsoft推出支持多点触控和声音指令的 Surface 技术

– 2009年 6月 2日索尼公司推出了针对其 PlayStation 3 (PS3) 游戏机的 PlayStation Move控制器，配合PlayStation Eye 可提供了六轴感应、振动及体感功能

– 2010年 11月 4日微软推出针对其 Xbox 360游戏机的体感设备 Kinect for Xbox 360 ，不需要手持或踩踏控制器，可使用语音指令或手势来操作游戏机界面，并能捕捉玩家全身上下的动作，用身体来玩游戏。 2012年 2月 1日又推出面向Windows的 Kinect 版本“ Kinect for Windows”

– 2011年 10月 14日 Apple推出同时支持多点触控和智能语音指令的 iPhone 4S

– 2013年 3月 14日三星推出的 Galaxy S4智能手机，支持悬浮操作和眼球控制

– 2015年 4月 10日和 24日苹果先后发布了支持压力感应触控的 MacBook 笔记本电脑和 Apple Watch智能手表， 2015年 9月 9日苹果又发布了支持压力感应触控（ 3D Touch ）的 iPhone 6S智能手机。 2015年 9月 2日中国的华为公司抢在苹果公司之前发布了采用压感屏幕技术的智能手机 Mate S

体感输入设备• 任天堂的 Wii遥控器

• 索尼的 PS运动控制器

• 微软的 Kinect

• 光存储：– 1981年 Philips & Sony 推出 CD-DA ；– 1985年 Philips & Sony 推出 CD-ROM ；– 1993年 JVC、 Philips、Matsushita、 Sony 联合推出

VCD ；– 1995年 9月 Sony & Philips / Toshiba & Time Warner推出 DVD ；

– 2002年 2月索尼等 9 个公司提出蓝光盘 BD(Blu-ray Disc) ，单层 25GB/双层 50GB/ 四层 100GB/八层 200GB ；

– 2005年 2月 23日 EVD 成为中国电子行业推荐性标准（采用 DVD-9介质和新压缩算法，可实现全高清1920×1080i 的视频编码与重放）；

– 2009年 12月 17日 蓝光光盘协会 (BDA)正式宣布完成Blu-ray 3D 标准的制定；

– 2015年 5月 12日 BDA 发布 Ultra HD Blu-ray 标准，支持4K 分辨率（ 4096*2160 ）的视频、采用 H.265/HEVC 编码、 50/66/100GB蓝光盘的数据率为 80/108/128Mbps ，计划于 2015 年圣诞节推出 4K-BD 机。

• 压缩编码标准：– 1986年 CCITT与 ISO 成立 JPEG(Joint

Photographic Experts Group ，联合图象专家组 )• 1991 年公布静态图像压缩标准 JPEG(ISO/IEC 10918)• 2000年 12月公布 JPEG 2000(ISO/IEC 15444)

– 1988 年成立MPEG(Moving Picture Expert Group ，运动图像专家组 ) ： (MPEG1/2 的视频压缩率为30倍左右 )

• 1992年 11月推出 MPEG-1(ISO/IEC 11172)• 1994年 11月推出 MPEG-2(ISO/IEC 13818)• 1998年 10月推出 MPEG-4(ISO/IEC 14496)• 2001年 9月推出 MPEG-7(ISO/IEC 15938)• 2001年 12月开始推出 MPEG-21 (ISO/IEC 21000)

– 1996年 10月W3C推出静态图像编码标准 PNG ；

– 2001年 12月MPEG与 ITU-T的 VCEG共同成立的JVT (Joint Video Team ，联合视频组 ) ：

• 2003年 5月推出了视频编码标准 H.264/AVC（ Advanced Video Coding ，先进视频编码），对应于MPEG-4 的第10部分 AVC（ ITU-T H.264、 ISO/IEC 14496-10 ），其压缩率是 MPEG1/2的 3倍左右

• 2013年 4月 13日又推出了压缩比是 H.264/AVC的 2倍左右的视频编码标准 H.265 ，对应于MPEG-H 的第 2部分HEVC（ High Efficiency Video Coding ，高效视频编码）（ ITU-T H.265、 ISO/IEC 23008-2 ）

– 2006年 2月 22日中国公布先进音视频编码国家标准AVS（ Audio Video coding Standard ，音视频编码标准）的视频部分（ GB/T 20090.2-2006 ）

– 2009年 7月 AVS与 H.264/AVC和 VC1被 ITU并列为 IPTV 的三大视频编码标准

– 2011年 6月 AVS 成为我国数字电视接收机唯一必须支持的视频编码标准

– 2012年 7月支持 3D 高清视频编码的 AVS+ 的第一部分成为广电行业标准 GY/T 257-2012

– 2012年 12月 31日公布 AVS 的系统部分（ GB/T 20090.1-2012 ）、符合性测试部分（ GB/T 20090.4-2012 ）和参考软件部分（ GB/T 20090.5-2012 ）

– 2014年 8月支持超高清视频编码的第二代AVS 标准—— AVS2 的制订工作已经完成，现在正在公开征求意见

• 网络与标记语言：– 1983 年因特网的前身 ARPANet启用 TCP/IP协议集；– 1989年 Tim Berners-Lee 提出 HTML/HTTP ，创立万维网；

1994 年他又牵头成立万维网协会 W3C ；– 1990年 Tim Berners-Lee发明了首个（只支持文本的）网页浏览器WorldWideWeb

– 1993 年初， Marc Anderressen与 Eric Bina合作开发出支持内嵌图像的网页浏览器马赛克（ Mosaic ）， 1994年 10月 Anderressen 等人创办的网景公司 Netscape推出了Navigator浏览器； 1995 年网景公司的 Brendan Eich 发明了 JavaScript ，为网页浏览器提供了脚本功能和动态能力； 1998年 2月 23日 Netscape推出了开源项目Mozilla， 2002年 9月 23日推出 Mozilla Fixfox （火狐）浏览器；

– 1995 年微软公司购得马赛克技术，并在此基础上开发出 IE（ Internet Explorer ，因特网探索者）浏览器，随Windows 95免费推出；

– 1995年 Opera 公司开发出 Opera （歌剧）浏览器；– 1998年 2月W3C推出 XML ；接着W3C又推出基于 XML 的系列应用标准，如 SMIL( 多媒体集成， 1998年 6月 )、 XHTML （网页描述， 2000年 1月）、 SVG( 二维矢量图与动画， 2000年 9月 ) 等；

– 2003年 1月 7日苹果公司推出的 Safari （游猎）浏览器；– 2008年 9月 2日谷歌在Mozilla 的基础上开发出 Google

Chrome （铬）浏览器；– 2014年 10月 28日， W3C推出了替代 HTML4和 XHTML1的 HTML5 标准，引入了许多新特性和新元素。 HTML5 的新增特性和功能主要有：多媒体（ SVG 、画布、音视频）、文档排版、地理定位、本地存储、 API/DOM 交互等；

– 2015年 7月 29日微软公司随Windows 10推出的 Edge （边缘、锋利、刀刃）浏览器。

• 移动电话通信标准：– 1976 年美国摩托罗拉的工程师

Martin Cooper首先将无线电应用于移动（蜂窝）电话；

– 1978 年底美国贝尔试验室研制成功了全球第一个移动蜂窝电话系统 AMPS ；

– 1G （第一代移动通信技术）——是采用模拟通信技术的蜂窝无线电话系统，只能进行语音通话。首个商用自动蜂窝网络由日本电报电话公共公司于 1979 年推出。中国首个 1G系统由中国电信于1987年 11月 18日在广东第六届全运会上开通并正式商用；

蜂窝网络（ cellular network ）

模拟手机（大哥大）

– 2G （第二代移动通信技术）——采用数字无线电技术组成的数字蜂窝移动通信系统，引进了短信技术。 2G 技术以 GSM和 CDMA 为主。首个商用的 2G系统是 Radiolinja于 1991年 7月在芬兰推出的基于GMS 标准的蜂窝电信网络。 GSM 的最大数据通信速度为9.6kbps。 1993年 9月浙江嘉兴中国电信的 GSM 网正式向公众开放使用，成为中国第一个 2G系统；

– 2.5G ( 第二点五代移动通信技术 )—— 是从 2G到 3G 的过度技术，相比 2G服务， 2.5G无线技术可以提供更高的速率和更多的功能，如增加了接收数据功能（如接收电子邮件或 WAP/WML无线网页）。 2.5G的关键技术为 GPRS 包交换数据，可在 GSM 网络上提供高速分组通信服务，传输速度可达 115Kbps； 2002年 5月 17日中国移动率先在全国范围内正式推出 GPRS 业务；

– 3G （第三代移动通信技术）——与 2G和 2.5G最大的不同是提高了数据传输速度（≥ 200kbps ）并增加了 Web 网页浏览和流媒体数据传输和处理等新服务。 2000年 5月 ITU正式确定第三代移动通信标准为欧洲的 W-CDMA （上下行速率 5.75Mbps/14.4Mbps ）、美国的CDMA2000 （上下行速率 153Kbps/ 2.4Mbps 1.8Mbps/3.1Mbps ）和中国的 TD-SCDMA （上下行速率 128/ 384Kbps & 2.8Mbps ）， 2007年 10月又增加了 WiMAX 。首个商用 3G系统是由日本的 NTT DoCoMo 公司于 2001年 10月 1日推出的 WCDMA 网络。 2009年 1月 7日工信部发放了 3张 3G牌照：中国移动的 TD-SCDMA 、中国电信的 CDMA2000 、中国联通的 WCDMA ；

– 4G （第四代移动通信技术）——与 3G最大的不同是传输速率的提高，达到 100Mbps级（似以太网卡），需要有线骨干（光纤）网支撑。 2012年 1月 18日 ITU确定 3GPP的 LTE-Advanced 和北美的 WirelessMAN-Advanced 技术规范为 4G 国际标准，中国主导制定的 TD-LTE （上下行速率 50Mbps/ 100Mbps ）和欧洲的FDD-LTE （上下行速率 40Mbps/150Mbps ）为 LTE-Advance 的两种具体制式。最早出现的（准） 4G系统是 2007 年韩国的Mobile WiMAX和 2009 年挪威首都奥斯陆与瑞典首都斯德哥尔摩的 LTE。 2010 年是海外主流运营商规模建设 4G 的元年。 2013年 12月 4日工信部向中国移动、中国电信、中国联通正式发放4G的 TD-LTE牌照， 2015年 2月 27日工信部又向中国电信和中国联通发放了 4G的 FDD-LTE牌照；

– 5G （第五代移动通信技术）——正在研发的下一代移动通信技术，主要目的是提高传输速率到 1Gbps 以上。韩国三星电子正在研制 1Gbps的 5G 、日本电信营运商 NTT DoCoMo正在研制10Gbps的 5G 、中国的华为计划研制 20Gbps的 5G、 2015年3月英国已研制出 128GB/s（ 1Tbps ）的 5G 技术。 2015年 9月 7日美国移动运营商 Verizon无线公司宣布，将从 2016 年开始试用 5G 网络， 2017 年在美国部分城市全面商用。

• USB 标准—— USB （通用串行总线）是一个外部总线标准，用于规范计算机与外部设备的连接和通讯，支持设备的即插即用和热插拔功能，理论上一个 USB接口可连接多达 127 个外设；– USB 1.0——1996年 1月推出，传输速率为

1.5Mbps(192KB/s)~12Mbps (1.5MB/s) ；– USB 1.1——1998年 8月推出，最大传输速率为

12Mbps(1.5MB/s) ；– USB 2.0——2000年 4月推出，最大传输速率为

480Mbps(60MB/s) ；– USB 3.0——2008年 11月推出，最大传输速率为

5Gbps(640MB/s) ；– USB 3.1——2013年 7月推出，最大传输速率为

10Gbps(1.25GB/s) 。

1.3.3 多媒体技术的内容• 多媒体技术的内容广泛，涉及多个学科和领域。多媒体技

术的教材的内容选取和编排也各不相同，主要分为两类：– 应用型——简单介绍媒体的基本属性，重点讲解各种用户级的多

媒体素材和著作工具软件的使用，如 Photoshop、 Corel Draw 、 Flash、 3DS Max、MediaStudio、 Premiere、 Dreamwave、Fireworks 等；

– 原理型——也介绍各类媒体的基本属性和多媒体的主要应用，但重点放在压缩算法、编码标准和设备系统；

本课程属于原理型，但增加了编程开发和网页设计部分。• 主要内容

– 表示：媒体（文、声、图、动画、视频）、编码 / 压缩 / 标准、超文本 / 超媒体、存储（媒体文件、光存储）

– 应用：编程 / 开发、标记语言 / 网页设计、著作工具、应用

目录• 第 1 章 引论• 第一篇 媒体

第 2 章 文字 第 3 章 音频 第 4 章 图形与图像 第 5 章 动画 第 6 章 视频与编码标准

• 第二篇 压缩与编码第 7 章 压缩与熵编码 第 8 章 JPEG 编码第 9 章 MPEG 编码 第 10 章 H.264/AVC与 H.265/HEVC

编码第 11 章 AVS 视频编码

• 第三篇 多媒体开发与编程第 12 章 多媒体开发与音视频播放开发与第 13 章 MCI和MMAPI 编程 第 14 章 DirectX 编程简介

• 第四篇 标记语言第 15 章 超文本与标记语言 第 16 章 HTML第 17 章 JavaScript 第 18 章 XML入门 第 19 章 HTML5

• 第五篇 其他第 20 章 光存储 第 21 章 网络与多媒体 第 22 章 多媒体应

用

复习思考题• ITU 定义了哪五类媒体？多媒体中所说的媒

体是其中的什么媒体？计算机所处理的又是什么媒体？

• 目前多媒体所能处理的有哪些具体媒体对象？它们被分为哪两类？

• 多媒体技术的特点有哪些？为什么传统电视不是多媒体？举出几种常见的多媒体系统和设备。

• 多媒体的核心技术是什么？