第 8 讲 多媒体技术基础

1

第 8 讲 多媒体技术基础

主讲教师：唐大仕dstang2000@263.net

http://www.dstang.com

2

多媒体技术基础

课前思考 你用过哪些多媒体设备及软件？

3

多媒体技术基础

本讲内容 多媒体计算机 多媒体信息的表示及处理 多媒体硬件 多媒体软件

4

( 一 ) 多媒体计算机

5

多媒体技术基础

多媒体技术 媒体

是信息储存、传播表现的载体 传统媒体 计算机领域中的媒体

多媒体 能同时采集、处理、编辑、存储和展示两个以上不同类

型信息媒体的技术。

6

多媒体技术基础

多媒体 特点

集成性 交互性 实时性

7

多媒体技术基础

多媒体个人计算机（ MPC ） 集声、文、图于一体具有多媒体功能的个人计算

机 发展史

1984 年， Apple 推出第一台具有多媒体特性的 Macintosh 机 1987 年引入超级卡

1986 年， Philips 和 Sony 联合推出 CD-I （ Compact Disc Interactive ）

1987 年， RCA 推出 DVI 系统（ Digital Viedo Interactive ）

MPC Ⅳ 标准

9

多媒体技术基础

多媒体计算机的标准

主频为 75MHz 以上的 Pentium 级微处理器； 内存 8MB 以上； 数据传输率为 600KB/s 的 CD-ROM 驱动器； 配有 16 位声卡且具有波表合成技术以及 MIDI 功能； 在显示输出方面，要求具备颜色空间的转换和缩放功能，能以 65535 色、

352×240 分辨率、 30 帧 / 秒播放动态视频； 硬盘容量不少于 540MB 。 操作系统软件是 Windows3.11 及更高版本或 MS-DOS6.0 及更高版本

10

多媒体技术基础

MPC 的硬件系统 主机 接口卡 存储设备 输入输出设备

11

多媒体技术基础

MPC 的软件系统 多媒体操作系统

包含了设备驱动程序 包含了多媒体设备接口处理程序（ MCI ） ）

多媒体素材 多媒体创作工具 多媒体应用系统

12

多媒体技术基础

MPC 应用领域 教育 电子出版物 信息服务 商业 娱乐 在虚拟现实中的应用

13

多媒体技术基础

( 二 ) 多媒体信息的表示及处理 音频 图像和视频 动画 超媒体

14

多媒体技术基础

音频 声音信号： 音调 20-20KHz 音色 音量

16

多媒体技术基础Figure 2-9Audio representation

17

多媒体技术基础

声音的数字化 声音数字化的三要素

采样频率 根据奈奎斯特理论，采样频率不低于声音信号最高频率的两倍。

这样就能把数字表达的声音还原成原来的声音，称为无损数字化。

采样精度 用样本值的二进制位数来表示。位数越多精度越高，数据也越大。量化等级

声道数 例： CD 音质

44.1kHz X 16 位 X 2 =176KB/s （约相当于单倍速光驱， 150KB/s ）

18

多媒体技术基础

声音的编码 ADPCM(自适应差分脉冲编码）

19

多媒体技术基础

MIDI 音乐 Musical Instrument Digital Interface 记录 音符、节拍、乐器种类及音量等

FM 合成方式 波形表合成方式

20

多媒体技术基础

图像 图像

分辨率 颜色深度 ( 位数）

如： 640＊ 480＊ 256 色 (即 8 位 ) ≈ 300k

21

多媒体技术基础矢量图 (Vector)与位图 (bitma

p)

22

多媒体技术基础

颜色表示 RGB （彩色最基本模型 , 适合于计算机系统） CYMK （ cyan/magenta/yellow/black) ，用于印刷

HSL （ hue/saturation/luminance) 适合于人的视觉

YUV (亮度、色差 ) 用于电视信号传输

23

多媒体技术基础

彩色空间—— RGB R ， G， B 分别代表红 (red) 、绿 (green) 、蓝 (blue) 三色。

彩色最基本的表示模型 通过对 R 、 G、 B 三个颜色通道的变化以及它们相互之间的叠加可得到各式各样的颜色。

24

多媒体技术基础

彩色空间—— RGB RGB 是计算机系统使用的彩色模型。

24 位真彩 当显示器可显示 256*256*256=16,777,216 种颜色

常用： RGB5 ： 5 ： 5 方式和 RGB8 ： 8 ： 8 方式。 注意： R 、 G、 B 三分量中不仅包含色彩信息，而且还

包含了亮度、饱和度 特别地，当 R=G=B 时，该象素是灰度，无颜色

更特别，当 R=G=B=0 时，该象素是黑色 当 R=G=B=255 时，该象素是白色

25

多媒体技术基础Figure 2-7

Bitmap graphic 位图

26

多媒体技术基础

彩色图的像素 pixels

27

多媒体技术基础

彩色空间—— HSI 彩色空间

用三个分量来表示一种颜色 H （ Hue ，色调） S （ Saturation ，饱和度） I （ Intensity ，光强度）

HSI彩色空间更适合人的视觉特性

28

多媒体技术基础

颜色编辑器

29

多媒体技术基础

颜色编辑器

方形区域为色度图，可对色度进行调节（包括色调和饱和度）

色调值 0 ~ 255

255

0亮度

0~255

饱和度

从

到

条形区域为亮度图，可调节亮度

30

多媒体技术基础

彩色空间—— YUV

Y为亮度信号， U（ B-Y）和 V （ R-Y）是色差信号

YUV 的最初作为电视系统信号编码 优点之一是亮度信号和色差信号分离，容易使彩色电视系统与只对亮度敏感的黑白电视机亮度信号兼容；

否则，如果用 RGB 传输，虽然黑白电视机可以正常接受彩色电视信号（只显示出黑白图像），但 YUV 系色感较均匀，当不发生偏移时色调饱和度上的变化近似相同。

中国和西欧采用的 PAL 制式电视系统就采用该空间进行传输，电视机接收到后，再转换成 RGB 空间

31

多媒体技术基础

彩色空间—— YUV 彩色空间 国际无线电咨询委员会 (CCIR) 根据实验认为，采

用双倍度采样 4 ： 2 ： 2 方案效果较好，提出了CCIR 601 标准：

——线性关系

32

多媒体技术基础

彩色空间转换： YUV<——>RGB

RGB YUV （这里系数有小的改变）　　 Y = 0.3R + 0.59G + 0.11B U = B – Y V = R – Y

显然，在视频信号采集时， RGB ；而在传送时，只传送： 一个宽频亮度信号 Y—— 包含有所有细节 二个窄频色差信号（ B-Y ， R-Y ）—— 代表彩色，经进一步处理成为 U ， V 信号

而原来，是三个宽频带的基色信号

33

多媒体技术基础

彩色空间转换： YUV<——>RGB

当接收时， YUV RGB

R = Y + Ｖ G = Y – 0.19U – 0.51Ｖ B = Y + Ｕ

34

多媒体技术基础

彩色空间—— YIQ 彩色空间 YIQ彩色空间是在广播电视系统中另一种常

用的亮度与色差分离的模型。 美国的电视系统采用 NTSC制式，其彩色空

间即为 YIQ Y是亮度， I 和 Q共同描述图像的色调和饱

和度。 YUV与 RGB 的相互关系为：

35

多媒体技术基础

视频 视频的三要素：

空间分辨率（即屏幕上的点数） 颜色分辨率（即每个点的颜色位数） 时间分辨率（即每秒的帧数）

电视： NTSC(美国、日本） 30 帧 / 秒， 525行 / 帧 PAL (西欧、中国） 25 帧 / 秒， 625行 / 帧 SECAM （俄、法）

注：电影是 24 帧 / 秒

36

多媒体技术基础

声音文件的格式（要求掌握） WAV

(Win平台） AU

(unix 平台 ) MIDI

记录MIDI 信息 MP3

它的优点是在保证音质近乎完美的情况下，文件的尺寸却非常小。

37

多媒体技术基础

图像文件的格式（要求掌握） JPEG (Joint Photographic Expert Group)

有损压缩；多用于照片 GIF (Graphics Interchange Format)

无损压缩，最多 256 色，可透明，可动画；多用于小图标 TIFF(Tag Image File Format)

未压缩或简单压缩；多用于扫描及传真 BMP (Bitmap)

Windows 中的位图，一般未压缩

38

多媒体技术基础

视频文件的格式（要求掌握） MPG

(MPEG:Motion Photographic Expert Group) AVI(Audio Video Interactive) 其他格式

39

多媒体技术基础

流媒体 流媒体文件

流媒体简单来说就是应用流技术在网络上传输的多媒体文件，而流技术就是把连续的影象和声音信息经过压缩处理后放上网站服务器，让用户一边下载一边观看、收听，而不需要等整个压缩文件下载到自己机器后才可以观看的网络传输技术。该技术先在使用者端的电脑上创造一个缓冲区，于播放前预先下载一段资料作为缓冲，于网路实际连线速度小于播放所耗用资料的速度时，播放程序就会取用这一小段缓冲区内的资料，避免播放的中断，也使得播放品质得以维持。

目前在这个领域上，竞争的公司主要有三个： Microsoft 、 Real Networks 、 Apple ，而相应的产品就是： Windows Media 、 Real Media 、 QuickTime 。

常用流式媒体格式 RM .rm .rmvb (Real格式 ) wma, asf（微软的格式）

40

多媒体技术基础

动画 什么是动画

活动的画面 动画制作

如 Flash （二维动画） 扩展名为 .swf 广泛用于网络 闪客

如 3D MAX， Maya （三维动画）

42

（三）相关硬件

43

多媒体技术基础

多媒体计算机的硬件设备 主要设备：

CD-ROM / DVD-ROM 驱动器和光盘 声卡 显卡 视频卡 显示器、音箱（耳机）、麦克风、摄像头、数码相机、

数码摄像机、扫描仪、游戏手柄等其它外设

44

多媒体技术基础

声音卡 结构与功能

声音数字处理器 DSP 混声器 合成器 波表存储器 总线接口

声卡的技术指标 采样能力 合成器、 MIDI 功能、 音效 总线类型、 标准支持、即插即用、芯片类型

45

多媒体技术基础

视频卡 视频捕获卡 视频叠加卡 MPEG解压卡 电视接收卡

46

多媒体技术基础

光盘技术 CD-ROM （ Compact Disk Read-Only Memor

y ） CD-WORM （ Write Only Read Memory ） 其他

如： CD-ETOM （ Electron Trapping Optical Memory ）

47

多媒体技术基础

CDROM 标准 CD-DA （红皮书） CD-ROM(黄皮书） VCD DVD, xDVD 其他： CD-I ， PhotoCD, CD-TV ，。。。

48

多媒体技术基础

49

多媒体技术基础

扫描仪工作原理：扫描过程中，扫描仪提供光源给图像，光线从图

像反射进扫描仪的光学系统，在此过程中不同层次的光得到调节，图像以数字形式重新组合并显示在屏幕上

扫描仪性能指标： 幅面，分辨率，颜色数，速度

50

多媒体技术基础

语音处理 实现语音处理的软硬件条件：

硬件：语音卡 (加速卡 ) 、麦克风、扬声器 软件：配套软件系统

语音技术 API:语音应用程序接口 (SR 和 TTS) SR:语音识别器 TTS: 文本—语音转换器

相关软件 中自公司的“汉王”系列 IBM公司的 ViaVoice

51

多媒体技术基础

数码像机 数码像机： Digital Camera

以 CCD 电荷耦合器或互补金属氧化物半导体 CMOS 为感光器件，将客观景物以数字方式记录在存储器中的照像机。

照片以数字文件格式存储 存储体是数字化存储器件，可重复使用 成像质量取决于 CCD 图像传感器和 A/D 转换部件

如“中国人自己的 800万－爱国者 V80” 3624×2448

52

多媒体技术基础

触摸屏 用途：多媒体信息查询 特点：直接、方便、快捷、直观、生动 实例： 1) 商场导购系统 2)火车站信息查询系统 工作原理：一种定位设备，通过一定的物理手段，使用户触摸触摸屏时，所摸的位置（以坐标形式）被控制器检测到，并通过串口或其他接口送到 CPU，从而确定用户所输入的信息

53

多媒体技术基础

触摸屏 系统组成

触摸屏控制卡 作用：从触点检测装置上接收触摸信息，将其转化为触点坐标，送给

主机，同时可接收主机发来的命令并执行 触摸检测装置

检测用户的触摸位置，并将信息传递给触摸屏控制卡。 常用介质

电阻式、电容式、红外式、压力式 电阻式：两层膜之间有网格状触点阵列，膜的压力会造成电阻变

化，从而定位压点位置 电容式：屏上有一层金属膜，触摸金属膜会使电流发生变化，从而定位压点位置

54

多媒体技术基础

存储与接口 存储

光盘、磁带、 DV带、 Memory Stick U盘、移动硬盘 闪存卡

Smart Media(SM 卡 ), Compact Flash(CF卡 ), Multi Media Card(MMC 卡 ), Secure Digital Card(SD 卡 ), Memory Stick(MS 卡 ), Extreme Digital Card(XD 卡 ), Trans Flash Card (TF卡 )

接口 USB 接口、 1394 接口 红外、蓝牙

55

（四）相关软件

56

多媒体技术基础

软件及资源 参考：

北大 BBS之multimedia 、 NetResource 、 Software 版 软件：

ftp://ftp.cs.pku.edu.cn (162.105.30.133) 推荐！ ftp://marxismdown:marxismdown@162.105.194.99/ http://edu.onlinedown.net (华军软件园 )

资源： 使用 baidu 、 google 、 sheenk 使用 maze 、 BT http://www.51music.org/ http://www.9ymp3.com/ http://bn.sina.com.cn

57

多媒体技术基础

几个小软件 * 图像抓取软件： SnagIt; FlashCam * 图像浏览软件： AcdSee * 简单动画软件： GIF Constructor; *简单动画软件 : AnimaGif * 简单 3D 动画软件： Cool3D

58

多媒体技术基础

音频相关的软件 播放器：

CD 播放器 Media Player WinAmp Real Player 超级解霸

编辑器 CoolEdit

录音机 Mp3制作、格式转换

AltoMP3 Maker CDex

59

多媒体技术基础

Windows 录音机的使用

选择【开始】→【所有程序】→【附件】→【娱乐】→【录音机】命令，会出现 Windows录音工具

单击【录音】按钮可以录音； 单击【停止】按钮可停止录音。 选择【文件】→【保存】菜单命令即可保存刚刚录制的信息。

60

多媒体技术基础

播放音乐常用软件 Winamp

播放音乐文件 添加其他文件夹中的音乐文件 保存音乐文件列表

61

多媒体技术基础

浏览图像的常用软件 ACDSee ACDSee 的安装与启动 利用图像观察器浏览图片

图片格式转换 桌面背景设置

利用图像浏览器管理图片文件 图片文件的复制、移动、重命名和格式转换

屏保和幻灯演示文件的制作

62

多媒体技术基础

图像图形处理软件 图像处理

PhotoShop PhotoDraw PhotoDeluxe PhotoExpress

图形处理 Firework FreeHand

63

多媒体技术基础

PhotoShop

菜单栏 工具箱 控制面板 工作区 状态栏

64

多媒体技术基础

动画处理软件 二维动画 Flash

Macromedia Flash 现已被 Adobe收购

三维动画 3D Max Maya

65

多媒体技术基础

视频处理软件 播放：

Windows Media Player, RealOne, 金山影霸 ,DivXPro, HappyShow, Media Player Classic

QuickTime, DivX解码器及 mpeg4 、 ac3相关插件 编辑、制作、转换：

Premiere, VirtualDub， EoVideo, helix producer RealProduce, Easy Video Joiner No1 Vedio Convertor

66

多媒体技术基础

媒体播放器 Windows Media Player

视频方面支持 .avi 、 .mpg 、 .asf和 VCD 、 DVD光碟 音频方面支持 .mp3 、 .wav 、 MIDI 以及 CD光碟播放 选择【文件】→【打开】菜单命令，在弹出的对话框中选择需要播放的文件即可

67

多媒体技术基础

其它常用的视频播放工具 RealPlayer

可以播放 .rm 和 .rmvb格式的视频文件 (流媒体 ) 豪杰超级解霸

主要用于播放 VCD/DVD光碟，此外还支持 CD 、 mp3等上百种影音格式的播放

Media Player Classic 我常用的一款播放软件，支持多种格式

68

多媒体技术基础

光盘相关软件 光盘刻录： Nero 虚拟光驱： daemon ，金山模拟光驱 光盘文件制作： WinISO

文件名 .bin 或 .iso

69

多媒体技术基础

网络上的多媒体资源 网络上有丰富的资源

可通过 http 、 ftp 、 bt 、 maze等多种工具下载

DVD下载中心 http://202.112.10.43 流媒体下载工具：

StreamBox, Woof, FlashGet, NetTransport, Pubdl Offline Explorer

70

多媒体技术基础

多媒体的共享 : P2P 如 www.ppcn.net BT (BitTorrent)

www.btchina.net www.manfen.net Maze

maze.pku.cn eDonkey, eMule Napster, ezPeer, KuroM3, KuGoo

71

多媒体技术基础

流媒体下载 大多数流媒体文件都不提供直接的下载方式，需

要用特殊的软件。如： Streambox vcr Net Transport

72

多媒体技术基础

多媒体创作工具 Authorware ToolBook Director Action! 方正奥思

73

(五 ) 多媒体技术前沿（了解）

74

多媒体技术基础

数据压缩数据压缩可分成两种类型，一种叫做无损压缩，另一种叫做有损压缩。

无损压缩是指使用压缩后的数据进行重构 ( 或者叫做还原，解压缩 ) ，重构后的数据与原来的数据完全相同；无损压缩用于要求重构的信号与原始信号完全一致的场合。一个很常见的例子是磁盘文件的压缩。根据目前的技术水平，无损压缩算法一般可以把普通文件的数据压缩到原来的 1/2～ 1/4 。一些常用的无损压缩算法有霍夫曼 (Huffman) 算法和 LZW(Lenpel-Ziv & Welch)压缩算法。

有损压缩是指使用压缩后的数据进行重构，重构后的数据与原来的数据有所不同，但不影响人对原始资料表达的信息造成误解。有损压缩适用于重构信号不一定非要和原始信号完全相同的场合。

75

多媒体技术基础

信息冗余 统计冗余 编码冗余 结构冗余 视觉冗余

76

多媒体技术基础

数据压缩的方法简介 统计编码

如：霍夫曼编码 游程长度编码 基于字典： LZW

预测编码 如：序列量化 变换编码 如： DCT（离散余弦变换）

分析综合编码 如：特征抽取

77

多媒体技术基础

压缩工具 WinRAR 的操作 压缩：

选中一个或多个文件、文件夹，点右键 解压缩

选中 .rar 文件，点右键 或：双击打开，然后进行文件的拖放操作

还可以创建自释放文件 (exe 文件 )

78

多媒体技术基础

多媒体的新技术 大容量信息的光盘存储技术 多媒体数据库及数据检索 多媒体通信和网络化技术

超媒体 = 超级链接 +多媒体 虚拟现实技术 (Virtual Reality)

语言 VRML 数字地球

国家信息基础设施 NII 全球信息基础设施 GII 数字地球 DE

79

多媒体技术基础

INTERNET电话多媒体电话电话通话方式：声音、视频、图像、文字

因特网

PSTN PSTN因特网

因特网 PSTN

网络电话

80

多媒体技术基础

INTERNET电话

Internet PhoneInternet Phone 可以使任何一 位 Internet 互联网上装备有声卡的多媒体电脑用户拨叫国际长途电话。

Net2PhoneNet2Phone 、、 MediaRingMediaRing 、、 CollTalkCollTalk 、、 NetMeetingNetMeeting

网络电话

81

多媒体技术基础

网络电视 iptv.pku.edu.cn http://tv.qq.com 其他网络电视工具

如 FireTV

82

多媒体技术基础

本章小结 多媒体概述 多媒体信息的表示及处理 多媒体硬件 多媒体软件

83

多媒体技术基础

要点：多媒体文件格式 图片文件

Jpeg, gif, tiff, bmp, wmf 声音文件

Wav, midi, mp3, rm ， wma 视频文件

从现实世界采集，经过数字化处理得到 Avi, mpeg, asf, rm, mov

动画文件 由计算机生成 Avi, Gif, flic, swf(Flash 文件）

84

多媒体技术基础

要点：相关软件 播放

Windows Media player RealOne Player Winamp Acdsee( 图片）

制作 Photoshop Authorware Flash mx 视频处理软件

工具 SnagIt ，屏幕录像专家 P2P下载 StreamBox, NetTransport