第 8 讲多媒体技术基础

1

第 8 讲多媒体技术基础

主讲教师：唐大仕[email protected]

http://www.dstang.com

mailto:[email protected]

http://www.dstang.com/

2

多媒体技术基础

课前思考你用过哪些多媒体设备及软件？

3


本讲内容多媒体计算机多媒体信息的表示及处理多媒体硬件多媒体软件

4

( 一 ) 多媒体计算机

5


多媒体技术媒体

是信息储存、传播表现的载体传统媒体计算机领域中的媒体

多媒体能同时采集、处理、编辑、存储和展示两个以上不同类

型信息媒体的技术。

6


多媒体特点

集成性交互性实时性

7


多媒体个人计算机（ MPC ）集声、文、图于一体具有多媒体功能的个人计算

机发展史

1984 年， Apple 推出第一台具有多媒体特性的 Macintosh 机 1987 年引入超级卡

1986 年， Philips 和 Sony 联合推出 CD-I （ Compact Disc Interactive ）

1987 年， RCA 推出 DVI 系统（ Digital Viedo Interactive ）

MPC Ⅳ 标准

9


多媒体计算机的标准

主频为 75MHz 以上的 Pentium 级微处理器；内存 8MB 以上；数据传输率为 600KB/s 的 CD-ROM 驱动器；配有 16 位声卡且具有波表合成技术以及 MIDI 功能；在显示输出方面，要求具备颜色空间的转换和缩放功能，能以 65535 色、

352×240 分辨率、 30 帧 / 秒播放动态视频；硬盘容量不少于 540MB 。操作系统软件是 Windows3.11 及更高版本或 MS-DOS6.0 及更高版本

10


MPC 的硬件系统主机接口卡存储设备输入输出设备

11


MPC 的软件系统多媒体操作系统

包含了设备驱动程序包含了多媒体设备接口处理程序（ MCI ））

多媒体素材多媒体创作工具多媒体应用系统

12


MPC 应用领域教育电子出版物信息服务商业娱乐在虚拟现实中的应用

13


( 二 ) 多媒体信息的表示及处理音频图像和视频动画超媒体

14


音频声音信号：音调 20-20KHz 音色音量

16

多媒体技术基础Figure 2-9Audio representation

17


声音的数字化声音数字化的三要素

采样频率根据奈奎斯特理论，采样频率不低于声音信号最高频率的两倍。

这样就能把数字表达的声音还原成原来的声音，称为无损数字化。

采样精度用样本值的二进制位数来表示。位数越多精度越高，数据也越大。量化等级

声道数例： CD 音质

44.1kHz X 16 位 X 2 =176KB/s （约相当于单倍速光驱， 150KB/s ）

18


声音的编码 ADPCM(自适应差分脉冲编码）

19


MIDI 音乐 Musical Instrument Digital Interface 记录音符、节拍、乐器种类及音量等

FM 合成方式波形表合成方式

20


图像图像

分辨率颜色深度 ( 位数）

如： 640＊ 480＊ 256 色 (即 8 位 ) ≈ 300k

21

多媒体技术基础矢量图 (Vector)与位图 (bitma

p)

22


颜色表示 RGB （彩色最基本模型 , 适合于计算机系统） CYMK （ cyan/magenta/yellow/black) ，用于印刷

HSL （ hue/saturation/luminance) 适合于人的视觉

YUV (亮度、色差 ) 用于电视信号传输

23


彩色空间—— RGB R ， G， B 分别代表红 (red) 、绿 (green) 、蓝 (blue) 三色。

彩色最基本的表示模型通过对 R 、 G、 B 三个颜色通道的变化以及它们相互之间的叠加可得到各式各样的颜色。

24


彩色空间—— RGB RGB 是计算机系统使用的彩色模型。

24 位真彩当显示器可显示 256*256*256=16,777,216 种颜色

常用： RGB5 ： 5 ： 5 方式和 RGB8 ： 8 ： 8 方式。注意： R 、 G、 B 三分量中不仅包含色彩信息，而且还

包含了亮度、饱和度特别地，当 R=G=B 时，该象素是灰度，无颜色

更特别，当 R=G=B=0 时，该象素是黑色当 R=G=B=255 时，该象素是白色

25

多媒体技术基础Figure 2-7

Bitmap graphic 位图

26


彩色图的像素 pixels

27


彩色空间—— HSI 彩色空间

用三个分量来表示一种颜色 H （ Hue ，色调） S （ Saturation ，饱和度） I （ Intensity ，光强度）

HSI彩色空间更适合人的视觉特性

28


颜色编辑器

29


颜色编辑器

方形区域为色度图，可对色度进行调节（包括色调和饱和度）

色调值 0 ~ 255

255

0亮度

0~255

饱和度

从

到

条形区域为亮度图，可调节亮度

30


彩色空间—— YUV

Y为亮度信号， U（ B-Y）和 V （ R-Y）是色差信号

YUV 的最初作为电视系统信号编码优点之一是亮度信号和色差信号分离，容易使彩色电视系统与只对亮度敏感的黑白电视机亮度信号兼容；

否则，如果用 RGB 传输，虽然黑白电视机可以正常接受彩色电视信号（只显示出黑白图像），但 YUV 系色感较均匀，当不发生偏移时色调饱和度上的变化近似相同。

中国和西欧采用的 PAL 制式电视系统就采用该空间进行传输，电视机接收到后，再转换成 RGB 空间

31


彩色空间—— YUV 彩色空间国际无线电咨询委员会 (CCIR) 根据实验认为，采

用双倍度采样 4 ： 2 ： 2 方案效果较好，提出了CCIR 601 标准：

——线性关系

32


彩色空间转换： YUV<——>RGB

RGB YUV （这里系数有小的改变）　　 Y = 0.3R + 0.59G + 0.11B U = B – Y V = R – Y

显然，在视频信号采集时， RGB ；而在传送时，只传送：一个宽频亮度信号 Y—— 包含有所有细节二个窄频色差信号（ B-Y ， R-Y ）—— 代表彩色，经进一步处理成为 U ， V 信号

而原来，是三个宽频带的基色信号

33


彩色空间转换： YUV<——>RGB

当接收时， YUV RGB

R = Y + Ｖ G = Y – 0.19U – 0.51Ｖ B = Y + Ｕ

34


彩色空间—— YIQ 彩色空间 YIQ彩色空间是在广播电视系统中另一种常

用的亮度与色差分离的模型。美国的电视系统采用 NTSC制式，其彩色空

间即为 YIQ Y是亮度， I 和 Q共同描述图像的色调和饱

和度。 YUV与 RGB 的相互关系为：

35


视频视频的三要素：

空间分辨率（即屏幕上的点数）颜色分辨率（即每个点的颜色位数）时间分辨率（即每秒的帧数）

电视： NTSC(美国、日本） 30 帧 / 秒， 525行 / 帧 PAL (西欧、中国） 25 帧 / 秒， 625行 / 帧 SECAM （俄、法）

注：电影是 24 帧 / 秒

36


声音文件的格式（要求掌握） WAV

(Win平台） AU

(unix 平台 ) MIDI

记录MIDI 信息 MP3

它的优点是在保证音质近乎完美的情况下，文件的尺寸却非常小。

37


图像文件的格式（要求掌握） JPEG (Joint Photographic Expert Group)

有损压缩；多用于照片 GIF (Graphics Interchange Format)

无损压缩，最多 256 色，可透明，可动画；多用于小图标 TIFF(Tag Image File Format)

未压缩或简单压缩；多用于扫描及传真 BMP (Bitmap)

Windows 中的位图，一般未压缩

38


视频文件的格式（要求掌握） MPG

(MPEG:Motion Photographic Expert Group) AVI(Audio Video Interactive) 其他格式

39


流媒体流媒体文件

流媒体简单来说就是应用流技术在网络上传输的多媒体文件，而流技术就是把连续的影象和声音信息经过压缩处理后放上网站服务器，让用户一边下载一边观看、收听，而不需要等整个压缩文件下载到自己机器后才可以观看的网络传输技术。该技术先在使用者端的电脑上创造一个缓冲区，于播放前预先下载一段资料作为缓冲，于网路实际连线速度小于播放所耗用资料的速度时，播放程序就会取用这一小段缓冲区内的资料，避免播放的中断，也使得播放品质得以维持。

目前在这个领域上，竞争的公司主要有三个： Microsoft 、 Real Networks 、 Apple ，而相应的产品就是： Windows Media 、 Real Media 、 QuickTime 。

常用流式媒体格式 RM .rm .rmvb (Real格式 ) wma, asf（微软的格式）

40


动画什么是动画

活动的画面动画制作

如 Flash （二维动画）扩展名为 .swf 广泛用于网络闪客

如 3D MAX， Maya （三维动画）

42

（三）相关硬件

43


多媒体计算机的硬件设备主要设备：

CD-ROM / DVD-ROM 驱动器和光盘声卡显卡视频卡显示器、音箱（耳机）、麦克风、摄像头、数码相机、

数码摄像机、扫描仪、游戏手柄等其它外设

44


声音卡结构与功能

声音数字处理器 DSP 混声器合成器波表存储器总线接口

声卡的技术指标采样能力合成器、 MIDI 功能、音效总线类型、标准支持、即插即用、芯片类型

45


视频卡视频捕获卡视频叠加卡 MPEG解压卡电视接收卡

46


光盘技术 CD-ROM （ Compact Disk Read-Only Memor

y ） CD-WORM （ Write Only Read Memory ）其他

如： CD-ETOM （ Electron Trapping Optical Memory ）

47


CDROM 标准 CD-DA （红皮书） CD-ROM(黄皮书） VCD DVD, xDVD 其他： CD-I ， PhotoCD, CD-TV ，。。。

48


49


扫描仪工作原理：扫描过程中，扫描仪提供光源给图像，光线从图

像反射进扫描仪的光学系统，在此过程中不同层次的光得到调节，图像以数字形式重新组合并显示在屏幕上

扫描仪性能指标：幅面，分辨率，颜色数，速度

50


语音处理实现语音处理的软硬件条件：

硬件：语音卡 (加速卡 ) 、麦克风、扬声器软件：配套软件系统

语音技术 API:语音应用程序接口 (SR 和 TTS) SR:语音识别器 TTS: 文本—语音转换器

相关软件中自公司的“汉王”系列 IBM公司的 ViaVoice

51


数码像机数码像机： Digital Camera

以 CCD 电荷耦合器或互补金属氧化物半导体 CMOS 为感光器件，将客观景物以数字方式记录在存储器中的照像机。

照片以数字文件格式存储存储体是数字化存储器件，可重复使用成像质量取决于 CCD 图像传感器和 A/D 转换部件

如“中国人自己的 800万－爱国者 V80” 3624×2448

52


触摸屏用途：多媒体信息查询特点：直接、方便、快捷、直观、生动实例： 1) 商场导购系统 2)火车站信息查询系统工作原理：一种定位设备，通过一定的物理手段，使用户触摸触摸屏时，所摸的位置（以坐标形式）被控制器检测到，并通过串口或其他接口送到 CPU，从而确定用户所输入的信息

53


触摸屏系统组成

触摸屏控制卡作用：从触点检测装置上接收触摸信息，将其转化为触点坐标，送给

主机，同时可接收主机发来的命令并执行触摸检测装置

检测用户的触摸位置，并将信息传递给触摸屏控制卡。常用介质

电阻式、电容式、红外式、压力式电阻式：两层膜之间有网格状触点阵列，膜的压力会造成电阻变

化，从而定位压点位置电容式：屏上有一层金属膜，触摸金属膜会使电流发生变化，从而定位压点位置

54


存储与接口存储

光盘、磁带、 DV带、 Memory Stick U盘、移动硬盘闪存卡

Smart Media(SM 卡 ), Compact Flash(CF卡 ), Multi Media Card(MMC 卡 ), Secure Digital Card(SD 卡 ), Memory Stick(MS 卡 ), Extreme Digital Card(XD 卡 ), Trans Flash Card (TF卡 )

接口 USB 接口、 1394 接口红外、蓝牙

55

（四）相关软件

56


软件及资源参考：

北大 BBS之multimedia 、 NetResource 、 Software 版软件：

ftp://ftp.cs.pku.edu.cn (162.105.30.133) 推荐！ ftp://marxismdown:[email protected]/ http://edu.onlinedown.net (华军软件园 )

资源：使用 baidu 、 google 、 sheenk 使用 maze 、 BT http://www.51music.org/ http://www.9ymp3.com/ http://bn.sina.com.cn

ftp://ftp.cs.pku.edu.cn/

ftp://ftp.cs.pku.edu.cn/

ftp://marxismdown:[email protected]/

http://edu.onlinedown.net/

http://www.51music.org/

http://www.9ymp3.com/

http://bn.sina.com.cn/

57


几个小软件 * 图像抓取软件： SnagIt; FlashCam * 图像浏览软件： AcdSee * 简单动画软件： GIF Constructor; *简单动画软件 : AnimaGif * 简单 3D 动画软件： Cool3D

58


音频相关的软件播放器：

CD 播放器 Media Player WinAmp Real Player 超级解霸

编辑器 CoolEdit

录音机 Mp3制作、格式转换

AltoMP3 Maker CDex

59


Windows 录音机的使用

选择【开始】→【所有程序】→【附件】→【娱乐】→【录音机】命令，会出现 Windows录音工具

单击【录音】按钮可以录音；单击【停止】按钮可停止录音。选择【文件】→【保存】菜单命令即可保存刚刚录制的信息。

60


播放音乐常用软件 Winamp

播放音乐文件添加其他文件夹中的音乐文件保存音乐文件列表

61


浏览图像的常用软件 ACDSee ACDSee 的安装与启动利用图像观察器浏览图片

图片格式转换桌面背景设置

利用图像浏览器管理图片文件图片文件的复制、移动、重命名和格式转换

屏保和幻灯演示文件的制作

62


图像图形处理软件图像处理

PhotoShop PhotoDraw PhotoDeluxe PhotoExpress

图形处理 Firework FreeHand

63


PhotoShop

菜单栏工具箱控制面板工作区状态栏

64


动画处理软件二维动画 Flash

Macromedia Flash 现已被 Adobe收购

三维动画 3D Max Maya

65


视频处理软件播放：

Windows Media Player, RealOne, 金山影霸 ,DivXPro, HappyShow, Media Player Classic

QuickTime, DivX解码器及 mpeg4 、 ac3相关插件编辑、制作、转换：

Premiere, VirtualDub， EoVideo, helix producer RealProduce, Easy Video Joiner No1 Vedio Convertor

66


媒体播放器 Windows Media Player

视频方面支持 .avi 、 .mpg 、 .asf和 VCD 、 DVD光碟音频方面支持 .mp3 、 .wav 、 MIDI 以及 CD光碟播放选择【文件】→【打开】菜单命令，在弹出的对话框中选择需要播放的文件即可

67


其它常用的视频播放工具 RealPlayer

可以播放 .rm 和 .rmvb格式的视频文件 (流媒体 ) 豪杰超级解霸

主要用于播放 VCD/DVD光碟，此外还支持 CD 、 mp3等上百种影音格式的播放

Media Player Classic 我常用的一款播放软件，支持多种格式

68


光盘相关软件光盘刻录： Nero 虚拟光驱： daemon ，金山模拟光驱光盘文件制作： WinISO

文件名 .bin 或 .iso

69


网络上的多媒体资源网络上有丰富的资源

可通过 http 、 ftp 、 bt 、 maze等多种工具下载

DVD下载中心 http://202.112.10.43 流媒体下载工具：

StreamBox, Woof, FlashGet, NetTransport, Pubdl Offline Explorer

http://202.112.10.43/

70


多媒体的共享 : P2P 如 www.ppcn.net BT (BitTorrent)

www.btchina.net www.manfen.net Maze

maze.pku.cn eDonkey, eMule Napster, ezPeer, KuroM3, KuGoo

http://www.btchina.net/

http://www.manfen.net/

71


流媒体下载大多数流媒体文件都不提供直接的下载方式，需

要用特殊的软件。如： Streambox vcr Net Transport

72


多媒体创作工具 Authorware ToolBook Director Action! 方正奥思

73

(五 ) 多媒体技术前沿（了解）

74


数据压缩数据压缩可分成两种类型，一种叫做无损压缩，另一种叫做有损压缩。

无损压缩是指使用压缩后的数据进行重构 ( 或者叫做还原，解压缩 ) ，重构后的数据与原来的数据完全相同；无损压缩用于要求重构的信号与原始信号完全一致的场合。一个很常见的例子是磁盘文件的压缩。根据目前的技术水平，无损压缩算法一般可以把普通文件的数据压缩到原来的 1/2～ 1/4 。一些常用的无损压缩算法有霍夫曼 (Huffman) 算法和 LZW(Lenpel-Ziv & Welch)压缩算法。

有损压缩是指使用压缩后的数据进行重构，重构后的数据与原来的数据有所不同，但不影响人对原始资料表达的信息造成误解。有损压缩适用于重构信号不一定非要和原始信号完全相同的场合。

75


信息冗余统计冗余编码冗余结构冗余视觉冗余

76


数据压缩的方法简介统计编码

如：霍夫曼编码游程长度编码基于字典： LZW

预测编码如：序列量化变换编码如： DCT（离散余弦变换）

分析综合编码如：特征抽取

77


压缩工具 WinRAR 的操作压缩：

选中一个或多个文件、文件夹，点右键解压缩

选中 .rar 文件，点右键或：双击打开，然后进行文件的拖放操作

还可以创建自释放文件 (exe 文件 )

78


多媒体的新技术大容量信息的光盘存储技术多媒体数据库及数据检索多媒体通信和网络化技术

超媒体 = 超级链接 +多媒体虚拟现实技术 (Virtual Reality)

语言 VRML 数字地球

国家信息基础设施 NII 全球信息基础设施 GII 数字地球 DE

79


INTERNET电话多媒体电话电话通话方式：声音、视频、图像、文字

因特网

PSTN PSTN因特网

因特网 PSTN

网络电话

80


INTERNET电话

Internet PhoneInternet Phone 可以使任何一位 Internet 互联网上装备有声卡的多媒体电脑用户拨叫国际长途电话。

Net2PhoneNet2Phone 、、 MediaRingMediaRing 、、 CollTalkCollTalk 、、 NetMeetingNetMeeting

网络电话

81


网络电视 iptv.pku.edu.cn http://tv.qq.com 其他网络电视工具

如 FireTV

82


本章小结多媒体概述多媒体信息的表示及处理多媒体硬件多媒体软件

83


要点：多媒体文件格式图片文件

Jpeg, gif, tiff, bmp, wmf 声音文件

Wav, midi, mp3, rm ， wma 视频文件

从现实世界采集，经过数字化处理得到 Avi, mpeg, asf, rm, mov

动画文件由计算机生成 Avi, Gif, flic, swf(Flash 文件）

84


要点：相关软件播放

Windows Media player RealOne Player Winamp Acdsee( 图片）

制作 Photoshop Authorware Flash mx 视频处理软件

工具 SnagIt ，屏幕录像专家 P2P下载 StreamBox, NetTransport

Documents

第 8 讲 多媒体技术基础

第 8 讲多媒体技术基础