第五章多媒体技术基础

多媒体应用技术

5-2

5.1 5.1 多媒体技术概述多媒体技术概述一、媒体与多媒体 1. 媒体 (媒介、媒质 ) 媒体是信息表示、传递和存储的载体存储信息的实体存储信息的实体纸张、磁盘、光盘表示信息的载体表示信息的载体文本、图形、图像声音、动画、视频


5-3

5.1 5.1 多媒体技术概述多媒体技术概述媒体的种类 (CCITT) 感觉媒体感觉媒体人的感官，如视觉、听觉等表示媒体表示媒体为了处理和传输感觉媒体而人为构造的媒体，如文本、图形、动画等显示媒体显示媒体获取和表现信息的物理设备，如键盘、鼠标器、显示器和音箱等存储媒体存储媒体用来存放表示媒体的介质，如磁盘、光盘和内存等传输媒体传输媒体传输数据的载体，如光缆


5-4

5.1 5.1 多媒体技术概述多媒体技术概述 2. 多媒体通常是指表示媒体，也就是静态媒体：文本、图形、图像动态媒体：声音、动画、视频多媒体是融合两种或两种以上表示媒体的一种人机交互式信息交流和传播媒体。多媒体的实质：各种媒体数字化。


5-5

5.1 5.1 多媒体技术概述多媒体技术概述二、多媒体技术定义定义将多种媒体信息通过计算机进行数字化采集、编码、存储、传输、处理和再现等，使多种媒体信息建立逻辑连接，并集成一个具有交互性的计算机系统。利用计算机综合处理图文声像。特征特征多样性集成性交互性、实时性


5-6

三、多媒体技术的应用 1.教育与培训多媒体教学课件多媒体技能培训系统虚拟课堂、虚拟实验室、虚拟图书馆 2.出版与图书电子出版物具有容量大、体积小、成本低、检索快、易于保存和复制、能存储图文声像信息等，如光盘百科全书、 e-book。

5.1 5.1 多媒体技术概述多媒体技术概述


5-7

3.商业与咨询商品简报、查询服务、产品演示、商贸交易 ( 电子商务 ) 等。利用多媒体技术可为公众提供各类咨询服务，也可通过触摸屏进行操作。 4.通信与网络信息家电 (电话、电视、冰箱、音响 )、视频会议、可视电话、远程医疗系统。



5-8

5.军事与娱乐军事遥感战场模拟核武器模拟 CD、 VCD、 DVD、 ( 三维 )游戏

多媒体技术的优势可能不在于某些具体的应用，而是在于它能把复杂的事物变得简单、把抽象的东西变为具体。



5-9

5.2 5.2 多媒体系统的组成多媒体系统的组成一、多媒体系统的层次结构

多媒体硬件系统：多媒体控制板卡及 I/O电路多媒体驱动程序：用来控制和操纵多媒体硬件多媒体操作系统： CD-RTOS(专用 ),Windows(通用 )

多媒体应用软件多媒体开发工具多媒体操作系统多媒体驱动程序多媒体硬件系统


5-10

5.2 5.2 多媒体系统的组成多媒体系统的组成二、多媒体系统的基本组成


5-11

5.2 5.2 多媒体系统的组成多媒体系统的组成多媒体支持软件多媒体支持软件 ((开发工具开发工具 )) 多媒体素材制作工具文字特效制作软件： MS Word/艺术字音频处理软件： Syntrillium Cooledit Twelve Tone Cakewalk 图形图像处理软件： Corel CorelDRAW Adobe Photoshop


5-12

5.2 5.2 多媒体系统的组成多媒体系统的组成动画制作软件： Macromedia Flash MX Discreet 3ds max 视频编辑软件： Adobe Premiere 多媒体著作工具 Microsoft PowerPoint Macromedia Authorware 多媒体编程语言 VB、 VC++


5-13

一、声音信号的类型模拟信号 (自然界、物理 ) 数字信号 ( 计算机 )二、声音的数字化

采样量化编码模拟信号数字信号

模拟信号数字信号A/D ADC

D/A DAC

5.3 5.3 音频信息处理音频信息处理


5-14

声音数字化过程连续的模拟声音信号声音信号的采样

离散的音频信号

示意示意



5-15

声音数字化三要素采样频率量化位数声道数

每秒钟抽取声波幅度样本的次数

每个采样点用多少二进制位表示数据范围

使用声音通道的个数

采样频率越高声音质量越好数据量也越大

量化位数越多音质越好数据量也越大

立体声比单声道的表现力丰富，但数据量翻倍

11.025kHz22.05 kHz44.1 kHz

8 位＝ 256 个值16 位＝ 65536 个值

单声道立体声



5-16

声音数字化计算公式数据量＝采样频率×量化位数 ×声道数 /8(字节/ 秒 )

采样频率(kHz)

量化位数(bit)

数据量 (KB/s)

单声道立体声

11.025 8 10.77 21.5316 21.53 43.07

22.05 8 21.53 43.0716 43.07 86.13

44.1 8 43.07 86.1316 86.13 172.27



5-17

三、音频的文件格式 WAVWAV 文件文件 WAV是 Microsoft/IBM共同开发的PC波形文件。因未经压缩，文件数据量很大。特点：声音层次丰富，还原音质好 MP3MP3 文件文件 MP3(MPEG Audio layer3)是一种按MPEG标准的音频压缩技术制作的音频文件。特点：高压缩比 (11:1) ，优美音质



5-18

WMAWMA 文件文件 WMA(Windows Media Audio)是Windows Media格式中的一个子集 (音频格式 )。特点：压缩到 MP3一半 MIDIMIDI 文件文件 MIDI(乐器数字接口 ) 是由一组声音或乐器符号的集合。特点：数据量很小，缺乏重现自然音



5-19

四、音频的获取与处理音频的获取主要有： ①利用录音软件直接录制 ②使用专业录音棚录制 ③从唱盘或录音带中进行转录 ④购买数字音频库



5-20

音频处理： ①删除无用的部分，将需要合并的音轨拼贴起来。 ②降噪，去除录音时的背景噪音。 ③调节均衡，使得高、中、低几个频段听起来更加悦耳。 ④添加混响、延迟和变速等效果。 ⑤压缩与限制，即动态处理。 ⑥音频文件格式的转换。



5-21

5.4 5.4 图像信息处理图像信息处理一、图形与图像 1. 图形 (矢量图形、几何图形 ) 矢量图是用一组指令来描述的，这些指令给出构成图形的各种属性和参数。例如：圆 (圆心坐标 , 半径及粗细 ,色彩 ) 优缺点：①图形文件占用空间较少 ②图形复杂时耗时相对较长绘图软件： CorelDRAW FreeHand


5-22

2. 图像 (位图图像、点阵图像 ) 位图是指在空间和亮度上已离散化的图像，通过描述每一像素的颜色或亮度来表示该图像。它适应表现包含大量细节的图片，如明暗、浓淡、层次和色彩变化等。优缺点：①色彩和色调丰富，景物逼真　　　　　　②缩放处理易失真，数据量大绘画软件： Photoshop PhotoImpact

5.4 5.4 图像信息处理图像信息处理


5-23

图形与图像的比较图形图像

文件大小与图形的复杂程度有关，一般较小

与图像的尺寸和颜色有关，一般较大

文件内容图形指令图像点阵数据缩放、旋转处理无失真有失真

处理技术绘制、创造和艺术性获取、复制和技巧性

适合范围表现变化的曲线简单图案、运算结果

表现自然和细节景物层次、色彩较丰富

图形图像真实感图形绘制

模式识别技术



5-24

二、图像的数字化连续空间位置的离散和数字化亮度值的离散和数字化

空间位空间位置采样置采样

m×nm×n

2020×1×133

256256

亮度亮度量化量化

8b8b

2424bb



5-25

图像的主要参数图像的主要参数 ⑴分辨率分辨率直接影响图像质量。显示分辨率：指在显示器上能够显示的像素数目。 (640*480,800*600,1024*768) 图像分辨率：指数字图像的实际像素数目，它反映图像在屏幕中显示的大小。像素分辨率：指像素的宽高比 (1:1),在像素分辨率不同的机器间传输图像会变形。



5-26

⑵颜色深度指记录每个像素所使用的二进制位数。彩色图像：可使用的最多颜色数目灰度图像：可使用的亮度级别数目

位数颜色数说明4 位 16 种 Windows 3.x 中画笔支持 16 种颜色8 位 256 种多媒体应用中的最低颜色深度16位

32768种

RGB5:5:5, 剩余 1 位表示其它属性( 透明度 )

24位

16M 种真彩色，超出人眼所能识别的颜色范围

32位

16M 种 RGB8:8:8, 剩余 8 位表示其它属性( 透明度 )



5-27

图像数据量的计算图像数据量的计算图像文件的大小是指在磁盘上存储整幅图像所需的字节数。数据量＝图像分辨率×颜色深度 /8(B) [ 例题 ]一幅 640×480的真彩色图像，未压缩的图像数据量是多少？ 640×480×24/8＝ 921600B＝ 900KB



5-28

三、图像的文件格式 BMP ： Windows标准图像文件格式 JPG：一种高效率压缩格式 (1:10 ～ 20) GIF：用于交换图片的，对灰度图像表现佳，但不超过 256色的图像。 PNG：流式网络图形格式，它使用LZ77派生的无损数据压缩算法。 PNG存储灰度图像时图像深度达 16位 PNG存储彩色图像时图像深度达 48位



5-29

四、图像的获取与处理 1.图像的获取方法采用扫描仪、数码相机进行模数转换从数字图像库、网上获取、自行绘制 2.图像的处理技术图像处理手段很多，所有处理都是建立在对数据进行数学运算的基础上，一般用户可通过图像处理软件 (Photoshop) 来完成。例如：图像亮度、对比度的调整等。



5-30

一、视频的基本概念 1. 视觉暂留现象人眼有一种视觉暂留的生物现象，即人观察的物体消失后，物体映像在人眼的视网膜上会保留一个非常短暂的时间 (约 0.1s)。利用这一现象，将一系列画面中物体移动或形状改变很小的图像，以足够快的速度连续播放，就会产生连续活动的场景。

5.5 5.5 视频信息处理视频信息处理


5-31

2. 视频的定义视频又称运动图像或活动图像，它是指连续地随着时间变化的一组图像。帧：一幅单独的图像帧率：每秒种播放的帧数，单位是 f/s 典型的帧率： 24f/s、 25f/s、 30f/s 常见的视频信号：电影、电视



5-32

3.电视的制式色度信息处理方法→三种彩色电视制式 ⑴NTSC制式 (美国、日本、中国台湾等 ) National Television Systems Committee (1953，美国 ) ①30帧 /秒 (29.97fps)， 525行 / 帧 ②隔行扫描： 2场 / 帧， 262.5行 / 场 ③颜色模型： YIQ ④宽高比： 4:3(帧大小： 352*240)



5-33

⑵PAL制式(中国、德国、英国、朝鲜等) Phase Alternation Line(1962，德国 ) ①25帧 /秒， 625行 /帧 ②隔行扫描：2场 /帧， 312.5行 / 场 ③颜色模型： YUV ④宽高比： 4:3(帧大小： 352*288) ⑶SECAM制式(法国、俄罗斯、东欧国家) “轮流传送彩色与存储” (1966年，法国 ) 类似 PAL制式



5-34

二、视频的数字化

扫描采样量化编码模拟视频信号

数字视频信号

视频是连续的图像图像是离散的视频



5-35

数字视频的优点数字视频的优点与模拟视频相比，其优点： ① 数字视频便于创造性的编辑与合成 ② 数字视频可不失真地进行多次复制 ③ 在网络环境下容易实现资源共享 ④ 数字视频可与其它媒体组合使用缺陷：①处理速度慢 ②数据量大 (压缩、光盘 )



5-36

三、视频的文件格式 AVIAVI 文件文件 AVI是一种音视频交叉记录的文件格式 ,微软在 1992年推出 AVI文件及其应用软件Video for Windows 。特点：① AVI采用帧内压缩，可用一般的视频编辑软件进行编辑。 ②提供无硬件视频回放，其窗口大小和帧率可根据播放环境调整。



5-37

MOVMOV 文件文件 MOV(Movie digital video)文件是Apple公司在其 Macintosh机推出的视频文件格式，其相应的视频应用软件QuickTime。 QuickTime for Macintosh QuickTime for Windows MOV文件格式的压缩算法Video编码支持 16 位图像深度的帧内压缩和帧间压缩。



5-38

MPGMPG 文件文件 MPG文件是采用 MPEG算法进行压缩的全运动视频文件格式。它在 1024*768的分辨率下可用每秒 25或 30 帧的速率同步播放全运动视频图像和 CD音乐伴音。 DAT文件也是基于 MPEG压缩算法的一种文件格式 ,它是 Video CD和卡拉 OK CD数据文件的扩展名。



5-39

四、视频的采集与处理采集视频数据主要有： ①从模拟设备中采集视频数据 ②从数字设备中采集视频数据 ③从影视光盘中截取视频数据


视频数据的处理包括：① 在保证图像质量的前提下尽可能压缩视频图像的数据量② 消除视频产生、获取和传输过程中引入的失真和干扰③ 从视频图像中提取某些特征，以便对其进行描述、分类和识别


5-40

5.5.6 6 多媒体存储技术多媒体存储技术一、光盘技术光盘 (CD-Compact Disc，高密盘 ) 特点： ①存储容量大： CD-ROM→650MB DVD→4.7GB ②记录密度高： 107-108bit/cm2

③长期保存信息： 10-100年 ④非接触方式、价格低廉


5-41

5.5.6 6 多媒体存储技术多媒体存储技术 1.CD-ROM技术 CD-ROM是只读光盘或固定型光盘 (只能读，不能改 -重写、擦除 ) 。一张普通光盘可以存储 650MB数据 ,它包括文本、表格、图形、图像、视频、音频等文件。凹坑→ 0 平坦→ 1


5-42

5.5.6 6 多媒体存储技术多媒体存储技术 CD-ROM的工作原理： CD-ROM驱动器读取数据时由激光束照射到光盘的平面上，当激光束射到光盘的平坦部分时，有 70-80%的光反射并传输到光检测器中，记下 ON→1；当激光束照在凹坑上时，激光束由于散射而无法接收到反射信号，则光检测器记下 OFF→0。


5-43

5.5.6 6 多媒体存储技术多媒体存储技术 2.CD-R技术 CD-R是只写一次型光盘或追记型光盘(可写一次，写过后不能修改，只能读写 ) 。 CD-R光盘主要用于信息存档或备份大型系统，它比 CD-ROM多了一层塑料层 (记忆数据 )。


5-44

5.5.6 6 多媒体存储技术多媒体存储技术 CD-R光盘的工作原理：刻录机将数据写入 CD-R光盘时，以高功率激光束照射光盘的塑料层。该位置的有机染料会融化并产生化学反应 (类似凹坑 ) ，而没有被高功率激光束照射的位置可以靠反射层反射激光。读取 CD-R光盘数据与 CD-ROM相同，但由于它使用有机染料，降低了光反射率，因此用金或银作为反射层以提高对光的反射率。


5-45

5.5.6 6 多媒体存储技术多媒体存储技术 3.CD-RW技术 CD-RW是可擦写型光盘，采用重复写入技术 (可读，可擦除，可重写 ) 。与 CD-R光盘相比， CD-RW具有以下特点： ①塑料层变为染料层 (硒或碲的结晶层 ) ②相变技术：通过激光照射能将染料层呈现结晶 (平面 ) 和非结晶 (凹坑 ) 两种状态


5-46

二、光盘格式与标准 1.红皮书数字音频光盘、激光唱盘 CD-DA(CD-Digital Audio) 2.黄皮书 (ISO 9660) 存放计算机数据 (含图文声像 ) CD-ROM、 CD-ROM/XA 3.绿皮书交互式光盘， CD-I(CD-Interactive)

5.5.6 6 多媒体存储技术多媒体存储技术


5-47

4.橙皮书可写光盘， CD-R 5.白皮书视频光盘， VCD(MPEG-1)， 650MB 352*288(25帧 /秒 ) ，双声道立体声 6.DVD规范数字视盘， DVD(MPEG-2)， 4.7GB 720*576(50帧 /秒 ) ，杜比环绕立体声

5.5.6 6 多媒体存储技术多媒体存储技术

Documents

第五章 多媒体技术基础

第五章多媒体技术基础