嵌入式多媒体监控系统的设计和执行

Design and Implementation of Embedded Multimedia Surveillance System

摘要•由于网络多媒体 ,人工智能和嵌入式系统的蓬勃发展 ,视频监视系统是从基于计算机到基于嵌入式而进化而来的。这篇论文展现了一个基于嵌入式视频服务器的智能多媒体监控系统。这个监控系统的设计和执行问题被讨论。其中包括：系统结构，硬件设计，和软件框架。此外，实际的应用表明我们的构思可以适合商业的应用。

1 引言

•随着计算机技术，视频压缩和无线网络的发展，多媒体实时监控应用已经受到了来自研究机构和工业社会的极大关注。这个数字多媒体监控系统有相比于模拟系统来说有很多优点，比如高保真的随机访问和数据存储。一个基本的视频监控系统包括一个视频摄像机的设置。这个视频数据被传到了中心服务器，显示在一个或者一些视频监视器上并被记录。现在，智能视频监控系统在试图减少用户的压力，在应用视频获得探测器，追踪和目标识别。但是视频监视系统应该被很小心设计硬件，实时环境自适应，低网宽要求额有效的提醒装置

•在这个研究中，视频监控系统的设计和执行被讨论。这篇论文的主要贡献在于智能实时视频监控系统的设计为大领域的应用。它是由嵌入式视频服务器，实时视频传送中间组件和应用框架。这篇论文的下面部分是这样组成的：在第二段，我们将描述嵌入式多媒体监视系统的系统结构。第三部分是系统的设计和应用说明。最后，我们做了一个完成的工作的总结和下一步工作。

2 系统结构•我们给出的系统的主要任务是获取实时音视频数据，然后来压缩和传输它，如果必须的话可以把它存在当地的光盘里。我们建议的实时智能视频监视系统的结构在图 1 中给出。多媒体数据可以被存在嵌入式视频服务器或者其它多媒体服务器的当地光盘里。多个摄像头被安在了不同的位置来监视目标区域。这个嵌入式视频服务器提供了压缩，存储和传送多媒体数据的能力。和控制其它设备的能力。管理服务器接收来自PC监视器或者嵌入式设备的申请，分配它们到特定的视频渠道。应用软件被安装在了 PC上来提供 GUI给正常的用户。

2.1 硬件

•在这篇论文里，我们嵌入式视频系统使用双核处理器OMAP5910和它的应用结构。而 Ti DM6446芯片是一个高度集成的硬件平台。它集成了一个 TMS320 C55xDSP核带有一个 TI 增强的 ARM925核在一个单独的芯片上。

• 图 2 显示了嵌入式视频系统的硬件结构。非常少的组件在平台上，这个要归功于集成的 SOC DM6446。摄像头获取了视频到了 TVP5146，它是一个高质量单芯片数字视频解码器，把所有的流行的基带模拟视频格式转换成数字组件的视频。输出可以是 10字节的YCbCr或者 20位的 YCbCr 。 TVL320AIC33芯片被用于处理音频信号。存储器瓶颈被解决通过使用DDR2芯片和闪存。在我们的嵌入式视频平台， C-BUS提供了控制外部设备的能力通过 MSP430芯片。DM646可以同其它的设备通过基于 TCP/IP 协议的LXT971MAC芯片。这里还有其它的外部互联设备接口在系统中，诸如：USB ， CF/SD 。 C-Bus提供了控制总线接口， EMP240提供了框架接口转换。在图 3 是一个完整的建议的嵌入式视频服务板由我们的研究团队设计的。

2 ． 2 软件•软件系统包括三个部分：一个是为嵌入式系统，一个是为了管理服务器和另一个为了客户。最重要的部分是嵌入式视频服务器，在图 4 中显示的。 Linux OS被连在了双核结构，提供了控制精密任务诸如： TCP/IP应用，设备驱动等等。这些任务有诸如H.264算法被运行到DSP核上。代码工程和DSP 链接提供了 ARM 和 DSP的交互通道。DSP/BIOS是一个小核操作系统运行在DSP核上来提供基本的操作。设备驱动关于网络接口和视频定在 ARM Linux OS在下面的 TCP/IP 和 RTP/RTCP 协议栈。此外，运行在客户端的软件是 GUI，提供了开发的通过远程 CCD传感器获取的多媒体视频。管理视频服务器软件提供了主要的用户和建议的系统的接口。诸如：传输控制，证明识别。

3 关键技术的执行•3.1 ARM 次级系统的设计•ARM 次级系统使用了嵌入式 Linux 操作系统来保存整个系统的成本和改进效率。作为一个视频接口驱动，主要的任务是视频输入控制器的初始化和 TVP5146 由 12C总线构造的。在那之后， TVP5146进行视频数据解码。并传送数据通过视频总线到 TMS320DM6446视频输入控制器

• 这篇文章使用了现场媒体作为主要的实时数据传输框架。现场媒体库有它自己的信息循环机制。但是这个机制没有适应嵌入式网视频服务应用。这种现场媒体传送循环机制被封装。并在应用程序和 RTP 之间进行了数据交换，通过一个安全的线程来简化系统设计

•CE 由 TI 公司提供的被用来执行应用程序在我们的工程中。这个 CE已经涵盖了调用程序和在应用程序和数字信号处理算法的通信。应用程序使用 V4L2接口来获得视频数据通过视频驱动。然后通过调用 CE接口压缩成H.264 格式来和视频算法模式通信。

•直接显示应用框架被在用户客户系统里被采用。增加一些H.264的解码和 RTP接收模式的特性来改进系统的稳定性和可靠性

3.2 视频多媒体数字信号编解码器• H． 264/AVC是最近的 ITUT-T视频码专家组

（ VCEG ）和 ISO 移动图像专门组（ MPEG ）的视频码标准。除了视频和广播的经典应用领域，H． 264/AVC 改进的压缩能力使得新的服务和打开了新的市场和机会。对比于其它DSP处理器由 TI 生产的， TMS320DM6446提供了特定的指令例如 8 位或16位的扩展装载，非队列字的装载和存储，包数据操作等等。尽管 C64+系列的DSP有高的平行结构。平台的算法还是需要仔细分析程序的平行性以促进编码性能的最大化。程序的优化目标是通过使用 C64+来减少代码执行时间。高精度计算任务在H.264 代码诸如：DCT ， IDCT 和 SAD和运动向量查找必须根据 C64+核的结构专门优化

•在我们的试验中，如果使用 CCS 汇编器自动优化 8*8 微块，它需要 600个时钟循环来完成微块的填补。在使用软件管道技术之后，时钟循环的数量被将为 88。此外，这个微块的时钟是 30 通过使用一些专门的指令包括LDNDW ， AVGU4.

3.3应用。

•这个系统已在实际世界的监视图景里评估和得到了好的结果。关于高精度和对噪音的鲁棒性。客户软件主要是通过 C++ 运行在一个 2.4GHZ 的PC里。表一，显示了评估结果。我们可以包括30fps 的 CIF 格式和 25fps 的 D1 格式。它满足了商业的智能监视系统的应用要求。视频编码率低于 300kbps，所以压缩的视频数据可以被传送通过像 ADSL的通信数据网。

•图 5 显示了 PC上的应用软件的用户屏。在图 5中有四个视频通道。事实上我们设置一个频道到九个频道通过软件。有一些警告区域连在目标区域在GUI的底部。在视频的右边，一些系统属性可以被设置在这个面版上，包括视频渠道，网络延时冗余，摄像机面版控制，和其它功能。

•摄像机被安装在目标区域获取视频数据并被压缩成 H.264 格式在嵌入式视频服务板上。然后这些视频数据可以被用户使用以太网或无线网访问或者存在当地的嵌入式视频服务器的光盘里。这里有一些智能功能比如：活动跟踪，报警，面部识别可以被运行在我们的系统下。在测试进行过程中，所有的提到的功能都是可以使用的和稳已经得到了定的

4 结论。

•在这篇论文，一些主要的嵌入式智能监视系统的开发结果被呈现。一些相关的设计和执行的重要问题被详细的讨论。在现实世界下的试验已经得到多目的视频图。多媒体音视频编码器基于H.264被采用和一个重新设计的 RTP被用来适用网络条件。这个形成的视频编码器可以满足实时系统的要求。在 ADSL环境下。我们将来的工作应该放在一个普遍的自适应的高质量多媒体组件为监视系统的开发。智能功能诸如运动探测和跟踪应该被很好设计，并且安全问题对我们的研究也是重要的。