Sistemas Multimídia por Wandreson Luiz Brandino wandreson.com (wandreson@wandreson.com)

Sistemas Multimídia

Wandreson Luiz Brandino

wandreson.com

(wandreson@wandreson.com)

Sumário– Introdução– Conceitos Básicos

• Dados Discretos (texto e imagem)• Dados Contínuos (áudio e vídeo)

– Aplicações Multimídia Stand-Alone

Sumário (cont.)– Aplicações Multimídia Distribuídas

• Vídeo-Conferência• Vídeo sob Demanda• Correio Eletrônico Multimídia• Sistemas de Autoria

– HTML puro– FrontPage

– Meios Ópticos de Armazenamento

Sumário (cont.)– Compressão de Dados– Camada de Transporte– Camada de Redes– Qualidade de Serviço– Sincronização Multimídia– Modelos Hipermídia– Outros

Objetivos do Curso

Fornecer uma visão teórica e prática da área de multimídia stand-alone e distribuída, abordando aspectos relativos ao armazenamento, transmissão e apresentação da informação multimídia.

Identificar os requisitos básicos para o processamento das informações multimídia

1. Introdução

O que é Multimídia?– Tecnologia interdisciplinar que permite a

manipulação e integração, em computador, de diversos formatos de mídia (textos, imagens, áudio e vídeo).

1. Introdução

A multimídia só se tornou uma realidade graças ao avanço em diversas áreas da computação:– Novas Interfaces Gráficas– Grande capacidade de armazenamento– Novas rede de alta velocidade

1. Introdução

Sistemas Multimídia são um conjunto de Hardware e Software que possibilitam: criar, manipular, armazenar, transmitir e exibir informações de diversas natureza, como: texto, gráficos, imagens estáticas, voz (áudio) e vídeo

1. Introdução

As aplicações multimídia são divididas em dois grandes grupos:– Multimídia Distribuída– Multimídia não-distribuída (Stand-Alone)

1. Introdução

Multimídia Distribuída:– Executadas com o auxílio de redes de

computadores.– As informações estão distribuídas em

redes de computadores, podendo estar armazenada em diversos servidores com o objetivo de compor uma única apresentação multimídia

1.1 Multimídia Distribuída

Cenário clássico de aplicações multimídia distribuídas:

Imagem

Áudio

Vídeo

Rede de altavelocidade DestinoOrigem

1.2 Multimídia Stand-Alone

Nas aplicações multimídia Stand-Alone, todos os dados para a manipulação e apresentação dos dados multimídia encontram-se em uma única máquina.

1.3 Aplicações

Várias aplicações podem ser vislumbradas a partir da união de multimídia + comunicação:– Apresentações Multimídia– Vídeo Conferências– Aprendizado à Distância– Trabalho Cooperativo– Difusão de programas de áudio e vídeo

1.3 Aplicações

– Sistemas de Informação– Tele-diagnóstico Médico– Catálogos de Venda– Correios Eletrônicos Multimídia– Publicidade– Turismo– Escritório– Etc

1.4 Sistema de Comunicação

As novas aplicações multimídia afetam profundamente as arquiteturas de comunicação clássicas como OSI e TCP/IP

Novos mecanismos de sincronização, multicasting, garantia de retardo (delay) e jitter são fundamentais nessa nova estrutura

1.5 Perspectivas

A área de multimídia distribuída é uma área nova e ainda com muito a ser explorada.

Uma série de novas aplicações ainda estão por vir assim que os problemas de infra-estrutura, sobretudo nas redes de computadores, forem solucionados.

2. Conceitos Básicos

Os dados multimídia podem ser divididos em dois grupos:

Dados Discretos– Não variam com o tempo

• Ex: Texto, gráficos e imagens estáticas

Dados Contínuos– Variam com o tempo

• Ex: Áudio e Vídeo

2.1 Dados Discretos

Alta sensibilidade a erros Baixa sensibilidade a atrasos (delay) e

variação do retardo (jitter) Vazão (throughput) variável Tráfego em rajada (bursty traffic)

2.1.1 Textos e Gráficos

Textos e Gráficos não suportam erros Podem tolerar algum retardo (delay) e

variação do retardo (jitter) Nos sistemas distribuídos, em caso de

erros, é necessário a retransmissão do dado

Vazão baixa, em torno de 3 Kbytes e em tráfego em rajadas

2.1.2 Imagens

Exploram a baixa sensibilidade à distorção e os limites de contorno do sistema visual humano

Aceitam uma porcentagem de erro dependendo da qualidade, um pixel perdido em uma imagem de 320x240 pode não representar perda na sua legibilidade

2.1.2 Imagens

Imagens são caracterizadas basicamente por dois atributos:– Resolução espacial ou dimensões,

expressas na forma de pixel x pixel– Pela quantidade de cores

• 1 bit, 2 cores• 8 bits, 256 cores• 24 bits, 16 milhões de cores

2.1.2 Imagens

Requisitos de armazenamento maiores do que os textos– Uma imagem de 320 x 240 pixels, com 256

cores (8 bits) é da ordem de 75 Kbytes– Uma imagem de 1024 x 768 pixels, com

16 milhões de cores (24 bits) é da ordem de 2 Mbytes

2.1.2 Imagens

Imagens podem ser do tipo:– Raster

• São descritas como uma mapa de pontos

– Vector• São descritas matematicamente

2.1.2 Imagens

Existem vários formatos de imagem:

Form. Mac PC Raster Vector 1-Bit 2-Bit 4-Bit 8-Bit 16-Bit 24-Bit 32-Bit Comp

TIFF x x x x x x x x x x simPICT x x x x x x x x x x nãoJPEG x x x x x simPCX x x x x x x x x nãoBMP x x x x x x x nãoGIF x x x x x x x sim

2.2 Dados Contínuos

Incluem o fator tempo Enorme espaço de armazenamento Severas restrições de desempenho,

tráfego e sistemas de arquivos Seus principais representantes são:

– Áudio– Vídeo

2.2.1 Áudio

Voz e Áudio digital são bastantes sensíveis ao retardo máximo de transferência (delay) e à variação do retardo (jitter)

Esta característica é crítica principalmente em sistemas de tempo-real ou simplesmente no prazer de ouvir um CD no computador

2.2.1 Áudio

Retardos maiores que 200 ms incomodam os interlocutores

Os padrões de telefonia estipulam 40 ms para distâncias continentais e 80 ms para distâncias intercontinentais

2.2.1 Áudio

Exemplos de aplicações e a sua respectiva banda passante necessária

Aplicação Freq. Nyquist Quantização VazãoÁudio (telefonia) 8 kHz 8 bits 64 Kbps

Voz (alta qualidade) 16 kHz 14 bits 224 K bpsÁudio (CD) 44.1 kHz 16 bits 0.7 Mbps

2.2.2 Vídeo

Vídeo é a mídia de maior demanda de armazenamento.– Um vídeo com qualidade NTSC não-

comprimido de 512 x 480 pixels, 24 bits de cor requer um espaço de 5,6 Mbits.

– A uma amostragem de 30 quadros por segundo, significa uma vazão de 168 Mbps

2.2.2 Vídeo

Requisitos de armazenamento

6.4 MB

500 MB

100 MB

550 MB

Requisitos deArmazenamento

500 pags.de texto

100 imagens

(descomp.)

100 imagenscoloridas(comp 15:1)

10 min. deanimação(comp 15:1)

10 min. de vídeodigitalizado(comp 30:1)

1 hora de vídeo digitalizado(comp 200:1)

de fax

2.2.2 Vídeo

Fica claro que técnicas de compressão precisam ser utilizadas

Existem técnicas de compressão– com perda– sem perda

A técnica utilizada vai depender da aplicação em questão

2.2.2 Vídeo

Aplicações médicas por exemplo não vão permitir que se perca um bit se quer

Já aplicações de vídeo-conferência toleram taxas de erro em função do sistema visual humano

3. Aplicações Multimídia Distribuídas As aplicações multimídia distribuídas

são classificadas pelo ITU-T da seguinte forma:

Serviços conversacionaisSeviços Interativos Serviços de mensagens

Serviços de recuperação/consultaServiços de Distribuição S/ controle individual da apresent.

C/ controle individual da apresent.

3.1 Classificação do ITU-T

Serviços Conversacionais– Presença simultânea dos participantes

• Ex: Vídeo-Conferência ou vídeo-fonia

– Não existe a necessidade de armazenamento dos dados em nós intermediários

Serviços de Mensagens– Utiliza esquemas de armazena-retransmite

(store-forward) • Ex: Correio Eletrônico Multimídia

Serviços de Recuperação– Serviços sob demanda

• Ex: Vídeo sob Demanda, imagens de alta qualidade ou requisição de músicas

Serviços de distribuição sem controle– São serviços de difusão (broadcasting) via

rede de computadores– Não há nenhuma interação– Usuários não tem controle do início e do

término da informação apresentada• Ex: Programas de TV e áudio

Serviços de distribuição com controle– São basicamente os mesmos serviços de

distribuição sem controle, a menos de que o usuário tem o controle do início da transmissão

– ??????

3.2 Exemplos de aplicações

Conferências Multimídia (Vídeo Conferência)

Trabalho Cooperativo (CSCW) Vídeo Sob Demanda Correio Eletrônico Multimídia Apresentações Multimídia Distribuídas

3.2.1 Vídeo Conferência

Será dado ênfase ao sistema SCM - Um Sistema de Vídeo Conferência para Windows 95/NT desenvolvido no Laboratório de Pesquisas em Redes e Multimídia (LPRM) da UFES

Analisaremos alguns sistemas existentes Utilizaremos em laboratório o Microsoft

NetMeeting

Vídeo Conferência (Introdução)

O que é?– É um ambiente onde os participantes,

geograficamente distribuidos, podem compartilhar áudio, vídeo e dados discretos de forma integrada

– Conferência multimídia não é só transmissão de áudio e vídeo

Vantagens– Economia com viagens– Economia de tempo e dinheiro– Discussão rápida entre pessoas distantes,

agilizando o processo de tomada de decisões (reuniões virtuais)

Objetivo– Protótipo de um sistema de conferência

multimídia

– Funcionalidades básicas para um ambiente de suporte à reuniões virtuais

Motivação– Plataforma Windows x Unix

– Domínio da tecnologia

– Manipulação de mídias contínuas

Características Desejáveis Recomendações F.730, T.120 e H.320 do

ITU-T– Ambiente de reunião virtual– Transmissão de áudio e vídeo– Manipulação de documentos compartilhados– Suporte à votação– Gravação– Segurança– Compressão– Transmissão Multicasting

Sistemas Existentes

CU-SeeMe (Cornell University) IVS (INRIA) nv - Network Vídeo (Xerox PARC) TVS (PUC-Rio) vic, vat, wb e sd (Lawrence Berkeley

Laboratory and University of California at Berkeley)

CU-SeeMe

Ambiente Windows/Machintosh Necessita de uma máquina UNIX para

hospedar o programa responsável pela distribuição dos dados

Sistema centralizado Manipula áudio/vídeo e uma área de

chat público

CU-SeeMe Configuração de uma conferência

baseada em reflector

Usuáriio 2 Usuário 3

Reflector lector

Usuáriio 1

CU-SeeMe

Ambiente UNIX Segue os padrões de codificação de áudio e

vídeo do ITU-T Gravação de trechos da conferência Mecanismo de segurança por chave pública Utiliza a Infra-estrutura de comunicação do

Mbone Manipula áudio e vídeo

Ambiente UNIX Utiliza o protocolo RTP (Real Time

Protocol) e o Mbone Manipula somente vídeo

Ambiente UNIX Segue as normas do ITU-T Utiliza o TCP/IP Manipulação de áudio e vídeo Manipulação de documentos compartilhados

baseada no MCA (Modelo de Contextos Aninhados)

Troca de mensagens entre os participantes Votação

vic, vat, wb e sd

Ambiente UNIX Utilizam a infra-estrutura de

comunicação do Mbone O vic é um sistema de transmissão de

vídeo com várias opções de configuração de imagens e formatos de compressão

vic, vat, wb e sd O vat é um sistema de transmissão de áudio.

O controle de acesso à fala é através de inscrição em lista

O wb é uma ferramenta de trabalho cooperativo (parecida com o PaintBrush). A manipulação é feita por apenas um participante a cada vez

O sd é um sistema que permite integrar o vic, vat e o wb e divulgar as conferências. Não implementa a sincronização de áudio e vídeo

Arquitetura SCM

SCM - Sistema de Conferência Multimídia

Segurança

MCS (Multipoint Communication Service) Ponto-a-Ponto

MFTP Chat ControleVídeo Áudio CSCW Votação

Módulos do SCM

Módulo de Controle– Criação de Conferências– Inclusão de usuário em conferências já

existentes– Manutenção da relação de participantes– Controle de concorrência para vídeo,

trabalho cooperativo, votação e transferência de arquivos

Módulos do SCM

Módulo Servidor de Conferências (SC)– Manutenção das conferências públicas

ativas e seus participantes– Manutenção destas informações para

acesso via Web e SCM

Módulos do SCM

Módulo de Áudio e Vídeo– Implementa os serviços audio-visuais– Interface entre os dispositivos de entrada

(câmera e microfone) com o SCM

Módulos do SCM

Módulo de Chat– Comunicação via teclado, muito útil

quando um dos participantes não tem recursos de áudio ou a rede está congestionada

– Não existe controle de vez

Módulos do SCM

Módulo de Trabalho Cooperativo– Disponibiliza uma área comum de trabalho– Possibilidade de desenhar e escrever

nesta área– Emprega controle de concorrência por

inscrição em lista

Módulos do SCM

Módulo de Votação– Responsável pela criação e apuração dos

resultados de uma votação– A votação é aberta e o voto é obrigatório

Módulos do SCM

Módulo de Transferência de Arquivos (MFTP)– Troca de arquivos entre todos os

participantes da conferência– Utiliza a estrutura de comunicação

Multicasting

Módulos do SCM

Módulo de Segurança– Senha para entrar na conferência

Módulo de Multicasting– Responsável por minimizar o tráfego na

rede, através de configuração manual de roteamento

Utilizando o SCM

Iniciando uma Sessão

Criando uma conferência

Utilizando o SCM

Informações Pessoais

Utilizando o SCM

Membros da Conferência

Utilizando o SCM

Conectando-se a uma conferência

Utilizando o SCM

Conferências Públicas Disponíveis

Utilizando o SCM

O Servidor de Conferências (SC)

Utilizando o SCM Lista de Conferências Públicas via Web

Utilizando o SCM Participantes de uma conferência via

Utilizando o SCM Estabelecendo a configuração

multicasting

Usuário 1

Usuário 3

Usuário 2

Utilizando o SCM

Estabelecendo a configuração multicasting

Máquina Local Usuáriorobson-win95.cs.ubc.ca

(142.103.10.55)Canadá Wandreson Luiz Brandino

piuma.lprm.inf.ufes.br(200.241.16.180)

Brasil José Gonçalves PereiraFilho

manguinhos.lprm.inf.ufes.br(200.241.16.182)

Brasil Verner Berger Júnior

Utilizando o SCM Configurando a máquina:

– robson-win95.cs.ubc.ca

– piuma.lprm.inf.ufes.br

– manguinhos.lprm.inf.ufes.br

Utilizando o SCM

O serviço de chat público

Utilizando o SCM

O serviço de Chat Privado– Conectando-se a um participante

Utilizando o SCM

O serviço de Chat Privado

Utilizando o SCM

Votação– Criando um assunto para votação

Utilizando o SCM

Votação– Votando em uma opção

Utilizando o SCM

Votação– Resultado da votação

Utilizando o SCM Transferência multicasting de arquivos

Utilizando o SCM

Vídeo Local– Utiliza a API VFW.H

Utilizando o SCM

Vídeo Local– Definindo o formato da imagem

Utilizando o SCM

Vídeo Local– Definindo o tipo de compressão

Utilizando o SCM

Vídeo Remoto

Utilizando o SCM

Lista para deter o token de áudio e vídeo

Utilizando o SCM Área de trabalho cooperativo

– O controle de token segue o mesmo princípio do áudio e vídeo

Considerações sobre o SCM

Mídia Contínua x Arquitetura de Comunicação

Sistema Operacional Inclusão de novas facilidades Suporte a Multicasting: Winsock 2.0,

MCS, ATM Módulo de trabalho cooperativo

3.2.2 Trabalho Cooperativo Auxiliado por Computador Extensão das conferências multimídia Fornecer acesso a uma área

compartilhada de trabalho Documentos podem ser conjuntamente

criados, editados e transferidos entre os conferencistas

3.2.2 Trabalho Cooperativo Auxiliado por Computador Exemplo:

– Vários médicos, geograficamente distantes, analisando exames de um paciente

– Editoração Eletrônica– Aplicações Cientifícas

3.2.2 Trabalho Cooperativo Auxiliado por Computador Vários sistemas já foram desenvolvidos

com essas características– JVTOS– University of Ottawa Distributed

Cooperative System– Virtual Talker– Microsoft NetMeeting (utilizaremos no

laboratório)

3.2.3 Vídeo Sob Demanda

Convergência das tecnologias de computadores, comunicação e televisão

Permite que um usuário assista a um filme, documentário, programa de entrevista, jornal, etc através do seu computador a qualquer hora em qualquer lugar

O usuário tem controle total do que assistir e quando assistir

Possui as funcionalidades básicas de um vídeo cassete virtual (avançar, retroceder, parar, etc)

Inclusão de hiperlinks no documento, permitindo que o usuário veja maiores informações sobre aquele produto

Interatividade Aplicações de Vídeo sob Demanda

usadas em conjunto com as aplicações de vídeo conferência e trabalho cooperativo permitem formar um ambiente para o ensino à distância

Grande desafio é a banda passante, já que não é possível usar o conceito de multicasting

Nos horários de pico os filmes muito solicitados exigem mecanismos mais eficientes de distribuição e armazenamento

O sistema deve prover um Qualidade de apresentação constante para o usuário final independente de quantos usuários estejam acessando o serviço

Novos mecanismos de busca estão sendo estudados do tipo: Achar o filme que tenha a cena X ou que contenha o ator Y, etc

Os vídeos são gravados no servidor com mecanismos de compressão para minimizar o seu tamanho e a banda passante necessária

Vários servidores podem ser utilizados para diminuir a carga no Backbone

O conceito de replicação é altamente encorajado

A largura de banda necessária é da ordem de 1,5 à 6 mbps

Redes como ATM tendem a ser tornar padrão para essa classe de serviços

O MPEG-2 é um padrão de compressão utilizado para dados pré-armazenados

3.2.4 Correio Eletrônico Multimídia Mesmo com a explosão da Web o

correio eletrônico é ainda a aplicação mais usada na Internet

Os correios eletrônicos tradicionais permitem a transmissão somente de texto

Os correios eletrônicos mais modernos permitem arquivos attachados

3.2.4 Correio Eletrônico Multimídia O correio eletrônico multimídia permite

transferir áudio, vídeo, imagem e texto de forma integrada

Enorme espaço de armazenamento Correios eletrônicos multimídia não

utilizam esquemas de store-forward para não sobrecarregarem o sistema de comunicação e armazenamento final

3.2.4 Correio Eletrônico Multimídia Em geral, apenas as referências às

mídias são enviadas. Estas ficando no servidor de origem ou em outros servidores

Antes da transferência ser realizada pelo receptor, este verifica se a máquina possui recursos para apresentar os dados

3.2.4 Correio Eletrônico Multimídia Um problema que se apresenta é que a

leitura de uma mesma mensagem duas vezes fará com que o sistema de comunicação tenha que busca-lá novamente

3.2.5 Apresentações Multimídia Distribuídas Apresentações multimídia podem ser

utilizadas para as mais diversas finalidades:– Preparação de Slides– Catálogos de informações turísticas– Sistemas de informação em medicina,

comércio e industria– Museu Virtual, etc

3.2.5 Apresentações Multimídia Distribuídas Em sistemas Stand-Alone os principais

produtos são:– Multimedia ToolBook para PC– Macromedia Director para Apple Macintosh

Nestes sistemas todas informações necessárias à apresentação se encontram localmente

3.2.5 Apresentações Multimídia Distribuídas As ferramentas de autoria devem

prover mecanismos para especificação de sincronismo entre as mídias– Ex: Mostrar um áudio e um vídeo e quando

a cena A for apresentada mostrar uma figura com um texto associado

Considerar que as mídias podem chegar em tempos diferentes

4. Meios Ópticos de Armazenamento Falaremos depois

5. Compressão de Dados

A compressão de dados é fundamental quando se trata de dados multimídia. Devido ao fato da grande quantidade de armazenamento de largura de banda

E pela redundância que os dados em si apresentam– Ex: Frames de um vídeo

5. Compressão de Dados

A compressão pode se dar em tempo-real, como nas vídeo conferências ou em dados pré-armazenados como em aplicações do tipo vídeo sob demanda

Pode-se ainda compactar imagens estáticas

5.1 Considerações sobre a Aquisição de Sinais Contínuos Como em geral os dados multimídia

são adquiridos por dispositivos analógicos (câmeras, microfones, etc), o primeiro problema que se coloca é a conversão analógico x digital.

É feita em duas fases:– Amostragem– Quantização

5.1 Considerações sobre a Aquisição de Sinais Contínuos Amostragem

– Transformar o sinal em números reais– Quanto maior o número de amostras maior

é a faixa de frequência coberta– O teorema de Nyquist diz que para

garantirmos a qualidade do sinal devemos amostrar pelo menos 2 vezes a frequência do sinal.

5.1 Considerações sobre a Aquisição de Sinais Contínuos Amostragem

• Ex: Devemos amostrar em torno de 8 kHz de um sinal de voz com qualidade de telefonia (300 à 3400 hz)

Quantização– As amostras são representadas por um

número finito de bits– Quanto menor o número de bits pior será a

qualidade do sinal reconstituído

5.2 Métodos de Compressão

As técnicas de compressão podem ser divididas em duas categorias:– Compressão com perda (lossy techniques)– Compressão sem perda (lossless

techniques) ou compactação

5.2 Métodos de Compressão

Técnicas com perda são utilizadas em aplicações multimídia para diminuir a quantidade de dados, principalmente em aplicações onde o usuário final é o ser humano. Pelas características do seu sistema áudio-visual

Sistemas multimídia usam solução híbridas de compressão de dados

5.2 Métodos de Compressão Existem três classes de compressão:

– Entropia (entropy)• Independente da característica da mídia. Ex:

pkzip, arj, etc

– Fonte (source)• Leva em conta a semântica dos dados. A taxa

de compressão é função da qualidade desejada (compressão com perda)

– Híbrida (Hybrid)• Utiliza-se dos dois. Ex: JPEG, MPEG, H.261, etc

5.2.1 Técnicas de Compactação

São aplicáveis a qualquer tipo de dado– Codificação por Carreira

• Utilizado em arquivos onde um mesmo símbolo é repetido várias vezes.

• Ex: ABCCCCCCCCDEFGG = ABC!8DEFGG• Não é raro os casos onde acontece expansão,

principalmente em arquivos onde os símbolos não se repetem muito

Código de Huffman– Cada símbolo esta associado a uma

probabilidade de ocorrência– Quanto menor a probabilidade do símbolo,

mais bits são necessários para codifica-lo– A qualidade da compactação é função da

amostragem

Algoritmo de Lempel-Ziv– Muito eficiente para a codificação de textos– Não apresenta bons resultados com dados

de sinais analógicos digitalizados– Parecido com o código de Huffman.

Entretanto, a árvore é gerada por sequências de caracteres, diferente de Huffman que é somente um caracter.

5.2.2 Técnicas de Compressão de Vídeo Em uma imagem monocromática cada

pixel esta associado a um tom de cinza Em uma imagem colorida cada pixel

possui três componentes: RGB (Red, Greend e Blue)

Uma imagem colorida é formada pela sobreposição destas três imagens

5.2.2 Técnicas de Compressão de Vídeo As componentes RGB não são apropriadas

para transmissão de imagens Foi criada uma nova notação para

representar as cores. Um pixel possui as componentes (Y,U,V)

Y - Luminância (Brilho) (U,V) - Crominância ou sensação de cor

5.2.2 Técnicas de Compressão de Vídeo Pode-se transformar de uma notação

para outra. Exemplo, no sistema PAL, que utiliza 576 pixels/linha, esta conversão é feita por:

Y = 0,2999R + 0,587G + 0,114B U = -0,147R - 0,289G + 0,437B V = 0,615R - 0,515G - 0,100B

5.2.2 Técnicas de Compressão de Vídeo Técnicas de compressão de vídeo

procuram explorar a alta redundância espacial e temporal existente nesta mídia

Em geral, são utilizadas técnicas com perdas, que são altamente eficientes para dados analógicos digitalizados

5.2.2 Técnicas de Compressão de Vídeo Estas técnicas exploram as limitações e

características do sistema visual humano

Sabe-se que o sistema humano é mais sensível à informação de luminância do que a crominância (sensação de cor)– Pode-se usar então um número menor de

bits para o sinal de crominância

5.2.2 Técnicas de Compressão de Vídeo Codificação Diferencial Preditiva

– Explora a alta relação que existe entre um frames consecutivos

• Ex: O fundo de uma aplicação de vídeo-conferência

– Apenas a diferença entre a previsão e o valor real da amostra é codificada, armazenada e transmitida

5.2.2 Técnicas de Compressão de Vídeo Codificação por Transformada

– Os dados são transformados de um domínio matemático para outro mais adequada ao método de compressão

– Os dados são transformados do domínio do tempo para o domínio da frequência através da transformada de Fourier

– Cada pixel é transformada em um coeficiente de energia dependendo de sua cor

– Nota-se que a maior parte da energia concentra-se em poucas amostras

– Codifica-se então as amostras com níveis significantes de energia

– Passos a serem realizados na transformação de domínios

• Escolha da transformada. A transformada discreta do Cosseno (DCT - Discrete Cossine Transformation) é a mais empregada devido ao excelente grau de “descorrelação” entre os pixels e fácil implementação

• Divisão da imagem em blocos de 8 x 8

• A transformada é então aplicada a cada bloco• São quantizados os coeficientes de maior

energia, para serem transmitidos e/ou armazenados

• Utiliza-se codificação por entropia, como o código de Huffman, para eliminar as redundâncias

5.2.2 Técnicas de Compressão de Vídeo Codificação por Sub-Amostragem

– Técnica utilizada quando a qualidade de vídeo não é importante

– Somente um pixel é transmitido/enviado no codificador (encoder)

– No decodificador (decoder), este pixel é interpolado para regenerar a imagem

5.2.2 Técnicas de Compressão de Vídeo Codificação por Sub-Bandas

– A idéia central é codificar com um maior número de bits as informações que o sistema visual humano presta mais atenção

5.2.2 Técnicas de Compressão de Vídeo Outras técnicas

– Codificação baseada em modelos• O transmissor e o receptor fazem um acordo à

respeito da imagem, e somente os parâmetros que são alterados na imagem são enviados. Por exemplo a posição que uma determinada pessoa ocupada em um cenário

– Fractais• A idéia básica é transformar uma imagem

estática em um conjunto de funções matemáticas que ao serem executadas gerem a imagem original.

• Esta técnica é utilizada para sistemas pré-armazenadas porque o tempo necessário para encontrar a fórmula é muito alto

– Estimação do Movimento• A imagem é dividida em regiões e estima-se a

posição de uma região de um quadro a partir de suas posições em quadros anteriores

5.3.1 Fatores a considerar na escolha do método Tipo de Aplicação

– O método de compressão é dependente da aplicação.

– Para aplicações de tempo-real (ex: vídeo-conferência), deve-se escolher algoritmos rápidos preferencialmente com implementação em hardware. Métodos Preditivos + transformadas são bons candidatos (H.261 / H.263)

5.3.1 Fatores a considerar na escolha do método Tipo de Aplicação

– Para aplicações com dados pré-armazenados, deve-se analisar a taxa de compressão e a qualidade da imagem desejada bem como a facilidade de decodificação proporcionada pelo método

• Ex: MPEG-2 ou MPEG-3 para vídeo sob demanda

5.3.1 Fatores a considerar na escolha do método Confiabilidade do canal de transmissão

– Se o canal não for confiável, métodos de codificação preditivos devem ser evitados (por causa da propagação de erros)

Interatividade da aplicação– Se o acesso randômico a uma frame

particular é requerido a codificação intra-frame é mais aplicável

5.4 Padrões de Codificação de Vídeo A fim de prover interoperabilidade entre

sistemas de diferentes fabricantes padrões de codificação são definidos

JPEG. Utilizado para imagens estáticas MPEG. Imagens em movimentos pré-

armazenadas H.261 / H.263. Imagens em movimento

geradas em tempo real

5.4.0 JPEG

Olhar no quadro

5.4.1 MPEG - Motion Picture Expert Group O MPEG é um grupo de estudo da ISO,

que tinha por objetivo definir um padrão de compressão de filmes e vídeos com qualidade e utilizando a infra-estrutura atual

O MPEG utiliza a idéia básica do JPEG, haja visto que uma imagem em movimento é um conjunto de imagens estáticas

5.4.1 MPEG - Motion Picture Expert Group Além da compressão de vídeo,

questões de codificação de áudio e sincronização entre áudio e vídeo também foram resolvidas

MPEG Vídeo necessita de 1,5 Mbps MPEG áudio realiza compressão à 64,

92 ou 128 Kbps

5.4.1 MPEG - Motion Picture Expert Group Formação dos frames

– Existem três tipos de frames no padrão MPEG

• Intra-Frame (I)• Preditas (P)• Bidirecionais (B)

5.4.1 MPEG - Motion Picture Expert Group Intra-Frame (I)

– São simplesmente a codificação da imagem parada, não usando qualquer passado histórico

– Sua codificação é feita independente de outros frames

– Servem para a entrada do acesso randômico além de ressetar a propagação de erros

5.4.1 MPEG - Motion Picture Expert Group Intra-Frame (I)

– A codificação do frame é feita utilizando o JPEG

Os outros frames (P e B) utilizam a técnica de estimação de movimentos para remover as redundâncias temporais

5.4.1 MPEG - Motion Picture Expert Group Frames do tipo P

– Estes frames são previstos com base nos frames do tipo I ou P mais recentes

– Base-a na constatação de que imagens sucessivas não tem toda sua área alterada e sim um deslocamento

– Alta redundância temporal é aproveitada

5.4.1 MPEG - Motion Picture Expert Group Frames do tipo B

– Estes frames são obtidos pela interpolação de frames do passado e do futuro, a partir de frames I e/ou P

– A maior taxa de compressão é conseguida usando estes frames

– Um frame B nunca esta disponível para acesso randômico

5.4.1 MPEG - Motion Picture Expert Group O espaçamento relativo entre os frames

é dependente da aplicação– Ex: Frames I pouco espaçados permitem

acesso randômico mais rápido Uma combinação bastante usada é:

IBBPBBPBBIBBPBBPBB… Neste caso o acesso randômico teria

uma resolução de 9 frames

5.4.1 MPEG - Motion Picture Expert Group No Decoder, o frame do tipo I é

decodificado primeiro Em seguida o frame do tipo é mantido

na memória e os frames do tipo B são então decodificados, e só então o frame B é apresentado

5.4.1 MPEG - Motion Picture Expert Group Atualmente o MPEG-2 é o padrão para

compatação/descompatação de imagens pré-armazenadas até 720x480 pixels a 60 frames por segundo

MPEG-2 também será utilizado na televisões de alta definição (HDTV)

MPEG-4 utiliza compressão fractal (ainda esta em padronização)

6. Camada de Transporte

É responsável pela comunicação fim-a-fim

Total independência aos elementos de rede

Exemplos de camada de transporte incluem:– TCP, UDP, TP4, etc

A camada de transporte é responsável– Gerência de conexões– Transferência de dados– Detecção e correção de erros– Sequenciamento dos dados– Controle de fluxo

Os protocolos de transporte clássicos são inadequados para as redes de alta velocidade. Vários protocolos surgiram para solucionar então o problema– MHTP (Multimedia High-Speed Transport

Protocol)– XTP (Xpress Transfer Protocol)– RTP (Real Time Transfer Protocol)

6.1 Limitações dos Protocolos de Transporte Clássicos Primeiramente é preciso entender que

as redes multi-serviços de alta velocidade (ex: ATM) possuem características bem diferentes das atuais redes:– Velocidades na ordem de gigabits– Taxas de erro na ordem de 10-12

6.1 Limitações dos Protocolos de Transporte Clássicos Nas redes atuais temos

– 10/100 Mbps para LANs– 10-50 Mbps para WANs– Taxa de erro da ordem de 10-4

Como os protocolos de Transporte foram desenvolvidos para estas redes, eles procuram superar deficiências da própria rede, como as perdas de pacote

6.1 Limitações dos Protocolos de Transporte Clássicos Entre as limitações podemos citar:

– Altos retardos de transmissão– Perdas de pacotes devido a

congestionamento ou perda de pacote pela rede

– Entrega errônea de dados– Overflow no nós da rede

6.1 Limitações dos Protocolos de Transporte Clássicos

– Formatos Complexos dos pacotes– Cabeçalhos com tamanho variávels– Modelo de máquina sequêncial dificulta o

processamento paralelo

6.1 Limitações dos Protocolos de Transporte Clássicos Para aplicações multimídia ainda é

exigido dos novos protocolos:– Suporte a dados contínuos (áudio e vídeo)– Sincronização– Comunicação multiponto– (Re)negociação de QoS– Convivência com novas taxas aceitáveis

de erros

6.1 Limitações dos Protocolos de Transporte Clássicos Os protocolos de transporte foram

projetados em um cenário onde a capacidade de processamento das máquinas era maior do que a capacidade de processamento das redes

Hoje o cenário é exatamente o oposto

6.1 Limitações dos Protocolos de Transporte Clássicos Conceitos como

– three-way handshaking– Go-back-N– Esquemas de Janela deslizante para

controle de fluxo passaram a ser um problema,

comprometendo a performance do sistema

6.1 Limitações dos Protocolos de Transporte Clássicos Alguns problemas dos protocolos atuais

para aplicações multimídia– TCP suporta apenas conexões ponto-a-

ponto. Conexões multicasting devem ser providas pelo UDP

– Não existe o conceito de gerência de grupo. Útil para definir por exemplo parâmetros de segurança para todo o grupo

– TCP provê pouco suporte para controle de prioridade, fundamental em sistemas de tempo-real

– TCP suporta apenas transmissão confiável, transmitindo o dado várias vezes, até que ele chegue correto

– UDP implementa um serviço onde o transmissor nunca sabe se o receptor recebeu ou não um dado

– Para mandar um único dado, o TCP envia 6 pacote

• 2 para estabelecer/aceitar a conexão• 2 para transmitir e confirmar os dados• 2 para terminar a conexão

– TCP, UDP e TP4 utilizam políticas fixas que independem da aplicação, como por exemplo o controle de fluxo ou tolerância a falhas, etc

Sistemas Multimídia por Wandreson Luiz Brandino wandreson.com (wandreson@wandreson.com)

Documents

APRENDIZAGEM MULTIMÍDIA

DSC/CEEI/UFCG Sistemas Multimídia Hardware/Software para Multimídia

ATPS Multimídia

Resumo produção multimídia

Roteiro Multimídia Elaboração de um projeto de documentário multimídia

Projeto de Multimídia

Gimp - Multimídia

Sistemas Multimídia O Áudio Tópico: Características do som Sistemas Multimídia

Pearson Education Sistemas Operacionais Modernos – 2ª Edição 1 Multimídia Capítulo 7 7.1 Introdução à multimídia 7.2 Arquivos multimídia 7.3 Compressão

Apresentação multimídia 04

Kit's Multimídia

Sistemas Multimídia - Aula 01...Codificação e processamento multimídia → processamento de áudio/imagem/vídeo, compressão, recuperação de dados multimídia, etc. Suporte

Narrativas multimídia interativas

Apresentação multimídia 01

Infografia Multimédia/Multimídia

Caderno 9 Multimídia

Internet Multimídia

Renault Sistemas multimídia...multimídia ou o botão 2; – ao tocar na tela multimídia 1. Parado O sistema multimídia é desligado: – quando você pressionar o comando 3 no

Sistemas Multimídia - Aula 04 - O Que é Multimídia (Ambientes Multimídia e Produtos Multimídia)

Apresentação Recon Multimídia