Aspera Transferência de Arquivos em Alta Velocidade

© IBM Corporation 1

Apresentado por:

Aspera Transferência de Arquivos em Alta Velocidade

Paulo Lacerda IBM Cloud Software Tech Sales


text

Agenda

–  Introdução – Tecnologia Aspera – Cenários de Uso

© IBM Corporation 3 © IBM Corporation 3

Introdução


text

Missão

Criar a próxima geração de tecnologias que movem os ativos digitais

do mundo em velocidade máxima, independente de tamanho,

distância e condições de rede.


text

Por que Aspera?

Desde 2004, desenvolvendo tecnologia para transferência de arquivos em alta velocidade

Protocolo FASP™ – Tecnologia inovadora patenteada, altamente eficiente para transferência de dados em massa. – Componente chave de toda a suite Aspera de transferência de arquivos de alto desempenho. – Supera soluções de software e hardware para aceleração de WAN – Em primeiro lugar em todos benchmarks de transferência de arquivos via WANs

Segmentos de Mercado – Mídia e Entretenimento, Governo, Ciências da Vida, Saúde, Computação em Nuvem, Games,

Serviços Financeiros, Engenharia, Telecomunicações, Provedores de Serviços, Arquitetura e Design, entre outros.


text

Alguns Clientes Aspera Studios 20th Century Fox DreamWorks Disney Lucas Film Paramount Pixar Sony Pictures Sony Imageworks Universal Warner Bros. & GDMX

Broadcasters ABC ABS-CBN AFP Andrita Studio CBS CBC CNN CSTV Discovery ESPN Fox Foxtel HBO ITN MLB NBC NBA Network NFL Network Nova MTV Networks Outdoor Channel Rainbow Media Red Bee Media SBS Scripps Networks Showtime Networks Sky Germany Sky Italia Starz Entertainment Travel Chanel TV Guide TVN Turner Univision

Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google YouTube Hulu Joost Microsoft Studios Netflix Synccast (Technicolor) Universal Music Sony BMG

Post Production Ascent Media Cinesite CINRAM Cryptography Rsch Inst. Deluxe Framestore eFilm Lightstorm Entertainment Modern Video Film Moving Picture Company ParkRoads Post Logic Postworks NY Reelz Channel

Cable/MSO’s and IPTV ATT British Telecom Comcast Crawford

Communications DirecTV EchoStar & Dish Network Rogers Wireless & Cable Shaw Telstra Time Warner Cable Verizon

Content Distribution Alcatel-Lucent / Velocix Edgecast iBAHN Level3 Limelight Networks Move Networks

Integrated & Cloud Accenture DETE Artesia Acresso SubscribeNet Ceiton EMC Documentum Epk.TV GLOBALedit &

FileSociety IBM Media Hub Microsoft IMM MIT NorthPlains TeleScope Omneon Ooyala thePlatform Tandberg MediaPath

Games Activision Disney Interactive Studios Eidos Interactive Electronic Arts Microsoft XBOX Nintendo Sega Sony Computer Entertainment Sony Connect Take-Two Interactive Ubisoft

Life Sciences Applied BioSystems Biomedical Systems BGI Broad Institute Duke University EBI Fred Hutchinson Genome Research Ltd. Johns Hopkins NIH / NCBI Translational Genomics University of Maryland

Publishing Dow Jones Online Hougton Mifflin Harcourt New York Times Pearson Random House RR Donnelley Thomson Reuters Time, Inc. Sports Illustrated

Engineering, R&D Apple Computer Autodesk CGG Veritas European Space Agency General Dynamics Global Foundries HP PSG LSI NetApp Nokia Samsung Software AG

Federal Government, DOD DIA NASA US Army, Navy, Air Force USDOJ FBI NSA NGA US JFCOM SOCOM INSCOM State Department DISA, SPAWAR MIT Lincoln Labs HHS/NIH Armed Forces Network

Financial Services Bank of America Dow Jones Gloucester Research Metlife Morgan Stanley TD Bank

Global Enterprise Abercrombie and Fitch Adidas Coca Cola Codan Greenpeace Iron Mountain Mary Kay Cosmetics Milwaukee Bucks Johnson & Johnson RCDB

Legal, eDiscovery Fios, Inc Greenberg and Traurig IPRO Corp IT.COM King and Spalding Mccarter & English Ricoh Stroz Friedberg

Pharma Abbott Laboratories Glenmark Generics Merck Pfizer


“… uma virada de jogo na indústria”

65th EMMY AWARDS


Tecnologia Aspera


text

Tendências

Explosão do Big Data •  90% dos dados hoje são baseados em arquivos ou não estruturados •  Mix de tamanhos de arquivos — mas a norma são arquivos cada vez maiores

Diversidades de redes IP — Mídia, Banda e Condições •  Larguras de bandas variáveis (desde as mais lentas até as super rápidas) •  Diversidade das mídias de rede (terrestre, satélite, wireless) •  Condições diversas — todas as redes propensas a degradação em longa distância

Workflows Globais — movendo Big Data sobre WANs •  Equipes distribuidas geograficamente •  Em longa distância, as condições de rede degradam •  Soluções de aceleração de TCP não são projetadas para transferência de big data

Crescimento de Cloud Computing •  Mais opções: SoftLayer, AWS, Microsoft Azure, OpenStack, HP Cloud •  Não é mais um nicho – Netflix (transcodificação), MTV (distribuição de vídeo

global), BGI (sequênciamento genômico).


text

O Diferencial Aspera

!  Distância degrada as condições em todas as redes –  Latência (ou round trip time) aumenta –  Perda de pacote aumenta

!  Redes rápidas também estão sujeitas a degradação –  Performance do TCP degrada com a distância – O gargalo da taxa de transferência se torna mais severo

com o aumento da latência e perda de pacotes.

!  TCP não escala com a largura de banda –  TCP foi projetado para largura de banda pequena –  Aumento na largura de banda não aumenta a velocidade

!  Velocidade Máxima nas Transferências –  Desempenho das transferências escala com a banda

independente da distância e é resiliente a perda de pacotes !  Prevenção de Congestionamento e Políticas de Transferência

–  Utilização integral da banda disponível –  Priorização on-the-fly e alocação de banda

!  Segurança e Confiabilidade –  Autenticação segura dos usuários –  Criptografia AES-128 em trânsito e at-rest

!  Resultando em –  Transferências até cem vezes mais rápidas que FTP –  Tempos de transferência precisos e previsíveis –  Escalabilidade ao extremo (cocorrência e throughtput)

TCP FASP

1

2


text

FASP – Performance

11

TCP transfer times limited by packet loss, delay (network distance) NOT BANDWIDTH Aspera transfer times shorten linearly with bandwidth Independent of packet loss, delay (network distance) Cross US – Add 1% to 5% Intercontinental – Add 1% to 10%

Across US US – Europe US – ASIA

10 GB 100 GB 10 GB 100 GB 10 GB 100 GB

FTP

10 Mbps

10-20 Hrs Impractical 15-20 Hrs Impractical Impractical Impractical100 Mbps

1 Gbps

10 Gbps

Aspera FASP™

10 Mbps 140 Min 23.3 140 Min 23.3 140 Min 23.3

100 Mbps 14 Min 2.3 Hrs 14 Min 2.3 Hrs 14 Min 2.3 Hrs

1 Gbps 1.4 Min 14 Min 1.4 Min 14 Min 1.4 Min 14 Min

10 Gbps 8.4 Sec 1.4 Min 8.4 Sec 1.4 Min 8.4 Sec 1.4 Min

SPEED PREDICTABILITY SCALE


text

FASP™ – Gerenciamento com Controle Adaptivo de Taxa de Transferência

Extraordinary bandwidth control •  Automatic, full utilization of available bandwidth •  Protection of other network traffic with “fair” policy •  Allows “bursts” in TCP traffic and reclaims

unused bandwidth as it as it becomes available

Real-time prioritization of transfers •  Highly-concurrent transfer stacking •  On-the-fly, per flow, user and job prioritization •  Concurrent transfers adjust bandwidth

consumption on the fly, allocating available bandwidth based on transfer priority

System-wide monitoring and reporting •  Real-time progress and performance analysis •  Real-time bandwidth utilization •  Detailed transfer history, logging and manifest


text

Visão Geral do Portfolio

FASP™ PATENTED HIGH-‐SPEED TRANSPORT

Web, Desktop, Email, Mobile, Embedded

Private On Premise

Distribu9on, sharing, collabora9on and exchange

Transfer management, monitoring and automa9on

Scalable, high-‐performance synchroniza9on and replica9on

TRANSFER CLIENTS WEB APPLICATIONS MANAGEMENT & AUTOMATION

SYNCHRONIZATION

TRANSFER SERVERS

Any Data Size, Any Distance, Any Network Condi9ons Any Infrastructure: Block, Object, On Premise, Cloud

Public and Private Cloud Hybrid


text

Exemplo de Topologia


Cenários de Uso


text

Compartilhamento de Arquivos Exemplos de Requisitos •  A empresa quer um portal web para os empregados compartilharem grandes ativos digitais.

•  Os ativos digitais estão em apenas um data center da empresa.

•  Connect Server •  Console

Connect Browser Plug-In




…


text

Distribuição de Conteúdo Exemplos de Requisitos •  Hub and Spoke: replicação automática do conteúdo em servidores distribuídos em localidades diferentes

•  Distribuição contínua do conteúdo de um local central para outros locais

•  Aspera Sync •  Enterprise Server •  Console

Desktop Client

•  Aspera Sync •  P2P Client




text

Transferência de Arquivos entre Escritórios Distribuídos

Exemplos de Requisitos •  A empresa precisa transferir arquivos entre escritórios distribuídos (ex: matriz e filial). •  As transferências podem ser iniciadas tanto da matriz quanto da filial. •  Cada transferência tem em média de 5GB a 10GB. •  Todas as transferências são monitoradas e controladas.

•  Aspera Enterprise Server* •  Aspera Console

…Aspera Enterprise Server*

Aspera Enterprise Server*

* Caso um nó apresente no máximo uma sessão de transferência simultânea, pode ser utilizado o Aspera P2P Client.


text

Transferência de Arquivos na Agencia de Inteligência Geoespacial

Desafio •  NGA precisava transferir dados de monitoração obtidos a partir de sensores em suas

bases militares distribuídas no mundo para os Estados Unidos. •  As distâncias eram tão grandes que soluções baseadas em FTP e TCP não conseguiam

atender a demanda e os dados tinham que ser enviados através de um avião de carga C-130 para Europa e Estados Unidos.

Solução •  ES155 em 2 localidades, com crescimento para Console e ES1G em 6 localidades.

Resultados: •  A solução Aspera permitiu a Agência utilizar a banda toda, permitindo a transferência

completa dos arquivos. O projeto foi tão bem sucedido que evoluiu para a utilização de múltiplos circuitos OC3.


text

Troca de Arquivos entre Colaboradores Exemplos de Requisitos

•  A empresa necessita enviar e receber grandes pacotes de dados para terceiros (fornecedores, auditores, etc). •  É necessário um disponibilizar um “dropbox” para os usuários enviarem arquivos. •  A empresa não quer criar uma aplicação customizada para esta finalidade. •  Por motivos de segurança drives em núvem pública não são uma opção. •  Atualmente os dados são enviados via Sedex.

•  Faspex •  Connect Server •  Console

Connect Browser Plug-In Connect

Browser Plug-In



…


text

Troca de Arquivos em Alta Velocidade na Universal Pictures

Desafio •  Processo complexo de pós produção envolvendo várias entidades tanto

dentro quanto fora do estúdio. •  Troca colaborativa de mídia de alta resolução ao redor do mundo. •  Excessivas configurações e necessidades de treinamento para cada projeto. •  Requisitos de segurança e auditoria para proteger capital intelectual.

Solução •  Aspera Faspex utilizado como uma forma segura de enviar, receber e

compartilhar ativos digitais globalmente entre instalações de produção, pós-produção e parceiros de efeitos visuais.

Nas Palavras Deles •  “nosso padrão aprovado para transferência de conteúdo ao redor do mundo” •  “interface e configurações intuitivas, novos usuários simplesmente entram em

uma página web, clicam, arrastam e soltam. Não poderia ser mais fácil.”

• Redução nos tempos de

configuração de 2-3 semanas para

2-3 horas

• Tamanhos de arquivos até 30GB


text

Compartilhamento de Arquivos Exemplos de Requisitos •  A empresa quer um portal web para os empregados compartilharem grandes ativos digitais.

•  Os ativos digitais estão em 3 data centers da empresa: São Paulo, Fortaleza e Rio.

•  Shares •  Connect Server •  Console





…

Connect Server Connect Server


text

Compartilhamento de Conteúdo de Cinema em Alta Velocidade com Aspera

Desafio •  Distribuição de conteúdo para os cinemas na região Asia-Pacific. •  Originalmente possível apenas através de dispositivos físicos.

Solução •  Solução baseada no Aspera Shares rodando em nuvem para receber inúmeros

arquivos de vídeo de uma rede de parceiros globais e distribuir eles para os cinemas clientes na região Asia-Pacific.

Resultados •  O uso da tecnologia FASP viabilizou o recebimento e distribuição de conteúdo do

Reino Unido e Estados Unidos e distribuição na região Asia-Pacific através da rede. •  O uso combinado de infraestrutura de nuvem com a tecnologia Aspera permite a

CinemaCloud obter escalabilidade da capacidade de transferência on demand.

“Choosing Aspera as the transport

foundation for our service makes cloud-based video hosting

and distribution technologically

feasible and cost effective.”

Tony Laughton, CEO


text

Replicação de Dados Exemplos de Requisitos •  Replicar dados críticos da empresa para um site de contingência/disaster recovery.

•  Aspera Sync •  P2P Client •  Console


Disaster Recovery Site


text

Aplicação Web Customizada Exemplos de Requisitos •  A empresa quer construir uma aplicação web customizada que usa o protocolo FASP para acelerar a entrega de dados.

•  Os clientes da empresa irão acessar a aplicação web para fazer download dos arquivos.

•  Connect Server •  Aspera Developer Network/SDK •  Console





…


Obrigado! [email protected]


text

Transferência de Arquivos entre dois Pontos

Exemplos de Requisitos •  A empresa precisa de uma ferramenta para transferir com segurança arquivos entre dois locais. •  Um único usuário transfere alguns GB por dia entre os dois sites uma transferência por vez.

Aspera Point-to-Point Client* Aspera Point-to-Point Client*

* Caso as transferências sejam sempre iniciadas a partir de um mesmo local, este pode utilizar o Aspera Desktop Client.


text

Aplicação Desktop Customizada Exemplos de Requisitos •  A empresa quer construir uma aplicação desktop Java que usa o protocolo FASP para acelerar a entrega de dados.

•  Os clientes da empresa irão acessar a aplicação desktop para fazer download e upload de arquivos.

•  Enterprise Server •  Aspera Developer Network/SDK •  Embedded Client Add-On •  Console

Aplicação Java customizada utilizando bibliotecas Aspera


text

Desafios com TCP e tecnologias alternativas

Distância degrada as condições em todas as redes •  Latência (ou round trip time) aumenta •  Perda de pacote aumenta •  Redes rápidas também estão sujeitas a degradação

Performance do TCP degrada com a distância •  O gargalo da taxa de transferência se torna mais severo com

o aumento da latência e perda de pacotes.

TCP não escala com a largura de banda •  TCP projetado para largura de banda pequena •  Aumento na largura de banda não aumenta a velocidade

Tecnologias Alternativas •  TCP-based – Latência de rede e perda de pacotes tem que ser baixas •  UDP traffic blasters – Ineficiente e desperdício de banda •  Data caching – Inadequado para muitos arquivos grandes •  TCP Modificado – Melhora na performance do TCP mas insuficiente para redes rápidas •  Compressão de dados – Demorado e impraticável para certos tipos de arquivos •  CDNs – Alto overhead e caros de escalar


text

FASP™: Transporte de Alto Desempenho

Velocidade Máxima para as Transferências •  Máxima eficiência de transferência ponto-a-ponto •  Desempenho das transferências escalam com a banda

independente da distância e resiliente a perda de pacotes

Prevenção de Congestionamento e Políticas de Transferência •  Utilização automática da banda disponível •  Priorização on-the-fly e alocação de banda

Segurança e Confiabilidade •  Autenticação segura dos usuários •  Criptografia AES-128 em trânsito e at-rest

Gerenciamento, Monitoração e Controle Escaláveis •  Visibilidade em tempo-real do progresso, desempenho e utilização

de banda •  Histórico detalhado das transferências

Baixo Overhead •  Menos que 0.1% de overhead com 30% de perda de pacotes •  Alto desempenho com arquivos grandes ou grandes conjuntos de

pequenos arquivos


text

Netflix depends on Aspera for media delivery to the cloud

Challenge •  Strategic shift to leverage the cloud for transcoding •  Eliminate large upfront CapEx in infrastructure and reduce OpEx •  Accelerate turn around times to bring content to` subscribers sooner

Solution •  Aspera On Demand with Direct-to-S3 technology to move the content into AWS

S3 storage for transcoding and streaming out to its customers

In their words •  “…ingest of the video was the bottleneck…” •  “…large video files from the studios now land directly in the Amazon cloud…” •  “…when it touches down it is encrypted, secure, durable…”

•  Transfer rate improvements of up to 10x

•  Averaging 100TB content inbound per month