云跟踪：基于云平台的大规模 Internet内容分发

博士（二年级末）：李振华 学号： 10948866个人主页： http://net.pku.edu.cn/~lzh

导师：代亚非 教授

大家是否常常头痛于 IE 、 FireFox 下载之“龟速”？

是否每每惊叹于迅雷下载之“神速”？

背景 1：龟速和神速

IE 迅雷0

50

100

150

200

大家是否感觉到搜狗浏览器的下载速度最近明显提升？那么原因是什么呢？

具体原因， 360 安全浏览器也很想知道* 数据包分析显示，搜狗浏览器（可能）在后台“悄悄”实现了迅雷相似的技术

背景 2：浏览器大混战

隐藏在迅雷、 QQ 旋风、搜狗浏览器、 360 安全浏览器背后的神秘技术——云跟踪

引发迅雷和QQ旋风的战斗

引发浏览器大混战

隐藏在背后的“神秘技术”

什么是 Internet 内容分发？* Internet 内容分发可以简单理解为从 Internet下载文件

核心问题：如何下载得更快？* 难以改变的：骨干网带宽、用户接入带宽、 TCP/UDP 协议性能* 可以改变的：数据源的多少和调度方法！* = 多源并行下载

Internet内容分发

一个自然的问题： BT 是典型的多源并行下载， BT不是已经解决问题了吗？

实际情况是：常常找不到“好”的 BT 种子，而且此时好不代表一直好， P2P 的下载性能不稳定。

问题：怎么才能让 P2P 用户下载高速且稳定？ 思路：从 Internet“ 云”中寻找稳定的数据源！

BitTorrent不可以吗？

基于云平台的大规模 Internet内容分发

云跟踪

P2P ：高扩展低成本高动态高异构

云计算：低扩展高成本高可靠易管理

其跟踪的云平台全部来自第三方服务器，所以搭建云跟踪系统十分轻量级！几十台服务器即可。

云跟踪的特点

云跟踪 P2P 用户集群

下载Photoshop

涉及到搜索引擎、数据库、资源调度、 P2P 等技术

云跟踪系统简化原理图

P2P用户集群

云端服务器

资源爬虫

验证服务器

资源调度文件索引数据库

云跟踪

数据传输

云跟踪当前面临的挑战？

目前做的最好的资源爬虫是狗狗

但狗狗检索到的资源其实并不多* 还有很多有用的数据源没有被发现

狗狗检索到的资源也有不少失效的

1、资源爬虫的性能

迅雷要上市，担心狗狗不合法，被迅雷以 1 万元的“白菜价”卖给“无关联第三方”

狗狗的价值，你懂的……

非技术问题，但非常重要

2、资源爬虫的合法性

清仓大甩卖！

ICP ： Internet Content Provider （内容提供商）

云跟踪给用户带来了下载的神速，但跳过了 ICP 的页面和广告，可能有损 ICP 的商业利益

ICP 和迅雷之间的利益博弈 /纠纷此起彼伏

3、云跟踪和 ICP的关系

云跟踪 P2P 用户集群

网页资源

巨量的服务器和用户、极高的动态性与异构性* 服务器集合 S = {S1, S2, ..., Sn} ， n 一直变化* 用户集群集合 P= {P1, P2, ..., Pm} ， m 一直变化* 对每个 Pi ，其成员构成 Pi ={Ui1, Ui2, ..., Uiq} ， q 一直变化

网络资源调度通常假设服务器是稳定的； P2P 资源调度常常局限于一个用户集群内部；

然而云跟踪监控着上百万台服务器，服务器本身的动态性成为无法忽视的问题* 调度周期、调度参数的设置更为精细和复杂

资源调度算法

Q&A