1

55 、、基于基于本体本体的的网络信息聚合及其应用网络信息聚合及其应用

• 信息源：网页• 爬取：爬虫 ( 含动态网页 )

• 解析：• 基于本体的语义标注

· 全局本体 = 概念 + 关系 + 实例· 局部本体 - 表格： 1+1+N 方法 - 文本：条件随机场

• 生成聚合信息• 存储、发布、应用

中间件层

应用层

信息源层

•报价单位•产品•价格•报价日期

2

应用举例：粮食价格分析应用举例：粮食价格分析

• 数据来源： - 中华粮网（ http://datacenter.cngrain.com/IndexByPrice.aspx） - 东北粮食网（ http://www.ls119.cn/baojia/Default.aspx） - 中国农业信息网（ http://2010jiuban.agri.gov.cn/jghq/） - 中国畜牧网（ http://xumu.com.cn:8001/html/market/index.html ） - 中原畜牧网（ http://www.hnfeed.com/market/ ） - 阿里巴巴农业资讯（ http://info.china.alibaba.com/news/subject/v2-s5015505.html ）

• 粮食价格分析– 稻谷– 小麦– 玉米– 2009.7 — 2010.7

时间序列分析：统计软件 (SPSS17.0)• 周价格曲线• 事件关联分析• 区划价格差异• 中、长期预测，短期预测

• 指数平滑法• 自回归法• ARIMA 模型法• 季节分解法• 谱图分析法

3

稻谷

• 09.12-10.02 ：春节临近，消费旺季，涨价• 10.03-10.04 ：旱情严重，涨价• 10.05 ：稻谷轮换出库，需求淡季，降价• 10.06 ：水灾，减产，涨价

红色：观测值

蓝色：拟合值

2009.7.15 2010.7.10

4

小麦

• 出现离群值 (outlier) ： 2 月、 3 月、 6 月中旬 原因：原始数据错误、聚合处理错误、突发事件驱动• 6 月末 -7 月初：涨价（春季低温、化肥涨价、惜售）• 预测预测：出现误差；短期预测难度大！须深入研究！

红色：观测值蓝色：拟合值绿色：预测值绿色：预测值

真值OutlierOutlierOutlier

2010.1.1 2010.7.10

5

小麦区划

• 周期性： 7 天• 预测：误差较小，周期性

华东 中南 华北 西北 东北 西南

红色：观测值，蓝色：拟合值，绿色：预测值绿色：预测值

6

小麦区划

• 3-4 月份：西南地区价格明显高！• 原因：春季旱情严重。

7

网络信息聚合的意义网络信息聚合的意义

• 聚合信息服务 热门信息推送 按需求订制 难点：完整、精度、重组

• 行业领域应用 可靠建模依据 政策制订支持

• 事件关联分析 短期预测

• 方法与手段：基于本体的语义理解 + 时间序列分析

8

自然基金重点项目：非对称广域覆盖信息共享网络三个参加单位：

清华大学（ CESL 实验室）西南科技大学（绵阳，马建国教授、邢玲副教授、……）电子科技大学（成都，隆克平教授、徐杰副教授、……）

经费： 190 万元时间： 2010-2013 年，四年

合作研究方向：非对称信息共享网络的数学、物理模型信息共享网络动力学系统的大规模时空动态仿真基于语义的网页分析、内容聚合、数据挖掘

合作形式：博士后校际合作

征询合作研究征询合作研究

任勇：reny@tsinghua.edu.cn

18911803773

9

谢 谢谢 谢

10

WWWWWW 业务特征业务特征

• 文件传输为主• Poisson 到达：负指数分布• 文件长度服从重拖尾分布： Bounded Pareto

• 网站文件服务时间也服从重尾的 BP 分布• 重尾业务：持续时间具有重拖尾分布特性的业务• 重拖尾业务实质：被长流调制的慢变的布朗运动 • 用户满意度指标：阻塞概率、平均响应时间• 播存结构理论分析：有限忍耐度的排队系统分析

11

• 文件长度服从 BP 分布（ Bounded Pareto ）· k = 1.22 kbyte, p = 1 Mbyte, α= 1.1

· 文件长度均值 6.56 kbyte ，方差 7.17×10^̂8

· 大于 100kbyte 的文件占 0.72%

· 大文件产生的数据量占 27.1%

• 文件长度服从负指数分布，则大于 100kbyte 的文件占 2.4/ 千万，数据量占 3.7/ 百万。

• M/ G/ 1 、 M/ G/ ∞ 、 M/ M / c 可解析。• M/ G/ c 无法直接分析，没有分析工具！

12

重尾业务特点及其处理方法重尾业务特点及其处理方法

• 大方差（ LV ）： α< 2 时无穷大方差，尾分布部分截断（比如 BP ），方差仍然特别大

• 重拖尾（ HTD ）：尾分布业务在总流量中占相当大的比例，即小概率事件产生较大影响（流量）

• 长相关（ LRD ） ：持续时间服从重拖尾分布的 ON/OFF 过程通常表现出长相关的特征

• 重尾业务处理方法——分解：· ① 长短流分解： Xd= DC ，最大忍耐时间 · 处理吞吐量· ② 持续时间分解： 45% 流 <2 秒； 2% 流 >15 分钟，却占 50%

· ③突发性分解： α-β 分解， Aggμ+ 3Aggstd 临界速率

① Elephant and Mice ! ② Dragon flies and Tortoises!

13

网络业务的时间尺度特性网络业务的时间尺度特性

• 小时间尺度（ 1 ms ） traffic 变化原因：· Buffers, scheduling algorithms

• 中时间尺度（ 100 ms ） traffic 变化原因：· TCP 流控协议

• 大时间尺度（ 1-10 s ） traffic 变化原因：· 路由变化

• 中长期 traffic 变化原因：· 带宽增长、用户数增长

14

自然基金，互联网络业务源模型与业务量预测， 已完成 自然基金，复杂互联网络的整体动力学理论、方法及其应用， 已完成 自然基金，共享信息网络新结构及关键技术研究， 已完成 自然基金，宽带网络生存性策略研究， 已完成 自然基金，共享信息的第二类网络， 已完成 863- 项目，多层网络数据语义分类与理解技术研究， 已完成 863- 项目，具有语义标引的互补结构网络， 已完成 863- 项目，第五媒体物理链路传输协议研究， 已完成 973- 子项，一体化网络与普适服务体系下的移动和传感网， 在研 自然基金：应用层网络行为与互联网整体性能的关联及对策 在研 973- 子项， IP 网生存性的通用机理和调控方法， 在研 国家杰出青年基金，新一代光互联网体系结构及关键技术， 在研 自然基金，基于虚拟坐标的 IP 网络定位理论与技术研究， 在研 自然基金，四川省青年基金，网络无功流量测量， 在研 新一代广播网的语义计算与内容管理机制研究， 在研 博士点基金，音视频数据的内容管理技术研究， 在研

与本课题直接相关的其它研究项目与本课题直接相关的其它研究项目

15

发表文章发表文章1. Lei Wang, Yong Ren, etc. Measurement and Statistics of Application Business in Complex

Internet. Complex’09, 23–25 February 2009, Shanghai, China

2. Yi-Peng Li, Yi-Hua Huang, Lei Wang, Yong Ren. The Nonlinear Mechanism of Phase Transition in Computer Networks. Complex’09, 23–25 February 2009, Shanghai, China

3. Ying Li, Hongduo Cao, Xiuming Shan, Yong Ren. An estimation formula for the average path length of scale-free networks , Chinese Physics B, Vol.17, No.7, pp.2327-2306, 2008.7

4. Yang Liu, Jian Yuan, Xiuming Shan, Yong Ren and Zhengxin Ma. Self-determined mechanisms in complex networks, Physica A: Statistical Mechanics and its Applications Volume 387, Issues 8-9, Pages 2145-2154, 15 March 2008

5. 山秀明，刘旸，张林，王磊，任勇，袁坚，王耀希． P2P 应用系统用户共享行为的复杂网络模型 .计算机应用研究， 2008 年， 25 （ 6 ）： 1853-1855

6. 任勇，王磊．基于包层次的小子集观测．第三届全国复杂动态网络学术论坛， 2006.12 ，北京7. 任勇，李幼平．双结构互联网定量分析与验证平台设计．第二届全国复杂动态网络学术论

坛， 2005.10 ，北京8. Xing Ling, Ma Jianguo, Li Youping. Dual-Mode Transmission Network for DTV [J]. IEEE

TRANSACTIONS ON CONSUMER ELECTRONICS, 2008,54(2):474-480

9. Haoxiang Zhang, Lin Zhang, Xiuming Shan, and Victor. O. K. Li, Performance Evaluation of Adaptive Probabilistic Search in P2P Networks, IEICE Transaction on Communications, Vol. E91-B, No. 4. pp.1172-1175, 2008

10. 马建国，李在铭．广播型网格．计算机科学， 2004.8

11. 孙海峰，马建国，李幼平．基于 UCL 的 DTV Commerce安全认证模型 [J]．电子技术应用， 2008， 34(1):129-131

16

12. 邢玲，马建国，李幼平，刘志文．移动通信中的信息共享结构 [J]．北京理工大学学报 [J] ， 2008， 28(8):737-740

13. 马建国，席明贤，林益民，李幼平．中国 Internet 路由级跳数测量与分析 [J]．计算机应用研究， 2008 ， 25(7):2112-2114

14. 马卫东，李幼平，马建国，周明天．面向Web 网页的区域用户行为实证研究 [J]．计算机学报， 2008 ， 31(6):960-967

15. 王磊，周淑华，袁坚，任勇，山秀明．虚拟网络行为对互联网整体特性的影响．物理学报， 2007， 56 （ 1 ）： 36-42

16. 马建国，李幼平等．广播型网格的用户兴趣图谱．电子学报， 2005 ， 33(1): 142 – 14617. 马建国，李幼平等． 数据广播中的 UCL 标引与传输机制 .电子学报， 2004 ， 32(10) : 1621 –

162418. 邢玲，马建国，李幼平，刘志文．一种基于 UCL 的中文网页信息过滤方法．电子学报， 2006 ，

Vol.34(10): 1752-175719. 马建国，邢玲．信息过滤技术及 VJ 实现 .系统工程与电子技术． 2004 ， Vol. 26(3):382-38520. Ma Jianguo, Xing Ling, Li Youping. An Information Sharing Structure of Broadcasting.

LECTURE NOTES IN COMPUTER SCIENCE, 3320:558-563, 200421. Ma Jianguo, Liu Guihua, Xing Ling. An Agent Of Data Broadcasting Based On

UCL ， 2003 IEEE International Conference on Natural Language Processing and Knowledge Engineering, NLP-KE'03 Beijing, China. Oct, 2003,IEEE press.pp.215-220

22. Ma Jianguo, Xing Ling, Li Zaiming. MIS-Grid for Future Mobile Communications. Electronics Technology of China.2004, Vol.2(4):12-15+36

23. Ling Xing, Youping Li, Zhiwen Liu. A Mechanism of Active Services for Network Based on UCL. The 4th International Conference on Active Media Technology (AMT 06). pp.289-292, 2006

24. J. Yuan, et al, A Cross-Correlation Based Method for Spatial-Temporal Traffic Analysis, Performance Evaluation, Vol 61/2-3, pp 163-180, 2005

17

25. Keping Long, R. S. Tucker, S. Cheng, J. Ma, R. Zhang. A New Approach to Multi-Layer Network Survivability: Strategies, Model and Algorithm. Journal of High Speed Networks, 10(2):127-134, Sept. 2001

26. Keping Long, Wang Qian, Cheng Shiduan, Chen JunLiang. Quantitative Adaptive RED in Differentiated Service Networks. Journal of Computer Science and Technology, 18(2):223-229, Mar. 2003

27. Keping Long, Xiaolong Yang, Sheng Huang, Xin Yang, Yujun Kuang. The SLA-Compatible Fault Management Model for Differentiated Fault Recovery, Proc. HPCC 2006 (High Performance Computing and Communications), Springer-Verlag LNCS vol.4208, p.737-742, Sept. 2006

28. Jia Li, Keping Long, Xiaolong Yang, Ping Cheng, Zheng Gu, DiffServ-aware OBGP: A New Inter-domain End-to-End Lightpath Setup Scheme, Proc. of SPIE APOC'2006, pp:63541P1 - 63541P8, Sept. 2006

29. Xiaolong Yang, Min Zhang, Keping Long. An Efficient Multiple-constraints QoS Routing Algorithm Based on Nonlinear Path Distance. Proceedings of Springer-Verlag LNCS 3314, pp.365-370, Dec. 2004

30. J. Xu, D. Fournier-Prunaret, A-K. Taha, P. Chargé, "Chaotic dynamics in an N-dimensional system based upon a sine square maps", IEEE International Workshop on Nonlinear Maps and Applications (NOMA’07), Toulouse, France

31. Jie Xu, “Study the dynamic chaotic generated by functions sinusoidal for applications to the security of the transmissions ”, Congress of the PhD students (EDSYS 2006), Tarbes, France

32. Jie Xu, “Study of the chaotic signals in telecommunication”, Presentation of a poster in “Doctorales INP 2006”, Toulouse, France

33. Pascal Chargé, Jie Xu, Danièle Fournier-Prunaret, Abdel-Kaddous Taha, “A simple open chaos generator based upon a sine map”, 15th IEEE International Workshop on Nonlinear Dynamics of Electronic Systems (NDES 2007), Tokushima, Japan

18

34. D. Fournier-Prunaret, J. Xu., A.Taha, P.Chargé, "Attractors and bifurcations in sine maps", 22th International Conference Differential Equations and Related Topics (Petrovskii’07), Moscow, Russia

35. D. FOURNIER-PRUNARET, A.-K. TAHA, J. XU, P.CHARGÉ, “Attractors and bifurcations in 2-D and 3-D sin maps”, European Conference on Iteration Theory (ECIT’06), Gargnano, Italy

36. 张林，任勇，山秀明．负载均衡的人工生命路由算法．《通迅学报》， 2004 ， Vol.25 ， No.4A ， pp.290–297

37. 陆俊秀，山秀明，任勇，马正新． TCP流量的多尺度分析．《数据采集与处理》， 2004 ， Vol.19， No.1 ， pp.5–9

38. 刘锋，山秀明，任勇，张军，马正新．计算机网络的长程相关特性．《物理学报》， 2004 ， Vol.53, No.2, pp. 373-378

39. J.X. Lu, X. M. Shan, Y. Ren, Overlay networking: applications and research challenges,《通迅学报》 , 2004, Vol.25, No.12, pp.46–52

40. L.Zhang, Y.Ren, X.M.Shan, Pheromone-Based Ant Routing System for IP Networks, Tsinghua Science and Technology, 2004, Vol.9, No.2, pp.213-218

41. 李旲，山秀明，任勇．具有幂率度分布的因特网平均最短路径长度估计． 《物理学报》， 2004 ， Vol.53, No. 11, pp.3695–3700

42. 山秀明，李旲，焦健，任勇，仇贲，曹轶群．网络病毒行为模式分析．《中国工程科学》， 2003 ， Vol.5, No.12, pp.55 –59

43. 王磊，周淑华，宋永华，任勇，山秀明．一种藉合连接机制的 Internet 仿真模型．微计算机信息， 2007 ， 23 （ 34 ）： 190-191

44. X. Wang, Y. Ren, X.M. Shan, WDRLS ： A Wavelet-Based On-Line Predictor for Network Traffic, IEEE GlobalCom 2003, Vol.7, 1–5Dec, pp.4034– 4038

45. C. Liu, X.M. Shan, Self-suppressed NACK-based Multicast Congestion Control, Proc. of ICT 2003, February 2003

46. 任丰原，林闯，任勇，山秀明．大时滞网络中的拥塞控制算法．《软件学报》， 2003 ， Vol.14, No. 3, pp.503-511

19

47. W. Wu, Y. Ren, X.M. Shan, Providing proportional loss rate and loss rate bounds for adaptive traffic: A new relative diffserv model, IEICE Transactions on Communications, 002 (1), pp.129-136

48. F.Y. Ren, X.H. Yin, Y. Ren, X.M. Shan, A Robust Active Queue Management Algorithm Based on Sliding Mode Variable Structure Control, IEEE INFOCOM2002, Vol.1, 23-27 June, pp.13 –20

49. 任丰源，任勇，山秀明，王福豹．二进制 ABR流量控制算法的建模与分析．《计算机学报》， 2002， 6 ， pp.651-656

50. 尹逊和，任丰源，任勇，山秀明．鲁棒的主动队列管理新算法．《计算机学报》， 2002 ， 10 ， pp.1018-1023

51. 刘锋，任勇，山秀明，互联网络数据包传输的一种简单元胞自动机模型，《物理学报》， 2002 ， Vol.51 ， No.6 ， pp.1175-1180

52. X. Wang, X.M. Shan, A Wavelet-Based Method to Predict Internet Traffic, Int. Conf. On Communication Circuits and Systems, ICCCAS2002, pp.690-694

53. F.Y. Ren, Y. Ren, X.M. Shan, Design of fuzzy controller for active queue management, Computer Communications 2002, 25, pp.874-883

54. J. Yuan, K. Mills, Exploring Collective Dynamics in Communication Networks, Journal of Research of the National Institute of Standards and Technology, 107 (2), 179-191, 2002

55. 袁坚，任勇，刘锋，山秀明．复杂计算机网络中的相变和整体关联行为．《物理学报》， 2001 ， Vol.50 ， No.7 ， pp.1221-1225

56. W. Wu, Y. Ren, X.M. Shan, A self-configuring PI controller for active queue management, APCC2001, Tokyo, Japan, Sep. 16-20, 2001, pp.368-371. (IEICE Trans. on Comm. Vol.E84-B, Nov. 2001)

57. W. Wu, Y. Ren, X.M. Shan, Modeling dynamical behaviors of AQM-TCP joint system using Markov chains, APCC2001, Tokyo, Japan, Sep. 16-20, 2001, pp.372-375.(IEICE Trans. on Comm. Vol.E84-B, Nov. 2001)

20

58. W. Wu, Y. Ren, X.M. Shan, Stability analysis and parameter selection of RED, APCC2001, Tokyo, Japan, Sep. 16-20, 2001, pp.376-379.(IEICE Trans. on Comm. Vol.E84-B, Nov. 2001)

59. F.Y. Ren, Y. Ren, X.M. Shan, Fluid-based analysis of ABR flow control in ATM networks, APCC2001, Tokyo, Japan, Sep. 16-20, 2001, pp.630-635.(IEICE Trans. on Comm. Vol.E84-B, Nov. 2001)

60. L. Zhang, Y. Ren, X.M. Shan, 1/f noise in multi-agent cooperative routing, ICNF 2001, Florida, USA, Oct. 22-25, p541-545

61. F.Y. Ren, Y. Ren, X.M. Shan, Enhancement to RED algorithm, The 9th IEEE Int. Conf. On Networks. (ICON2001), Bangkok, Thailand, Oct. 10-12, 2001, pp.14 -19

62. 张林，任勇，山秀明．人工生命路由算法及其在 Internet 网中的应用．《电信网技术》， 2001 ， Vol.11. No.4

63. 任丰源，任勇，山秀明．主动网络的研究与进展，《软件学报》， 2001 ， Vol.12 ， No.11 ， pp.1614-1622

64. J. Yuan, Y. Ren, X.M. Shan, Self-Organized Criticality in a Computer Network Model, Physical Review E61, 2000, pp.1067-1071

65. J. Yuan, Y. Ren, X.M. Shan, Self-Organized Criticality in One Dimensional Packet Flow Model, Chinese Physics, 2000,Vol.9, No.9, pp.641-648

66. 袁坚，任勇，山秀明．一种计算机网络的元胞自动机模型及分析．《物理学报》， 2000 ， Vol.49， No.3 ， pp.398-402

67. W. Wu, J. Yuan, X.M. Shan, Y. Ren, Exploring Collective Behaviors with Short-Range Correlation Between Routers, IEEE ICCT’2000, Beijing, Aug. 2000, pp.70-75

68. 单琳伟，袁坚，任勇，山秀明．接入网联合接纳控制．北京邮电大学学报， 2007 ， 30(5) ： 9-1269. 吴霖，任勇，山秀明． QoS 路由及其在 IP 中的实现．《现代电信科技》， 2000.7 ， pp.16-21

21

发明专利发明专利1. 任勇等，国家发明专利：可移植的网络信息共享方法， 20081011491452. 任勇等， Nokia 发明报告（提交美国专利）： A Web Page Segmentation

Algorithm based on Link Layout （基于链接布局特征的网页分块算法）， Nokia: NC66751

3. Yong Ren, etc. US Patent ： Improvements in or relating to user removable memory and associated methods ， US-PA-SN:12/154,143 ， AD No:915-018.017

4. 任勇等，国家发明专利：基于移动网状网的智能交通信息系统， 200610144015.05. 马建国等，国家发明专利：教育信息资源的语义标引方法， 200410034544.66. 马建国等，国家发明专利：网络信息资源的语义标引方法， 200410034543.17. 马建国等，国家发明专利：数据广播系统中的 UCL嵌入方法， 200410034539.58. 马建国等，国家发明专利：教育信息资源降低误码率的控制方法， 200410034542.79. 马建国等，国家发明专利：互补结构网络的可信服务机制， 200610021691.910. 马建国等，国家发明专利：互补结构网络， 200610021692.311. 隆克平，王飞，黄胜等，国家发明专利：一种新型多层多粒度光交叉连接结

构， 200610054478.812. 阳小龙，李培江，隆克平等，国家发明专利：一种新型的波长 /波带共享转换结

构， 200610054476.913. 常交法，王汝言，隆克平等，国家发明专利：一种光突发交换网络故障监测方

法， 200610054211.914. 黄胜，阳小龙，隆克平等，国家发明专利：一种包含光分插复用器的多粒度光交换结构

， 200610054477.3

22

移动网关移动网关

Weather

Traffic

Scenery

Civil structure monitoring

Internet

Mobile Mobile GatewaGatewa

yyGatewayGateway GatewayGateway

GatewayGateway GatewayGateway

The The uSD-CarduSD-Card Based Mobile Based Mobile Gateway to Sensor NetworksGateway to Sensor Networks

23

Back Cover of Mobile Phones or PDAsBack Cover of Mobile Phones or PDAs

TemperatureSensor

AlcoholSensor

MagneticSensor Acceleration

Sensor

24

Hold Information ---- Control WorldHold Information ---- Control World

compass

position

acceleration

temperature