高能所网络环境与高能所网络综合管理系统

高能所网络环境高能所网络环境与与高能所网络综合管理系统高能所网络综合管理系统

齐法制齐法制 (( 高能所计算中心高能所计算中心 ))[email protected]@ihep.ac.cn

QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

1. 1. 高能所和高能所计算中心介绍高能所和高能所计算中心介绍


高能所和高能所计算中心概况高能所和高能所计算中心概况• 11 个国家实验室，个国家实验室， 22 个院重点实验室。个院重点实验室。

• 北京正负电子对撞机国家实验室北京正负电子对撞机国家实验室• 中科院核分析技术重点实验室（北京分部）中科院核分析技术重点实验室（北京分部）• 中科院粒子天体物理重点实验室中科院粒子天体物理重点实验室 • 国家纳米中心协作实验室——同步辐射实验平台国家纳米中心协作实验室——同步辐射实验平台• 纳米生物效应实验室（纳米中心、高能所共建）纳米生物效应实验室（纳米中心、高能所共建）• 网络安全实验室（高能所、中央办公厅电子科技学院、中关村管委会）网络安全实验室（高能所、中央办公厅电子科技学院、中关村管委会）

• 计算中心计算中心• 3333 名固定人员，近名固定人员，近 2020 名项目聘用人员，名项目聘用人员， 1010 多名研究生多名研究生• 承担多项国家和科学院重大项目承担多项国家和科学院重大项目• 大型计算平台研究与建设大型计算平台研究与建设• 网格平台建设网格平台建设• 网络安全研究网络安全研究• 园区网络园区网络• …………


为什么要计算中心为什么要计算中心• 海量数据海量数据 • 大量计算，数据处理大量计算，数据处理• 网络，数据传输，国际交流网络，数据传输，国际交流• ………… 理论理论

实验实验计算计算(Borromean Rings)(Borromean Rings)


BEPCII & BESIIIBEPCII & BESIII

BEPCIIBEPCII 正在升级到双环正在升级到双环亮度将提高到亮度将提高到 (3~10)×10(3~10)×103232 cm cm-2-2ss-1-1

J/J/, , ’, ’, -charm-charm 物理研究物理研究基地基地55 年内将积累年内将积累 5PB5PB 的数据，需要的数据，需要20002000 个个 CPUCPU 用于数据分析用于数据分析


羊八井宇宙线实验羊八井宇宙线实验• 中国中国 -- 意大利意大利 -- 日本在西日本在西藏合作进行宇宙线实验藏合作进行宇宙线实验• 每年产生每年产生 200TB200TB 的原始的原始数据数据• 数据需从羊八井传回高数据需从羊八井传回高能所，并分析处理能所，并分析处理需要约需要约 400400 个个 CPUCPU 用用于数据重建于数据重建• 合作单位实时访问数据合作单位实时访问数据


大亚湾中微子实验大亚湾中微子实验• 在广东大亚湾核电站进行在广东大亚湾核电站进行的物理实验的物理实验• 重大国际合作重大国际合作

• 中国美国等六个国家和地区中国美国等六个国家和地区• 3434 个研究单位个研究单位• 190190 多名研究人员多名研究人员

• 每年产生每年产生 200TB200TB 数据数据• 数据需从大亚湾传回高能数据需从大亚湾传回高能所，并分析处理，需要约所，并分析处理，需要约200200 个个 CPUCPU• 合作单位实时访问数据合作单位实时访问数据


LHCLHC


高能物理计算需求高能物理计算需求

每年产生的数据每年产生的数据 : : >15 PetaBytes/year>15 PetaBytes/year

刻度、重建、模拟等计算所需的刻度、重建、模拟等计算所需的 CPUCPU ：： 1010 万个以上！万个以上！


参加国际高能物理网格参加国际高能物理网格•20062006 年年 22 月，月，高能所与高能所与 CERCERNN 签署了合作签署了合作备忘录备忘录•承诺建设承诺建设 WLWLCGCG 二级地区二级地区中心中心 grid for

a physicsstudy group

Tier3physicsdepartment

Desktop

Germany

Tier 1USA UK

France…

Taipei

CERN Tier 1

JapanCERN Tier 0Tier2

Lab a Uni a

Lab c

Uni n

Lab m

Lab bUni bUni y

Uni xgrid for a regional group


中国高能物理网格中国高能物理网格BES Online system

Offline processor farmYBJ

CERN CMS & ATLAS

IHEP Computing Center CASTOR

物理数据缓存NJUUSTC……SDUPKU …

海量数据海量数据存储系统存储系统Tier 0

Tier 1

Tier 2


计算中心的工作计算中心的工作• 高能所网络环境建设、管理与维护，网络性能高能所网络环境建设、管理与维护，网络性能分析与优化分析与优化

• 日常办公素要日常办公素要• 高能物理数据驱动高能物理数据驱动

• 新一代计算平台建设新一代计算平台建设• 超大规模计算机集群（超大规模计算机集群（＞＞ 4000CPU4000CPU））• 超大规模数据存储系统（超大规模数据存储系统（＞＞ 5PB5PB））• 参与国际高能物理网格计算环境研究与建设参与国际高能物理网格计算环境研究与建设• 高能物理计算框架高能物理计算框架

• 网络安全新技术研究网络安全新技术研究• 高速网络数据获取与分析高速网络数据获取与分析• 高速网络信息监视系统高速网络信息监视系统• 安全安全 BIOSBIOS 研究研究• 网络取证系统网络取证系统


与国内外研究机构建立了紧密的合作关系与国内外研究机构建立了紧密的合作关系• CERN CERN • IN2P3IN2P3• ASCC ASCC • CNICCNIC• INFN, INFN, 北航，北京大学北航，北京大学 , , 山东大学山东大学 , , 南京大学南京大学 ,, 华中师大华中师大 ,…,…


2. 2. 高能所网络环境介绍高能所网络环境介绍


高能所校园网环境高能所校园网环境• 有线网络有线网络

• 150150 余台设备，余台设备， ciscocisco ，港湾，，港湾， force10force10 ，，cabletroncabletron，网威，网威• 万兆骨干（计算网络），千兆园区连接万兆骨干（计算网络），千兆园区连接

• 无线网络无线网络• 办公区办公区

依托现有有线网络设备、链路依托现有有线网络设备、链路增加无线接入点（增加无线接入点（ APAP ））便于管理和控制，无线网络为一个便于管理和控制，无线网络为一个 VLANVLAN ，跨越全，跨越全所办公区域所办公区域自主开发了控制系统和记账系统自主开发了控制系统和记账系统

• 家属区家属区方便用户在家办公方便用户在家办公家属区网络作为高能所校园网内网的一部分家属区网络作为高能所校园网内网的一部分为了安全和访问控制，在家属区网络和校园网之为了安全和访问控制，在家属区网络和校园网之间增加一台网关设备（防火墙，间增加一台网关设备（防火墙， IPIP 接入控制，接入控制， DDHCPHCP 服务器）服务器）


高能所校园网拓扑图高能所校园网拓扑图


高能所广域网以及远程网络连接高能所广域网以及远程网络连接•广域网广域网

• 1Gbps 1Gbps 科技网科技网• 同美国、亚太、欧洲良好的同美国、亚太、欧洲良好的通讯质量保证通讯质量保证

•远程连接远程连接• 西藏羊八井西藏羊八井

155Mbps 155Mbps 专线专线• 广东大亚湾广东大亚湾

45Mbps45Mbps专线专线 20112011 年底升级至年底升级至 155Mbps155Mbps


高能所应用系统高能所应用系统• 公共服务系统公共服务系统

• 邮件系统、网站群、邮件系统、网站群、ARPARP 等等• 计算资源计算资源

• ~4000~4000 个个 CoreCore• 存储系统存储系统

• 磁盘：磁盘： 900TB900TB• 磁带库：磁带库： 2PB2PB


高能物理实验对计算和存贮资源的需求高能物理实验对计算和存贮资源的需求• CMS CMS 和和 AtlasAtlas -- 2000CPUs/600TB 2000CPUs/600TB• BESIIIBESIII - 4000CPUs/400TB - 4000CPUs/400TB 磁盘磁盘 /4.8PB /4.8PB 磁带磁带• ArgoArgo - 400CPUs- 400CPUs ，， 200TB200TB磁盘磁盘 /200TB /200TB 磁带磁带• Daya Bay Daya Bay - 200CPUs/200TB- 200CPUs/200TB 磁盘磁盘 /200TB /200TB 磁带磁带• HXMTHXMT - 1000CPUs/800TB. - 1000CPUs/800TB. • 生物生物 - 200 CPUs- 200 CPUs 并行计算环境并行计算环境


3.3. 高能所校园网综合管理体系高能所校园网综合管理体系


制度制度（人员分工及岗位责任制度）（人员分工及岗位责任制度）


制度制度•周报制度周报制度• 月例会制度月例会制度• 高能所托管服务器管理办法高能所托管服务器管理办法• 高能所无线网络使用制度高能所无线网络使用制度• 高能所高能所 IPIP 地址申请制度地址申请制度• …………


网络综合管理系统网络综合管理系统• 无商业软件，全部自主开发无商业软件，全部自主开发 ++开源软件集成开源软件集成• 基于需求驱动基于需求驱动• 功能模块功能模块

• 用户信息（计算机信息）管理用户信息（计算机信息）管理• 用户接入管理（有线网络用户接入管理（有线网络 // 无线网络）无线网络）• 网络监视系统网络监视系统

设备设备 //服务运行状态监视服务运行状态监视设备设备 //服务性能监视服务性能监视设备故障报警（设备故障报警（ EmailEmail 、图像、声音、短信）、图像、声音、短信）设备设备 //服务可用性报告服务可用性报告网络流量（网络流量（ bps & pps bps & pps ）实时展示）实时展示广域网监视广域网监视

• 用户流量记账（账单用户流量记账（账单 // 大流量提示大流量提示 // 流量查询等）流量查询等）• 流量分析（定向性分析流量分析（定向性分析 // 协议统计等）协议统计等）• 设备运行管理系统设备运行管理系统


用户用户 (IP/MAC)(IP/MAC) 信息管理信息管理•自主开发自主开发• LAMPLAMP 架构（架构（ Linux+Apache+MySQL+PHPLinux+Apache+MySQL+PHP ））•功能功能

• 所有系统的基础（接入控制，记账等）所有系统的基础（接入控制，记账等）• 用户在线申请用户在线申请 IPIP 地址地址• 管理员审核用户申请，并且根据其具体信息分配管理员审核用户申请，并且根据其具体信息分配 IPIP• 通过通过 EmailEmail通知用户通知用户 IPIP 地址设置信息地址设置信息• 在线查阅在线查阅 IPIP 地址信息地址信息• 在线申请注销在线申请注销 IPIP 地址信息（需要管理员审核确认）地址信息（需要管理员审核确认）• 在线更改注册信息（需要管理员审核确认）在线更改注册信息（需要管理员审核确认）



有线网络用户接入控制有线网络用户接入控制• 有线网络（自主开有线网络（自主开发）发）

• IP+MACIP+MAC ：：与与 IPIP 地址管理系统关联，管地址管理系统关联，管理员审核之后自动完成绑定操理员审核之后自动完成绑定操作，并作，并 EmailEmail 通知用户绑定通知用户绑定信息信息

• IP+MAC+SW PortIP+MAC+SW Port ：：由于需要知道由于需要知道 portport 值，必须值，必须用户计算机在线时方可绑定，用户计算机在线时方可绑定，此时，提供一个此时，提供一个 webweb 接口，接口，管理员通过该界面直接点击即管理员通过该界面直接点击即可完成绑定可完成绑定 // 取消绑定的操作取消绑定的操作减少了管理员的工作量，值班减少了管理员的工作量，值班人员即可操作（无需掌握交换人员即可操作（无需掌握交换机操作命令）机操作命令）

• 以上绑定全部基于以上绑定全部基于 aclacl 实现，实现，而非静态而非静态 ARPARP ，实现了没，实现了没有注册登记（绑定）的有注册登记（绑定）的 IPIP无法进行网络访问无法进行网络访问


无线网络用户接入控制无线网络用户接入控制• 无线网络（自主开发）无线网络（自主开发）

• 办公区办公区 DHCPDHCP 高能所校园网区域均可获取信号和无线网络高能所校园网区域均可获取信号和无线网络 IPIP 上网时，系统自动判断用户无线网卡是否注册，如已注册，则可正常访问；否则，被自动重定向到注上网时，系统自动判断用户无线网卡是否注册，如已注册，则可正常访问；否则，被自动重定向到注册页面册页面注册和审核过程：（见无线网络使用规范）注册和审核过程：（见无线网络使用规范）

– 管理员通过 web 页面对用户上网申请进行审核• 家属区家属区

离线注册离线注册双重保障双重保障

– DHCP ：基于 MAC 地址分配地址，未注册 MAC 无法获取地址– 用户认证





高能所网络监视系统需求高能所网络监视系统需求

监视对象

• 报警方式报警方式 • 界面状态显示报警界面状态显示报警• 声音报警声音报警• 邮件报警邮件报警

• 结果发布结果发布 • webweb

• 管理控制管理控制• 监视对象管理监视对象管理 • 用户管理用户管理 • 故障事件管理故障事件管理 • 日志管理日志管理 • 网络拓扑管理网络拓扑管理


监视系统概要监视系统概要• 系统系统

• 开源开源 ++开发开发• LAMPLAMP 架构架构

• 工作流程工作流程• 首先读取系统级配置文件，对首先读取系统级配置文件，对监视系统的监视对象和监视策监视系统的监视对象和监视策略进行初始化略进行初始化• 调用网络扑图结构图，将采集调用网络扑图结构图，将采集到的性能数据与网络拓扑图进到的性能数据与网络拓扑图进行关联，形成网络链路状态监行关联，形成网络链路状态监视结果显示，并根据结果分析视结果显示，并根据结果分析以不同的颜色予以区分以不同的颜色予以区分• 针对节点（服务器、网络设针对节点（服务器、网络设备）监视，同样根据监视策略备）监视，同样根据监视策略将监视结果使用不同的颜色状将监视结果使用不同的颜色状态在主页面上显示态在主页面上显示• 根据报警策略设置，向相关人根据报警策略设置，向相关人员发送异常状态设备和服务警员发送异常状态设备和服务警报信息。报信息。


设备设备 //服务监视服务监视• 网络设备网络设备

• 交换机、路由器、防火墙交换机、路由器、防火墙• SNMPSNMP• 监视项目监视项目

网络设备运行状态（网络设备运行状态（ UP/DownUP/Down ））网络设备性能状态网络设备性能状态

– 设备设备 cpucpu 利用率利用率– 设备内存利用率设备内存利用率– 设备接口收发数据包设备接口收发数据包 // 字节数字节数等等 ---- 〉链路性能信息〉链路性能信息

• 服务器服务器 // 应用应用• 应用服务器、计算节点等考虑到安全因应用服务器、计算节点等考虑到安全因素无法开启素无法开启 SNMPSNMP 的网络设备的网络设备

服务器运行状态（服务器运行状态（ UP/DownUP/Down ））服务器性能状态服务器性能状态服务器自身的状态，如内存、服务器自身的状态，如内存、 cpu/cpu/loadload 、进程数等、进程数等安装客户端安装客户端


设备故障报警设备故障报警• EmailEmail• 图像图像• 声音声音• 短信短信

• 避免现场值避免现场值班班• 提高故障响提高故障响应速度应速度• 一个短信网一个短信网关（关（自主开自主开发发 ,, 系统系统 ++短信猫短信猫 +SI+SIMM卡卡））

• 预设故障诊断规则库预设故障诊断规则库• 根局采集到的性能数据，查询故障诊断的规则根局采集到的性能数据，查询故障诊断的规则知识库，判断出是什么故障知识库，判断出是什么故障• 查到故障类别，及时发送报警信号查到故障类别，及时发送报警信号• 无法查询到故障类别，则在发送报警信号的同无法查询到故障类别，则在发送报警信号的同时，发送故障信息给管理员，由管理员更新完时，发送故障信息给管理员，由管理员更新完善故障规则库善故障规则库


设备设备 // 服务可用性报告服务可用性报告• 直观的图形化报告直观的图形化报告• 用于：用于：

• 网络设备、服务健康性评价网络设备、服务健康性评价• 设备、服务器升级的数据支持设备、服务器升级的数据支持• 管理员工作考核管理员工作考核• 年报资料（供领导查阅）年报资料（供领导查阅）


网络流量（网络流量（ bps & pps bps & pps ）实时展示）实时展示


综合管理系统应用效果展示综合管理系统应用效果展示


页面导航和汇总统计页面导航和汇总统计


网络拓扑实时显示网络拓扑实时显示


监视对象分组显示监视对象分组显示 //组内成员状态显示组内成员状态显示


故障报警故障报警


网络拓图扑调整网络拓图扑调整


用户流量统计用户流量统计• 自主开发自主开发• 原理原理• 功能功能

• 账单账单• 大流量提示大流量提示• 流量查询流量查询• 科研流量科研流量 //非科研非科研流量流量

• 效果效果

用户用户信息信息

用户用户信息信息

DHCPDHCP日志日志


记费系统记费系统• 目的：目的：

• 避免网络资源浪费避免网络资源浪费• 冲抵网络链路租用费冲抵网络链路租用费

• 功能：功能：• 流量采集、费用计算、账单、大流量流量采集、费用计算、账单、大流量报警、网上查询报警、网上查询 • 基于基于 IPIP （有线）和基于（有线）和基于 MACMAC （无（无线）线）

• 丰富的计费策略，丰富的计费策略，• 用户不同，策略不同用户不同，策略不同• 所内之间不计费所内之间不计费• 科研与非科研流量分别统计计费科研与非科研流量分别统计计费• 分时段计费：按照时段设置优惠策略，分时段计费：按照时段设置优惠策略，白天收费高些，夜晚收费优惠。白天收费高些，夜晚收费优惠。

• 培养用户珍惜网络资源的好习惯，培养用户珍惜网络资源的好习惯，有效的提高网络使用效率并减少有效的提高网络使用效率并减少了带宽压力。了带宽压力。


流量分析流量分析• 开源开源 ++开发开发• 目的目的

• 网络的可视性网络的可视性• 应用的可视性应用的可视性• 长期的趋势数据用作网络带宽规划长期的趋势数据用作网络带宽规划

• 功能功能• 定向性分析定向性分析• 协议统计协议统计

• 实现实现• 数据采集处理模块数据采集处理模块

端口镜像端口镜像 nProbenProbe

• 数据存储模块数据存储模块 Perl+MysqlPerl+Mysql nProbenProbe 输出的数据文件输出的数据文件 mysqlmysql 数据库数据库

• 数据分析模块数据分析模块• PHP+ApachePHP+Apache• 网络流向分析：网络流向分析： WHOISWHOIS ：： IPIP 地址信地址信息息 <-><-> 地域地域信息信息 • 网络应用统计：网络应用统计： P2P/VOIP/FTP/HTTP2P/VOIP/FTP/HTTP/…P/… 统计统计• 根据配置（如：需要统计的根据配置（如：需要统计的 IPIP 地址段地址段// 主机主机 // 协议协议 /…/… ）实现对流量和网络）实现对流量和网络会话信息的归纳、统计会话信息的归纳、统计• 使用使用 apacheapache 对结果发布对结果发布


系统使用效果展示系统使用效果展示


广域网监视广域网监视• 网络连通性网络连通性• 网络可靠性网络可靠性• 网络性能网络性能

• 监视监视• 测量测量


设备运维系统设备运维系统• 正在开发中正在开发中• 当前的运维管理办法当前的运维管理办法

• 文档制度文档制度• 针对设备的操作历史查找困难针对设备的操作历史查找困难

• 目的目的• 文档记录数据库化文档记录数据库化• 便于查找和总结便于查找和总结

• 功能功能• 设备管理设备管理 ((主机管理主机管理 ))

查询查询– 基本信息查询 ( 按主机名 , 位置 , 组 ,ip)– 查询历史修改记录

添加添加删除删除 ((权限权限 ::组负责人和管理员组负责人和管理员 )) 修改修改 ((权限权限 ::组负责人和管理员组负责人和管理员 ))

• 系统运行管理系统运行管理查询查询

– 基本信息查询 ( 按主机名 , 时间段 , 关键字 ,ip) 添加添加删除删除 ((权限权限 ::组负责人和管理员组负责人和管理员 )) 修改修改 ((权限权限 ::组负责人和管理员组负责人和管理员 ))

• 功能（续）功能（续）• 故障管理故障管理

查询查询– 基本信息查询 ( 按主机名 , 时间段 ,关键字 ,ip)

添加添加删除删除 ((权限权限 ::组负责人和管理组负责人和管理员员 ))修改修改 ((权限权限 ::组负责人和管组负责人和管理员理员 ))

• 知识库知识库查询查询

– 基本信息查询 ( 关键字 , 类别 ) 添加添加删除删除修改修改


4. 4. 高能所网络安全管理体系高能所网络安全管理体系


网络安全管理制度网络安全管理制度• 网络网络 // 系统管理员的岗位职责及行为规范制度系统管理员的岗位职责及行为规范制度 • 高能所网络使用规范和制度高能所网络使用规范和制度 • 服务器的日常维护和检查制度服务器的日常维护和检查制度 • 防火墙规则变更制度防火墙规则变更制度• 网络设备配置变更制度网络设备配置变更制度• 紧急事件的应急响应制度紧急事件的应急响应制度 • LinuxLinux 安全问题应急处理及安全问题应急处理及 UNIXUNIX 安全事件处理安全事件处理 • 电子邮件服务器的使用规范和制度电子邮件服务器的使用规范和制度 • 计算机病毒防范制度计算机病毒防范制度 • 病毒问题的解决流程病毒问题的解决流程 • 系统补丁添加制度系统补丁添加制度


网络安全区域划分网络安全区域划分• 按照网络环境功能，划分为：按照网络环境功能，划分为：

• 园区办公网络园区办公网络• 计算环境网络计算环境网络• ARPARP 网络网络

• 按照网络中主机功能按照网络中主机功能• 校园网校园网

外网区：外网区： InternetInternet 内网区：所内办公用户内网区：所内办公用户第一第一 DMZDMZ 区：公共服务器，如：区：公共服务器，如： DNS/Mail/WWW/DNS/Mail/WWW/ 防病毒网关等防病毒网关等第二第二 DMZDMZ 区：各部门根据自身需求托管在计算中心的服务器，满足各部门的业务区：各部门根据自身需求托管在计算中心的服务器，满足各部门的业务需求，如：文件交换服务器需求，如：文件交换服务器 // 内容发布系统等内容发布系统等

• 计算环境网络计算环境网络外网区：外网区： InternetInternet 内网区：计算节点内网区：计算节点 // 存储服务器存储服务器 DMZDMZ 区：登录节点区：登录节点 /Grid/Grid 公共服务器等公共服务器等


网络安全体系中各模块功能网络安全体系中各模块功能• 防病毒（商业）防病毒（商业）• 补丁服务器（补丁服务器（ SUSSUS ））• VPNVPN接入【开源，接入【开源， OpenVPNOpenVPN （（ TCPTCP ，， UDPUDP ），）， PPTPPPTP （（ TCP+GRTCP+GREE ）】）】• 访问控制模块（结合网络管理体系中的接入控制访问控制模块（结合网络管理体系中的接入控制 ++ 双层防火墙体系）双层防火墙体系）• 用户行为检测（用户行为检测（ IDSIDS ，开源软件，，开源软件， Snort+BASESnort+BASE ））• 用户行为自动控制（简单用户行为自动控制（简单 IPSIPS功能，自主开发）功能，自主开发）


网络安全评估与加固（设备网络安全评估与加固（设备 //主机主机 // 应应用）用）• 每季度一次每季度一次• 与管理员充分交流与管理员充分交流

• 目的目的了解系统和应用程序使用过程中出现的各种问题，以便有针对性了解系统和应用程序使用过程中出现的各种问题，以便有针对性解决这些问题解决这些问题了解管理员希望对系统或应用程序进行哪些方面的改进和优化，了解管理员希望对系统或应用程序进行哪些方面的改进和优化，以最大限度地满足实际工作环境的要求。以最大限度地满足实际工作环境的要求。

• 手工检查和扫描手工检查和扫描• 手工检查手工检查

checklistchecklist主要检查主要检查 LinuxLinux 系统如下几个方面：系统如下几个方面：– Service Packs 安装情况– 开放端口– 账号策略– 本地安全设置（ iptables ）– 权限设置

» 用户权限设置» 文件和目录权限

– 系统进程– 系统日志

• 扫描扫描 RetinaRetina 、、 Nessus Nessus 内部和外部扫描两个方面来进行，以全面评估系统和应用程序对内部和外部扫描两个方面来进行，以全面评估系统和应用程序对内和对外的抗风险能力。内和对外的抗风险能力。

• 综合分析综合分析• 安全专家在结合实际环境及手工检查和软件扫描的安全专家在结合实际环境及手工检查和软件扫描的结果进行综合分析后，会给管理员提供一份详细的结果进行综合分析后，会给管理员提供一份详细的安全评估报告。安全评估报告。• 报告中详细描述了系统和应用程序出现的漏洞和安报告中详细描述了系统和应用程序出现的漏洞和安全风险，并针对每个漏洞提出具体的解决方法和加全风险，并针对每个漏洞提出具体的解决方法和加固建议固建议

• 管理员确认加固建议管理员确认加固建议



针对针对 SSHSSH 嗅探的加固示例嗅探的加固示例


5. 5. 网络性能优化网络性能优化


网络性能优化介绍网络性能优化介绍• 为什么？为什么？

• 我所用户需求的驱动我所用户需求的驱动• 高能物理实验数据驱动高能物理实验数据驱动

大批量、高速数据传输大批量、高速数据传输物理实验物理实验数据数据分布于不同的国家、站点和分布于不同的国家、站点和网络环境中网络环境中

• 特定的网络基础设施特定的网络基础设施网络架构网络架构广域网连接链路广域网连接链路

• 不断增长的需求，不断增长的困难不断增长的需求，不断增长的困难• 如何优化如何优化 ??

• 首先要充分了解网络环境现状首先要充分了解网络环境现状网络架构网络架构设备配置设备配置节点配置（主机、服务器）节点配置（主机、服务器）应用应用

• 获取当前网络状态获取当前网络状态测量测量监视监视

• 了解网络需求（优化目标）了解网络需求（优化目标）• 分析问题、优化分析问题、优化• 优化效果分析优化效果分析

•目标目标• 更稳定更稳定• 更快更快

• 优化过程也是一个学习的过程优化过程也是一个学习的过程• 新设备的使用新设备的使用 (10GE (10GE 网网卡？卡？ ))• TCPTCP 协议机制协议机制• 净化网络环境净化网络环境• 了解应用需求了解应用需求

• 数据测量和分析是关键数据测量和分析是关键


影响性能的潜在因素影响性能的潜在因素• 主机主机

• TCPTCP• 网卡驱动（网卡驱动（ 10GE10GE ））• 网络磁盘速度网络磁盘速度• 应用程序中应用程序中 socket buffersocket buffer 的大小的大小

• LANLAN• 网络拓扑结构不合理网络拓扑结构不合理• 网络设备硬件网络设备硬件

设备数据交换能力设备数据交换能力 CPUCPU

• 网络设备配置网络设备配置 MTUMTU 路由路由

• WANWAN• 丢包！！！丢包！！！• 网络结构（链路状态）网络结构（链路状态）• 设备老化设备老化

边界路由器性能不足边界路由器性能不足网络设备的软件问题网络设备的软件问题链路中的瓶颈链路中的瓶颈

tcptcp 拥塞机制对比拥塞机制对比


网络性能优化步骤（网络性能优化步骤（ 11 ））• 定位网络定位网络性能问题性能问题的位置的位置

Disks Operating System

ApplicationsCPU

MEM


Network Applications

CPUMEM

Network

R/S

Router RouterCable

NIC NIC

1 2

3

4

5

6

78

9

影响网络性能的因素1’ 2’

3’

4’

5’

6’

7’

•延时带宽•丢包率

• CPU speed• MEM Size• System Load• Disk I/O Speed • Operating System

• R/W buffer size• Disk cache size

• NIC Speed

R/S

LAN

WAN


ApplicationsCPU

MEM



CPUMEM

Network

R/S

Router RouterCable

NIC NIC

1 2

3

4

5

6

78

9

1’ 2’

3’

4’

5’

6’

7’

••

• CPU speed• MEM Size• System Load• Disk I/O Speed • Operating System

• R/W buffer size• Disk cache size

• NIC Speed

Host

R/S

LAN

WAN

Router

路由•


网络性能优化步骤（网络性能优化步骤（ 22 ））• 搜集数据搜集数据

• 节点信息节点信息• 拓扑结构拓扑结构• 潜在的瓶颈潜在的瓶颈

防火墙防火墙 (cpu/eth(cpu/eth/mem)/mem) 网络设备网络设备 (load )(load )

• 路由状态路由状态• 延时以及丢包延时以及丢包

CPU CPU speed; CPU model; Memory Memory size; Bus, Disk Maximum bus bandwidth; Maximum disk I/O bandwidth;

Har

dwar

e

NIC Maximum bandwidth; Interrupt coalescing supported? TCP offloading supported? Jumbo frame supported?

Operating System

Operating system type, versions; 32bit/64 bit? For Linux, identify the kernel version;

System Loads Network applications running context; Maximum system background loads;


Network application traffic generation pattern; Storage system involved?

TCP Parameters

Send/Receive buffer size; Timestamp option enabled? Window scaling option enabled? Window scaling parameter;

TCP reordering threshold; Congestion control algorithm; Total TCP memory size; Maximum Segment Size;

-

Soft

war

e

NIC Driver Parameter

Device driver send/recv queue size; TCP offloading enabled? Interrupt coalescing enabled? Jumbo Frames enabled?


网络性能优化步骤（网络性能优化步骤（ 33 ））• hosthost 优化优化

• TCP bufferTCP buffer 大小大小• 使用优秀的数据传输工具，使用优秀的数据传输工具，例如：例如： bbcp/gridtpbbcp/gridtp• 结合实际情况结合实际情况

网卡驱动网卡驱动 IDEIDE接口的硬盘速度接口的硬盘速度 Netperf/IperfNetperf/Iperf测试工具是纯粹测试工具是纯粹的网络性能测试的网络性能测试每台机器应用不同设置不同的参每台机器应用不同设置不同的参数数


网络性能优化步骤（网络性能优化步骤（ 44 ））• 网络链路分析网络链路分析

• LANLAN 拓扑调整拓扑调整设备配置设备配置链路选择（链路利用率过链路选择（链路利用率过高）高）防火墙硬件升级防火墙硬件升级 & & 防火防火墙规则优化墙规则优化

• WANWAN CSTNetCSTNet ，， ESNet,FNALESNet,FNAL 等合作等合作当前状态当前状态 ((路由路由 /RTT//RTT/ 丢包丢包// 吞吐率吞吐率 )) 网络瓶颈定位网络瓶颈定位 (pathrate) (pathrate) 分析网络链路分析网络链路


网络性能优化步骤（网络性能优化步骤（ 55 ））• 优化后的测试优化后的测试

• LANLAN 压力测试，性能优异压力测试，性能优异

• 广域网广域网

• ResourcesResources• Host tuningHost tuning

http://http://fasterdata.es.netfasterdata.es.net/TCP-tuning//TCP-tuning/• Network performance measurementNetwork performance measurement

IperfIperf TracerouteTraceroute pingping PathratePathrate TcpdumpTcpdump Tcptrace & xplotTcptrace & xplot

• IHEP test serverIHEP test server Iperf.ihep.ac.cnIperf.ihep.ac.cn Perfsonar.ihep.ac.cnPerfsonar.ihep.ac.cn

http://fasterdata.es.net/TCP-tuning/




6. IPv66. IPv6 应用研究应用研究


IPv6IPv6 应用研究应用研究•《高能所青年基金课题》《高能所青年基金课题》• 构建构建 IPv6IPv6试验床试验床• Web/www/DNS Web/www/DNS 支持支持 IPv6IPv6 网络网络• 基于基于 IPv6IPv6 网络环境部署高能物理网格系统网络环境部署高能物理网格系统• 进行基于进行基于 IPv6IPv6 网络的文件传输测试网络的文件传输测试


典型应用典型应用• 20092009年年 44月，月， IHEP—USTCIHEP—USTC之间实现了之间实现了基于基于 IPv6IPv6链路的高能物理数据传输，链路的高能物理数据传输，实现方案如图实现方案如图 11• 数据传输性能测试对比（单流数据传输性能测试对比（单流 ftpftp））（图（图 22 ））

• IPv4IPv4 链路：平均链路：平均 3MB/s3MB/s• IPv6IPv6 链路：平均链路：平均 20MB/s20MB/s• 性能提高近性能提高近 77 倍倍• 多流传输的性能可进一步加大，准备测试中多流传输的性能可进一步加大，准备测试中

• 目前实现了同安徽省内所有高校的数据目前实现了同安徽省内所有高校的数据传输均基于传输均基于 IPv6IPv6链路链路

USTC IPv6 Server IHEP IPv6 Server

USTC Router IHEP Router

eth0 eth0

eth1 eth1

eth1 eth1

USTC IHEP

IPv6 Network Link (CNGI)

性能测试流量物理数据传输流量监视


7. 7. 小结小结


• 网络管理和网络安全网络管理和网络安全• 制度！需要做到有章可循，但是制度也需要“与时俱进”。制度！需要做到有章可循，但是制度也需要“与时俱进”。任何网络管理和安全策略，均需要制度的支持任何网络管理和安全策略，均需要制度的支持• 人员！！！责任心更为重要人员！！！责任心更为重要• 辅助手段：辅助手段：

软件是提高工作效率，降低管理员的工作量的有效技术手段软件是提高工作效率，降低管理员的工作量的有效技术手段选好软件：商业的不一定好，功能强大和全面的不一定好；需求驱动才选好软件：商业的不一定好，功能强大和全面的不一定好；需求驱动才是最好的是最好的用好软件！！！！用好软件！！！！

• 网络优化网络优化• 最重要的：必须充分了解网络结构、应用等最重要的：必须充分了解网络结构、应用等• 交流非常重要交流非常重要

应用工程师（系统管理员）应用工程师（系统管理员）合作伙伴：例如合作伙伴：例如 CSTNnet CSTNnet ，， ESNetESNet ，…，… ....


8. 8. 部分优秀的开源软件部分优秀的开源软件


• MRTG MRTG ，， CactiCacti• NagiosNagios• GangliaGanglia• IperfIperf• PathratePathrate• PingPlotPingPlot• Tcptrace & xplotTcptrace & xplot• TcpdumpTcpdump• OpenVPNOpenVPN


谢谢谢谢

Documents

高能所网络环境 与 高能所网络综合管理系统

高能所网络环境与高能所网络综合管理系统