Embed Size (px)
DESCRIPTION
腾讯公司 集中式 IT 系统技术架构. 蒋 杰 2012-11-22. 大纲. IT 系统技术架构演进路线 集中式业务支撑系统 —TBOSS 案例分析：腾讯 Boss 系统 集中式 BI 系统 — TDW 案例分析：支付宝 DW 系统. 1. 演进路线 架构挑战 第三代架构. 腾讯公司 IT 架构演进路线. 腾讯 IT 架构演进路线. 服务范围 : 移动及电信增值服务 营收规模： 28 亿 代码量 : 百万级 技 术团队 : 0~1000 人. 服务范围 : 增加互联网产品领域 营收规模： 360 亿 代码量 : 千万级 - PowerPoint PPT Presentation
Citation preview
腾讯公司集中式 IT 系统技术架构
蒋 杰2012-11-22
大纲
1. IT 系统技术架构演进路线
2. 集中式业务支撑系统— TBOSS 案例分析：腾讯 Boss 系统
3. 集中式 BI 系统— TDW 案例分析：支付宝 DW 系统
腾讯公司 IT 架构演进路线
1• 演进路线• 架构挑战• 第三代架构
腾讯 IT 架构演进路线
2000 年业务
2011 年 +2006 年 2007 年 2010 年
架构
服务范围 : 移动及电信增值服务营收规模： 28 亿代码量 : 百万级技术团队 : 0~1000 人
一代架构 : 烟囱型
技术基础 : c++/.net/spring/RDBMS
二代架构 : 面向服务型
服务范围 : 增加互联网产品领域营收规模： 360 亿代码量 : 千万级技术人员 : 1000~6000 人
技术基础 : 分布式缓存 / 消息队列 / 数据拆分 /key-values 数据库 /Hadoop
?
服务范围 : 增加海外、第三方开放平台营收规模： 360+ 亿代码量 : 亿级技术人员 : 6000+ 人
?
当前架构挑战 : 构建海量、稳定、安全平台
• 千万级 -> 亿级• 同城 -> 异地 ->
全球• P 级数据深度应用
• 99.9% -> 99.99%
• 核心业务做到 0 停机维护
• 自动化• 应用级灾备
• 安全
• 质量更可控• 开发更简单
• 独立研发
• 降低业务处理成本• 去 IOE 厂商绑定
海量 稳定
速度成本
第三代架构：云服务
集中式业务支撑平台
2• TBOSS 承载业务• TBOSS 功能架构• 分布式部署• 安全防护• 案例分析：腾讯 Boss 系统
240 人
腾讯 BOSS 特点：1 ）伴随各业务事业群的发展，逐渐沉淀和完善的过程。2 ）已形成一级体系（集中式，如网络 / 计费等），但业务事业群依然保持灵活的二级体系（分散式，运维 / 经分等）。
网络 / 存储 / 安全 / 客服 / 数据 / 计费…
Q 币发行 ( 实体卡 / 在线卡 )经销商管理
网银
/财
付通
运营商合作电信 / 移动 / 联通 60 人
• 研发 2000 人( 其中 BOSS100 人 ,
BI 180 人 )• 客服 2500 人
IT 部 (TEG) 对公司各事业群起支撑作用
IT 部管理的核心 IT 系统 ---TBOSS
TBOSS
TBOSS ：承载腾讯营收 82%+, 每日交易金额超过 1 亿元，年增长率 50%左右
本季度总收入 105 亿元，比去年同期增长 56%其中：•互联网增值服务： 78 亿，占 74%•移动及电信增值服务： 9 亿 , 占 8.5%•网络广告业务： 8.7 亿，占 8.2%•电子商务： 8.6 亿 , 占 8.2%
TBOSS 承载业务：公司 82% 收入的计费及营销
TBOSS 功能架构
联通联通
电信电信
Q 币Q 币
EsalesEsales
…………
结算结算
无线无线
互联互联
互娱互娱
财经财经
安全安全
用户交易请求用户交易请求支付渠道 业务产品业务产品
统一计费统一营销
统一渠道接入
统一渠道接入
统一产品管理
统一产品管理
移动移动
即通即通
…………
对账对账账务账务网银网银
营销资源管理营销资源管理
180 多个渠道合作商 580 多个产品
渠道账户
Q 币账户
订购关系
账单库 ……
1 ） QQ 账户总量 7 亿、充值活跃用户 1.4 亿 2 ） 1 分钟交易峰值 25 万次，查询峰值 200 万次 3 ）用户级反欺诈安全策略检测每日超过 2 亿次
对外提供支付云，支撑开放平台
应用
腾讯云服务
购买充值
支付云
商户
用户
商户管理门户
SDK
用户管理门户
多终端支持WEBMobileClient
1 ）接入 - 付费 - 监控 - 结算全流程一体化—— 2 天接入， 25 天结算；2 ）覆盖以 Qzone 为主的，微博、 Q+ 等九大平台—— 700+ 款 APP ，总用户数 5000 万，日营收超过 1000 万元；
分布式部署：容灾 + 就近接入
IDC1
IDC2 IDC3
IDC
IDC
IDC
IDC
svr
svr
svr
svr
svrdb db
1 ）批价：全国各大 IDC 就近部署，本地批价并兑换商品2 ）账务：商品消费记账。两地中心部署在 4 个 IDC ，实时容灾（多级自动切换，锁定机制实现强一致性）；系统可用度保持在 99.997% 以上；3 ）共 1200 台 PC 服务器 , 具备自动伸缩能力
区域批价中心 1
区域批价中心 2 区域批价中心 N。。。。。。
深圳账务中心
上海账务灾备中心
公司内部安全防护设计
帐户 DB
OA 登录
OA 登录
敏感权限系统
操作台后台服
务
登录跳板机
登录后台服务
器
前台操作
后台操作
Token 卡 公司敏感权限控制及审计
OA 密码、 SHELL 审
计
ROOT 密码管理、 SHELL 审计、关键脚本审计、数据库
审计
帐单中心对帐核对， DB 加
密防篡改
Log 审计
技术选型策略
摘选自 CTO-Tony ：
1 ）没有采用 IOE2 ）软件主张自主研发，尽可能不采用外部中间件；3 ）设备采用廉价 PC ，根据应用场景分几类标准型号；4 ）海量运营之道：大系统小做，先扛住再优化，灰度，过载保护，…
集中式 BI 系统
3• 系统定位• 设计思路• 技术架构• 案例分析：支付宝数据分析系统
集群规模 / 数据量 / 计算量
机器数 5600 台总存储能力 100PB
2010 2011 2012H1 2012H20
5000
10000
15000
20000
25000
30000存储及机器增长情况 存储 (T)
机器数 ( 含旧机器）
2010 2011 2012H1 2012H20
200
400
600
800
1000
日均计算 (T)
2010 2011 2012H1 2012H205
10152025303540
日接入数据 (T)
日均计算量 10PB 支撑 2 万个计算任务
日新增 100T 数据
现状——传统数据仓库模式
数据分析师
ETL 开发工程师 模型架构师
运营
程序员
数据化运营商业决策产品设计
理解业务文档化业务和需求BI 产品设计
PD
业务分析师 / 数据 PD
数据工具平台
ETL 作业设计，实施，维护，优化
数据模型建模架构师
技术框架设计平台与工具的实现
商业智能团队
数据开发团队
内部用户
…
使用、建设
建设ADI 分发中心 调度系统 元数据
基础架构团队
愿景——人人可以使用数据
数据分析师
ETL 开发工程师
模型架构师
运营
程序员
数据化运营商业决策产品设计
分析用户行为用户分群，挖掘高价值用户BI 产品设计
PD
BI 分析师 / 数据 PD
商户 合作伙伴培训，咨询，解决方案
架构师
技术框架设计平台与工具的实现
商业智能团队
数据开发团队内部用户 外部用户
基础架构团队
… …
直接使用
建设
提供服务
数据开放平台
提取满足特定条件的用户
数据云
新客户
潜在客户
成熟客户
流失挽留
维系提升
获取阶段
2. 数据分析
3. 反馈数据
1.获取数据
Data Cloud (DC)
海量 效率
BI 系统定位：数据云、数据工场
机房、设备、网络等服务虚拟机、资源调配
1 数据应用开发工具、组件、规范2 基于数据仓库 /BI 分析库的自助分析组件3 数据应用的部署、运维、托管4 数据应用的公共服务5 平台运营分析和管理1 离线存储，离线计算和挖掘能力2 在线数据收集、存储和流式计算能力3 大规模集群的运营和优化能力
数据 API 、产品报表，数据自助分析 /提取，专题分析报告，数据挖掘， BI 分析…数据应用 / 数据 API
应用开发平台（数据工场）
基础设施
基础平台（数据云）
数据应用开发者
最终用户 ( 数据分析师 / 产品 / 运营 / 开发 )
使用数据
Ad-hoc 查询
开发数据产品
海量数据平台
基于云服务数据开放平台
B2C 业务业务 内部金融 数据支撑 外部金融
海量计算技术 实时查询数据分发海量挖掘 流计算 …..
海量计算 :基于 Hadoop 海量存储计算集群 , 同时提供一站式的计算和存储资源管理
分布式数据挖掘 :基于Mahout 分布式数据数据挖掘
数据分发中心 :提供批量数据抽取和转载 ,同时准实时消息 , 日志分发 (采用客户 pull 方式 )
流计算框架 :类似M/R流式计算框架 ,可以实现应用快速 ,提供在线数据加工服务
海量数据实时搜索 :基于 Solr搜索引擎集成 ,提供千亿级别数据实时查询和全文检索
基于用户属性和行为挖掘为 B2C提供数据服务等等
对备付金存量调拨模型预测 ,风险模型相关应用等等
观星台 ,地动仪 ,基于 hadoop 海量数据自助查询
保险行业 ,证券行业 , 银行授信 , 信用卡相关应用等等
海量数据查询 :基于 hive 和 Pig,提供Web页面海量数据可视化查询服务
数据云平台
数据云平台 新业务
未来新应用和服务
资源管理
ADC 架构体系
[ 海量计算 ][ 海量存储 ]
[决策支持 --观星台 ] [ 地动仪 ]
量天尺KPI 系统 /DASHBOARD
业绩跟踪 大事记
专题分析 产品
使用分析
会员特征分析
产品指标监控
[ 线上业务服务 ]
账单类应用
会员营销
CTU查询
消费记录
智能客服
[ 对外合作增值服务 ]
[ 数据服务 ] [ 数据通道 ]
海狗实时搜索
蓝鲸流式计算
[ 海量基础服务 ]
海豚海量计算
章鱼数据分发中心
剑鱼海量数据查
询
海星分布式数据挖掘
Hbase DFSHadoop Greenplum Hive Pig Mahout
[ 海量基础架构 ]
[ 海量数据服务 ]
[ 海量基础模型 ]
[层次结构 ]
ODSDWD
DWB
DWS
DMST
[ 主题划分 ]
会员主题
交易主题
资金主题
商户主题
日志主题
对 C产品
对 B产品
支付主题
安全主题
无线主题 …
用户属性
个性化营销
网络行为
位置服务
生活形态
消费形态
信用评估
新建系统 完善系统
数据开放平台
数据分发中心
适配器 (Source)
分发中心实时数据分发 (高性能分布式 MQ) 批量数据分发
适配器 (Sink)
TBNotifyAdapter
FileAdapter
Mysql 实时Adapter
GreenplumAdapter
HIVEAdapter
HBaseAdapter
HadoopAdapter
DFSAdapter
...Oracle归档日志
Adapter
zookeep
er
消息顺序写
客户端拉取
分布式
支持消息顺序
支持事务
服务器无状态
无消息堆压
线上 DBAdapter
Oracle 分发
…
Mysql 分发
Hive 分发
…
…
通过消息中心实时数据同步和数据库底层日志同步
资源管理
1:访问 http://adc.alipay.com/
2: 通过公司的域帐号登录
3:申请计算存储资源，获得批准
4: 通过客户端访问集群资源
一站式资源服务
流式计算
消息中心
蓝鲸系统DFS
MysqlDB实时同步
Bolt filter
。。。
replacesplit
dencrypt
encrypt
Merge
Hive
Hadoop
HBase
来源 计算 入库
Log
zookeeper
Bolt
task
Bolt
task
task
Bolt
task
task
task
task
Bolt
task
taskSpouttask
task
Spout
task
task
load
单模块处理能力为 2WTPS, 具有线性增加能力
实时搜索查询引擎 项目价值
提供千亿级别数据实时查询和全文检索
支持每天10 亿 + 级别的数据更新
实时 实时搜索延迟： 3s 查询和插入 TPS ：
>2WTPS
数据容量 线性扩展
Schema扩展 Schema Free
自动容灾 基于ZK 动态感知节点状态
ARSC Node 集群
KV 存储
Solr Cloud
RAM
Disk
RAM
Disk
RAM
Disk
RAM
Disk
RAM
Disk
RAM
Disk
索引 内存索引查询
数据开放：使得公司数据集中形成数据开放，在保障数据安全性的前提下，提供自助化服务平台，从人肉服务模式转向平台自动化服务方式，帮助 BG 数据分析人员通过自助服务的方式，降低人工成本，满足快速增长的需求。
专业化：从提供大量独立的系统 / 工具转变向提供集成、一体化、自动化数据开发平台服务。来源各个业务块数据进行整合和深入挖掘产生用户画像，为业务提供有价值的服务，并且快速孵化更多的数据应用。
成本与性能：优化平台存储和计算方案、优化的数据模型和算法、去除重复计算和存储；通过建设大规模集群，形成规模效应，提升平台能力并降低成本；随着平台上的数据量、用户数、任务数不断增长，每个新用户 / 新任务带来的新增成本不断降低，成本优势可以不断放大。
架构设计思路：数据开放、专业化、成本
