Embed Size (px)
Citation preview
东软内部公开
SaCa P3
并行批量处理平台
产品白皮书
东软内部公开 1 东软集团股份有限公司
目录
一 挑战与对策 .............................................................. 错误!未定义书签。
1.1 挑战 .......................................................... 错误!未定义书签。
1.1.1 软件开发人员面临的挑战 ..................... 错误!未定义书签。
1.1.2 软件测试人员面临的挑战 ..................... 错误!未定义书签。
1.1.3 架构设计人员面临的挑战 ..................... 错误!未定义书签。
1.1.4 项目管理人员面临的挑战 ..................... 错误!未定义书签。
1.2 对策 .......................................................... 错误!未定义书签。
二 东软国内软件业现状 ................................................... 错误!未定义书签。
三 敏捷云应用支撑平台——SaCa ACAP .............................. 错误!未定义书签。
3.1 背景介绍 .................................................... 错误!未定义书签。
3.2 核心架构 .................................................... 错误!未定义书签。
3.3 关键价值 .................................................... 错误!未定义书签。
四 SaCa ACAP 特点及优势 .............................................. 错误!未定义书签。
4.1 支持业务资产积累的统一架构 ........................... 错误!未定义书签。
4.2 SaCa UI Framework .................................... 错误!未定义书签。
4.2.1 可视化 UI 开发工具 ............................ 错误!未定义书签。
4.3 高度可扩展的组织机构模型 .............................. 错误!未定义书签。
4.4 满足不同行业应用的安全解决方案 ..................... 错误!未定义书签。
4.5 以复用以及服务拆分为目的的组件化开发和装配 ..... 错误!未定义书签。
4.6 可积累的业务资产元数据模型 ........................... 错误!未定义书签。
4.7 面向元数据模型的代码自动生成机制 .................. 错误!未定义书签。
4.8 高用户体验的应用开发工具 .............................. 错误!未定义书签。
东软内部公开 2 东软集团股份有限公司
4.9 快速开发的模板化技术 ................................... 错误!未定义书签。
4.10 操作简便的组件管理控制台 ............................ 错误!未定义书签。
4.11 面向微服务架构的单元测试框架 ...................... 错误!未定义书签。
4.12 分布式服务追踪 .......................................... 错误!未定义书签。
4.13 微服务架构下分布式事务 ............................... 错误!未定义书签。
4.14 统一配置管理中心 ....................................... 错误!未定义书签。
五、关于东软 ............................................................... 错误!未定义书签。
东软内部公开 3 东软集团股份有限公司
一、对并行计算的理解
并行计算，通俗来说，集合多机的处理能力（CPU）与存储（内存和磁盘），构建
一个具有强大处理能力与存储能力的平台，用于完成需要超越单机计算能力的任务。
换一个角度来说，面对庞大计算能力的需求，并行计算通过联合多个计算机的处理能力
来满足计算任务对计算能力的要求。这与传统的通过提升硬件规格的方式提高处理能力
的思路不同，并行计算依赖的是规模效应，即将多台计算机联合起来形成集群提高处理
能力，而不是传统的依赖提升单机计算能力的方式提升处理能力。
传统方式提升运算能力依靠硬件配置升级 并行计算提升运算能力依靠多
机集群
图 1.1 典型提升计算能力方式对比
二、为何需要并行计算
2.1 现代应用对计算能力需求越来越大
随着互联网的普及与发展，各类软件系统已经成为日常生产生活中不可或缺的一部
分。各类应用系统功能越来越复杂，应用规模越来越大，用户也越来越多，使得许多场
东软内部公开 4 东软集团股份有限公司
景对计算能力要求急剧增大，甚至单机无法提供足够的计算能力支撑；此外，一些新兴
的业务场景也不断出现（典型的如海量数据存储，交换，分析），也需要强大计算能力
做支撑；应用呈现出“大集中”的部署趋势，许多行业的应用系统逐渐实现了“市级”
“省级”甚至“全国级”统一部署，集中部署会直接使得应用面向原用户规模几十倍甚
至上百倍的压力，对计算能力需求急剧增加。
2.2 依赖提升硬件配置方式难以提供足够计算能力供给
传统提升计算能力供给最显见的方式就是提升硬件配置，将 x86 架构服务器升级
为小型机，或者更为高级的计算机的确可以有效提升计算能力供给。但业界实践发现，
这种方式对计算能力提升十分有限。硬件技术在短时间内难有重大突破，单体计算机能
力提升有限，在庞大的计算能力需求面前显得杯水车薪；高配置计算机大多非常昂贵，
维护成本高昂，实现计算能力提升代价过高，受制于成本，往往达不到预期效果。
2.3 云等动态基础设施环境要求依赖规模化提供计算能力供给
云计算技术已趋成熟，越来越多的应用系统选择部署在云中。云是通过将计算资源
划分为一个个标准大小的单元（典型的如云主机），之后根据实际需要，实现按需供给
的。因此，部署在云中的应用，可以使用的单体（单机）最大计算能力是由云决定的。
举例来说，某云服务商，提供的最高配置云主机为 4 核心 16G，因此应用可以使用的
单机最高配置就是 4 核心 16G。
绝大多数云提供的标准单元的计算能力（单云主机配置）与传统应用部署的环境（实
体 x86 服务器甚至小型机或更高级主机）相比，性能下降很大，如果应对较大计算能
东软内部公开 5 东软集团股份有限公司
力需求的场景，只能依赖多机集群的并行计算方式。因此，并行计算是云等动态基础设
施环境中实现可持续扩充的计算能力供给的必由之路。
2.4 小结
一方面，应用对计算能力需求越来越大，另一方面，传统的依赖提升硬件配置的方
式难以满足需求，以及应用实现云部署的诉求，都促使业界转向依靠规模效应提升计算
能力的并行计算来实现计算能力供给。未来很长一段时间内，并行计算都将是实现计算
能力可持续供给的主流技术手段。
三、云时代的批量业务面临的挑战
现代企业应用当中，普遍存在的一类业务，这类业务通常有着复杂的业务逻辑以及
海量的数据，不需要人工干预，特定条件下自动触发，每次处理数量巨大。这类工作即
为“批处理”。
3.1 典型的批处理业务场景
金融领域：亿级别账户利息计算、批量划账、资产托管业务（清算、核算、估值）
福利彩票：电子投注开奖处理
保险领域：签单，理算，轧账，分红，稽核等
社会保障：百万参保人场景应收核定，应付核定，批量划款
智能交通：车辆图片信息快速识别
智慧教育：市级别学生考试成绩报告分析
东软内部公开 6 东软集团股份有限公司
电信领域：月账单计费，扣费
数据交换：海量数据 ETL、转换清洗
3.2 传统批量业务处理方案
传统批量业务通常在单机上完成，数据相关的大多采用数据库存储过程实现，其他
类业务的采用某台主机，使用单线程（进程）或者多线程（进程）进行处理。为了实现
自动触发，通常还会配有自动调度组件或者消息队列等中间件。
但随着应用规模增长，批量业务处理量也急剧上升，某些场景下出现因为处理量过
大，处理超时甚至宕机的情况。另外由于业务都集中在单点处理，一旦单点宕机，整个
系统批量业务均会失败。面对更多批处理业务时，只能多部署几个节点，每个节点处理
某几个业务，也无法做到自动负载均衡，且维护非常不便。
为了提高批量业务处理的性能，传统方法通常会选购更高配置的主机来实现，如依
赖于 Oracle 数据库存储过程的批量业务，可以采购 Oracle ExaData 一体机，其他类
将批量业务处理程序部署到 IBM 小型机等等。这类方案在一定时期内确实起到了明显
的作用，但随着业务量的增长，这些方案在成本和扩展性方面遭遇了瓶颈，具有很大缺
陷。
3.3 云时代批量业务处理的挑战
云时代已经悄然来临，云时代的批量业务处理面向的场景，要求都出现了新的变化，
向批量业务处理方案发起了新的挑战。
东软内部公开 7 东软集团股份有限公司
基础资源性能有限，处理要求增高
步入云时代，应用规模、用户规模扩大，大集中式部署使得批量业务量激增，但留
给批量业务处理的时间却没有增长，甚至缩短，基础资源配置也十分有限。这些变化无
疑对批量业务处理系统的能力提出了极高的要求。
可用要求高
越来越多的业务系统要求批量业务处理系统可以长时间持续运行。即使出现业务版
本更新，或者极端情况，仍旧可以继续提供服务。
动态可扩展
批处理业务规模会显著增加，批处理系统的处理能力必须可以随需扩展，且可以在
不停机的情况下进行扩展。
3.4 云时代批量业务处理解决之道
应对云时代批量业务处理的挑战，传统的依赖固定规模基础设施的方案将无法胜
任。
云时代的批量业务处理方案，必须具备如下特征：
性能不依赖基础设施配置，以规模换性能
云环境中可以提供的基础设施配置有限，无法与物理环境相比。批处理业务处理系
统不能依赖基础设施配置提升来提高处理能力，必须依靠提升基础设施数量的方式提升
处理能力。即使用并行计算的技术实现持续计算能力供给。
东软内部公开 8 东软集团股份有限公司
具备完备的高可用方案，消除单点故障
使用多个基础设施组成的集群构成的批量业务处理系统无形中提高了故障出现的
几率，基础设施不再可靠。系统设计必须消除单点故障，保证部分设施故障时，不影响
批处理系统运行。
处理能力可以动态扩展
批量业务处理系统需要优雅地处理基础设施规模的动态变化，再增加、减少基础设
施时，处理能力随之提升或降低，且全程不停机。
具备自我监控管理功能
大规模集群组成的系统无形中增加了运维的难度，系统应提供完善的监控与统一管
理功能，降低运维难度。
四、SaCa™ P3 - 并行批量处理平台
4.1 产品介绍
SaCa™ P3 并行批量处理平台是一款面向云环境的，面向批量业务处理场景的产
品。SaCa™ P3 并行批量处理平台联合多台主机的处理能力与存储，形成一个具有强
大处理能力的集群，为批量业务处理提供有力的支撑。SaCa™ P3 并行批量处理平台
根据云环境特点进行设计，具有完备的高可用方案，可以很好的适应云环境基础设施动
态伸缩的特点，在不停机的情况下，可以动态增减节点来调节集群的处理能力。在开发
方面 SaCa™ P3 并行批量处理平台提供了简单易上手的编程模型和与开发、使用本地
东软内部公开 9 东软集团股份有限公司
应用程序体验一致的客户端，极大地降低了批量业务处理程序开发与使用的门槛，提升
了开发效率；运维方面，SaCa™ P3 并行批量处理平台提供了开箱即用的部署方式，
与功能齐全的 Web 管理控制台，进一步缩减了大规模集群部署和运维的难度。
东软 SaCa™ P3 并行批量处理平台为企业提供适用于云的高效、易用，高可扩展
的新一代企业批量业务处理平台，更好的支撑企业未来业务成长。
4.2 逻辑架构
图 4.2.1 SaCaTM P3 并行批量处理平台逻辑架构图
系统构建在可靠性协调系统与高速通信框架基础之上。
并行计算平台客户端，与用户应用集成，提供与本地调用一致的用户体验。
并行计算平台管控中心负责集群部署与监管，配置统一更新与版本更新等运维工
作。
节点控制器，配置管理，任务库，事件处理器是每个计算节点的基础服务，提供并
行计算节点启停，运行状态监控，任务管理，事件处理等功能。
东软内部公开 10 东软集团股份有限公司
调度中心、任务队列、任务执行器，资源回收器构成了并行计算任务执行内核，集
群中任务首先进入队列，由调度中心根据调度策略分配任务执行器，任务执行器完成任
务逻辑，最后相关资源由资源回收器回收。
4.3 部署架构
图 4.3.1 SaCaTM P3 并行批量处理平台部署架构图
并行计算平台分为管理节点（图标 M，称为 Manager 节点），代理节点（图标 A，
称为 Agent 节点）两类节点。管理节点用于执行任务（Job）分发（拆分）逻辑，代理
节点用于执行任务分片（Task）。计算单元（图标 C）是实际执行逻辑的单元，分布在
Manager 和 Agent 节点上，计算单元的多少可以反映出节点的计算能力（越多越强）。
SaCa™ P3 并行批量处理平台依赖分布式协调服务（Zookeeper）与关系型数据
库（兼容所有主流数据库）。
SaCa™ P3 并行批量处理平台管控中心是独立部署的应用，用于对整个并行计算
平台集群的管控。
东软内部公开 11 东软集团股份有限公司
4.4 应用场景
4.4.1 医疗保险
东软医保智能监控分析系统，通过对医保数据进行分析，帮助监管部门及时发现医
疗保险运行中的各种违规行为（称为“稽核”），保障医保系统安全稳定运行。
随着系统应用的深入，医保稽核规则也越来越多，也越来越复杂，匹配规则已逾 5
万条，日处理数据量已近千万，且有继续增长趋势。原有稽核业务基于数据库存储过程，
时常出现在指定时间内无法按时完成的现象，甚至出现宕机。
为了提供计算能力可扩展，高效可靠的批量业务处理能力，系统使用 SaCaTM P3
并行批量处理平台实现医保稽核所有批量业务，实现日处理千万记录，日发现疑点 2500
条左右。
4.4.2 社会保障
人力资源与社会保障系统业务中有相当一部分批量业务（如“应收核定”、“养老计
息”，“应付核定”等等），传统系统使用 Oracle 存储过程实现。随着参保人口逐渐增多，
批量业务处理压力渐渐增大，新版系统云化部署的要求，使得原系统中依赖存储过程的
批量业务处理方案已经无法再胜任未来的需要，因此采用 SaCaTM并行批量处理平台，
利用多机集群来实现批量业务处理。
东软内部公开 12 东软集团股份有限公司
应收核定场景实测数据：
应收核定：计算用人单位每个月需要向社保中心缴纳各类保险费的总额以及细化到
每个人需要交纳保费的总额。
原方案（Oracle 存储过程）：
使用 SaCaTM P3 并行批量处理平台实现方案：
东软内部公开 13 东软集团股份有限公司
效果对比：
4.4.3 智慧教育
东软睿云教育云是一整套结合移动互联网与云计算技术的面向中小学教育领域的
创新型产品。通过特殊终端实现了学校教学，命题，考试，评分，成绩分析全过程云化，
覆盖多个城市上百所中小学。
睿云教育云有大量批处理业务，核心业务之一为 ——“成绩报告分析”
成绩报告分析，在每次考试成绩确定后，根据每个学生历史考试答题情况，考试成
绩，知识点掌握情况等等指标，生成个性化成绩分析报告。报告有严格时效性要求，要
求在考试评分结束后 24 小时内发放到每个学生手中。
图 4.4.3.1 SaCaTM P3 并行批量处理平台成绩报告分析数据来源简图
东软内部公开 14 东软集团股份有限公司
报告涉及数据来源于关系型数据库，NoSQL 数据库与分布式文件存储系统。业务
要求在指定时间内批量生成大量报告，需要具有强大处理能力批量业务系统支撑。
睿云初期使用单机完成报告生成任务，随着睿云覆盖学校逐渐增加，当学生达到 5
万左右时，单机已经很难在规定时间内完成任务，宕机故障时有发生。
睿云目前采用 SaCa™ P3 并行批量处理平台实现学生成绩报告分析，以及电子试
卷图片拆分与识别等批量业务，目前支持学生数为原方案几倍，长期以来运行良好。
4.4.4 寿险财险
保险行业是一个典型的具有大量批量业务场景的行业，典型如保单的签单，轧帐，
核保，续保，分红等等。目前很多一线保险公司都在构建基于云的新一代保险核心平台，
依靠云的高可扩展性来解决未来业务规模持续增长对业务支撑系统能力源源不断的需
求。
保险行业的批量业务大多具有严格的时效性要求，对批量业务处理系统处理能力与
稳定性要求极高，传统依赖单机的处理方案已经不能适应实际需求。
下面是基于某保险核心平台使用 SaCa™ P3 并行批量处理平台完成批量业务前后
的效果对比。
大病险——目录匹配场景实测数据：
目录匹配：从医保中心反馈的大病治疗明细中，匹配出大病险报销范围内的条目，
并根据报销比例，计算出每一项的赔付金额。
原方案（Oracle 存储过程）：
东软内部公开 15 东软集团股份有限公司
使用 SaCaTM P3 并行批量处理平台实现方案：
东软内部公开 16 东软集团股份有限公司
效果对比：
4.4.5 银行证券
银行、证券业具有大量的批量业务，如计息，清算，核算，划账等等。随着去 IOE、
国产化等 IT 系统建设需求的出现，银行证券行业也开始尝试使用 x86 架构主机甚至虚
拟机构建支撑系统。银行证券行业的大量批量业务面临着从大型机、小型机中迁移到
x86 主机的挑战，为保证迁移后业务处理性能，提供面向未来的可扩展性，需要一个稳
定、高效、可扩展的批量业务处理平台来处理各类批量业务。浦发银行采用 SaCaTM P3
并行批量处理平台高效处理日千万级的资产托管业务，实现了批量业务处理从大型机向
x86 主机的成功迁移。
4.5 关键特性
开发简单易上手
模型简单与传统多线程类似
只需要了解五个对象 Job、Task、Distributor、Executor、
SharedResourceHolder
任务拆分与计算结构分离
开发者只需要关心任务如何拆分，不需要关心任务如何分配到底层计算节点
东软内部公开 17 东软集团股份有限公司
支持异构任务分片以及复杂编排
同一个并行计算任务中的每个分片，可以执行不同的逻辑。可以完成多个步骤
的复杂运算
支持本地调试
无需搭建集群，即可在本地完成程序逻辑调试，调试体验与传统单机程序一致
运行高效运维简便
10ms 任务启动，节点秒级启动
超高速通信协议，从客户端提交到任务启动在 10ms 以内，节点 10 内启动。
轻量、部署方便
三个压缩包，Manager、Agent、Client，解压即用。
配置要求低，支持异构主机
最低单核 64M 内存即可作为计算节点，不要求加入并行计算集群主机配置相
同，每台主机可以有不同的 CPU 核心，内存。
任务全自动在线发布
用户发布、更新计算任务无需手动部署，亦无需停机，并行计算集群会自动完
成任务分发。
灵活运行期控制
支持多任务并发执行、任务优先级调度
支持多任务并发执行，并可以根据优先级，动态调度各个任务获得的计算资源。
支持同步、异步启动，运行期停止
任务支持同步、异步启动，支持停止已经开始运行的任务。
完备高可用、动态扩展
集群支持完备高可用方案，无单点故障
Manager、Agent 节点均支持故障转移，任意节点宕机不影响集群运行；允许
宕机节点多，最少有 1 台 Manager 和 Agent 可用，集群即可运行。
支持动态扩展
在运行期可以增加或者减少节点，实现计算能力动态增减。
东软内部公开 18 东软集团股份有限公司
五、东软 SaCa™ P3并行批量处理平台的优
势
东软 SaCa™ P3 并行批量处理平台是东软在云计算领域重点研发方向之一，平台
设计时参考了 FourInOne、JPPF、Strom、Hadoop MapReduce 等产品的优缺点。
具有轻量，运行稳定，高可扩展，开发便捷，易于运维等特点。
产品结合东软 20 多年以来在社保，金融，保险，教育，医疗等领域的实际项目中
批量业务处理的经验进行设计，可以最大程度满足企业实际业务场景的需要。
产品设计伊始就充分考虑了云中部署的问题，可以轻松实现云中部署，并以云服务
形式提供服务。助力用户应用快速实现云化。
东软内部公开 19 东软集团股份有限公司
六、东软集团简介
东软创立于 1991 年，是中国第一家上市的软件公司，一直以来致力于以信息技术
的创新，推动社会的发展，创造美好生活。目前，东软在全球拥有近 20000 名员工，
在中国建立了覆盖 60 多个城市的研发、销售及服务网络，在美国、日本、欧洲等地设
有子公司。
东软连续四次入选普华永道“全球软件百强企业”，在最新一次排名中再度成为入
选该榜单唯一的中国软件企业。此外，东软还曾荣获最具全球竞争力中国公司 20 强、
中国 50 强全球挑战者、亚洲最受赏识的知识型企业、亚太地区最佳雇主等奖项。
东软以软件技术为核心，面向全球市场提供智慧城市、医疗健康与社会保障、智能
汽车互联以及企业互联等领域的创新型解决方案、产品与服务。
在智慧城市领域，东软聚焦政府、金融、能源、电信、制造等二十多个行业，提供
210 多个业务方向、750 余种产品与解决方案，在众多行业拥有领先的市场份额。东
软以“惠民、优政、兴业”为目标，构建绿色、开放、共享的新型智慧城市。
在医疗健康与社会保障领域，东软构建了以人为核心的可持续发展的大健康生态系
统，推动信息技术与医疗的融合，创新医疗的新模式。面向居民及患者、医药服务支付
方、政府监管方、医疗服务提供方以及生态链各方，提供线上、线下相结合的全生命周
期的产品与解决方案。东软的软件支持了中国 7 亿人群的社会保险服务，医疗设备销往
东软内部公开 20 东软集团股份有限公司
全球 110 多个国家和地区的 9000 多家医疗机构，健康管理业务服务居民超过 3000
万人。
在智能汽车互联领域，东软拥有 28 年服务全球客户的经验，以软件为驱动，推动
汽车产业的开放与融合，专注电动汽车、智能网联、自动驾驶与共享汽车领域，致力于
打造安全、舒适、智能、绿色的汽车生态系统和移动出行服务。东软在该领域的全球研
发网络拥有 4000 名工程师，软件服务于全球 top30 汽车品牌中的 85%。
在企业互联领域，东软基于移动互联网、人工智能、云计算、大数据等新技术，提
供企业互联产品以及专业的云与数据服务，帮助企业实现业务的创新与转型。
东软一直秉承“超越技术”的经营思想和品牌承诺，关注人，关注社会发展，致力
于成为受社会、客户、股东和员工尊敬的公司。
产品网站：http://platform.neusoft.com
技术社区：http://plus.neusoft.com
电话：400 655 6789
微信：东软平台产品
东软内部公开 21 东软集团股份有限公司
