基准驱动的高效软件度量 - ssm-ug.org什么是基准比对术语定义：将目标对象（如目或目群）属性与基准相较，并建立目标对象属性相应值的全部过

基准驱动的高效软件度量

中国系统与软件度量用户组 CTO 王海青

2015年6月3日

大纲

2 2015/6/3 Copyright 2015 by SSM User Group. All rights reserved.

软件度量面临的挑战

基准比对方法简介

关于组织级度量的几点思考

提问&讨论

软件度量面临的挑战

2015/6/3 3 Copyright 2015 by SSM User Group. All rights reserved.

关于软件度量的困惑

数据分析象救火

积累了大量历史数据，但决策还是靠“拍脑袋”

基础数据不可靠，数据分析结果难以信任

对数据的解读不一致

数据“明确”了当前状态，但不知如何改进

度量活动的价值难以评价


关于软件度量的困惑

度量本应让管理更简单，为何经常事与愿违？


过程

人

技术

软件度量过程


软件度量数据分析

为何度量

度量什么

如何度量

数据采集

商业目标

数据采集表

软件度量面临的问题



为何度量

度量什么

如何度量

数据采集

GQIM

SP

C

一个典型的度量应用场景

故事背景美好的前景：（引自某权威机构）在CMMI5级的组织中，产品

90%的缺陷应该通过评审活动发现；评审发现缺陷及修复成本仅为测试活动的1/5～1/10……

残酷的现实：本组织评审仅可发现不到30%的缺陷

抱怨的客户：产品开发周期长，质量不尽如人意

生气的老板：我们需要将质量活动前移！我们何时可以输出高质量的产品？

问题：如何改进？需要做哪些度量？



典型改进活动目标：将评审活动发现缺陷占比提高到50%

活动：成立专项改进小组

定义各阶段评审活动准出标准

加强对各评审活动的要求及数据采集，对于无法达到准出标准的项目要求重新评审

对评审及测试活动数据进行分析……

效果：6个月后，评审活动发现缺陷占比提高到53%，改进目标顺利达成，专项改进小组获得表彰……

但是，为什么度量工作得不到大家的认可？客户、项目组、高层……



需要思考的问题我们的质量水平如何？

正常吗？和同行比我们有多差/好？

我们当前的评审能力与测试能力如何？绝对值与相对值？

正常还是异常？

我们的缺陷发现及修复成本如何？

如何改进？有哪些最佳实践？

如何评价效果？什么是缺陷？

只看缺陷发现占比足够吗？

……


基准比对方法介绍


什么是基准比对

术语定义：将目标对象（如项目或项目群）属性与基准相比较，并建立目标对象属性相应值的全部过程（摘自工信部行标《软件研发成本度量规范》）

即依据行业或本组织的基准数据及最佳实践，帮助组织了解现状、发现问题、实施改进并对未来建立预测


为何进行基准比对—基准比对的价值



为何度量

度量什么

如何度量

数据采集

GQIM

SP

C

基准比对的核心价值：找到真正的问题和“现实”的方法并全面评价改进效果

为何进行基准比对—基准比对的价值


基准

解决问题发现最佳实践

评价效果能力比对，模式辅助分析

发现问题过程比对，异常预警

基准比对方法示例—评价效果


基准

解决问题评价效果

发现问题

基准比对方法示例—发现最佳实践


基准


发现问题

基准比对方法示例—异常预警


基准


发现问题

此项目交付质量是否存在较大风险？

传统的项目预测方式

基于历史数据，采用相关性分析、回归分析等统计学方法，建立预测模型


其他的方法？

毕业设计（定性仿真系统）带来的启示


基于数据的定性分析—基本步骤

定性分析模型定义确定一组“相关”度量指标

统计数据并分析样本项目特征

项目性能模式归纳

定性分析模型应用根据模型对项目状态、性能进行判断，并制订应对/改进措施

模式验证与优化不断验证模型，提高模型精度或简化参数


基于数据的定性分析—示例

最简单的模型（生产率-缺陷密度）问题：以下哪个组织的质量较好？


P25 P50 P75 组织A 组织B 组织C 组织D生产率 3.71 7.31 12.97 2.19 1.47 16.28 19.53缺陷密度 0.12 0.35 0.73 0.06 1.31 0.87 0.08


交付质量数据分析


组织类别生产率缺陷密度A 高低B 高高C 低高D 低低


最简单的模型（生产率-缺陷密度）模式定义

结论通常组织D质量最好

通常组织A质量最差

通常组织B和C质量居中

扩展问题为何不直接度量交付质量？


组织名称生产率缺陷密度对应模式A 高低进度优先模式B 高高均衡模式—高效C 低高均衡模式—质量保证D 低低高品质模式


模型优化（生产率-缺陷密度-测试工作量占比）


组织名称生产率缺陷密度对应模式补充验证（测试工作量占比）典型情况：占比偏低（或正常）异常处理：占比偏高则修正为均衡模式—高效典型情况：占比正常（或偏高）异常处理：占比偏低则修正为进度优先模式典型情况：占比偏高（或正常）异常处理：占比偏低则修正为进度优先模式典型情况：占比正常（或偏低）异常处理：占比偏高则修正为均衡模式—质量保证

A

B

C

D

高

高

低

低低

进度优先模式

均衡模式—高效

均衡模式—质量保证

高品质模式

低

高

高




体系搭建系统思维—如何双赢？

关注价值—建立应用的闭环

度量实施关注细节—示例：如何最小化度量对度量的影响？

平衡—要“科学”还是“可用”？

度量改进突破思维定式—示例：关于数据质量的思考

度量的成败关键往往在度量之外！


提问&讨论

27 2015/6/3 Copyright 2015 by SSM User Group. All rights reserved.

基准驱动的高效软件度量

Documents

基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义：将目标对象（如目或目群）属性与基准相 较，并建立目标对象属性相应值的全部过

基准驱动的高效软件度量 - ssm-ug.org什么是基准比对术语定义：将目标对象（如目或目群）属性与基准相较，并建立目标对象属性相应值的全部过