CMMI Appraisal Methods (CMMI評鑑方法 )南台科技大學 資管系陳炳文、林韋辰 編

Table of Contents

• CMMI 簡介• 評鑑方法• CMMI 評鑑需求 (ARC)• SCAMPI 介紹• Q&A

CMMI簡介

什麼是 CMMI？•由美國卡內基美隆大學軟體工程學院(CMU/SEI)於 1987 年發展成功的 SW-CMM （ Capability Maturity Model for Software）。

•其目的在於幫助軟體組織改善其軟體生産流程，以探索一種保證軟體産品品質、縮短開發週期、提高工作效率的軟體工程模式與標準規範。

什麼是 CMMI ？ (2)

• 2000 年底， CMU/SEI整合了不同專業領域的 CMM，推出了CMMI （ Capability Maturity Model Integration ）。

為什麼採用 CMMI？• 目前， CMM/CMMI已經成爲國際上最流行、最實用的軟體生産流程標準和軟體組織成熟度的等級評鑑標準，大大地促進了美國、歐洲、印度等軟體大國相關行業的發展。• 隨著大陸及台灣加入 WTO，國內的軟體行業意識到 CMM/CMMI是世界軟體行業發展的標準，要想參與國際競爭，就必須重視導入與 CMM/CMMI評鑑。

• 在「行政院所屬各機關資訊業務委外服務作業參考原則」中，更將廠商或團隊人員通過CMMI評鑑列入評選加分項目。

CMMI帶來的好處Performance Category

Median Number of Data Points Low High

Cost 38% 14 4.5% 87%

Schedule 50% 14 20% 90%

Productivity 50% 13 11% 376%

Quality 50% 16 29% 94%

Customer Satisfaction 14% 5 10% 55%

Return on Investment 3:1 8 2:1 13:1

評鑑方法Appraisal Methods

SCAMPI• SCAMPI (Standard CMMI Appraisal Method for Process Improvement) 是由 SEI設計的一種 CMMI正式的評鑑方法。

• SCAMPI 是目前唯一能夠符合 CMMI 評 鑑需求 (ARC) Class A 的評鑑方法。• SCAMPI 主要做為 Class A 的評鑑方

法，但經過裁適 (Tailoring)後，也可做為 Class B 或 Class C 的評鑑方法。

落差分析 (Gap Analysis)•評鑑的目的在於組織推行流程改善活動時，可先藉由評鑑，瞭解組織的流程、制度，和 CMMI某一成熟度之間的落差(Gap)。–再參考組織的願景和經營目標，排定流程改善的優先順序，以規劃組織的流程改善活動。

導入 CMMI IDEAL Model

Initiating

Diagnosing

Establishing

Acting

Learning

ProposeFutureActions

Analyzeand

Validate

Pilot/TestSolution

CreateSolution

Develop Approach

Set Priorities

DevelopRecommendations

Characterize Current

and Desired States

CharterInfrastructure

BuildSponsorship

Stimulus forChange

Set Context

ImplementSolution

Refine Solution

Plan Actions

Gap Analysis

CMMI相關評鑑方法• ISO/IEC 15504• CBA-IPI (CMM-Based Appraisal for Internal Process Improvement)

• SPA (Software Process Assessment)

• IP (Interim Profile)

ISO/IEC 15504•又稱為 SPICE （ Software Process Improvement and Capability dEtermination）

• ISO15504 是用來做為 ISO12207 標準的評鑑方法，因此其內容架構跟 ISO12207 是相對應的。•在作業能力維度方面，共區分六個能力等級，分別是等級 0到等級 5。

ISO/IEC 15504 (2)•在作業維度是採用 ISO12207 的三種生命周期，並分為五種作業類別，分別是：

–客戶供應者作業類別、–工程作業類別、–供應作業類別、–管理作業類別、–組織作業類別。

CBA-IPI• CBA-IPI (CMM-Based Appraisal for Internal Process Improvement) 由SEI於 1995 年發表。

• 是屬於 SEI正式的評鑑制度。• CBA-IPI由一組受過訓練的專家對組織的軟體流程能力進行評審，評審小組在評審範圍

內，以問卷資料蒐集、文件審查、簡報、與中階經理、專案經理、軟體人員之深度訪談等方式，發現證據，並給予評等。

SPA• SPA (Software Process Assessment)是一種對組織軟體開發能力客觀的自我評鑑。• SPA評鑑的對象為已完成 CMM的落差分析 (Gap Analysis)評鑑，並且正進行流程改善的組織。

• 實行 SPA初期，會有 6~10 人所組成的團隊進行為期 5~8天的密集訪查，在這幾天內， SPA的團隊進行事實發現、分析、檢視議題，以及提出訪查的結果。• 透過面談以及會議的回應，使得 SPA團隊對組織的軟體流程有更深的了解，並且提出組織軟體流程改善的建議。• 一般實行 SPA的時間要數個月，因此也是屬於高成本的評鑑。

IP

• IP (Interim Profile)是屬於一種「中間型」的 CMM的評鑑。– 是由非 SEI的商業組織自行發展的小型評鑑法。

• 主要用於已完成 CMM的落差分析 (Gap Analysis) 評鑑，且正在進行流程改善之組織，做為自我評鑑之用，不需外來的專家參與。

• 目的是用來監控改善的狀況，並調整改善計劃。評鑑的對象可以是組織中的專案或者團體，但必須配合組織層級的流程改善團體，例如 SEPG (Software Engineering Process Group )。

IP (2)

• IP評鑑的資料來源是利用問卷調查，而不採用訪談及文件的檢視。• 相較於 SCAMPI或其他 CMM評鑑， IP的成本很低，評鑑期間也較短，但細節及精確度就受到相當的限制。

CMMI評鑑需求 Appraisal Requirements

for CMMI

CMMI評鑑需求 (ARC)• CMMI 評鑑需求 ARC (Appraisal Requirements for CMMI)，包含一組高階設計標準，用來發展、定義及使用於 CMMI 的評鑑方法。

•雖然 ARC 是 CMMI 評鑑方法設計者的發展依據，但我們亦可透過 ARC 瞭解 CMMI 評鑑流程、準則、組織權責與注意事項，將有助於組織實踐 CMMI 時的先期規劃及準備工作。

CLASS ABC比較表特徵 Class A Class B Class C所需蒐集的客觀證據數量 高 中 低評等的產生 有 無 無所需資源 高 中 低評鑑小組規模 大 中 小主評鑑員的資格 CMMI

主評鑑員(Lead

Appraiser)

CMMI主評鑑員或經過訓練且有經驗的人員經過訓練且有經驗的人員

CLASS A• Class A 必須滿足 ARC 所有需求，是唯一提供評等的評鑑方法。• 進行評鑑時，需有三種資料來源：問卷、文件審查及訪談。• 進行 Class A評鑑，通常是組織欲取得 CMMI之認證以進行其內部之流程改善，或是基於客戶要求而作。• Class A評鑑時間通常為四至十天。

CLASS B• Class B 僅遵守 ARC的部分需求。• 進行評鑑時，需要兩種資料來源，其中一定要有訪談，再搭配問卷或文件審查其中一種。• Class B 不提供評等，適合剛開始使用 CMMI 作為流程改善的組織，或是做為 CMMI正式評鑑之前的落差分析 (Gap Analysis)。

CLASS B (2)• Class B的評鑑分為基準評鑑跟小型評鑑兩種：

–基準評鑑： 通常為期一至兩天， 適用於剛開始流程改善， 各種基礎建設與計劃都仍待建立的組織， 做為流程改善決策的依據。–小型評鑑： 通常為期二至三天， 較基準評鑑嚴格， 主要做為組織在正式評鑑前的預評， 以瞭解組織內部對於正式評鑑是否就緒。

CLASS C• Class C 僅遵守 ARC的部分需求。• Class C 僅需一種資料來源。• 通常用於專案或組織的支援小組，希望能對專案或組織有快速的瞭解或定期自我評鑑。

SCAMPI 介紹

SCAMPI的目的•組織藉由界定目前流程的優缺點以瞭解自己的軟體發展能力。•依照 CMMI模式，說明所發現的優缺點。•排定改善計劃的優先順序。•根據組織目前的成熟度，以及考量組織的業務目標，專注於對組織最有利的改善活動。•產生評等。

SCAMPI 進行方式•組成與訓練一個能夠勝任的 CMMI 評鑑小組，在 SEI 授權之 CMMI 主評鑑員 (Lead Appraiser)的帶領下，與組織中的成員進行一系列有系統的資料蒐集與分析的活動，以瞭解他們的問題、關切與對改善的想法。

SCAMPI 的實行• 評鑑小組的資格、角色與責任• 評鑑分三階段

1. 評鑑規劃與準備階段2. 評鑑執行階段3. 報告結果階段

關鍵人員的角色• 主評鑑員：負責瞭解評鑑需求，發展評鑑計劃及帶領評鑑小組，以完成評鑑活動。• 評鑑贊助者：通常是公司高階管理者，負責決定評鑑的需求、目標及範圍等，並與主評鑑員進行溝通協調。• 評鑑小組成員：在主評鑑員的帶領下，與組織的成員進行一系列有系統的資料蒐集與分析的活動，以瞭解他們的問題、關切與對改善的想法。• 專案成員：配合評鑑小組進行資料蒐集計劃， 包含問卷或訪談等活動。

階段一：規劃與準備相關關鍵人員 活動 輸出

主評鑑員評鑑贊助者主評鑑員評鑑贊助者主評鑑員評鑑贊助者主評鑑員評鑑小組成員專案成員主評鑑員評鑑贊助者

評鑑目標、範圍、限制、角色、責任與產出，達成共識

依據共識，發展評鑑計畫

評鑑小組成員清單

待蒐集之客觀證據清單

資料蒐集計畫

評鑑需求分析

發展評鑑計畫遴選準備評鑑小組

取得與分析初始客觀證據

準備蒐集客觀證據

評鑑需求分析•主要目的：促使主評鑑員與評鑑贊助者，針對評鑑的目標、範圍、限制、角色、責任與產出達成共識。•評鑑贊助者必需清楚的表達對評鑑的期望，並讓主評鑑員充分瞭解與同意之。•主評鑑員與贊助者之間的共識，是評鑑成功的關鍵。

發展評鑑計畫• 評鑑計畫是以評鑑贊助者的目標與早先決定的評鑑範圍為基礎所發展出來的。• 計畫的內容包含：

– 評鑑目標。– 評鑑之主要參與人員的資料。– 評鑑的模式範圍，含流程領域。– CMMI模式表述方式。– 評鑑的使用方式。– 評鑑的輸出。– 評鑑的限制。– 風險。

遴選、準備評鑑小組•主評鑑員從組織內部遴選評鑑小組的成員 (通常為 4 至 9 人 )。•評鑑小組成員的基本資格是曾接受過 CMMI 的基本課程訓練。

•由主評鑑員為小組成員進行相關訓練，以使每個小組成員都能瞭解評鑑流程、評鑑原則，以及每個人的工作與角色。

評鑑小組的資格• 整體評鑑小組須具備平均六年相關工程領域的經驗，並須總共具備二十五年評鑑範圍內的相關專業領域。• 在管理經驗上，總共要有十年的經驗，其中最少一人，須具備六年專案經理的經驗。• 對組織中任何一個生命週期階段，至少兩人須具備該階段的執行經驗。• 成員本身的中立性。

客觀證據• 所謂客觀證據是指經由問卷、訪談、文件審查等來源所獲得且可驗證之資料，包括：• 直接成果 (Direct Artifacts)

– 執行 CMMI 一般或特定執行方法時的產出，且與一般或特定執行方法的目的有直接相關。如典型的工作產品。• 間接成果 (Indirect Artifacts)

– 一般或特定執行方法的產出，但該產品非執行方法的目的，如典型的工作產品、會議記錄、審查結果等。• 證實 (Affirmations)

– 口頭或書面的聲明，用以證實一般或特定執行方法的實施，如問巻的回應、訪談、簡報等。

取得與分析初始客觀證據• 在 CMMI評鑑小組成立及接受必要的訓練之後，主評鑑員即開始與該小組成員展開資料蒐集的活動。•評鑑小組可以用問巻、訪談等方式，向組織中所有評鑑範圍內的專案蒐集資料， 並將其對應到各個模式的執行方法。

取得與分析初始客觀證據 (2)• 客觀證據的蒐集活動，可用三個步驟做總結：

– 組織 /專案的流程與 CMMI模式執行方法之間的對應關係。– 蒐集各相關流程的執行方法建置指標。– 彙整所有專案的執行方法建置指標。

• 分析所蒐集的客觀證據是否已充分涵蓋所有評鑑範圍內的執行方法，或者證據本身仍有不足之處，則須產生待蒐集之客觀證據清單，以訂定資料蒐集計畫。

準備蒐集客觀證據• 根據待蒐集之客觀證據清單，訂定資料蒐集計畫。• 資料蒐集計劃應包含下列資料：

– 訪談的對象。– 需要審查的文件。– 受評鑑組織所需提供的簡報 /展示。– 評鑑小組成員在資料蒐集活動中的角色與責任。– 資料蒐集的優先順序。– 資料蒐集工具的使用 ( 如問卷 )。– 訪談時程的安排。– 資料蒐集活動所可能引起的風險。

階段二：評鑑執行檢查客觀證據

驗證與確認客觀證據

記錄客觀證據

製作評鑑結果

相關關鍵人員 活動 輸出

評鑑小組受評鑑專案

評鑑小組受評鑑專案評鑑小組受評鑑專案評鑑小組

資料蒐集計畫的修訂相關資料的更新資料蒐集計畫的修訂相關評鑑資料的更新相關評鑑資料的更新要求提供更多的證據最後調查結果評等

檢查客觀證據•客觀證據的來源包含問卷、文件、訪談、現場展示，其中組織可自行決定是否需要現場展示。•檢查依據資料蒐集計畫所蒐集的客觀證據是否能涵蓋 CMMI 模式，以及受評鑑的組織範圍。•評鑑小組依據客觀證據的檢查結果，修訂資料蒐集計劃。

訪談• 在 CMMI評鑑過程中，訪談扮演非常重要的角色，其目的如下：

–界定組織中，組織成員相信可以且應該改善的部份，以瞭解工作是如何進行的。–瞭解組織使用中的流程。–確保評鑑範圍，一如評鑑的規劃階段所界定

的。

訪談的對象• 高層經理：亦即受評鑑組織的負責人，以個別訪談的方式進行，訪談議題以專案管理、專案中所使用的流程為主。• 中層經理：以集體訪談的方式進行，以瞭解中級管理階層對組織運作的看法、組織內的問題所在以及需改善之處。• 功能代表 (Functional Area Representatives)：通常由 6到 12人組成，這些代表來自於流程改善小組、需求、實作、確認、驗證等相關部門。

驗證與確認客觀證據•對客觀證據進行驗證工作，以證明組織是否確實執行 CMMI 模式。•驗證的方式是審查受評鑑組織所提供的客觀證據的適當性。•一般分為直接成果跟間接成果：

–直接成果可以直接的證明 CMMI執行方法的實施。–間接成果如會議記錄等，則視為佐證。

記錄客觀證據•評鑑小組在資料蒐集期間所聽到與看到的訊息，都會先做成記錄，再轉換成其它的資料格式。•記錄客觀證據時，若認為資料仍然不足，則評鑑小組可能會提出新的訪談或文件審查需求。

製作評鑑結果評 鑑 值 說 明

全部達成(Fully Implemented ， FI)

1. 有直接證據，且符合 CMMI 要求2. 最少一個間接證據或陳述，證明執行方法的實踐3. 無重大缺失

多數達成(Largely Implemented ， LI)

1. 有直接證據，且符合 CMMI 要求2. 最少一個間接證據或陳述，證明執行方法的實踐3. 一個或多個缺點，但不影響執行方法的目的

部分達成(Partially Implemented ， PI)

1. 無直接證據或被判為不適當2. 間接證據或陳述可部分說明執行方法的實踐3. 一個或多個缺點，影響執行方法的目的

未達成 (Not Implemented ， NI) 任何情況不符合前三項者

製作評鑑結果•經過確認的初步調查結果，稱之為最後調查結果。評鑑小組即依據最後調查結果，製作評鑑成果，並決定成熟度。•取得某一級成熟度的條件是：該成熟度以及該成熟度以下各級成熟度中，所有的流程領域之特定目標與一般目標相關的所有執行方法，都被描述為「全部達成」或「多數達成」。

階段三：報告結果提供評鑑結果

評鑑結果的處理

相關關鍵人員 活動 輸出

評鑑小組受評鑑專案評鑑贊助者評鑑小組受評鑑專案評鑑贊助者

文件化的最後調查結果建議報告 ( 非必要性 )

評鑑所產生文件的結果經驗教訓

提供評鑑結果•向評鑑的贊助者與受評鑑組織提供評鑑結果，以及根據各流程領域的優缺點，建議各種矯正措施。

評鑑結果的處理•保存評鑑的重要資料與記錄，尤其是與缺點相關的資料。•完成評鑑後，應儘快根據評鑑結果排定改善措施的優先順序，積極展開改善的活動，並持續追蹤改善的狀況。

Q&A