品質特性を品質指標とした品質評価プロセスのご紹介€¦ · ソフトウェア製品の品質システム製品の品質利用時の品質利用者文書の品質

ウイングアーク１ｓｔ株式会社BI技術本部 BI品質統括部

統括部長加藤大受

品質特性を品質指標とした品質評価プロセスのご紹介～SQuaREの品質保証プロセスへの適用までの課題と解決策～

Copyright © 2016 WingArc1st Inc. All Rights Reserved.

会社概要


主要ソフトウェア製品ラインナップ

“数字”が見える、次の一手が打てる

エンドユーザー志向で開発されたシェアNo.1の帳票ツール

帳票基盤ソリューション

集計・分析プラットフォーム

エンドユーザー志向に開発された高生産性な帳票デザインツールです

情報活用ダッシュボード

ビジネスを加速する、現場改革BI


PSQ認証取得済

販売する全製品（パッケージ製品）：『SVF』,『Dr.Sum EA』,『MotionBoard』最新版でPSQ認証を取得


~2011

•下流工程による品質保証

•開発部隊による独自品質保証体制

~2012

•出荷品質基準の制定

•品質保証部門の分離

•受入検査の実施

•定量的分析(部分的)

2013~

•製品開発仕様の文書化 (市場要求、製品要求)

•上流工程での品質保証

•定量的品質分析

•マイルストーン設定による、プロセスQAの実施

2014~

• PSQ認証取得を目指し、ISO/IEC 25051:2011を意識した品質保証プロセスモデルの導入

•品質データおよび検証結果開示に向けた取り組みの開始

2015~

• PSQ認証取得(MB, Dr.Sum, SVF)

• ISO/IEC 33063を意識し、ソフトウェアテストのアセスメント方針を作成中(2016年度より実施を予定)

• ISO/IEC 15408 Common Criteria認証取得検討(Dr.Sum)

• QMS再構築(QMS省令を意識）

品質保証体制の推移

JIS X0129-1機能性 - 正確性効率性 - 時間効率性

JIS X0129-1機能性 – 正確性、合目的性効率性 - 時間効率性、資源効率性使用性 – 理解性

JIS x0129-1ほぼすべての品質副特性JIS x0133品質評価プロセスISO/IEC 15498セキュリティ方針

品質保証体制とプロセス各種標準規格への対応

JIS x25010 ソフトウェア品質の最新規格対応

ISO/IEC/IEEE 29119 ソフトウェアテストプロセス標準の導入

ISO/IEC 33063 ソフトウェアテストのアセスメント


品質特性の導入背景


品質特性導入の背景

発生開発で開発しているパッケージ製品の品質をとにかく向上させたい

分析できるところから着手

開発時に品質データが取れていないため、品質特性を利用することで第三者でも分析可能であるため、既存のテスト資産および検証結果を使った分析を実施


分析作業の概要

(１)テストケースを質的分類（正常/準正常/異常/境界）に分類分析方法

(２)テストケースを品質特性（JIS X0129-1）別に分類※同一の項目を、複数の環境（ＯＳ、言語等）について確認しているテストケースに関し

て、以下の２パターンで集計。①複数件として集計：

確認作業の全体量を把握できる。正確性が環境数倍となる → [組合せ件数]②１件として集計：

確認項目の傾向を把握できる。環境数は環境適応性に集計 → [ユニーク件数]

＃質的分類解説例

１正常通常の業務で発生しうるケース

２準正常通常の業務では発生しないが、操作上、特別なことを行わなくても設定可能なケース

「入力文字数超過時にエラーメッセージ表示」等

３異常操作上や運用上、特別なことを行った結果発生しうる異常なケース

「ディスク空き領域の不足による書き込みエラー」や「ネットワーク切断によるタイムアウト」等

４境界制限範囲近傍のケース(正常ケースと準正常ケースがある)

「5文字以内」の場合、5文字(正常)と6文字(準正常)の２ケース

※本資料は配付資料にありません


テスト資産の分析して分かったこと

テスト資産を品質特性を利用して分析することで、どの特性の検証が足りていないかを洗い出すことは可能

足りてないのを単純に補えばいいのか？

安定した製品のリリースに必要な品質特性のバランスをそもそも規定しなければカバレッジの分析は不可能

テスト計画から品質特性を検証で利用するための品質保証プロセスの構築が必要であると判断

テスト計画時から考慮をしないと妥当性が計れない


品質特性を活用した品質保証プロセスの導入


品質保証プロセスの見直し

JIS X25051:2011『ソフトウェア製品の品質要求及び評価（SQuaRE）−商用既製（COTS）ソフトウェア製品に対する品質要求事項及び試験に対する指示』が制定

ソフトウェア製品利用者への品質情報提供の必要性が高まる

一般社団法人コンピュータソフトウェア協会(CSAJ)にてPSQ認証制度が開始(※1)

※1 PSQ認証制度(http://www.psq-japan.com/)

一般的な開発プロセスモデルに依存した品質評価プロセスでは利用者に容易な品質情報の提供が困難

品質情報の開示要求への対応

新規に品質保証プロセスを見直しのあれば、第３者に品質状況の提供が可能な品質評価プロセスのモデルを構築したい


なぜ開発プロセスに依存した既存の品質データは客観性のある品質情報にならないか

一般的な品質データは各企業の指標であるソースコード1000行あたりのバグ密度やテスト密度テスト1件あたりの故障摘出率や修正率

開発プロセスのクライテリアである工程以降判定やマイルストーン判定を行うための指標

過去のプロジェクトデータの積み上げである派生開発を中心とするプロジェクトでの統計値

一般的な品質データは各企業の開発プロセスモデルや開発手法への依存度が高く、利用者が開発企業よりそれらの品質情報の提供を受けても、ソフトウェア製品の品質状況を判断することはほぼ困難



品質特性を指標として利用プロジェクトの品質要求を品質特性で定義工程判定やマイルストーン判定で品質特性を活用これまでの品質データはそのまま活用

品質特性を指標として利用するためには、開発プロセスモデルと品質評価プロセスモデルの分離を実施

開発プロセスモデル変更は、生産性や品質低下のリスクを引き起こす可能性有



品質特性を利用した品質評価プロセスモデル

新規構築した品質評価プロセスの概要

• 開発プロセスと分離した品質評価プロセス

• 品質要求（品質目標）を品質特性毎に定義し、開発チームと合意

• テストレベル（テスト工程）毎に必要な品質特性を定義

• テスト観点を品質特性毎に洗い出し、品質特性毎のテスト観点数を集計し、テストのバランスを確認

• テストケースを一意の品質特性にマッピング

• 摘出したバグは品質特性毎に分類し、品質特性毎のバグ数を分析

IEEE 829:2008ベースのテスト計画書を記載し、テスト計画段階で実施するテストを品質特性を品質指標として利用し、計画段階からテストのカバレッジを意識することに注力


開発プロセスモデルとの同期ポイントの設定

基本設計

詳細設計

実装単体

テスト統合

テスト

開発工程（開発チームのみ）

αステージ

β1ステージ

β2ステージ

β3ステージ

テストレベル(テスト工程、QAチーム)

RCステージ

β1 β2 RC

システムテスト

テストレベル定義の例：αステージ：テスト計画工程 β1ステージ:単機能テスト工程β2ステージ：機能間テスト工程 β3ステージ：シナリオテスト工程RCステージ：最終品質確認工程

品質特性を利用した品質評価プロセスモデル


テストレベルの受入テストプロセスの導入

ステージを開始してよいか、実際にサンプリングによるテストを実施し、ステージ開始が可能な品質状態かを見極める

受入テストαステージ

β1ステージ

β2ステージ

β3ステージ RCステージ

受入テスト

受入テスト


受入テストプロセスの導入

受入テストは、ＭＴＰで設定されたステージ（テストレベル）を開始しても良いか判断するためのテスト。そのステージで実施するテストの5%～20%をサンプリングして実施する（層化抽出方式）。前ステージや過去のプロジェクトの状況などを加味して、テストタイプごとに抽出条件を変更し、テストを実施する。合否基準は予めＭＴＰで定義したクライテリアの基準に従い、定める。

MTPで各ステージで実施するテストタイプおよび保証する品質特性を定義しているおり、受入テストはステージの開始条件(Entrance Criteria)となるため、各ステージが重なるような形で受入テストを実施しても問題ない。

一般的な工程以降判定(Exit Criteria)ではない。


SQuaRE導入


SQuaRE導入背景

品質特性(JIS X0129)を利用した品質評価プロセスの導入

利用者の安心感を高めるため、PSQ認証取得が必要

PSQ認証ではプロセスは審査されないが、標準への準拠は理解されやすい品質情報となると判断

ISO/IEC 25051:2014を意識し、SQuaREを導入


SQuaRE導入背景

品質評価プロセスをISO/IEC 25010ベースの品質特性に変更するだけでなく、ISO/IEC 25051:2014を意識し、次の４つの品質に対応

ソフトウェア製品の品質システム製品の品質利用時の品質利用者文書の品質

開発プロジェクトでは、この４つの品質を保証するため、テスト計画を綿密に記載し、さまざまなテストを実施する。それぞれの品質を満たすことが判断できるエビデンスを検証結果報告書にまとめることで、第３者が製品の品質の判断が可能だと考えられる


品質保証プロセスの基盤(ISO/IEC 25051:2014対応)

WingArc1st品質保証プロセス基盤

品質モデル

ISO/IEC 25010

評価プロセスISO/IEC 25020ISO/IEC 25030ISO/IEC 25040ISO/IEC 29119

セキュリティ評価

ISO/IEC 15408

規格関連

テスト文書

ISO/IEC 29119-3

社内基準

品質保証基準品質保証方針各種ガイドライン

Protex/CodeCenter

アセスメント

内部監査ISO/IEC 33063


SQuaRE導入の苦労

品質保証プロセスで利用している標準規格の更新

各種ガイドラインの更新

テスト資産の再マッピングの実施新しいMTP/LTP作成プロセスの導入

テストプロセスのアセスメント方針の作成


ISO/IEC 25051に対する弊社の対応方針

ソフトウェア品質

WA品質保証基準

利用者文書の品質

WAマニュアル品質基準

検証計画

WA品質保証プロセステスト計画ポリシー

検証結果報告書

WA品質保証プロセス検証結果報告書ガイ

ドライン

利用時の品質

マニュアルベーステストシナリオテスト

ISO/IEC 25051に対するイメージ


ソフトウェア品質に関する対応

ISO/IEC 9126-1のソフトウェア内部/外部品質特性ベースの品質評価プロセスを、ISO/IEC 25010のソフトウェア/システム製品の品質特性ベースに改定し、ソフトウェアの品質要求に対する品質評価の方針とする。


システムの品質に関する対応WA製品だけでは対応できない機能(HA構成、バックアップ/リストア)などについては他社製品との連携にて対応し、利用者がWA製品を利用するシステムとしての品質として検討する。品質評価の方法は、ソフトウェア製品と同様に、ISO/IEC 25051の品質特性を利用する。システム時のテストタイプを別途定義し、テスト設計/テスト実施を行う


利用時の品質への対応

ソフトウェアパッケージ製品(Ready to Use Software Product)の品質要求および評価方法について記載されたISO/IEC 25051では、参照しているISO/IEC 25010にて、ソフトウェアパッケージ製品の利用時の品質についても規定されています。


• ユーザー区分毎に必要となる利用時の品質特性をＭＴＰで洗い出し、利用時の品質のためのテストタイプの実施で開発プロジェクト期間中でも評価が可能

ユーザー有効性効率性満足性リスク回避性利用状況網羅性

管理者〇〇〇〇〇

開発者 × × × × ×

パワーユーザー

〇〇〇 × ×

一般利用者〇 × 〇 × ×

MTPに規定する利用時の品質の例開発者は構築されたシステムまたはアプリケーションの利用を行わないため、利用時の品質を必要としないと判断。

利用時の品質への対応


利用者文書の品質に関する対応

WAのマニュアル品質基準に従い、品質保証を行う。方針はすべて、マニュアルのドキュメント計画書に記載し、マニュアルの開発方針を明確化する。Webサイトおよびカタログなどの利用者文書については、事前にテクニカルレビューを行い、機能説明の内容に問題ないことを確認する。

利用者文書に対する要求事項

完全性正確性一貫性理解性習得性


まとめ


SQuaRE導入の効果

メリット• 品質特性を利用した品質要求の定義により、開発プロジェクトのゴールが明確化した

• すべてのテスト資産とバグ情報に品質特性が紐付いているので、バランス良くテストを計画し、実施することができるようになった

• 品質が向上しただけでなく、テストの見積精度が向上した• 製品間の品質を計る指標になっただけでなく、様々な標準に準拠した品質保証プロセスが構築できた

• 容易にPSQ認証が取得でき、ISO/IEC 25051を意識した検証結果報告書の作成が可能になった

デメリット• テストに参画する全メンバーに品質特性の理解が必要なため、協力会社の選定基準が大幅に高くなった

• 標準規格動向の調査と最新規格への追随が必要

デメリットは明確に存在するが、多大なメリットを享受しているため、SQuaRE導入は成功だったと考えられる


ご清聴ありがとうございました

Documents

品質特性を品質指標とした品質評価プロセスのご紹介€¦ · ソフトウェア製品の品質 システム製品の品質 利用時の品質 利用者文書の品質

品質特性を品質指標とした品質評価プロセスのご紹介€¦ · ソフトウェア製品の品質システム製品の品質利用時の品質利用者文書の品質