Upload
takashi-yamasaki
View
6.132
Download
30
Embed Size (px)
DESCRIPTION
ISO/IEC/IEEE 29119 Software and system engineering - software testingの勉強会で使用した発表資料。 Ustreamの動画と併せての閲覧を推奨。 動画はこちら。 http://www.ustream.tv/channel/ieee29119%E5%8B%89%E5%BC%B7%E4%BC%9A
Citation preview
ISO/IEC/IEEE 29119 勉強会 第1回 規格の全体構成と各規格の概要
YAMASAKI Takashi 2014年1月9日
• 本資料は、2014年1月9日(木)に行ったISO/IEC/IEEE 29119勉強会の第1回の発表資料です。勉強会動画を視聴しながらの閲覧を推奨します。動画は次のURLからアクセスできます。http://www.ustream.tv/channel/ieee29119%E5%8B%89%E5%BC%B7%E4%BC%9A
• 発表当時から多少修正をいれていますが、基本的に発表当時と大きな違いはありません。そのため、資料には一部誤りや不明瞭な情報を含んでいます。それらについては上記の動画内で言及されていますので、動画をご参照ください。
• リリースされた国際規格のみならず、現在策定中の草案についても言及しているため、最新の情報と異なっている可能性があります。可能であれば最新の情報を確認してください。
• なお、本文中の翻訳は発表者独自のものであり、翻訳において意味が変質している可能性がありますのでご注意ください。
参考:勉強会のイベントページ http://kokucheese.com/event/index/136742/
あじぇんだ
•規格の全体構成と各規格の概要説明(100分)
•途中休憩5~10分(予定)
•次回の発表者決定と日程調整(10分)
本日のゴール
本日のゴール
彼を知り己を知れば 百戦殆うからず
- 孫子
作る人
使う人
Who? (誰が) What? (何を) How? (どのように)
Where? (どこで) When? (いつ)
How much? (いくらで) Why? (なぜ) Whom? (誰のために)
ソフトウェアテストに 関する国際規格群
International Standard
国際的な標準化・規格機関(ISOまたは IEC)によって採択された、一般公衆によって利用可能な規格
Technical Specification
ISO ま た は IEC が発行する文書で、将来的にはISとして合意される可能性があるが、現段階では次のいずれかの状態のもの • ISとして承認されるために
必要な支援が得られていない
• 全体における合意の形成が疑わしい
• その主題がまだ、技術開発の途上にある
• ISとして直ちに発行することが不可能な理由が他にある
Publicly Available Specification
緊急な市場ニーズに対応するために、ISO ま た は IEC が発行する文書
Technical Report
ISO ま た は IEC が発行する文書で、一般にISまたはTSとして発行される文書とは異なる種類の収集データをまとめたもの
ISO/IECにおける文書の種類
ISO/IEC/IEEE 29119 Series Software and system engineering - Software testing
Part 1: コンセプトと定義 Concepts and definitions
Part 2: テストプロセス Test processes
Part 3: テスト文書 Test documentation
Part 4: テスト技法 Test techniques
Part 5: キーワード駆動テスト Keyword Driven Testing
テスト文書 Test documentation
テストプロセス Test processes
テスト技法 Test techniques
コンセプトと 定義
Concepts and definitions
ソフトウェアテストの ためのプロセス評価
Process assessment model for software testing
キーワード駆動 テスト
Keyword Driven Testing
参照
参照
対象?
参照 参照
?
34
39
48
32
21
19
78
89
0 50 100 150
Part 1
Part 2
Part 3
Part 4
Body Annex
ISO/IEC/IEEE 29119 本文とAnnexページ数
ISO/IEC JT1/SC7/WG26
TC TC TC TC
IEC ISO
TC TC TC TC
Technical Committee
SC 2 SC 6 SC 7 SC 17 SC 40
Subcommittee
AG 1 WG 2 WG4 SWG 5 WG 6 WG 7 WG 10 WG 19 WG 20
WG 21 SWG 22 WG 24 WG 25 WG 26 WG 27 WG 28 WG 42
Working Group
JTC 1
Information technology
Software and system engineering
Software testing
ISO IEC
JTC1 JISC
各SC
各WG
IPSJ/ITSCJ
JTC1 技術委員会
各SC
各WG
加盟 委託
WGの日本メンバー
http://itscj.ipsj.or.jp/meibo/072600.pdf より(2011年9月時点)
種別 氏名 主査 西 康晴氏 幹事 増田 聡氏 幹事 松尾谷 徹氏 委員 秋山 浩一氏 委員 岩田 真治氏 委員 高橋 寿一氏 委員 三富 篤氏 委員 薮田 和夫氏 委員 山浦 恒央氏 委員 吉澤 智美氏 エキスパート 佐々木 方規氏 エキスパート 鈴木 三紀夫氏 エキスパート 湯本 剛氏
ISOにおける通常の規格 策定手順にのっとって
Proposal stage
Publication stage
Committee stage
Enquiry stage
Approval stage
Preparatory stage
NP New work item Proposal
WD Working Draft
CD Committee Draft
DIS Draft International Standard
IS International Standard
FDIS Final Draft International Standard
国際規格(IS)の一般的な開発段階と文書
Proposal stage
Publication stage
Committee stage
Enquiry stage
Approval stage
Preparatory stage
ISO/IEC/IEEE 29119の開発状況(2013年5月時点)
ISO/IEC/IEEE
29119-1 Concepts and definitions
ISO/IEC/IEEE
29119-2 Test process
ISO/IEC/IEEE
29119-3 Test documentation
ISO/IEC/IEEE
29119-4 Test techniques
ISO/IEC/IEEE
29119-5 Keyword Driven Testing
NP New work item Proposal
WD Working Draft
CD Committee Draft
DIS Draft International Standard
IS International Standard
FDIS Final Draft International Standard
ISO/IEC
33063 process assessment model for software testing
我々
ソフトウェアテストに 関わる全ての人々
※コンテキストによらず
組織によらず、どのような ソフトウェアテストであっても、 それを実行する際に使うことが できる、国際的に合意された
ソフトウェアテストの 規格群を定義すること
ISO/IEC/IEEE 29119-1より
いまでしょ (賞味期限切れ)
ISO/IEC/IEEE 29119-1:2013年8月
ISO/IEC/IEEE 29119-2:2013年8月
ISO/IEC/IEEE 29119-3:2013年8月
ISO/IEC/IEEE 29119-4:2014年頃?
ISO/IEC/IEEE 29119-5:2015年頃?
国際会議(総会)
メーリングリスト?
各国WGの小委員会
ボランタリーベースで
Who? (誰が) What? (何を) How? (どのように)
ISO/IEC JTC 1/SC 7/WG 26
Software testingの国際規格(IS)群 ISO/IEC/IEEE 29119シリーズ Part 1: concepts and definition Part 2: Test processes Part 3: Test documentation Part 4: Test techniques Part 5: Keyword driven testing
ISOにおける通常の 規格策定手順にのっとり
Where? (どこで)
6W2H (作る)
When? (いつ)
国際会議の場 各国のWG メーリングリスト? '12年05月19~25日 チェジュ島(韓) '13年05月27~31日 モントリオール
Part 1:2013年8月 Part 2:2013年8月 Part 3:2013年8月 Part 4:2014年頃? Part-5:2015年頃?
How much? (いくらで) Why? (なぜ) Whom? (誰のために)
ボランタリーベースで
組織によらず、どのような ソフトウェアテストであろうとも、
それを実行する際に使うことが できる、国際的に合意された
ソフトウェアテストの規格群を 定義すること
我々 ソフトウェアテストに
関係する全ての人
Who? (誰が) What? (何を) How? (どのように)
Where? (どこで) When? (いつ)
How much? (いくらで) Why? (なぜ) Whom? (誰のために)
Software testingの国際規格(IS)群 ISO/IEC/IEEE 29119シリーズ
Part 1: Concepts and definition
Part 2: Test processes
Part 3: Test documentation
Part 4: Test techniques
Part 5: Keyword driven testing
我々
ソフトウェアテストに 関わる全ての人々
多くの異なるコンテキストに おけるテスト活動をサポート
することができる
• IT、PC、組込み、モバイル、他
•大規模小規模問わず
•個人、SOHO、エンプラ問わず
•商用、公共問わず
•開発モデル問わず
自分自身のために ひいては顧客のために
動機は人それぞれ、場合によりけり
今よりももっと ソフトウェアテストを
改善してよりよい 製品・サービスを
提供するため
がんばってテーラリング! なにはなくともテーラリング!
いまでしょ (賞味期限切れ)
•テストプロセスの改善に着手 しようと思い立ったとき
•たとえば29119の認証をとる 必然性にかられたとき(将来)
組織で買うには微々たるお値段 導入コストはケースバイケース
• ISO/IEC/IEEE 29119-1:¥17,010
• ISO/IEC/IEEE 29119-2:¥17,010
• ISO/IEC/IEEE 29119-3:¥23,520
※JSAでの価格
Who? (誰が) What? (何を) How? (どのように)
我々 ソフトウェアテストに
関わる全ての人々
Software testingの国際規格(IS)群 ISO/IEC/IEEE 29119シリーズ
• Part 1: concepts and definition • Part 2: Test processes • Part 3: Test documentation • Part 4: Test techniques • Part 5: Keyword driven testing
がんばってテーラリング! なにはなくともテーラリング!
Where? (どこで)
6W2H (使う)
When? (いつ)
多くの異なるコンテキストにおけるテスト活動をサポートすることができる
• IT、PC、組込み、モバイル、他 • 大規模小規模問わず • 個人、SOHO、エンプラ問わず • 商用、公共問わず • 開発モデル問わず
いまでしょ (賞味期限切れ)
• テストプロセスの改善に着手しよ
うと思い立ったとき • たとえば29119の認証をとる必然
性にかられたとき
How much? (いくらで) Why? (なぜ) Whom? (誰のために) ISO,IEC,IEEE以外にJSAでも購入可
ISO/IEC/IEEE 29119-1:¥17,010 ISO/IEC/IEEE 29119-2:¥17,010 ISO/IEC/IEEE 29119-3:¥23,520
組織で買うには微々たるお値段 導入コストはケースバイケース
動機は人それぞれ、場合によりけり
今よりももっと ソフトウェアテストを
改善してよりよい 製品・サービスを
提供するため
自分自身のために 顧客のために
Part 1: コンセプトと定義
テスト文書 Test documentation
テストプロセス Test processes
テスト技法 Test techniques
コンセプトと 定義
Concepts and definitions
ソフトウェアテストの ためのプロセス評価
Process assessment model for software testing
キーワード駆動 テスト
Keyword Driven Testing
参照
参照
対象?
参照 参照
?
Part 1の目的
目次
序文(Introduction)
1.適用範囲(scope)
2.適合性(Conformance)
3.引用規格(Normative reference)
4.定義(Terms and definition)
5.ソフトウェアテストのコンセプト
付属書(Annex)
参考文献(Bibliography)
目次
序文(Introduction)
1.適用範囲(scope)
2.適合性(Conformance)
3.引用規格(Normative reference)
4.定義(Terms and definition)
5.ソフトウェアテストのコンセプト
付属書(Annex)
参考文献(Bibliography)
5ソフトウェアのコンセプト
5.1 ソフトウェアテストの概要
5.2 組織的なそしてプロジェクトコンテキストに
おけるソフトウェアテスト
5.3 ソフトウェアテストライフサイクルに
おける一般的なテストプロセス
5.4 リスクベースドテスト
5.5 テストサブプロセス
5.6 テストプラクティス
5.7 テストにおける自動化
5.8 欠陥マネージメント
5ソフトウェアのコンセプト
5.1 ソフトウェアテストの概要
5.2 組織的なそしてプロジェクトコンテキストに
おけるソフトウェアテスト
5.3 ソフトウェアテストライフサイクルに
おける一般的なテストプロセス
5.4 リスクベースドテスト
5.5 テストサブプロセス
5.6 テストプラクティス
5.7 テストにおける自動化
5.8 欠陥マネージメント
software testing
ソフトウェアテスト
static testing
静的テスト レビューとか静的解析とか。 テスト対象を動作させずに行う
dynamic testing
動的テスト 一般的に思い浮かべるテスト。 対象を動作させて行うテスト
Architectural
Design
Detail
Design
Cording
Requirement
Component
Testing
Integration
Testing
System Testing
Acceptance
Testing
static testing
静的テスト dynamic testing
動的テスト
実装
設計
システム要件
ユーザ要求
詳細設計書
基本設計書
要件定義書 画面仕様書
要求分析
ユニット
テスト
統合
テスト
システム
テスト
受け入れ
テスト
ソースコード
テスト分析 テスト設計 テスト実装 テスト実行 報告書作成
テスト分析 テスト設計 テスト実装 テスト実行 報告書作成
テスト分析 テスト設計 テスト実装 テスト実行 報告書作成
テスト分析 テスト設計 テスト実装 テスト実行 報告書作成
コード解析
モニタリングとコントロール
テストウェア管理
インシデント管理
開発の作業 開発の成果物 テストの作業(プロセス)
ASTER テストルールWG 著 「テストツールまるわかりガイド(入門編) Version 1.0.0」 P-30より
5ソフトウェアのコンセプト
5.1 ソフトウェアテストの概要
5.2 組織的なそしてプロジェクトコンテキストに
おけるソフトウェアテスト
5.3 ソフトウェアテストライフサイクルに
おける一般的なテストプロセス
5.4 リスクベースドテスト
5.5 テストサブプロセス
5.6 テストプラクティス
5.7 テストにおける自動化
5.8 欠陥マネージメント
ISO 25000 SQuaRE
ISO/IEC/IEEE 29119 Other Standards
Rules, Regulations, Standards and Laws
ISO 25000 Quality
Characteristics
Organization 1...n
1
constrains
Organization Test Policy
guides testing by
Organization Test Strategy
is elaborated by
Test Plan Project Plan
Project Test Plan Sub-Process Test
Plan
Test Type
Test Level/Phase
Test Completion Criteria
Test Practice Level of Automation
Static Test Technique
Specification-Based Technique
Structure-Based Technique
Test Technique
Dynamic Test Technique
Test Sub-Process
Test Strategy
1
0...8
0...n
1...n
1
1 1...n
1...n
1
constrains and guides
is elaborated by
provides guidance
on includes
elaborates
ISO/IEC/IEEE 29119-1:2013 P-16 Figure 1 Multi-layered test context diagram
“製品品質特モデル “ from “JIS X 25010:2013” 図4
システム/ソフトウェア製品品質
機能適合性 性能効率性 互換性 使用性 信頼性 セキュリティ 保守性 移植性
• 機能完全性
• 機能正確性
• 機能適切性
• 時間効率性
• 資源効率性
• 容量満足性
• 共存性
• 相互運用性
• 適切度認識性
• 習得性
• 運用操作性
• ユーザエラー防止性
• ユーザインターフェース快美性
• アクセシビリティ
• 成熟性
• 可用性
• 障害許容性 (対故障性)
• 回復性
• 機密性
• インテグリティ
• 否認防止性
• 責任追跡性
• 真正性
• モジュール性
• 再利用性
• 解析性
• 修正性
• 試験性
• 適用性
• 設置性
• 置換性
JIS X 25010:2013 製品品質モデル
5ソフトウェアのコンセプト
5.1 ソフトウェアテストの概要
5.2 組織的なそしてプロジェクトコンテキストに
おけるソフトウェアテスト
5.3 ソフトウェアテストライフサイクルに
おける一般的なテストプロセス
5.4 リスクベースドテスト
5.5 テストサブプロセス
5.6 テストプラクティス
5.7 テストにおける自動化
5.8 欠陥マネージメント
5ソフトウェアのコンセプト
5.1 ソフトウェアテストの概要
5.2 組織的なそしてプロジェクトコンテキストに
おけるソフトウェアテスト
5.3 ソフトウェアテストライフサイクルに
おける一般的なテストプロセス
5.4 リスクベースドテスト
5.5 テストサブプロセス
5.6 テストプラクティス
5.7 テストにおける自動化
5.8 欠陥マネージメント
5ソフトウェアのコンセプト
5.1 ソフトウェアテストの概要
5.2 組織的なそしてプロジェクトコンテキストに
おけるソフトウェアテスト
5.3 ソフトウェアテストライフサイクルに
おける一般的なテストプロセス
5.4 リスクベースドテスト
5.5 テストサブプロセス
5.6 テストプラクティス
5.7 テストにおける自動化
5.8 欠陥マネージメント
ISO/IEC/IEEE 29119-1:2013 P-17 Figure 2 The relationship between the generic test sub-process, test levels and test types
Test Process
Project Test Process Test Sub-Process
Test Level/Phase Test Type
Component Testing
Integration Testing
System Testing
Acceptance Testing
Performance Testing
Security Testing
Functional Testing
Usability Testing
Quality Characteristics
.................... ....................
1 0...n
targets
5ソフトウェアのコンセプト
5.1 ソフトウェアテストの概要
5.2 組織的なそしてプロジェクトコンテキストに
おけるソフトウェアテスト
5.3 ソフトウェアテストライフサイクルに
おける一般的なテストプロセス
5.4 リスクベースドテスト
5.5 テストサブプロセス
5.6 テストプラクティス
5.7 テストにおける自動化
5.8 欠陥マネージメント
5ソフトウェアのコンセプト
5.1 ソフトウェアテストの概要
5.2 組織的なそしてプロジェクトコンテキストに
おけるソフトウェアテスト
5.3 ソフトウェアテストライフサイクルに
おける一般的なテストプロセス
5.4 リスクベースドテスト
5.5 テストサブプロセス
5.6 テストプラクティス
5.7 テストにおける自動化
5.8 欠陥マネージメント
5ソフトウェアのコンセプト
5.1 ソフトウェアテストの概要
5.2 組織的なそしてプロジェクトコンテキストに
おけるソフトウェアテスト
5.3 ソフトウェアテストライフサイクルに
おける一般的なテストプロセス
5.4 リスクベースドテスト
5.5 テストサブプロセス
5.6 テストプラクティス
5.7 テストにおける自動化
5.8 欠陥マネージメント
Part 2: テストプロセス
テスト文書 Test documentation
テストプロセス Test processes
テスト技法 Test techniques
コンセプトと 定義
Concepts and definitions
ソフトウェアテストの ためのプロセス評価
Process assessment model for software testing
キーワード駆動 テスト
Keyword Driven Testing
参照
参照
対象?
参照 参照
?
Organizational Test Process
Test Management Processes
Dynamic Test Processes
Figure 3. The multi-layer relationship between test processes From ISO/IEC/IEEE 29119-1:2013
Static Test Processes
Organizational Test Process
Test Management Processes
Dynamic Test Processes
Test Management Processes
Dynamic Test Processes
Figure 2 – The multi-layer model showing all test processes, from ISO/IEC/IEEE 29119-2:2013 Test processes, P-11
Test
Planning
Process
Test
Monitoring &
Control
Process
Test
Completion
Process
Test Design &
Implementation
Process
Test
Environment
Set-up &
Maintenance
Process
Test
Incident
Reporting
Process
Test
Execution
Process
Organizational
Test
Process
Organizational Test Process
Develop Organizational
Test Specification
(OT1)
Monitor and Control Use of
Test Specification
(OT2)
Update Organizational
Test Specification
(OT3)
Organization Test
Specification
Controlled Organizational
Test Specification
Updated Organization
Test Specification
Organizational Test Process form “ISO/IEC/IEEE 29119-2:2013 Test Process” P-13 Figure 4より一部抜粋
Test Management Processes
Test Planning
Test Monitoring & Control
Test Completion
Test Plan Update
Test Plan
Test Results
Test Completion
Report
Test Process form “ISO/IEC/IEEE 29119-2:2013 Test Processより一部抜粋
Test Design & Implementation
Test Environment
Set-up & Maintenance
Test Incident
Reporting
Test Execution
Test Environment
Requirements
Test Specification
Test Environment Readiness Report
Incident Report
Test Results
[Issue Noticed OR Retest Result]
[No Issues Noticed]
Dynamic Test Process form “ISO/IEC/IEEE 29119-2:2013 Test Process”より一部抜粋
Test Design &
Implementation Test Execution
Test
Environment
Set-up &
Maintenance
Test
Incident
Reporting
Test Basis Test
Specification
Test
Environment
Requirements
Test
Environment
Readiness Report
Test Results
Incident
Reports
動的テストプロセスをPFDとして表現し直してみたもの
Part 3: テストドキュメント
テスト文書 Test documentation
テストプロセス Test processes
テスト技法 Test techniques
コンセプトと 定義
Concepts and definitions
ソフトウェアテストの ためのプロセス評価
Process assessment model for software testing
キーワード駆動 テスト
Keyword Driven Testing
参照
参照
対象?
参照 参照
?
種類
Organizational Test Process
Test Management Processes
Dynamic Test Processes
Test Policy Organizational
Test Strategy
Test Plan Test Status
Report
Test Completion
Report
Test Environment
Readiness
Report
Test Data
Requirements
Test
Environment
Requirements
Test Data
Readiness
Report
Incident
Report
Test Procedure
Specification
Test Case
Specification
Test Design
Specification
Actual
Result Test
Result
Test Execution
Log
Figure 1 — The hierarchy of test documentation from ISO/IEC/IEEE 29119-2:2013
Dynamic Test Processes Dynamic Test Processes Dynamic Test Processes
Test Management Processes
Test Management Processes
Organizational Test Process
Test Policy
Organizational Test Strategy
Organizational Test Strategy
Test Plan (Project)
Test Plan (Project)
Test Plan (Project)
Test Plan (Sub-process)
Test Plan (Sub-process)
Test Plan (Sub-process)
Test Specification
Test Environment Requirement
Test Data Requirement
Test Environment Readiness Report
Test Data Readiness Report
Perform Dynamic Test
Test Execution Documentation
Incident Report
Test Status Report
Test Completion Report (Sub-proc.)
Test Completion Report (Project)
TEST
PLAN
TEST
DESIGN
SPEC
TEST
CASE
SPEC TEST
PROC
SPEC
ITEM
DOC ITEM
DOC
ITEM
DOC PROJECT
DOC
TEST
LOG
TEST
LOG
TEST
INCIDENT
REPORT
TEST
SUMMARY
REPORT
TEST
ITEM
TEST
EXECUTION
TEST ITEM
TRANSMITTAL
REPORT
TEST
INCIDENT
REPORT
TEST
DESIGN
SPEC
Figure. “Relationship of test documents to testing process” from IEEE Std 829-1998 IEEE Standard for Software Test Documentation).
IEEE Std 829 – 1998 TEST
DESIGN
SPEC
Document specified by this
standard
Document NOT specified by
this standard
Test Item (NOT specified by
the standard)
Process NOT specified by this
standard
文書 概要
Test Policy テストポリシー
組織におけるテストの目的、ゴール、原則、そしてスコープを記述した会社の方針レベルの文書
Organizational Test Strategy 組織的なテスト戦略
ある組織でおこなわれるすべてのプロジェクトにたいして、どうテストするかその詳細を決めるために提供される、一般的なテストについての要求を表現した文書
Test Plan テスト計画
テスト目的を達成するため、そしてそれらを達成するための手段やスケジュールやテストアイテムのためのテスト活動を調整するため系統化された詳細な記述
Test Status Report テスト状況レポート
特定の期間に行われたテストの状況についての情報を提供するレポート
Test Completion Report テスト完了レポート
実施されたテストの要約を提供するするレポート
文書 概要
テスト仕様(T
est S
pecific
atio
n)
Test Design Specification テスト設計仕様
テストされる特徴(feature)とそれらに対応するテスト条件を指定する文書
Test Case Specification テストケース仕様
一つ以上のテストケースのセット テストケースは、前提条件、入力値、期待結果などのセット。
Test Procedure Specification テスト手順仕様
個別の目的のために実装するテストケースの集まりにたいして、ひとつかそれ以上のテスト手順を指定する文書
文書 概要
Test Data Requirement テストデータ要求
テストデータ要求は、テスト手順仕様に定義されたテスト手順を実行するために必要とされるテストデータの性質について記述した文書
Test Environment Requirement テスト環境要求
テスト環境要求は、テスト手順仕様に定義されたテスト手順を実行するために必要とされるテスト環境の性質について記述した文書
Test Data Readiness Report テストデータ準備 レポート
テストデータ準備レポートは、各テストデータ要求の達成について記述した文書
テスト環境準備レポート Test Environment Readiness Report
テスト環境準備レポートは、各テスト環境要求の達成について記述した文書
文書 概要
テスト実行ドキュメント
(Test E
xecutio
n D
ocum
ent)
Actual Result 実行結果
テストアイテムの振る舞いか条件のセット、あるいはテスト実行の結果観察された関連するデータあるいはテスト環境の条件のセット ※文書構成なし。公式文書化はされない場合もあり
Test Result テスト結果
特定のテスト・ケースがパスしたか失敗したかどうかの表示(期待結果と実行結果が同じであるのか、それとも異なる結果が観測されたのかどうか) ※文書構成なし。手順仕様なりケース仕様なりに記載する場合がおおいとのこと
Test Execution Log テスト実行ログ
一つ以上のテスト手順の実行の詳細な記録
Incident Report インシデントレポート
インシデントの状態や性質や出来事を記述した文書。例外レポート、バグレポート、欠陥レポート、エラーレポート、課題、問題レポートトラブルレポート、そのほかもろもろとしても知られる
IEEE Std 829-1998 IEEE Std829:2008 Te
st P
lan
Test
Des
ign
Spe
cific
atio
n
Test
Cas
e S
peci
ficat
ion
Test
Pro
cedu
re S
peci
ficat
ion
Test
item
tran
smitt
al R
epor
t
Test
Log
Test
Inci
dent
Rep
ort
Test
Sum
mar
y R
epor
t
Mas
ter
Test
Pla
n
Leve
l Tes
t Pla
n
Leve
l Tes
t Des
ign
Leve
l Tes
t Cas
e
Leve
l Tes
t Pro
cedu
re
Leve
l Tes
t Log
Ano
mal
y R
epor
t
Leve
l Int
erim
Tes
t Sta
tus
Rep
ort
Leve
l Tes
t Rep
ort
Mas
ter
Test
Rep
ort
- - - - - - - - Test Policy - - - - - - - - - -
- - - - - - - - Organizational Test Strategy - - - - - - - - - -
x - - - - - - - Test Plan x x - - - - - - - -
- x - - - - - - Test Design Specification - - x - - - - - - -
- - x - - - - - Test Case Specification - - - x - - - - - -
- - - x - - - - Test Procedure Specification - - - - x - - - - -
- - - v - - - - Test Data Requirements - - - - v - - - - -
- - - v - - - - Test Environment Requirements - - - - v - - - - -
- - - - - - - - Test Data Readiness Report - - - - - - - - - -
- - - - - - - - Test Environment Readiness Report - - - - - - - - - -
- - - - - v - - Actual Results - - - - - v - - - -
- - - - - v - - Test Result - - - - - v - - - -
- - - - - x - - Test Execution Log - - - - - x - - - -
- - - - - - x - Incident Report - - - - - - x - - -
- - - - - - - - Test Status Report - - - - - - - x - -
- - - - - - - x Test Completion Report - - - - - - - - x x
ISO/IEC/IEEE 29119-3
Part 4: テスト技法
テスト文書 Test documentation
テストプロセス Test process
テスト技法 Test techniques
コンセプトと 定義
Concepts and definitions
ソフトウェアテストの ためのプロセス評価
Process assessment model for software testing
キーワード駆動 テスト
Keyword Driven Testing
参照
参照
対象?
参照 参照
?
Verification &
Validation
Formal Methods Model Checking
Testing
Proof of Correctness
Static Testing
Dynamic Testing
Simulation V & V Analysis
Inspection
Reviews
Model Verification
Static Analysis
Evaluation
Specification-Based
Structure-Based
Experience-Based
Quality Metrics
Figure A.1 — Hierarchy of Verification and Validation activities, from ISO/IEC/IEEE 29119-1: Concepts and definitionsより。色づけは独自
Figure 2 – The set of test design techniques presented in ISO/IEC 29119-4 (DIS)を元に編集
JSTQBとの比較-基本同じ
テ
ス
ト
設
計
技
法
仕様ベースのテスト設計技法 仕様化したモデルを基にしてテストケースを作成する、
体系的なテスト設計技法。 モデルに対応したテスト設計技法を用いる。 ブラックボックステストとも呼ばれる。
構造ベースのテスト設計技法 ソフトウェアやシステムの構造を基にしてテストケースを
作成する体系的なテスト設計技法。 対象となる構造をどれだけ網羅したかというカバレッジを
測って実施する。 ホワイトボックステストとも呼ばれる。
経験ベースのテスト設計技法 テスト担当者のスキル、知識、経験を基にテストケース
を作成する、体系的ではない(経験に基づいた)テストケース設計技法。
ステークスホルダの知識、過去の類似した欠陥なども情報源となる。
同値分割法
境界値分析
デシジョンテーブルテスト
状態遷移テスト
ユースケーステスト
その他
ステートメントテスト
デシジョンテスト
その他
その他
探索的テスト
フォールト攻撃
エラー推測
JSTQB FLシラバスに記載されているテスト設計技法を分類したもの
本日のまとめ
Who? (誰が) What? (何を) How? (どのように)
ISO/IEC JTC 1/SC 7/WG 26
Software testingの国際規格(IS)群 ISO/IEC/IEEE 29119シリーズ Part 1: concepts and definition Part 2: Test processes Part 3: Test documentation Part 4: Test techniques Part 5: Keyword driven testing
ISOにおける通常のS策定手順にのっとり
Where? (どこで)
6W2H (作る)
When? (いつ)
国際会議の場 各国のWG メーリングリスト? '12年05月19~25日 チェジュ島(韓) '13年05月27~31日 モントリオール
Part 1:2013年8月 Part 2:2013年8月 Part 3:2013年8月 Part 4:2014年頃? Part-5:2015年頃?
How much? (いくらで) Why? (なぜ) Whom? (誰のために)
ボランタリーベースで
組織によらず、どのような ソフトウェアテストであろうとも、
それを実行する際に使うことが できる、国際的に合意された
ソフトウェアテストの規格群を 定義すること
我々 ソフトウェアテストに
関係する全ての人
Who? (誰が) What? (何を) How? (どのように)
我々 ソフトウェアテストに
関わる全ての人々
Software testingの国際規格(IS)群 ISO/IEC/IEEE 29119シリーズ
• Part 1: concepts and definition • Part 2: Test processes • Part 3: Test documentation • Part 4: Test techniques • Part 5: Keyword driven testing
がんばってテーラリング! なにはなくともテーラリング!
Where? (どこで)
6W2H (使う)
When? (いつ)
多くの異なるコンテキストにおけるテスト活動をサポートすることができる
• IT、PC、組込み、モバイル、他 • 大規模小規模問わず • 個人、SOHO、エンプラ問わず • 商用、公共問わず • 開発モデル問わず
いまでしょ (賞味期限切れ)
• テストプロセスの改善に着手しよ
うと思い立ったとき • たとえば29119の認証をとる必然
性にかられたとき
How much? (いくらで) Why? (なぜ) Whom? (誰のために) ISO,IEC,IEEE以外にJSAでも購入可
ISO/IEC/IEEE 29119-1:¥17,010 ISO/IEC/IEEE 29119-2:¥17,010 ISO/IEC/IEEE 29119-3:¥23,520
組織で買うには微々たるお値段 導入コストはケースバイケース
動機は人それぞれ、場合によりけり
ただ、今よりももっと ソフトウェアテストを よりよく改善するため
自分自身のために 顧客のために
テスト文書 Test documentation
テストプロセス Test process
テスト技法 Test techniques
コンセプトと 定義
Concepts and definitions
ソフトウェアテストの ためのプロセス評価
Process assessment model for software testing
キーワード駆動 テスト
Keyword Driven Testing
参照
参照
対象?
参照 参照
?
Organizational Test Process
Test Management Processes
Dynamic Test Processes
Figure 3. The multi-layer relationship between test processes From ISO/IEC/IEEE 29119-1:2013
Organizational Test Process
Test Management Processes
Dynamic Test Processes
Test Policy Organizational
Test Strategy
Test Plan Test Status
Report
Test Completion
Report
Test Environment
Readiness
Report
Test Data
Requirements
Test
Environment
Requirements
Test Data
Readiness
Report
Incident
Report
Test Procedure
Specification
Test Case
Specification
Test Design
Specification
Actual
Result Test
Result
Test Execution
Log
Reference ISO/IEC/IEEE 29119関連
• ISO/IEC/IEEE 29119-1:2013 Software testing – Part 1: Concepts and definitions
• ISO/IEC/IEEE 29119-2:2013 Software testing – Part 2: Test processes
• ISO/IEC/IEEE 29119-3:2013 Software testing – Part 3: Test documentation
• ISO/IEC/IEEE DF 29119-4 Software testing – Part 4: Test techniques
• 高信頼な組込みソフトウェアのためのテスト事例と最新動向 (羽田裕氏)
IEEE Std 829関連
• IEEE Std 829:1998 Standard for Software Test Documentation
• IEEE Std 829:2008 Standard for Software and System Test Documentation
ISTQB/JSTQB関連
• テスト技術者資格制度 Foundation Level シラバス 日本語版 Version 2011.J02
• ソフトウェアテスト標準用語集 (日本語版)Version 2.2.J01
ISO/IEC 関連
• ソフトウェアエンジニアリング関連の標準化 ~ ISO/IEC JTC1/SC7による国際標準化とSECの取組み~(高橋光裕氏)
END