90
ISO/IEC/IEEE 29119 勉強会 1規格の全体構成と各規格の概要 YAMASAKI Takashi 2014年1月9日

ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Embed Size (px)

DESCRIPTION

ISO/IEC/IEEE 29119 Software and system engineering - software testingの勉強会で使用した発表資料。 Ustreamの動画と併せての閲覧を推奨。 動画はこちら。 http://www.ustream.tv/channel/ieee29119%E5%8B%89%E5%BC%B7%E4%BC%9A

Citation preview

Page 1: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

ISO/IEC/IEEE 29119 勉強会 第1回 規格の全体構成と各規格の概要

YAMASAKI Takashi 2014年1月9日

Page 2: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

• 本資料は、2014年1月9日(木)に行ったISO/IEC/IEEE 29119勉強会の第1回の発表資料です。勉強会動画を視聴しながらの閲覧を推奨します。動画は次のURLからアクセスできます。http://www.ustream.tv/channel/ieee29119%E5%8B%89%E5%BC%B7%E4%BC%9A

• 発表当時から多少修正をいれていますが、基本的に発表当時と大きな違いはありません。そのため、資料には一部誤りや不明瞭な情報を含んでいます。それらについては上記の動画内で言及されていますので、動画をご参照ください。

• リリースされた国際規格のみならず、現在策定中の草案についても言及しているため、最新の情報と異なっている可能性があります。可能であれば最新の情報を確認してください。

• なお、本文中の翻訳は発表者独自のものであり、翻訳において意味が変質している可能性がありますのでご注意ください。

参考:勉強会のイベントページ http://kokucheese.com/event/index/136742/

Page 3: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

あじぇんだ

•規格の全体構成と各規格の概要説明(100分)

•途中休憩5~10分(予定)

•次回の発表者決定と日程調整(10分)

Page 4: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

本日のゴール

Page 5: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

本日のゴール

Page 6: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

彼を知り己を知れば 百戦殆うからず

- 孫子

Page 7: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

作る人

使う人

Page 8: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Who? (誰が) What? (何を) How? (どのように)

Where? (どこで) When? (いつ)

How much? (いくらで) Why? (なぜ) Whom? (誰のために)

Page 9: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

ソフトウェアテストに 関する国際規格群

Page 10: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

International Standard

国際的な標準化・規格機関(ISOまたは IEC)によって採択された、一般公衆によって利用可能な規格

Technical Specification

ISO ま た は IEC が発行する文書で、将来的にはISとして合意される可能性があるが、現段階では次のいずれかの状態のもの • ISとして承認されるために

必要な支援が得られていない

• 全体における合意の形成が疑わしい

• その主題がまだ、技術開発の途上にある

• ISとして直ちに発行することが不可能な理由が他にある

Publicly Available Specification

緊急な市場ニーズに対応するために、ISO ま た は IEC が発行する文書

Technical Report

ISO ま た は IEC が発行する文書で、一般にISまたはTSとして発行される文書とは異なる種類の収集データをまとめたもの

ISO/IECにおける文書の種類

Page 11: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

ISO/IEC/IEEE 29119 Series Software and system engineering - Software testing

Part 1: コンセプトと定義 Concepts and definitions

Part 2: テストプロセス Test processes

Part 3: テスト文書 Test documentation

Part 4: テスト技法 Test techniques

Part 5: キーワード駆動テスト Keyword Driven Testing

Page 12: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

テスト文書 Test documentation

テストプロセス Test processes

テスト技法 Test techniques

コンセプトと 定義

Concepts and definitions

ソフトウェアテストの ためのプロセス評価

Process assessment model for software testing

キーワード駆動 テスト

Keyword Driven Testing

参照

参照

対象?

参照 参照

Page 13: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

34

39

48

32

21

19

78

89

0 50 100 150

Part 1

Part 2

Part 3

Part 4

Body Annex

ISO/IEC/IEEE 29119 本文とAnnexページ数

Page 14: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

ISO/IEC JT1/SC7/WG26

Page 15: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

TC TC TC TC

IEC ISO

TC TC TC TC

Technical Committee

SC 2 SC 6 SC 7 SC 17 SC 40

Subcommittee

AG 1 WG 2 WG4 SWG 5 WG 6 WG 7 WG 10 WG 19 WG 20

WG 21 SWG 22 WG 24 WG 25 WG 26 WG 27 WG 28 WG 42

Working Group

JTC 1

Information technology

Software and system engineering

Software testing

Page 16: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

ISO IEC

JTC1 JISC

各SC

各WG

IPSJ/ITSCJ

JTC1 技術委員会

各SC

各WG

加盟 委託

Page 17: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

WGの日本メンバー

http://itscj.ipsj.or.jp/meibo/072600.pdf より(2011年9月時点)

種別 氏名 主査 西 康晴氏 幹事 増田 聡氏 幹事 松尾谷 徹氏 委員 秋山 浩一氏 委員 岩田 真治氏 委員 高橋 寿一氏 委員 三富 篤氏 委員 薮田 和夫氏 委員 山浦 恒央氏 委員 吉澤 智美氏 エキスパート 佐々木 方規氏 エキスパート 鈴木 三紀夫氏 エキスパート 湯本 剛氏

Page 18: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

ISOにおける通常の規格 策定手順にのっとって

Page 19: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Proposal stage

Publication stage

Committee stage

Enquiry stage

Approval stage

Preparatory stage

NP New work item Proposal

WD Working Draft

CD Committee Draft

DIS Draft International Standard

IS International Standard

FDIS Final Draft International Standard

国際規格(IS)の一般的な開発段階と文書

Page 20: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Proposal stage

Publication stage

Committee stage

Enquiry stage

Approval stage

Preparatory stage

ISO/IEC/IEEE 29119の開発状況(2013年5月時点)

ISO/IEC/IEEE

29119-1 Concepts and definitions

ISO/IEC/IEEE

29119-2 Test process

ISO/IEC/IEEE

29119-3 Test documentation

ISO/IEC/IEEE

29119-4 Test techniques

ISO/IEC/IEEE

29119-5 Keyword Driven Testing

NP New work item Proposal

WD Working Draft

CD Committee Draft

DIS Draft International Standard

IS International Standard

FDIS Final Draft International Standard

ISO/IEC

33063 process assessment model for software testing

Page 21: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

我々

ソフトウェアテストに 関わる全ての人々

※コンテキストによらず

Page 22: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

組織によらず、どのような ソフトウェアテストであっても、 それを実行する際に使うことが できる、国際的に合意された

ソフトウェアテストの 規格群を定義すること

ISO/IEC/IEEE 29119-1より

Page 23: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

いまでしょ (賞味期限切れ)

ISO/IEC/IEEE 29119-1:2013年8月

ISO/IEC/IEEE 29119-2:2013年8月

ISO/IEC/IEEE 29119-3:2013年8月

ISO/IEC/IEEE 29119-4:2014年頃?

ISO/IEC/IEEE 29119-5:2015年頃?

Page 24: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

国際会議(総会)

メーリングリスト?

各国WGの小委員会

Page 25: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

ボランタリーベースで

Page 26: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Who? (誰が) What? (何を) How? (どのように)

ISO/IEC JTC 1/SC 7/WG 26

Software testingの国際規格(IS)群 ISO/IEC/IEEE 29119シリーズ Part 1: concepts and definition Part 2: Test processes Part 3: Test documentation Part 4: Test techniques Part 5: Keyword driven testing

ISOにおける通常の 規格策定手順にのっとり

Where? (どこで)

6W2H (作る)

When? (いつ)

国際会議の場 各国のWG メーリングリスト? '12年05月19~25日 チェジュ島(韓) '13年05月27~31日 モントリオール

Part 1:2013年8月 Part 2:2013年8月 Part 3:2013年8月 Part 4:2014年頃? Part-5:2015年頃?

How much? (いくらで) Why? (なぜ) Whom? (誰のために)

ボランタリーベースで

組織によらず、どのような ソフトウェアテストであろうとも、

それを実行する際に使うことが できる、国際的に合意された

ソフトウェアテストの規格群を 定義すること

我々 ソフトウェアテストに

関係する全ての人

Page 27: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Who? (誰が) What? (何を) How? (どのように)

Where? (どこで) When? (いつ)

How much? (いくらで) Why? (なぜ) Whom? (誰のために)

Page 28: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Software testingの国際規格(IS)群 ISO/IEC/IEEE 29119シリーズ

Part 1: Concepts and definition

Part 2: Test processes

Part 3: Test documentation

Part 4: Test techniques

Part 5: Keyword driven testing

Page 29: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

我々

ソフトウェアテストに 関わる全ての人々

Page 30: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

多くの異なるコンテキストに おけるテスト活動をサポート

することができる

• IT、PC、組込み、モバイル、他

•大規模小規模問わず

•個人、SOHO、エンプラ問わず

•商用、公共問わず

•開発モデル問わず

Page 31: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

自分自身のために ひいては顧客のために

Page 32: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

動機は人それぞれ、場合によりけり

今よりももっと ソフトウェアテストを

改善してよりよい 製品・サービスを

提供するため

Page 33: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

がんばってテーラリング! なにはなくともテーラリング!

Page 34: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

いまでしょ (賞味期限切れ)

•テストプロセスの改善に着手 しようと思い立ったとき

•たとえば29119の認証をとる 必然性にかられたとき(将来)

Page 35: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

組織で買うには微々たるお値段 導入コストはケースバイケース

• ISO/IEC/IEEE 29119-1:¥17,010

• ISO/IEC/IEEE 29119-2:¥17,010

• ISO/IEC/IEEE 29119-3:¥23,520

※JSAでの価格

Page 36: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Who? (誰が) What? (何を) How? (どのように)

我々 ソフトウェアテストに

関わる全ての人々

Software testingの国際規格(IS)群 ISO/IEC/IEEE 29119シリーズ

• Part 1: concepts and definition • Part 2: Test processes • Part 3: Test documentation • Part 4: Test techniques • Part 5: Keyword driven testing

がんばってテーラリング! なにはなくともテーラリング!

Where? (どこで)

6W2H (使う)

When? (いつ)

多くの異なるコンテキストにおけるテスト活動をサポートすることができる

• IT、PC、組込み、モバイル、他 • 大規模小規模問わず • 個人、SOHO、エンプラ問わず • 商用、公共問わず • 開発モデル問わず

いまでしょ (賞味期限切れ)

• テストプロセスの改善に着手しよ

うと思い立ったとき • たとえば29119の認証をとる必然

性にかられたとき

How much? (いくらで) Why? (なぜ) Whom? (誰のために) ISO,IEC,IEEE以外にJSAでも購入可

ISO/IEC/IEEE 29119-1:¥17,010 ISO/IEC/IEEE 29119-2:¥17,010 ISO/IEC/IEEE 29119-3:¥23,520

組織で買うには微々たるお値段 導入コストはケースバイケース

動機は人それぞれ、場合によりけり

今よりももっと ソフトウェアテストを

改善してよりよい 製品・サービスを

提供するため

自分自身のために 顧客のために

Page 37: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Part 1: コンセプトと定義

Page 38: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

テスト文書 Test documentation

テストプロセス Test processes

テスト技法 Test techniques

コンセプトと 定義

Concepts and definitions

ソフトウェアテストの ためのプロセス評価

Process assessment model for software testing

キーワード駆動 テスト

Keyword Driven Testing

参照

参照

対象?

参照 参照

Page 39: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Part 1の目的

Page 40: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

目次

序文(Introduction)

1.適用範囲(scope)

2.適合性(Conformance)

3.引用規格(Normative reference)

4.定義(Terms and definition)

5.ソフトウェアテストのコンセプト

付属書(Annex)

参考文献(Bibliography)

Page 41: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

目次

序文(Introduction)

1.適用範囲(scope)

2.適合性(Conformance)

3.引用規格(Normative reference)

4.定義(Terms and definition)

5.ソフトウェアテストのコンセプト

付属書(Annex)

参考文献(Bibliography)

Page 42: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

5ソフトウェアのコンセプト

5.1 ソフトウェアテストの概要

5.2 組織的なそしてプロジェクトコンテキストに

おけるソフトウェアテスト

5.3 ソフトウェアテストライフサイクルに

おける一般的なテストプロセス

5.4 リスクベースドテスト

5.5 テストサブプロセス

5.6 テストプラクティス

5.7 テストにおける自動化

5.8 欠陥マネージメント

Page 43: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

5ソフトウェアのコンセプト

5.1 ソフトウェアテストの概要

5.2 組織的なそしてプロジェクトコンテキストに

おけるソフトウェアテスト

5.3 ソフトウェアテストライフサイクルに

おける一般的なテストプロセス

5.4 リスクベースドテスト

5.5 テストサブプロセス

5.6 テストプラクティス

5.7 テストにおける自動化

5.8 欠陥マネージメント

Page 44: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

software testing

ソフトウェアテスト

static testing

静的テスト レビューとか静的解析とか。 テスト対象を動作させずに行う

dynamic testing

動的テスト 一般的に思い浮かべるテスト。 対象を動作させて行うテスト

Page 45: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Architectural

Design

Detail

Design

Cording

Requirement

Component

Testing

Integration

Testing

System Testing

Acceptance

Testing

static testing

静的テスト dynamic testing

動的テスト

Page 46: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

実装

設計

システム要件

ユーザ要求

詳細設計書

基本設計書

要件定義書 画面仕様書

要求分析

ユニット

テスト

統合

テスト

システム

テスト

受け入れ

テスト

ソースコード

テスト分析 テスト設計 テスト実装 テスト実行 報告書作成

テスト分析 テスト設計 テスト実装 テスト実行 報告書作成

テスト分析 テスト設計 テスト実装 テスト実行 報告書作成

テスト分析 テスト設計 テスト実装 テスト実行 報告書作成

コード解析

モニタリングとコントロール

テストウェア管理

インシデント管理

開発の作業 開発の成果物 テストの作業(プロセス)

ASTER テストルールWG 著 「テストツールまるわかりガイド(入門編) Version 1.0.0」 P-30より

Page 47: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

5ソフトウェアのコンセプト

5.1 ソフトウェアテストの概要

5.2 組織的なそしてプロジェクトコンテキストに

おけるソフトウェアテスト

5.3 ソフトウェアテストライフサイクルに

おける一般的なテストプロセス

5.4 リスクベースドテスト

5.5 テストサブプロセス

5.6 テストプラクティス

5.7 テストにおける自動化

5.8 欠陥マネージメント

Page 48: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

ISO 25000 SQuaRE

ISO/IEC/IEEE 29119 Other Standards

Rules, Regulations, Standards and Laws

ISO 25000 Quality

Characteristics

Organization 1...n

1

constrains

Organization Test Policy

guides testing by

Organization Test Strategy

is elaborated by

Test Plan Project Plan

Project Test Plan Sub-Process Test

Plan

Test Type

Test Level/Phase

Test Completion Criteria

Test Practice Level of Automation

Static Test Technique

Specification-Based Technique

Structure-Based Technique

Test Technique

Dynamic Test Technique

Test Sub-Process

Test Strategy

1

0...8

0...n

1...n

1

1 1...n

1...n

1

constrains and guides

is elaborated by

provides guidance

on includes

elaborates

ISO/IEC/IEEE 29119-1:2013 P-16 Figure 1 Multi-layered test context diagram

Page 49: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

“製品品質特モデル “ from “JIS X 25010:2013” 図4

システム/ソフトウェア製品品質

機能適合性 性能効率性 互換性 使用性 信頼性 セキュリティ 保守性 移植性

• 機能完全性

• 機能正確性

• 機能適切性

• 時間効率性

• 資源効率性

• 容量満足性

• 共存性

• 相互運用性

• 適切度認識性

• 習得性

• 運用操作性

• ユーザエラー防止性

• ユーザインターフェース快美性

• アクセシビリティ

• 成熟性

• 可用性

• 障害許容性 (対故障性)

• 回復性

• 機密性

• インテグリティ

• 否認防止性

• 責任追跡性

• 真正性

• モジュール性

• 再利用性

• 解析性

• 修正性

• 試験性

• 適用性

• 設置性

• 置換性

JIS X 25010:2013 製品品質モデル

Page 50: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

5ソフトウェアのコンセプト

5.1 ソフトウェアテストの概要

5.2 組織的なそしてプロジェクトコンテキストに

おけるソフトウェアテスト

5.3 ソフトウェアテストライフサイクルに

おける一般的なテストプロセス

5.4 リスクベースドテスト

5.5 テストサブプロセス

5.6 テストプラクティス

5.7 テストにおける自動化

5.8 欠陥マネージメント

Page 51: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

5ソフトウェアのコンセプト

5.1 ソフトウェアテストの概要

5.2 組織的なそしてプロジェクトコンテキストに

おけるソフトウェアテスト

5.3 ソフトウェアテストライフサイクルに

おける一般的なテストプロセス

5.4 リスクベースドテスト

5.5 テストサブプロセス

5.6 テストプラクティス

5.7 テストにおける自動化

5.8 欠陥マネージメント

Page 52: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

5ソフトウェアのコンセプト

5.1 ソフトウェアテストの概要

5.2 組織的なそしてプロジェクトコンテキストに

おけるソフトウェアテスト

5.3 ソフトウェアテストライフサイクルに

おける一般的なテストプロセス

5.4 リスクベースドテスト

5.5 テストサブプロセス

5.6 テストプラクティス

5.7 テストにおける自動化

5.8 欠陥マネージメント

Page 53: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

ISO/IEC/IEEE 29119-1:2013 P-17 Figure 2 The relationship between the generic test sub-process, test levels and test types

Test Process

Project Test Process Test Sub-Process

Test Level/Phase Test Type

Component Testing

Integration Testing

System Testing

Acceptance Testing

Performance Testing

Security Testing

Functional Testing

Usability Testing

Quality Characteristics

.................... ....................

1 0...n

targets

Page 54: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

5ソフトウェアのコンセプト

5.1 ソフトウェアテストの概要

5.2 組織的なそしてプロジェクトコンテキストに

おけるソフトウェアテスト

5.3 ソフトウェアテストライフサイクルに

おける一般的なテストプロセス

5.4 リスクベースドテスト

5.5 テストサブプロセス

5.6 テストプラクティス

5.7 テストにおける自動化

5.8 欠陥マネージメント

Page 55: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

5ソフトウェアのコンセプト

5.1 ソフトウェアテストの概要

5.2 組織的なそしてプロジェクトコンテキストに

おけるソフトウェアテスト

5.3 ソフトウェアテストライフサイクルに

おける一般的なテストプロセス

5.4 リスクベースドテスト

5.5 テストサブプロセス

5.6 テストプラクティス

5.7 テストにおける自動化

5.8 欠陥マネージメント

Page 56: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

5ソフトウェアのコンセプト

5.1 ソフトウェアテストの概要

5.2 組織的なそしてプロジェクトコンテキストに

おけるソフトウェアテスト

5.3 ソフトウェアテストライフサイクルに

おける一般的なテストプロセス

5.4 リスクベースドテスト

5.5 テストサブプロセス

5.6 テストプラクティス

5.7 テストにおける自動化

5.8 欠陥マネージメント

Page 57: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Part 2: テストプロセス

Page 58: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

テスト文書 Test documentation

テストプロセス Test processes

テスト技法 Test techniques

コンセプトと 定義

Concepts and definitions

ソフトウェアテストの ためのプロセス評価

Process assessment model for software testing

キーワード駆動 テスト

Keyword Driven Testing

参照

参照

対象?

参照 参照

Page 59: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Organizational Test Process

Test Management Processes

Dynamic Test Processes

Figure 3. The multi-layer relationship between test processes From ISO/IEC/IEEE 29119-1:2013

Page 60: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Static Test Processes

Organizational Test Process

Test Management Processes

Dynamic Test Processes

Page 61: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Test Management Processes

Dynamic Test Processes

Figure 2 – The multi-layer model showing all test processes, from ISO/IEC/IEEE 29119-2:2013 Test processes, P-11

Test

Planning

Process

Test

Monitoring &

Control

Process

Test

Completion

Process

Test Design &

Implementation

Process

Test

Environment

Set-up &

Maintenance

Process

Test

Incident

Reporting

Process

Test

Execution

Process

Organizational

Test

Process

Page 62: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Organizational Test Process

Develop Organizational

Test Specification

(OT1)

Monitor and Control Use of

Test Specification

(OT2)

Update Organizational

Test Specification

(OT3)

Organization Test

Specification

Controlled Organizational

Test Specification

Updated Organization

Test Specification

Organizational Test Process form “ISO/IEC/IEEE 29119-2:2013 Test Process” P-13 Figure 4より一部抜粋

Page 63: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Test Management Processes

Test Planning

Test Monitoring & Control

Test Completion

Test Plan Update

Test Plan

Test Results

Test Completion

Report

Test Process form “ISO/IEC/IEEE 29119-2:2013 Test Processより一部抜粋

Page 64: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Test Design & Implementation

Test Environment

Set-up & Maintenance

Test Incident

Reporting

Test Execution

Test Environment

Requirements

Test Specification

Test Environment Readiness Report

Incident Report

Test Results

[Issue Noticed OR Retest Result]

[No Issues Noticed]

Dynamic Test Process form “ISO/IEC/IEEE 29119-2:2013 Test Process”より一部抜粋

Page 65: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Test Design &

Implementation Test Execution

Test

Environment

Set-up &

Maintenance

Test

Incident

Reporting

Test Basis Test

Specification

Test

Environment

Requirements

Test

Environment

Readiness Report

Test Results

Incident

Reports

動的テストプロセスをPFDとして表現し直してみたもの

Page 66: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Part 3: テストドキュメント

Page 67: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

テスト文書 Test documentation

テストプロセス Test processes

テスト技法 Test techniques

コンセプトと 定義

Concepts and definitions

ソフトウェアテストの ためのプロセス評価

Process assessment model for software testing

キーワード駆動 テスト

Keyword Driven Testing

参照

参照

対象?

参照 参照

Page 68: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

種類

Page 69: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Organizational Test Process

Test Management Processes

Dynamic Test Processes

Test Policy Organizational

Test Strategy

Test Plan Test Status

Report

Test Completion

Report

Test Environment

Readiness

Report

Test Data

Requirements

Test

Environment

Requirements

Test Data

Readiness

Report

Incident

Report

Test Procedure

Specification

Test Case

Specification

Test Design

Specification

Actual

Result Test

Result

Test Execution

Log

Page 70: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Figure 1 — The hierarchy of test documentation from ISO/IEC/IEEE 29119-2:2013

Dynamic Test Processes Dynamic Test Processes Dynamic Test Processes

Test Management Processes

Test Management Processes

Organizational Test Process

Test Policy

Organizational Test Strategy

Organizational Test Strategy

Test Plan (Project)

Test Plan (Project)

Test Plan (Project)

Test Plan (Sub-process)

Test Plan (Sub-process)

Test Plan (Sub-process)

Test Specification

Test Environment Requirement

Test Data Requirement

Test Environment Readiness Report

Test Data Readiness Report

Perform Dynamic Test

Test Execution Documentation

Incident Report

Test Status Report

Test Completion Report (Sub-proc.)

Test Completion Report (Project)

Page 71: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

TEST

PLAN

TEST

DESIGN

SPEC

TEST

CASE

SPEC TEST

PROC

SPEC

ITEM

DOC ITEM

DOC

ITEM

DOC PROJECT

DOC

TEST

LOG

TEST

LOG

TEST

INCIDENT

REPORT

TEST

SUMMARY

REPORT

TEST

ITEM

TEST

EXECUTION

TEST ITEM

TRANSMITTAL

REPORT

TEST

INCIDENT

REPORT

TEST

DESIGN

SPEC

Figure. “Relationship of test documents to testing process” from IEEE Std 829-1998 IEEE Standard for Software Test Documentation).

IEEE Std 829 – 1998 TEST

DESIGN

SPEC

Document specified by this

standard

Document NOT specified by

this standard

Test Item (NOT specified by

the standard)

Process NOT specified by this

standard

Page 72: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

文書 概要

Test Policy テストポリシー

組織におけるテストの目的、ゴール、原則、そしてスコープを記述した会社の方針レベルの文書

Organizational Test Strategy 組織的なテスト戦略

ある組織でおこなわれるすべてのプロジェクトにたいして、どうテストするかその詳細を決めるために提供される、一般的なテストについての要求を表現した文書

Test Plan テスト計画

テスト目的を達成するため、そしてそれらを達成するための手段やスケジュールやテストアイテムのためのテスト活動を調整するため系統化された詳細な記述

Test Status Report テスト状況レポート

特定の期間に行われたテストの状況についての情報を提供するレポート

Test Completion Report テスト完了レポート

実施されたテストの要約を提供するするレポート

Page 73: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

文書 概要

テスト仕様(T

est S

pecific

atio

n)

Test Design Specification テスト設計仕様

テストされる特徴(feature)とそれらに対応するテスト条件を指定する文書

Test Case Specification テストケース仕様

一つ以上のテストケースのセット テストケースは、前提条件、入力値、期待結果などのセット。

Test Procedure Specification テスト手順仕様

個別の目的のために実装するテストケースの集まりにたいして、ひとつかそれ以上のテスト手順を指定する文書

Page 74: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

文書 概要

Test Data Requirement テストデータ要求

テストデータ要求は、テスト手順仕様に定義されたテスト手順を実行するために必要とされるテストデータの性質について記述した文書

Test Environment Requirement テスト環境要求

テスト環境要求は、テスト手順仕様に定義されたテスト手順を実行するために必要とされるテスト環境の性質について記述した文書

Test Data Readiness Report テストデータ準備 レポート

テストデータ準備レポートは、各テストデータ要求の達成について記述した文書

テスト環境準備レポート Test Environment Readiness Report

テスト環境準備レポートは、各テスト環境要求の達成について記述した文書

Page 75: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

文書 概要

テスト実行ドキュメント

(Test E

xecutio

n D

ocum

ent)

Actual Result 実行結果

テストアイテムの振る舞いか条件のセット、あるいはテスト実行の結果観察された関連するデータあるいはテスト環境の条件のセット ※文書構成なし。公式文書化はされない場合もあり

Test Result テスト結果

特定のテスト・ケースがパスしたか失敗したかどうかの表示(期待結果と実行結果が同じであるのか、それとも異なる結果が観測されたのかどうか) ※文書構成なし。手順仕様なりケース仕様なりに記載する場合がおおいとのこと

Test Execution Log テスト実行ログ

一つ以上のテスト手順の実行の詳細な記録

Incident Report インシデントレポート

インシデントの状態や性質や出来事を記述した文書。例外レポート、バグレポート、欠陥レポート、エラーレポート、課題、問題レポートトラブルレポート、そのほかもろもろとしても知られる

Page 76: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

IEEE Std 829-1998 IEEE Std829:2008 Te

st P

lan

Test

Des

ign

Spe

cific

atio

n

Test

Cas

e S

peci

ficat

ion

Test

Pro

cedu

re S

peci

ficat

ion

Test

item

tran

smitt

al R

epor

t

Test

Log

Test

Inci

dent

Rep

ort

Test

Sum

mar

y R

epor

t

Mas

ter

Test

Pla

n

Leve

l Tes

t Pla

n

Leve

l Tes

t Des

ign

Leve

l Tes

t Cas

e

Leve

l Tes

t Pro

cedu

re

Leve

l Tes

t Log

Ano

mal

y R

epor

t

Leve

l Int

erim

Tes

t Sta

tus

Rep

ort

Leve

l Tes

t Rep

ort

Mas

ter

Test

Rep

ort

- - - - - - - - Test Policy - - - - - - - - - -

- - - - - - - - Organizational Test Strategy - - - - - - - - - -

x - - - - - - - Test Plan x x - - - - - - - -

- x - - - - - - Test Design Specification - - x - - - - - - -

- - x - - - - - Test Case Specification - - - x - - - - - -

- - - x - - - - Test Procedure Specification - - - - x - - - - -

- - - v - - - - Test Data Requirements - - - - v - - - - -

- - - v - - - - Test Environment Requirements - - - - v - - - - -

- - - - - - - - Test Data Readiness Report - - - - - - - - - -

- - - - - - - - Test Environment Readiness Report - - - - - - - - - -

- - - - - v - - Actual Results - - - - - v - - - -

- - - - - v - - Test Result - - - - - v - - - -

- - - - - x - - Test Execution Log - - - - - x - - - -

- - - - - - x - Incident Report - - - - - - x - - -

- - - - - - - - Test Status Report - - - - - - - x - -

- - - - - - - x Test Completion Report - - - - - - - - x x

ISO/IEC/IEEE 29119-3

Page 77: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Part 4: テスト技法

Page 78: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

テスト文書 Test documentation

テストプロセス Test process

テスト技法 Test techniques

コンセプトと 定義

Concepts and definitions

ソフトウェアテストの ためのプロセス評価

Process assessment model for software testing

キーワード駆動 テスト

Keyword Driven Testing

参照

参照

対象?

参照 参照

Page 79: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Verification &

Validation

Formal Methods Model Checking

Testing

Proof of Correctness

Static Testing

Dynamic Testing

Simulation V & V Analysis

Inspection

Reviews

Model Verification

Static Analysis

Evaluation

Specification-Based

Structure-Based

Experience-Based

Quality Metrics

Figure A.1 — Hierarchy of Verification and Validation activities, from ISO/IEC/IEEE 29119-1: Concepts and definitionsより。色づけは独自

Page 80: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Figure 2 – The set of test design techniques presented in ISO/IEC 29119-4 (DIS)を元に編集

Page 81: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

JSTQBとの比較-基本同じ

仕様ベースのテスト設計技法 仕様化したモデルを基にしてテストケースを作成する、

体系的なテスト設計技法。 モデルに対応したテスト設計技法を用いる。 ブラックボックステストとも呼ばれる。

構造ベースのテスト設計技法 ソフトウェアやシステムの構造を基にしてテストケースを

作成する体系的なテスト設計技法。 対象となる構造をどれだけ網羅したかというカバレッジを

測って実施する。 ホワイトボックステストとも呼ばれる。

経験ベースのテスト設計技法 テスト担当者のスキル、知識、経験を基にテストケース

を作成する、体系的ではない(経験に基づいた)テストケース設計技法。

ステークスホルダの知識、過去の類似した欠陥なども情報源となる。

同値分割法

境界値分析

デシジョンテーブルテスト

状態遷移テスト

ユースケーステスト

その他

ステートメントテスト

デシジョンテスト

その他

その他

探索的テスト

フォールト攻撃

エラー推測

JSTQB FLシラバスに記載されているテスト設計技法を分類したもの

Page 82: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

本日のまとめ

Page 83: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Who? (誰が) What? (何を) How? (どのように)

ISO/IEC JTC 1/SC 7/WG 26

Software testingの国際規格(IS)群 ISO/IEC/IEEE 29119シリーズ Part 1: concepts and definition Part 2: Test processes Part 3: Test documentation Part 4: Test techniques Part 5: Keyword driven testing

ISOにおける通常のS策定手順にのっとり

Where? (どこで)

6W2H (作る)

When? (いつ)

国際会議の場 各国のWG メーリングリスト? '12年05月19~25日 チェジュ島(韓) '13年05月27~31日 モントリオール

Part 1:2013年8月 Part 2:2013年8月 Part 3:2013年8月 Part 4:2014年頃? Part-5:2015年頃?

How much? (いくらで) Why? (なぜ) Whom? (誰のために)

ボランタリーベースで

組織によらず、どのような ソフトウェアテストであろうとも、

それを実行する際に使うことが できる、国際的に合意された

ソフトウェアテストの規格群を 定義すること

我々 ソフトウェアテストに

関係する全ての人

Page 84: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Who? (誰が) What? (何を) How? (どのように)

我々 ソフトウェアテストに

関わる全ての人々

Software testingの国際規格(IS)群 ISO/IEC/IEEE 29119シリーズ

• Part 1: concepts and definition • Part 2: Test processes • Part 3: Test documentation • Part 4: Test techniques • Part 5: Keyword driven testing

がんばってテーラリング! なにはなくともテーラリング!

Where? (どこで)

6W2H (使う)

When? (いつ)

多くの異なるコンテキストにおけるテスト活動をサポートすることができる

• IT、PC、組込み、モバイル、他 • 大規模小規模問わず • 個人、SOHO、エンプラ問わず • 商用、公共問わず • 開発モデル問わず

いまでしょ (賞味期限切れ)

• テストプロセスの改善に着手しよ

うと思い立ったとき • たとえば29119の認証をとる必然

性にかられたとき

How much? (いくらで) Why? (なぜ) Whom? (誰のために) ISO,IEC,IEEE以外にJSAでも購入可

ISO/IEC/IEEE 29119-1:¥17,010 ISO/IEC/IEEE 29119-2:¥17,010 ISO/IEC/IEEE 29119-3:¥23,520

組織で買うには微々たるお値段 導入コストはケースバイケース

動機は人それぞれ、場合によりけり

ただ、今よりももっと ソフトウェアテストを よりよく改善するため

自分自身のために 顧客のために

Page 85: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

テスト文書 Test documentation

テストプロセス Test process

テスト技法 Test techniques

コンセプトと 定義

Concepts and definitions

ソフトウェアテストの ためのプロセス評価

Process assessment model for software testing

キーワード駆動 テスト

Keyword Driven Testing

参照

参照

対象?

参照 参照

Page 86: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Organizational Test Process

Test Management Processes

Dynamic Test Processes

Figure 3. The multi-layer relationship between test processes From ISO/IEC/IEEE 29119-1:2013

Page 87: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Organizational Test Process

Test Management Processes

Dynamic Test Processes

Test Policy Organizational

Test Strategy

Test Plan Test Status

Report

Test Completion

Report

Test Environment

Readiness

Report

Test Data

Requirements

Test

Environment

Requirements

Test Data

Readiness

Report

Incident

Report

Test Procedure

Specification

Test Case

Specification

Test Design

Specification

Actual

Result Test

Result

Test Execution

Log

Page 88: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要
Page 89: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

Reference ISO/IEC/IEEE 29119関連

• ISO/IEC/IEEE 29119-1:2013 Software testing – Part 1: Concepts and definitions

• ISO/IEC/IEEE 29119-2:2013 Software testing – Part 2: Test processes

• ISO/IEC/IEEE 29119-3:2013 Software testing – Part 3: Test documentation

• ISO/IEC/IEEE DF 29119-4 Software testing – Part 4: Test techniques

• 高信頼な組込みソフトウェアのためのテスト事例と最新動向 (羽田裕氏)

IEEE Std 829関連

• IEEE Std 829:1998 Standard for Software Test Documentation

• IEEE Std 829:2008 Standard for Software and System Test Documentation

ISTQB/JSTQB関連

• テスト技術者資格制度 Foundation Level シラバス 日本語版 Version 2011.J02

• ソフトウェアテスト標準用語集 (日本語版)Version 2.2.J01

ISO/IEC 関連

• ソフトウェアエンジニアリング関連の標準化 ~ ISO/IEC JTC1/SC7による国際標準化とSECの取組み~(高橋光裕氏)

Page 90: ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

END