© 2015 IBM Corporation

ICST 2015勉強会

Test Analysisトラックの論文紹介

July 4, 2015

紹介者： TRL 増田 聡

論文

• Generating Complex and Faulty Test Data Through Model-Based Mutation

Analysis

–Daniel Di Nardo, Fabrizio Pastore, Lionel Briand @University of Luxembourg

• Iterative Instrumentation for Code Coverage in Time-Sensitive Systems

–Tosapon Pankumhang, Matthew J. Rutherford @University of Denver

• Navigating Information Overload Caused by Automated Testing - A Clustering

Approach in Multi-Branch Development

–Nicklas Erman, Vanja Tufvesson, Markus Borg, Anders Ardö, Per Runeson

© 2015 IBM Corporation

IBM Research - TokyoGenerating Complex and Faulty Test Data Through Model-Based Mutation Analysis

モデルベースのミューテーション解析による複雑で不完全なテストデータの生成

1. 複雑な制約があって， (例外ケースをテストするための)不完全なテ

ストデータを作成するのは困難である

2. OCL(Object Constraint Language)

でテストデータを記述し，6種類のデータミューテーション(≒わざと変える)を行ってテストデータを自動生成する

3. 実験では手作業より少し良い結果が確認された

2

ICST2015

Best

Presentation

Award

© 2015 IBM Corporation

IBM Research - TokyoIterative Instrumentation for Code Coverage in Time-Sensitive Systems

時間制約のあるシステムのコードカバレッジ測定のための反復型計装

1. コードカバレッジ測定のために実行オーバーヘッドがかかると時間制約のシステムは挙動が変わるためテスト結果が変わってしまう．

2. 反復型計装とは計測箇所(node,

edge, logic)をexit文で置換し，繰り

返し実行することで，カバレッジを測定する方法．

3. 既存方法と同様に100%のカバ

レッジを既存方法以上の速度で計測できる．

計装とは，測定装置や制御装置などを装備し，測定すること[Wikipediaより]

3

© 2015 IBM Corporation

IBM Research - TokyoNavigating Information Overload Caused by Automated Testing- A Clustering Approach in Multi-Branch Development

テスト自動化に起因した情報溢れの対応 –多分岐開発におけるクラスタリングアプローチ

1. テスト自動化を進めるとテストケースが膨大になり，特に，多分岐開発ではテストケースやテスト結果などの情報が溢れかえる．

2. テスト結果を似たものに分類(クラスタリング)して原因を分析する方法を提案し，ツールNIOCATに実装した

3. 調整ランド指数で既存研究より高い値を確認した

調整ランド指数(ARI)ARI は同一の分類対象を有する二つの分類方式の類似性を図るものであり，その値は主に0～1 の値をとり，1 で完全一致，0 でランダムによるクラスタリングの期待値となる[長野翔一, ユーザの要求変化に着目したウェブ閲覧履歴の分類方式，情報処理学会研究報告. 自然言語処理研究会報告，Vol.2008，No.90, pp.65-70(2008)]

4