Embed Size (px)
DESCRIPTION
Citation preview
発表論文• タイトル
「Extending Nocuous Ambiguity Analysis
for Anaphora in Natural Language Requirements」（自然言語要件における前方照応のための有害な曖昧さ分析）
• 著者
– Hui Yang、Anne de Roeck、Vincenzo Gervasi、Alistair
Willis、Bashar Nuseibeh
• 出典
– Requirements Engineering Conference(RE) 2010
0
year accept rate
2008 23%
2009 16%
2010 16%
概要
• 目的：要求文書から、「曖昧さ」を検出するため
• 手法：曖昧さを含む文を抽出し、
有害であるかどうかを判別
• 結果：精度よく有害なあいまいさを検出できた
1
背景
要求文書：自然言語で記述
自然言語には「曖昧さ」がある
曖昧さは、利害関係者間に「誤解」を生む
要求分析工程の誤解は、下流工程に響く
2
前方照応の曖昧さ
• 代名詞（he,she,it,those,our etc）によって
生じる曖昧さ
A called B because
he was absent from the lecture.（講義を欠席したので、A君はB君に電話をかけました）
問：講義を欠席したのは誰でしょう？
1. A君
2. B君3
有害なあいまいさ
The MANUAL schema models the system
behavior when it is in manual override mode.
（手動制御機能モードのとき、マニュアルスキーマは、
システムふるまいをモデル化します ）
青：7
緑：6 （13人中）
A prototype exists for this process and
it will be examined for reuse.
（プロトタイプは、このプロセスのために存在し、
それは再利用できるように検討されます）
青：13
緑：0 （13人中） 4無害
有害
NAIツール（Nocuous Ambiguity Identification Tool）
• 「有害な曖昧さ」を特定
テキスト前処理モジュール
曖昧文検出モジュール
有害・無害分類モジュール5
NAIツール（テキスト前処理モジュール）
• 文の境界を探索し、文を判別
• 単語と連語を区別
• POSタグ（名詞、動詞、形容詞、副詞etc）
をつける
Stanford parser （既存）を利用
6
7
NAIツール（曖昧文検出モジュール1）
言語学的特性
文脈的特性
統計的特性
• 要求文書中で曖昧文のパターンに合う文を抽出
8
適合
曖昧文の規則
抽出
要求文書（POSタグ付き）
要求文書中の曖昧文
NAIツール（曖昧文検出モジュール2）
200個の曖昧文：様々なドメインの要求文書
13人の専門家（情報工学研究者やスタッフ）が、
代名詞がどの名詞を照応しているかを選択
9
NAIツール（有害・無害分類モジュール1）
（監督は彼らが監督するエージェントのタスクを変更するだけかもしれません）
• 結果を分類機に学習させる
アルゴリズムはNaive Bayes（既存）に決定
– decision trees, J48, LogitBoost, SVM,
Logistic Regression より良かった
• 分類機の閾値は可変に
– 藍色：有害
– 紫色：無害
10
NAIツール（有害・無害分類モジュール2）
NAIツールの評価（概要）
• 200個のうち80%を学習、残りの20%で評価
• 再現率と適合率を評価
R：再現率 TP：特定できた正しい有毒なあいまいさ
P：適合率 FN：特定できなかった有毒なあいまいさ
FP：有毒だと判断された無毒なあいまいさ
11
NAIツールの評価（結果1）
• 閾値：0.6のときが
適合率は一番いい
• すべての機能を
備えていた方が
適合率はいい
12
NAIツールの評価（結果2）
13
• いい結果らしい
• 低い閾値だと、性能が下がるらしい
結論
要求文書から曖昧文を抽出
曖昧文が有毒かどうか判別
有毒な曖昧さを特定できた
14
私見
長所
• 曖昧さには、有毒なものと無毒なものがあることを見つけ出した
• 調整の曖昧さで作ったツールは、改良することで他の様々な曖昧さにも適応できるように作られている
短所
• 評価実験の結果がよくわからない（グラフなどを使いわかりやすく説明すべき）
15
