マイニング探検会#31 情報検索システムのユーザーのニーズを考える

情報検索システムのユーザーのニーズを考える

株式会社ネクスト　技術基盤本部リッテル研究所

清田　陽司

2013年1月11日マイニング探検会#31 ＠国立情報学研究所

テストコレクションによる評価のモデル

情報検索システムヒットしたテキストの

集合

検索質問入力出力

情報検索システムの評価尺度

正解テキスト (A) ヒットしたテキスト (B)

正解かつヒット (A∩B)

ABAR ∩

=)(再現率BBAP ∩

=)(精度

現実のWeb検索エンジンの使われ方

現実のモデル

情報検索システムヒットしたテキストの集合＋α

検索質問入力出力

TREC

スタ

イル

の研

究

ユー

ザに

よる

適合

性評

価

フィ

ルタ

リン

グ、SD

I （情

報の

選択

的提

供）

ログ

解析

TREC

イン

タラ

クテ

ィブ

トラ

ック

の研

究

心理

学的

アプ

ロー

チに

よる

情報

行動

の実

験

情報

検索

シス

テム

にお

ける

情報

探索

行動

の分

析

コン

テキ

スト

にお

ける

情報

探索

行動

の分

析

システムへのフォーカス

人間へのフォーカス

典型的なインタラクティブ情報検索

システムの研究

図1: 情報検索システムの研究アプローチの連続体（Diane Kelly 「Methods for EvaluaHng InteracHve InformaHon Retrieval Systems with Users」 p.10 より引用

ユーザーのニーズをどのように扱う？

•  検索キーワードに紐付くもの？ •  最終的に探した情報に紐付くもの？

ニーズを理解するためのヒント

•  フレームワーク – AISAS、AIDMA

•  ログデータ – 「どんな価値を提供しているのか」に立ち返って、

適切な評価体系を開発

さがす目的の階層

週末に家族で一緒に過ごす

未知の分野の知識を深める

旅行先を探す

自宅で楽しめるレジャーを探す

バーベキューに必要なものを探す

現地での行動を決める

用品の買い物先を見つけるホテルを探す

面白そうな分野を探す

古代ローマについて調べる

塩野七生の本を探す

動機

ドメイン分野

テーマ

具体的な行動

13

14

ダイアログナビhttp://www.microsoft.com/japan/navigator/

15

ダイアログナビのユーザインタフェース

システムとユーザを示すアイコン

大きめのテキストボックス ⇒自然文による質問の入力を誘導

対話履歴を表示するフレーム

16

ダイアログナビのユーザインタフェース

選択肢(マッチしたテキスト)を表示するフレーム

テキストの種類とスコアをアイコンで表示

17

A) 対話セッション単位の評価

成功失敗範囲外

知識有知識無知識有知識無適切不適切

149 25 15 41 57 91 (65%) (11%) (7%) (18%)

174 (76%) 56 (24%) 148

230 (100%) 378

原因: リソースの不足 • テキスト集合 • 同義表現辞書

顕著な失敗例を分析し，随時修正・作成 ⇒成功率 60%台 → 70%台

18

B) ユーザ行動とシステム応答の分布ユーザ質問の入力

(キーボード)

対話カード応答 (完結した応答)

(U: こんにちわ) S: こんにちは。

対話カード応答 (選択肢提示)

(U: エラーが発生した) S: エラーはいつ発生しますか。

平均選択肢数: 3.24

テキストマッチング (該当あり)

(U: 行を追加したい) S: 以下の選択肢から選んでください。

平均選択肢数: 14.81

テキストマッチング (該当なし)

(U: サービスパックを入れたい) S: 該当する情報を見つけることができませんでした。

ユーザの選択 (マウス)

ユーザの選択 (マウス)

テキストの表示

32回 159回 66回 261回計518回

58回 14回 (CARD) 6回

(RET)

38回 (SHOW)

198回

(98回) (420回)

次のテーマ候補

•  ログ分析手法 •  ユーザーインタフェース •  仕様書を書くための知識

– 信頼性 – コスト – 仮想化

•  他には？

Technology

マイニング探検会#31 情報検索システムのユーザーのニーズを考える