2006/Nov./28 輪講 Wu Raychi

- 1 -

Modeling the Effect of Task and Graphical Representation on Response Latency in a Graph Reading Task Peebles, David & Cheng, Peter C-H.(2003).Modeling the Effect of Task and Graphical Representation on Response Latency in a Graph Reading Task. Human Factors, 45(1), pp. 28-45. Introduction l 情報爆発時代こそ、図表とグラフを解読及び推論する能力が必要とされ Ø 知覚と推論スキルの熟達 Ø 図表に関する広い範囲で一般及び特定の知識

l 図表推論というプロセス、以下３要因間に複雑な交互作用から生じた活動 Ø 推論者の認知と知覚スキル Ø 外的表象にある図表的属性 Ø タスクに関する特定な制限

l 3 要因間の相関をより深く理解できれば Ø より効率的な図表表象／構造化する方法への示唆

l グラフよる推論（GBR=graph-based reasoning）領域 Ø 3 要因はいかに推論に影響を与える ² 異なるタイプの Cartesianグラフ（X、Y軸を操作；直交座標）

Ø GBR モデルを提案（Peebles & Cheng, 2001, 2002; Peebles, Cheng & Shadbolt, 1999）

l 目的は他のモデルやと類似：HCI 行動のフレームワークを提案 Ø Cognition-artifact-task（Gray & Altmann, 2001） Ø Embodied cognition-artifact-task（Byrne, 2001; Gray, 2000; Gray &

Boehm-Davis, 2000） l （Fig.１）本研究で使われた 4枚グラフ Ø イギリス 20年間の海底石油とガス産量（百万単位）を示す Ø Argument Variable／AV：年代（time in years） Ø Quantity Variable／QV：石油とガスの産量（oil and gas）

AV QV Function graphs X 軸 Y 軸

Parametric graphs 曲線としてプロットされ／ 変数的（parameterized）存在

X 軸（gas） Y 軸（oil）

l 2 種類のグラフの類似度を評価する基準（Larkin & Simon, 1987） Ø 情報的等価（informationally equivalent）：If no information can be inferred

from one that cannot be inferred from the other and if each can be constructed from the information in the other.

Ø 計算的等価（ computationally equivalent）： If they are informationally equivalent and if any inferences that can be drawn “quickly and easily” from the explicit information in one can be similarly drawn from the explicit information in the other, and vice versa.（本研究の重心）

2006/Nov./28 輪講 Wu Raychi

- 2 -

l 2 種類のグラフの共通点 Ø 単純なライングラフ Ø 2 次元で量や大きさを表現 Ø プロットされた曲線上に数値を示す Ø 故に情報検索に関連する操作子も同じ

l 類似なグラフスキーマ及び解読プロセス（Kosslyn, 1989; Pinker, 1990） l 推論は同じバイアスの影響を受ける（Carpenter & Shah, 1998; Gattis & Holyoak,

1996; Shah & Carpenter, 1995） l 先行研究 Ø 2 種類グラフ類似性あるにもかかわらず Ø 課題完成時間、エラー率、エラー・パターンにかなりの違いがある（Peebles &

Cheng, 2001, 2002; Peebles et al., 1999） l GBR モデルの解釈 Ø 課題遂行するときの視覚走査パスにより生じたもの

l GBR モデル Ø 特定の情報検索課題において Ø エキスパートのグラフユーザーは急速眼球運動後、ターゲットに固定する Ø 走査パスはより適切化できるかどうかは、ユーザーのグラフに関連する知識、

グラフ種類の熟知程度、課題と関連する概念より決める Ø でなければ、試行錯誤、非直接や部分最適（suboptimal）な走査パス

l 本研究で用いた GBRモデル分析内容 Ø 課題遂行に要する手順、眼球運動による（最小限）走査パス Ø Lohse’s (1993) グラフ知覚のモデルと類似 ² understanding cognitive information engineering (UCIE) model

Ø 手順錯誤の誤った走査パスの生成により誤ったタスク解法も予測できるようになった、従って特定な課題において、エラーが少なく反応時間が早いグラフの種類を予測できる。

例えば（Fig.１）oil が３の場合、gas は？ Function graphs

３ l locate the associated point on the oil line l identify the corresponding point on the gas line at the same

x coordinate l identify the required value of gas on the y axis.

Parametric graphs

２ l locate the point on the year line at y=3 l identify the corresponding value of gas on the x axis.

l 反応時間や課題の構造などに応じ、異なる種類の最適グラフを予測し説明できます

が、GBRモデルに限界がある Ø まず、認知や戦略的要因なども考えれば、最小限の走査パスは絶対の「最適」

と言い切れず、しかも何時でも再走査できるから、作動記憶負荷を低減するために、急速眼球運動の頻度を増やすというトレードオフが生じる。即ち走査パスを増やすことは、認知負荷を低減するための戦略。

2006/Nov./28 輪講 Wu Raychi

- 3 -

Ø 次に時間に関する予測、どっちの一方が比較的に早いのみを予測。具体的な反応時間を予測できれば。

l （少なくとも）２つの方法（具体的な反応時間を予測） Ø 課題遂行する手順ごとの反応時間（response time）を記録し、合計したもの

を全体の反応時間とする手法を利用。 Ø Goals, Operators, Methods, and Selection rules (GOMS)：タスク分析（Card,

Moran, & Newell, 1983; John & Kieras, 1994; Olson & Olson, 1990） Ø UCIE model：graph-based reasoning（Lohse, 1993） ² ライングラフ、ばーグラフ、テーブルを用い質問解答手順を予測 ² 最小限眼球運動走査により質問回答の時間を予測するに有効 ² ただし制限有り（John & Kieras, 1994） ü すべての手順ごとの反応時間を取得できると仮定 ü ユーザーはグラフや課題を熟知でエラーを起こらずと仮定

Ø プログラム化できる認知アーキテクチャー①を使い ² 環境を表現でき、グラフ、認知及び知覚運動にある複雑な交互作用を取り

込める認知プロセスモデルを構築する ² embodied cognition（Kieras & Meyer, 1997） ² executive process/interactive control＝EPIC（Kieras & Meyer, 1997） ² EPIC-Soar（Chong & Laird, 1997） ² ACT rational perceptual motor＝ACT-R/PM②（Byrne & Anderson,

1998）

² 手続き知識と宣言的知識、ストラテジーや作動記憶の制限など認知的要因と知覚運動、マウス及び視覚注意シフトを指定することが可能に、

² 各ステップには実行時間と正確度に関する量的予測が関連付けられ ² 人間の行為の逐次的シミュレーション、挙動を詳細に比較でき ² さらに学習／練習が可能、より多様な効果を測れる

① 認知アーキテクチャ（Cognitive Architecture）とは、言わば知的エージェントの設計図である。何らかの認知システム、多くの場合人間のように行動する人工的に計算可能なプロセスやある種の知能を示す行動をするプロセスを作るための設計図である。認知アーキテクチャは汎用のエージェントアーキテクチャの一種でもある。「アーキテクチャ」と呼ばれるのは、振る舞いのモデル化だけでなくシステムの構造的な観点のモデル化も含むことを意味している。 http://ja.wikipedia.org/wiki/認知アーキテクチャ ② ACT-R（Adaptive Control of Thought--Rational、思考の適応制御--理性）とは、カーネギーメロン大学のジョン・R・アンダーソンを中心として開発された認知アーキテクチャである。ACT-R は人間の精神を成り立たせる基本的な認識と知覚の操作を定義することを目指している。理論上、人間の行う行為は、そのような個々の操作の連鎖から成っているとされている。ACT-R の根底にある仮定のほとんどは認知神経科学(cognitive neuroscience)の進歩に触発されたものでもあり、実際 ACT-R は脳内の個々の処理モジュールによって認識を生み出す過程を説明するものと言う事もできる。 http://ja.wikipedia.org/wiki/ACT-R

2006/Nov./28 輪講 Wu Raychi

- 4 -

l 本研究内容 Ø グラフによる推論（GBR）の実験とその結果 Ø 認知的プロセスモデルの構築及び制限

l 被験者に 2種類（function graphs／parametric graphs）のグラフを使い Ø 注意順序の指定により、簡単な課題を完成させ Ø GBR の最適化仮説に基づき、反応行動予測する

l 眼球運動の測定により最適化行動を検証 Ø 反応時間とエラーデータは GBR の予測とおりに Ø 部分眼球運動のパターンは GBR の最適化予測順序と不一致

l ACT-R/PM 認知アーキテクチャーを用い、２つのモデルを構築 Ø 反応時間のパターンと類似、眼球運動の測定を解釈できる予測結果を得られ

Experiment l 簡単なグラフ読み課題を使用 Ø 基本的グラフ読みスキルのみ要る Ø 指定した数値（given location）から Ø ターゲット（target locatoin）数値を探し出す Ø 異なる種類グラフの有効性（Peebles et al., 1999） ² 課題内容（どれが指定、どれがターゲット）に関わる

Method 混合実験計画 被験者間 グラフ種類：function／parametric（ランダム配置）

質問種類：3水準（AV、QV を組み合わせ） 被験者内

グラフ年代：1970's／1980's l 被験者 Ø 合計 48名 Ø 本実験大学生及び大学院生（心理学専門）44名；謝礼 3ポンド Ø 眼球運動データ 4名；謝礼 5ポンド

l 実験材料 Ø 2台 PC（17-inchディスプレー） Ø an SMI iView eye tracker Ø a RED II desktop pupil/corneal reflectance tracker(SensoMotoric

Instruments GmbH, Teltow/Berlin. Germany) Ø サンプリング率 50Hz Ø 20-msの時間間隔で眼球運動データをとる Ø 自動的頭部運動の補正装置あるが、被験者の視野を制限する

2006/Nov./28 輪講 Wu Raychi

- 5 -

l 実験刺激（Fig.１） Ø AV（year）・QV（oil／gas）共に（最大値が 9、最小値が 0）10段階 Ø 120 質問作成 ² これらのデータに基づき ² それぞれ（given location）と（target locatoin）を含む ² 3 given variables X 2 required variables X 10 variable value X 2

graphs ² 最小限文字数でグラフの上方に質問提示

質問種類 given Target 例 QV-QV QV QV gas = 2, oil = ?

QV-AV QV AV gas = 6, year = 197? oil = 3, year = 198?

AV-QV AV QV year = 1978, gas = ? l 実験手続き Ø 被験者は同じ質問 60題を 2種類（1970’s／1980’s）のグラフを用い解答する Ø ただし質問 120題（試行）はランダムに提示（グラフ種類は試行ごと交替） Ø 答えを見つけたら出来るだけ早く画面（Fig.３）上の Answer をクリック Ø 画面上から質問とグラフは消され Ø 反応時間は、質問提示された時点からマウスのクリックしたまでの時間 Ø 0 から 9までの数字から答えを選択させる Ø 事前に実験装置の操作練習する時間ある

Results Participants' graph familiarity（表１） l 実験直後、2種類のグラフに対する熟知程度の主観評定 Ø encounter frequency ² 2 種類のグラフ過去の使用頻度（高、中、低）を聞く

Ø Familiarity ² 実験中に使用した 2種類のグラフをどれぐらい知っている ² 9 段階評定（１＝よく知らない、９＝よく知っている）

Ø 分散分析の結果 ² Familiarity（F(1, 42)=14.16, p<.001） ü function > parametric

² encounter frequency ü 高と評定された部分、function > parametric ü 低と評定された部分、function < parametric

2006/Nov./28 輪講 Wu Raychi

- 6 -

l もう一つの熟知程度指標：グラフを熟知するまでかかる練習／読む時間（Fig.２） Ø 実験前、2種類のグラフ（提示順序はランダム）を詳しく読ませる存分な時間

を与え熟知と思うなら、キーを押して画面上のグラフを消せてから次へ進める Ø 条件間有意差あり（F(1, 80)=14.51, p<.001） ² function < parametric ² 1st function < 1st parametric （2.4s）有意差なし ² 2nd fucntion < 2nc parametric （4.2s）有意差なし ² よく知らない種類のグラフ（parametric）と思ったのに、より長く読む時

間をかからなかった Response accuracy and latency data（表２） l 正答率 Ø 質問種類の主効果あり；F(2, 239)=28.187, p<.01 Ø 2 種類のグラフ共に、AV-QV > QV-AV > QV-QV

l 反応時間 Ø 質問種類の主効果あり；F(2, 239) = 18.447, p <.01 →グラフ年代のゆえと解釈できる （1980’s、特に function graphsの方がより時間をかかった）

function graphs parametric graphs グラフ知覚特徴の違い 1970’s 石油の方は山のような形をする 1980’s 特別なし

AV-QV 条件、1980’s >1970’s 1980’s は逆時計回りのため

Ø グラフ年代の主効果あり；F(1, 239) = 5.76, p<.05 Ø グラフ種類と質問種類に交互作用あり；F(2, 239) = 36.314, p<.01 Ø グラフ種類、質問種類とグラフ年代に交互作用あり；F(2, 239) =3.913, p<.05

l 今までの結果は GBR分析の仮説と一致 Ø 以降 ACT-R/PM モデルを構築 Ø 及び眼球運動分析の Y軸データをとるために、 Ø 更に実験画面を７つ領域に分割（Fig.3）

l （Carpenter & Shah, 1998）グラフ理解に関する研究、６つの subgoals Ø 質問を読む Ø Given variable より start 位置を確認 Ø Given locationを見出す、 Ø Given locationより target locationを見出す Ø Target variable を探し出す Ø 質問を回答

2006/Nov./28 輪講 Wu Raychi

- 7 -

start location given location

QV-QV AV-QV function graphs QV-AV

X 軸か Y 軸 軸上にあるポイント

QV-QV X 軸か Y 軸 軸上にあるポイント AV-QV プロットされた曲線 曲線上のポイント parametric graphs QV-AV X 軸か Y 軸 軸上にあるポイント

l QV-QV 条件での RT、function > parametric Ø 走査パスは少ないと解釈できる。 Ø parametric （question, x/y axis, graph, x/y axis, answer） Ø function （question, y axis, graph, graph, y axis, answer）

l QV-AV 条件での RT、function > parametric Ø parametric（question, x/y axis, graph, answer）、同じ X軸（x= 0） Ø function（question, y axis, graph, x axis, answer）、異なる領域

l AV-QV 条件での RT、AV-QV < QV-AV < QV-QV Ø function（question, x axis, graph, y axis, answer）、走査パス数は２歩 Ø parametric（question, graph, x/y axis, answer）

Eye movement data 各試行の画面の７つ領域に頻度及び留まる時間、領域間の移動パターン l （Carpenter & Shah, 1998）term gaze を使い Ø to refer to a sequence of consecutive fixations on a display region Ø that is unbroken by fixations in other regions

Ø 凝視：100ms以上 Ø 全 480 試行、28試行（ノイズ）を除去

l 領域間の平均移動回数（表３） Ø GBR の予測より（3、4回）多くなった。 Ø 主に軸とグラフ或いはグラフと質問の間にある。 Ø 全試行の 31％、ある軸を一度凝視からグラフへ移り、再び凝視することあり ² パイントと数値の対応を確認するためと考えられる

Ø 全試行の 62.7%、質問を一度凝視からグラフへ移り、再び凝視することあり ² うちの 48.0%、one further transition ² うちの 11.9%、two additional transitions ² うちの 2.8%、three or more transitions ² 被験者のストラテジー（質問要素と関連する）と解釈

2006/Nov./28 輪講 Wu Raychi

- 8 -

l 初期 3つの要素をコーディングするが、問題解決プロセスを維持するに、且つ認知負荷の制限で特定の部分を再コーディングする必要がある。（Peebles & Cheng, 2001）

l 直接問題解決を 2つ段階を分けで認知負荷を軽減 Ø まず、given variable より、グラフ中の given locationを確定 Ø 次に required variable より target locationを探し出す

l 被験者は後者のストラテジーへ変換し、記憶錯誤を避ける可能性もある l さらに Given variable は年代の場合、 Ø 被験者は年代を無視し、直接に X 軸か Y 軸から該当数字を検索

l ACT-R/PM モデル（Byrne & Anderson, 1998）概略 Ø ACT-R（Anderson, 1993; Anderson & Lebiere, 1998）に知覚運動機能を追加 Ø EPIC（Kieras & Meyer, 1997）による Ø 本研究 ACT-R5.0を使用

以下 http://ja.wikipedia.org/wiki/ACT-R より ACT-R の最も重要な前提は、人間の知識が 2つの根源的な種類に分けられる、ということである。その 2つとは、「宣言的記憶」と「手続き的記憶」である。 ACT-R のコード内で、宣言的知識は「チャンク; chunks」という形態で表現される。これはすなわち、個人の属性のベクトル表現であり、それらに対して個別のラベルを付されたスロットからアクセス可能となっている。 チャンクは「バッファ」を通してアクセス可能である。バッファは「モジュール」のフロントエンドであり、モジュールとは脳内のほぼ独立した機能部分を意味する。 モジュールには、以下の 2種類が存在する: 知覚運動モジュールは、実世界（すなわちシミュレーションされた実世界）とのインターフェイスを受け持つ。ACT-R で最もよく開発された知覚運動モジュールは視覚モジュールと手のモジュールである。 記憶モジュールは以下の 2種類がある 宣言的記憶は、事実を保持する。例えば、「合衆国の首都はワシントン D.C.」、「フランスはヨーロッパの国家」、「2+3=5」など。 手続き的記憶は、プロダクションから構成される。プロダクションとは、人間の行為の方法に関する記憶である。例えば、キーボードで "Q" をタイプする方法、車を運転する方法、足し算をする方法などである。 全てのモジュールは対応するバッファを通してのみアクセス可能である。ある時点のバッファの内容は、その時点の ACT-R の状態を表している。手続き的記憶モジュールは例外で、ここには手続き的知識が格納され、それを適用する。従って、アクセス可能なバッファを持たず、他のモジュールの内容にアクセスするのに使われる。

2006/Nov./28 輪講 Wu Raychi

- 9 -

手続き的知識は「プロダクション」の形式で表現される。「プロダクション」という用語は ACT-R が一種のプロダクションシステムであることにも由来しているが、実際プロダクションは主に皮質（バッファ）から基底核、基底核から皮質という情報の流れを形式的に表現するものと言える。 各瞬間に、バッファの現状と一致するプロダクションを検索するパターン照合器が動作する。ある瞬間には 1つだけプロダクションが選択され実行される。プロダクションを実行するとバッファの内容が変更され、システムの状態が変化する。従って ACT-R における認知は、プロダクションの逐次的実行として展開される。 l ACT-R/PM models of the experiment Ø A description of the models Ø Read the question Ø Identify the start location Ø Identify the given location Ø Identify the target location Ø Identify the target value the enter the answer

How learning affects the models' behaviour over time Ø 特に質問の required variable 位置を学習が RT を減少に有効

Comparing the models to the experiment data l GBR より精確に RT を予測できるようにこそ ACT-R/PM Ø 熟知程度より高いほう（質問条件ごと 60試行）のデータを使用 Ø function／parametric それぞれ 20回を計算

l Modeling task completion times（Fig.４） Ø base-level learning parameter のみ設定（default =.5から.93） Ø 学習率及び宣言的知識／記憶衰えるに関する Ø parametric graph models 説明率 87%（R2 = .868, RMSE=.123） Ø function graph models 説明率 66%（R2=.664, RMSE = .199） Ø AV-QV 条件は実験データより大きい数値

l Explaining eye movement data（Fig.５／Fig.６） Ø Answer region Ø Given value(Fixation 1) Ø Given variable(Fixation 2) Ø Check the axis(Fixation 3) Ø Given value(Fixation 4) Ø Given location(Fixation 5) Ø Require variable(Fixation 6) Ø Return to given location(Fixation 7) Ø Require value(Fixation 8) Ø Answer button(Fixation 9)

2006/Nov./28 輪講 Wu Raychi

- 10 -

2006/Nov./28 輪講 Wu Raychi

- 11 -

2006/Nov./28 輪講 Wu Raychi

- 12 -

2006/Nov./28 輪講 Wu Raychi

- 13 -