2009/05/25 担当：田村

’Confirmation bias’ in rule discoveryand the principle of maximum entropy

Hoenkamp, E.Proceedings of the 11th Annual Conference of the Cognitive Science Society, (1989), 651 – 658

INTRODUCTION

一度，理論（考え・仮説）が生成されると，人は反証事例よりも確証事例を探す傾向にある

（確証バイアス）

• さまざまな分野で確認されている

◦ 推論 (Wason & Johnson-Laird, 1972)

◦ 社会的認知 (Snyder & Swann, 1978)

科学の哲学者たちは，反証（事例）の探索の重要性について指摘してきた (e.g., Popper, 1962; Platt,

1964)

• しかし，人々が実際に行っている方法と，するべき方法（反証の探求）には食い違いがある

本研究では・・・

• 人がルールに基づいた実際のデータの集合から，規則を発見する方略について

• 情報量に基づく Bayesianアプローチで検討する

EXPERIMENTS ON RULE DISCOVERY

Waison (1960)の 2-4-6課題

• 三つ組み整数の規則を予測することを参加者に要求

◦ 参加者に，はじめに 2-4-6が規則に合う事例であることを提示

◦ 参加者は 3つ組整数の事例を生成し，実験者はそれが規則に合うか否かをフィードバック

◦ 参加者が規則を予測したら，実験者に知らせ，正解か否かをフィードバック

◦ 正解は “上昇する数列”1

2-4-6課題の回答例．(+)は規則に合う事例を，(-)は規則にあわない事例を指す．

1(cf) 各数値を 2 桁までの正の整数とした場合，16%程度

1

2009/05/25 担当：田村

2-4-6課題の発展（確証バイアスが強いバイアスであることを示した研究）

• Mynatt et al. (1977), Tweney et al. (1982)

◦ 反証を促進するように試みた研究

• Gorman & Gorman (1984)

◦ より大きい（generalな，broaderな）規則を使用

• Gorman, Gorman, Latta, Cunningham (1984)

◦ 協同で実施

• Mitroff (1974)

◦ NASAの研究員に対する調査（仮説に対して確証検証を好む傾向を指摘）

これらの研究結果（確証検証を好む傾向）が示すものは・・・

◃ 人々は本当に間違えた方略を行っているのか？

→ 確証バイアスがあらわれる状況下で，最適な検証方略の存在を示す

CHOOSING AN OPTIMAL TEST STRATEGY

（系列的検証における）検証方略が “最適である”と示す方法

1. 合理的な基準を定義し，それと合うか否かを判定する方法

• Popperの反証の原理 (Popper’s falsification principle)など

2. 最も効果的な方略を選択するとし，それと比較する方法

• （本研究で採用）

（用語など）

◃ 確証方略 (confirmatory strategy)

• 仮説を支持する事例を用いて検証する方略2

• Wason (1960)で呼ばれていたが，混乱を招くとして後に正事例検証 (positive test)と呼ばれる (Wason & Wetheric, 1962)

◃ 正事例検証方略と Popper’s falsification principle

• Klayman & Ha (1987)も正事例検証（方略）という用語を使用

• 仮説に対する反証を確率的に得やすい方略として解釈

∗ Popper’s falsification principleに反しない

2系列を指すものではなく，単一の検証 (test) を指す

2

2009/05/25 担当：田村

INFORMATION CONTENT OF A TEST

指標として，（平均）情報量を使用

• ある事象 ai が起こる確率が pi だとすると・・・

◦ H(p1, p2, . . . , pn) = −∑n

i=1 pi × log(pi)

• H はエントロピーと呼ばれ，ある確率が 1.0あるとき，エントロピーは 0.0となる

• 不確実性をあらわす指標（大きいほど不確実）

◦ その事象を知ることで，エントロピー分だけ曖昧さを低減できるとも言える

• エントロピーが最大となる事象を選択すると，もっとも曖昧さが減少すると考えられる

◦ 例えば，Figure 1(a)は，天秤の両側に 3枚ずつ乗せるとエントロピーが最大となる

仮説 (Hypothesis; H)と正解 (Target; T)の関係

• ある領域 (Domain; D)における Hと Tの関係は Figure 2で示したとおり

3

2009/05/25 担当：田村

• positive test （黒い矢印）

◦ H ∩ T : 仮説を支持

◦ H ∩ Tc : 仮説を反証 3

• negative test （灰色の矢印）

• p+を positive test，p−を negative testとすると，それぞれは以下のようにあらわすことができる

S+ =

[H ∩ T H ∩ Tc

p+ 1 − p+

]S− =

[Hc ∩ T Hc ∩ Tc

p− 1 − p−

]

• また，p+，p− は条件付確率で求めることができる

◦ p+ = P(T|H)

◦ p− = P(T|Hc)

特徴

• p+ や p− が 1.0や 0.0の値を取りうる

◦ 片方がもう片方を内包する状況にもなりうる

∗ 例えば，p− = 0.0では Hが Tを内包する

∗ 換言すると，仮説がとても一般的であり，positive testが効果的である

• どちらの方略 (positive test/negative test)でも，情報量の最大値は等しい (1 bit)

◦ H(S−)は p+ に依存し，H(S−)は Hと Tの重なりにのみ依存する

◦ H(S−)は結局，領域のサイズに依存するため，正事例検証方略が悪く見えない

COMPARING THE INFORMATION CONTENT OF BOTH STRATEGIES

• 正事例検証方略がより効果的になるためには，以下の条件であることにより説明できる

◦ H(S+) > H(S−)

• 上記から，以下の 2つの不等式が成り立つ 4

1. p+

p− > 1 (x2)

2. p+ + p− < 1 (x3)

• (x2)の式とベイズの定理から以下のようにできる

P (H|T)P (Hc|T)

=P (T|H)P (T|Hc)

× P (H)P (Hc)

◦ P (T|H)/P (T|Hc)は尤度

◦ これが 1.0より大きいとき，データは診断的であるといわれている

→ 正事例検証方略が最適であるためには，正解 (T)が仮説 (H)に対して診断的である必要がある

3Tc は T の補集合4式の詳細や，前提条件は原論文を参照

4

2009/05/25 担当：田村

APPLICATIONS OF THE THEORY TO EXPERIMENTAL FINDINGS

Wason’s 2-4-6 induction task.

• 参加者の初期仮説は “上昇する偶数列”であった（正解は “上昇する数列”）

◦ これは，正解 (T)が仮説 (H)を内包する

• この場合，P (T|H) = 1 = p+ であり，(x3)は満たさない

◦ よって，反証事例検証方略 (negative strategy)が望ましい（まさにこれがこの実験が示したことである）

The ‘first confirm later disconfirm’ strategy

• たとえば，Gorman & Gorman (1984)

• 規則発見に成功した参加者の方略

◦ 仮説検証の初期段階では正事例検証方略を用い，後に反証事例を用いるようになる

• 初期の p+ が減少していく

◦ しかし，p− は変化しない

◦ やがて (x2)を満たさなくなり，反証事例検証方略へシフトする

The ‘win-stay, lose-shift’ strategy

• 一度，強化された仮説は，その後，他の反応（仮説）が強化されても残る

◦ 仮説が変更されるのは，反証事例に遭遇したときのみ (Trabasso & Bower, 1968)

• これは，p+ > .5という制限下でのみであるが，説明できる

◦ 仮説集合の半分以上が正解集合と重なっている状況

Positive strategies work better for groups

• (x2)は正事例検証方略が診断的である必要があることを示した

◦ 確率見積もりにおいて，人が尤度を無視する傾向があることも知られている 5

(Kahneman, Slovic & Tverski, 1982)

• しかし，診断は特定の情報収集方略において主な決定要因である (Trope & Bassok, 1982)

◦ 人は比較する機会が与えられたとき，仮説に対して極めて診断的になる

• そのため，(x2)を満たすのだろう

◦ 実際，グループで正事例検証方略を用いると，個人よりよいパフォーマンスが得られる(Gorman, Gorman, Latta & Cunningham, 1984)

5つまり，人は正しく確率を見積もっていない

5

2009/05/25 担当：田村

A negative strategy doesn’t work if the rule is too general

• Tが領域 Dの大半を占めたとき，H(S−)が減少する

◦ 規則がより一般的になったとき，検証あたりの negative testによって得られる情報量が少なくなる

• Gorman & Gorman (1984)

◦ オリジナルより一般的な規則を使用

∗ 少なくとも 1つは偶数

∗ 同じ数字のペアがない

◦ 反証事例検証を促しても，規則発見に至らなかった

Klayman and Ha’s approach

• 仮説の予測を最も反証しやすい方略が選択される (Klayman & Ha, 1987)

◦ 正事例検証方略は P (Tc|H) > P (T|Hc)のとき選択されやすい

◦ 例えば 1 − P (T|H) > P (T|Hc)は (x3)を満たす

• 現実の多くの状況では (x3)を満たす，つまり正事例検証方略が多くの場面で最適であると指摘

◦ しかし，(x2)については考慮していない

◦ (x3)を満たし，(x2)を満たさない実験条件で検証してみると興味深いかもしれない

∗ 正事例検証方略は反証することに高い確率を示し∗ 反証事例検証方略は理論を変えるためによい情報をもたらすだろう

CONCLUSION

この論文で示したこと

• 人の実際の規則発見活動と，合理的な基準による方略を比較した

◦ 検証系列としての発見活動が最適であることを示した

◦ 多くの現実状況下で，正事例検証方略が最適であることを示した

今後の展望

• 先行研究で示された正事例/反事例検証方略のメリットを分析する

6