20150321 医学:医療者教育研究ネットワーク@九州大学

2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health

　　医学/医療者教育研究ネットワークリサーチ合宿＠九州大学

質問紙の設計と改善2015年3月21日

京都大学大学院医学研究科医療統計学分野 / 医学教育推進センター

廣江貴則Facebook: takanorihiroe

e-mail: [email protected]

mailto:[email protected]


ある日の机＠東京


SELF INTRODUCTION

•汎用統計家（21世紀で最もセクシーな職業らしい）

•生物統計学，情報工学，人間工学など

•ヒトの行動を”測る”ことに興味がある

•手に負えなくなった質問紙の後始末をしていたら，　いつのまにか質問紙の話をするようになっていた


OUTLINE

1. 質問紙の設計概論

2. 選択式回答 / 尺度項目のつかいかた

3. デモグラフィックをどう扱うか

4. 量と質のバランス

5. 実際の質問紙を検討して改善案を出してみよう　　　　（すぐに作れたら誰も困らないので）


OUTLINE







質問紙の限界

•知識や技術があるかどうかは質問紙では測れない

•分かったかどうかはテストでやるべきこと

•テストと意識させないようにテストを質問紙の中に　仕込むことは技法のひとつとしてやられている

•（真の）態度の変化は質問紙法でたぶん測れない

•ベースラインの情報を複数回とるなら別の話


漠然と訊ねてはいけない

•明確な目的と見通しを持った調査を

•目的や用途に応じて欲しい結果は変わってくる

•プログラム評価用 / 改善用 / 予算獲得用 / 論文執筆用

•対象者や制約条件は早い段階で明確にしておく

•質問紙調査でもサンプルサイズ設計が必要な場合も


検討をしないとこうなる

•手遅れになります

•「なんでこんな状態になるまで放置していたんですか！」


•仮説検証型調査

‣狙って取りに行く

‣仮説をたてる

‣仮説の検証が目的

‣仮説は直感でもよい　(先行研究でもよい)

•仮説生成型調査

‣広く傾向を知る

‣仮説の設定は不要

‣実態把握が目的

‣二次調査が要る場合が多い

調査のタイプ（ざっくりと）


出所：　“質問紙法による本調査実施までの各プロセスの関連性”, 鈴木淳子(2011)


設計におけるふたつの疑問1. なにを聞くか

•質問の内容については近年検討されるようになってきた

•当該領域の専門家が複数人でやるべき仕事

2. どうやって聞くか

•尺度の選び方，質問文や回答項目の設計，紙面のデザイン

•紙面や回答時間の制約があるので質問を作る力量が問われる

•専門家だけでは残念な結果になることも少なくない


QUESTIONING SKILL

「カレーライスを作るので材料を買ってきてほしい」

• 相手が想像通りのカレーを作る材料を揃えられるか

•グループ内でひとりが回答者役

•回答者は聞かれたことのみ答える（答えなくてもよい）

• 残りの人は質問をしてカレーの材料リストを作る

•制約条件：合計４つしか質問ができない


簡単には身につかない

•日常会話で訓練する

•質問紙は渡したら（会話と違って）書いてもらうだけ

•効率的な質問をすることを意識してみる

•臨床家なら持ち合わせているはずだが，専門分野以外でうまく使えない人が少なくない

•教育に携わる人には質問紙に限らず重要なスキル


OUTLINE







選択式回答とか尺度とか•簡単そうに見えて（実際作れて）実は厄介な問題

•量的なアプローチ

•ラベルに注意

•（AMEE Guide #87; Developing questionnaire for educational research )

•信頼性や妥当性を検討してから使うべき

•既にあるものを使うのが一番気が楽だが…

•細かな手法の一部はAppendixに収載


OUTLINE







デモグラフィック

•性別，年齢，職業，職種，年収，経験年数，etc.

•どんな調査にもほぼ含まれる内容

•分析の基礎となる

•質問の仕方や内容によっては答えてもらえない

•不必要な項目は無駄に聞かない方が得策？

•どんな分析をするか分からないのでとりあえずとっておく？


冒頭か最後か

•デモグラフィックは最初に置くか，最後に置くか

•冒頭は忘れられにくいが，警戒されることも

•最後は最近の流行だが，忘れられるリスクあり

✓プライバシーの問題がなければ最初も可

✓他人に知られたくないようなことを書かせる場合は　　最後にしたほうが良いかも知れない


経験年数に注意•人によって解釈が変わる極めて厄介な変数

•初期研修は含む？含まない？

•免許取得後の年数

•現在の組織に入職してからの年数

•現在の部署に配属されてからの年数

•解釈が変われば結果も変わる

•記憶バイアスに注意


記憶バイアス(記憶効果)

• 過去の出来事や行動についての質問

• 時期(X年前)もなかなか思い出せない

• 記憶質問に対する回答の信頼性は低い(直井, 1998)

• 結果は参考程度にとどめる必要がある


嘘と無回答は扱いが難しい

•嘘を嘘と見抜くことは難しい

•外れ値という理由のみで除外することはできない

•質問紙は基本的に一往復で終わり

•無回答には二種類ある

•意図的な無回答 / 単なる回答忘れ

•嘘なく，必要な人にもれなく答えてもらう工夫が必要


FILTER QUESTION•回答者を分類するための質問

•必要な人だけに，その先の質問に答えてもらう

‣適当な回答，嘘の回答を防ぐ方法のひとつ

❖【質問1】あなたは新聞を読みますか？（はい or いいえ）

❖【質問2】質問1で「はい」の方にお尋ねします．

　　　　　 1日に何分くらい新聞を読みますか？


OUTLINE







選択式回答法•長所

‣回答が簡単

‣全員が共通の枠組みで回答してくれる

‣数値/コード化可能

‣統計解析がしやすい

•短所

‣選択肢設定が難しい✓ 選択肢以外に選べない

✓ バイアスが生じやすい

‣無回答の場合の解釈が難しい‣ 意図的無回答 or 忘れ


自由回答法•長所

‣選択肢の制限がなく自由に回答可能

‣回答の幅が広い✓ 多様なデータが集まる

‣事前の予想を超える回答が得られる

•短所

‣回答に時間を要する

‣無回答が多い

‣質問と無関係の回答✓ 方向性を定めにくく，言いたい放題になる

✓ 質問設計が難しい


選択式でも回答は面倒

•選択式回答が多ければよいわけではない

•自由回答よりは気楽だが，それでも多いと辛い

•両極選択バイアスが生じる可能性

•人間は一度面倒に感じると，その後は適当に片付ける

•「自分でやってみてください．全部答えますか？」


両極選択バイアス

• 選択肢が多い場合に生じる

• 最初か最後の選択肢を選ぶ傾向

• 面倒になって全てに目を通さない

• 項目数の見直し，類似の質問のグループ化で対処

‣多項選択では，多くても8～10項目


自由記述はもっと面倒

•好きこのんで回答などしたくないのが一般的

•「自分でやってみてください．全部答えますか？」

•強い意見や意思を持つ人がたくさん書く傾向

•バイアスがあるので，全体の要約にはなりにくい

•とはいえ，多くの人に書いてもらう工夫が必要


自由記述への処方箋(1)

•限定的記述質問 (Specific answer question)

•事実，行動，嗜好などの情報に対する質問に適する

•単語または１行程度，ちょうどいい回答スペース

印象に残った教育技法を３つまで挙げてください　　　　　　（　　　　　　）（　　　　　　）（　　　　　　）



•文章完成型質問 (Sentence completion question)

•文頭だけ提示して文章を完成させる

•記述内容について誘導可能

この研修で最も印象に残った話は　　　　　　　　　　　　　　この研修の改善点は　　　　　　　　　　　　　　　



•短文/単語回答型質問 (Short-answer question)

•どんな回答が得られるか予想できない場合

•短い言葉で答えられる質問設計

今年の年度末を楽に過ごすためにあなたが最も重要だと考えることは何ですか．分からない　方は「分からない」お答えください．


量と質のバランス•どんな項目であれ，多すぎるとろくなことはない

•回答内容がある程度予想できるものは選択式

•回答が全く予想できないものは自由記述

•自由記述では論点を絞って訊ねる / 書いてもらう

•同時にいくつものことを訊いてはいけない

•回答者が「意識が高い人」なら全部自由記述でも可


DOUBLE-BARRELED QUESTION

• 二重質問

• 1つの質問に2つ以上の異なる論点を含む

• 専門家もやらかす，頻度の高いミス(Azzara, 2010)

• 選択肢を増やすか，質問を分割して対処

• 論点並列型と論点従属型


ここまでのまとめ

•役に立たない質問紙調査が増えている

•なにを訊くかと同時にどうやって訊くかも重要

•たいていの場合は複数回訊くことはできない

•質問文の設計が極めて難しい（複数人でやるべき）

•選択式回答は選択肢をよく検討する

•自由回答はスペースに気をつかう（箱や括弧を使う）


OUTLINE


2. 尺度のつかいかた





課題

３人前後のグループでやってみましょう

1. 渡されたアンケートの問題点を挙げてください

2. その問題点について解決策を示し，修正してください

3. そのほか，改善すべき点があれば示してください

4. 最後にそれを発表してください


おつかれさまでした

•質問があればどうぞ（あと，一応統計家です）

• e-mail: [email protected]

• Facebook: takanorihiroe

• Weblog: http://www.thiroe.net

• SlideShare: http://www.slideshare.net/thiroe

http://www.slideshare.net/thiroe


APPENDIX


参考資料1：選択式回答法


選択式回答法の形式

•二項選択法・Filter Question

•多項選択法（択一 / 複数選択 / 限定選択）

•順位法（完全順位法 / 一部順位法）

•恒常和法

• Likert Scale　　など


選択式回答法の原則

•複数の解釈が可能な質問を作らない

•経験年数の例

•複数の解釈が可能な選択肢を作らない

•該当する選択肢がない状態を作らない

•選択する職種がないなど


二項選択法

•二択（２つにしか分類できないもの）

•２つの対立するカテゴリーを選択肢に

• Filter Questionにむいている

•嗜好や態度を把握するには限界がある

‣ e.g. アボカドは好きですか？ − 好き or 嫌い


多項選択法

• 3つ以上の選択肢を用いる

•複数の選択肢から1つ，または複数選択

‣大きく分類して3種類の方法(SA/MA/LA)がある

•選択肢が増えて，情報に現実味が増す

•全ての選択肢を検討させる工夫が必要


択一式(SA)

•複数の選択肢の中から１つだけ選択

•「好き・嫌い・どちらでもない」が一例

•回答しやすく，無回答が少ない

•得られる情報は限定的


複数選択(MA)

•複数の選択肢の中から該当するものを全て選択

•選択肢の数や配置が極めて重要になる

‣両極選択バイアス（最初 or 最後の選択が多い）

•重要な肢以外も「とりあえず」選ぶ恐れ

•最も重要なものに特別な印をつける方法も


限定選択(LA)

•複数の選択肢から指定された数だけ(まで)選ぶ

‣指定された数だけ必ず選ぶ場合(3つ選ぶ）

‣選択可能な上限を指定する場合(3つまで）

•不適当な回答を無理に選ぶ可能性がある

•制限数は全選択肢の1/3程度(酒井, 2001)


順位法

• 複数の項目について順位をつける

• 回答も分析も面倒(Friedman test)

• 項目数は3～7程度(Mangione, 1995)

• 完全順位法と一部順位法


完全順位法と一部順位法• 完全順位法

‣全選択肢について，順位付けを行う

• 一部順位法

‣順位付けする項目数を限定する　　　　　　　　e.g. 以下の7項目から重要だと思うものを3つ　　選び，1位から3位まで順位をつけてください


恒常和法

• 順位＋項目間の重要性の違いを測る

• 全項目に100% or 100点を与えて分配

• 分析が面倒　　　　　　　　　　　　　　　　(Conjoint Analysis/重回帰分析)


恒常和法の例•宝くじが当たったら何に使いますか？合計が

100%になるように，空欄に記入してください

1. 貯金　　（　　　　　）%

2. 旅行　　（　　　　　）%

3. 買い物　（　　　　　）%

4. 投資　　（　　　　　）%

5. その他　（　　　　　）%

　　　　　　　　　合計：100%


LIKERT SCALE(1/3)

•ライカート（リッカート）尺度(Rensis Likert, 1932)

‣例のアレ

‣評定法の一種(他には一対比較など)

‣尺度間の間隔が等しいと仮定

‣統計的処理が比較的容易だが…


LIKERT SCALE(2/3)

•評定段階は3～9の奇数段階が多用される

•段階が細かすぎると，回答も比較も困難

‣ 9段階尺度の回答の再現性は高くない(小嶋, 1975)

•中間選択肢を抜いて偶数にすることも

‣ 強制選択尺度(Forced-choice Scale)


LIKERT SCALE(3/3)

•数字との併用は推奨されない(Christian et al., 2009)

•ラベル付けをする場合は大小関係を明確にする

「非常に」「まったく」「かなり」

「やや」「まあ」「どちらかといえば」

「あまり」「ほとんど」「ぜんぜん」


片側のスケール

•片側の尺度

• 0, +1, +2, +3, +4 という形式（ラベルは数字でなくてよい）

• 0%(0), 25%(+1), 50%(+2), 75%(+3), 100%(+4) のイメージ

• 刺激を与えた場合に，何らかの反応はあるという仮説

• 両側で扱われるマイナスの評価は，0の中に包含する

‣ 正規分布しやすいため，分析が比較的容易


参考資料2：バイアス


バイアスってなに？

•意見や考え方，結果に偏りを生じさせるもの

•なにか調査をすれば必ず生じる

•種類は無数に存在（見つけたら命名できる？）

•結果の解釈をする上で厄介

•性質を理解して防げるものは防ぐ努力を


質問側に原因のあるバイアス

• 価値判断を含む質問

• 同調圧力

• Yes-tendency

• Halo effect

• 隠れた前提のある質問

• Double-barreled question


価値判断を含む質問

• 語尾に価値判断を含むと誘導

‣「～すべきだと思いませんか」

‣「～に困っていませんか」

- 回答者に明確な意見がない場合，質問文に誘導される


同調圧力

• 社会的(同調)圧力を伴うと誘導

‣一般に言われる / 社会問題化している

- e.g.　近年，政治離れによる投票率の低下が社会問題になっています．あなたは次回の国政選挙で投票に行きますか．(行く・行かない・未定)


YES-TENDENCY

• 「いいえ」よりも「はい」を選ぶ

• 知識の有無を問う際に顕著(山田, 2010)

‣「知らないことは恥ずかしい」

‣ 知識の確認は可能な限りテストですべき

• 同じ種類の質問を反復しても生じる


賛成？反対？

• 「あなたは○○に賛成ですか」

‣「賛成」に誘導される傾向

• 「あなたは××に反対ですか」

‣「反対」に誘導される傾向

✓「賛成ですか、それとも反対ですか」


HALO EFFECT

• 影響力が強い人名や組織，職業が回答を誘導　　　(辻ら, 1987)

‣「○○病予防の専門家である□□医師」

‣「△△学会の専門委員会」

• 権威に対して同調する(逆もある)


隠れた前提がある質問

• あなたは新聞を一日何分くらい読みますか

‣「新聞を読んでいる」という暗黙の前提

‣質問者の感覚 ≠ 回答者の実態

‣読まない人が0分と書くかどうか分からない

‣ Filter Questionで「読まない」人を排除


回答側に原因のあるバイアス

• 両極選択バイアス

• 社会的望ましさバイアス

• 中間回答バイアス

• 記憶バイアス(記憶効果)

• 極端反応バイアス


社会的望ましさバイアス

• 社会的に受け入れられやすい内容の回答

• 調査者が期待していると思う回答

‣授業・講習会後の評価によくある

‣改善目的のアンケートでは致命的


中間回答バイアス

• 評定法を用いる場合に生じる

• 中心化傾向(中間選択肢を選ぶ)

• 日本人に対する調査では非常に多い

• 避けたいなら偶数段階もしくは片側の評定を用いる


極端反応バイアス

• (たとえば5段階尺度で)両極の選択肢ばかりを　選択する傾向

• 回答者個人の傾向

• アンケート設計者は悪くない

• 回答は集計の対象外にするしかない


参考資料3：レイアウトと質問の順番


最低限やっておくこと

•倫理的配慮に関する記述

•質問項目に付番する(通し番号)

•回答方法(番号，単語に○など)の統一

•回答の進行指示(スキップする場合など)

•重要部分の強調(下線，太字など）


回答者の視点で検討する

• 回答者の立場でみると問題点が分かることが多い

✓ 括弧（　）の大きさ

✓ 文字のサイズ，色

✓ 行間，余白　etc.

✓専門用語や外来語，略語の使用


質問の順番をどうするか

•合計質問数

•重要な質問・デモグラフィック項目の位置

•事実・行動　→　意見・意識

•簡単な質問　→　難しい質問

•一般的な質問　→　個別の質問

•選択式　→　自由回答式

•総合評価　→　個別評価（見解が分かれるところではある）


質問順序と構成

•様々な考え方があり，一定の解はない

•関連するテーマはまとめる

‣次の質問に影響を与える場合は要注意

•重要な質問は中間付近に配置

•尺度項目が30を超えると回答が適当に(Dornyei, 2003)

Education

20150321 医学:医療者教育研究ネットワーク@九州大学