제 2 장 평가도구의 질 판단 기준

1. 타당도

20130239 초등교육과 김희연

I. 타당도란 ?

II. 타당도의 전통적 관점

III.타당도의 통합적 관점

목차

I. 타

당도

란?

1. 타당도의 정의

타당도 (validity) :

검사도구의 질을 판단하는 기준 중 평가의 목적에 비추어 가장 근본적인 기준

검사도구가 ‘무엇’을 측정하고 있는가와 관련된 개념 !

실제 검사도구가 측정하고 있는 것이 검사도구가 측정하려고 하는 것과 얼마나 근접하는가 ?

1. 타당도의 정의

타당도에 관한 Question

Q. 이 검사가 실제 무엇을 재고 있느냐 ?

Q. 이 능력 , 성질 , 특성을 어느 정도로 재고 있느냐 ?

타당도는 근본적으로 대한 질문

적절성 여부

I. 타

당도

란?

II. 타

당도

의 전

통적

관점

1. 전통적 관점 - 타당도의 종류

내용타당도

구인타당도준거타당도

• 예측타당도• 공인타당도

2. 내용타당도

평가도구가 그것이 평가하려고 하는 내용 ( 교육목표 ) 을 어느 정도로 충실히 측정하고 있는지를 분석 측정하려는 것

정의

내용타당도의 준거 =교육목표

교육목표의 세분화 이원분류표 작성

검사의 타당성 ↑필요조건

II. 타

당도

의 전

통적

관점

2. 내용타당도

내용타당도를 결정하는 요인

- 이 평가도구가 처음에 의도했던 교육목표에 비추어 보아 적절한가

- 문항내용이 교과내용의 중요한 것을 빠뜨리지 않고 충분히 포괄하고 있는가

- 문항의 난이도가 학생 집단의 성질에 비추어 보아 적절한가

- 문항의 표본이 모집단을 잘 대표하고 있는가

이러한 내용타당도의 추정은 검사 내용에 대한 전문가의 판단에 기초 !

전문가의 주관적 판단에 의해 검사의 타당성에 대한 판단이 이루어 지므로 주관성이 많이 개입된다는 단점이 있다 .

II. 타

당도

의 전

통적

관점

3. 준거타당도

하나의 지표를 사용하여 측정한 결과를 다른 기준지표를 사용하여 측정한 결과와 비교했을 때 나타난 관련성의 정도

= 선행검사 ( 점수 )X 와 준거 ( 행동특성 )Y 와의 상관계수

II. 타

당도

의 전

통적

관점

정의

예측타당도 공인타당도

기존의 검사가 미래의 행동을 얼마나 잘 반영하고 있는지와 관련

기존의 타당도가 검증된 도구가 현재의 실제 행동을 얼마나 잘 반영하고 있는가와 관련

3. 준거타당도

행동의 준거

미래 현재 ( 동시에 )Ex)

입학성적이 높은 학생이 입학 후에도 학업성적이 높다면 그 입학시험의 예측타당도는 높다 .

Ex)교과흥미검사의 결과가 미술에 흥미가 있다고 나타난다면 학생은 미술활동에 적극적이어야 한다 .

VS

어떤 평가도구가 목적하는 준거를 정확히 예언하는가

II. 타

당도

의 전

통적

관점

3. 준거타당도

예측타당도

장점 - 미래의 행위에 대한 예언을 하기 때문에 선발 , 채용 , 배치 등의 목적으로 사용 가능

단점 - 동시에 측정 불가- 검증하기 위해 시간적 여유가 필요 ,- 다른 원인으로 인해 준거가 훼손되었을 가능성도 있음

공인타당도

장점 - 평가도구의 실제적 의미를 풍부히 해주고 활용하는데 유용한 정보를 제공- 새로운 연구의 아이디어를 제공

단점 - 기존 검사가 없을 경우 공인타당도를 확인할 수 없음- 기존 검사에 의존적인 경향이 있음

II. 타

당도

의 전

통적

관점

한 검사가 조작적으로 정의되지 않은 어떤 특성이나 성질을 측정하려고 했을 때 , 검사가 심리적 특성을 구성하고 있는 구인들을 얼마나 잘 포함하였느냐의 정도

4. 구인타당도

검사 성취에 반영되어 있다고 짐작되는 인간의 가정적 속성Ex) 지배성 , 자아개념 , 사고력 , 학습동기 , 성취동기 , 불안 등

아직 조작적으로 정의되지 않고 , 과학적으로 이론이 제대로 정립되지 않은 새로운 개념 혹은 구인을 측정하는 검사에 과학적 이론과 타당화를 부여하는 과정

“ 이 특성을 가진 사람은 X 라는 상황에서 Y 의 행동을 보일 것이다＂

검사 자체보다도 준거의 확인과 이론형성이 중요 !!

조작적으로 정의되지 않은 구인의 성질에 관한 법칙을 정립하기 위한 과정이므로

II. 타

당도

의 전

통적

관점

정의

( )

검사점수 혹은 검사결과의 원인이 될 구인이 무엇인지를 시사하는 과정

이 구인에 관련된 이론의 상정과 이 이론에서 추리할 수 있는 가설을 추출하는 과정

이 가설을 검증하기 위해 경험적 연구를 실행하는 과정

4. 구인타당도* 구인타당도를 검증하기 위한 일반적 절차

관찰 및 검사의 이론적 분석을 기초로 한 상상적 행위로 이루어짐

과학의 논리적 조작에 의존

* 구인타당도를 밝히는 과정에서는 모든 형태의 연구방법이 쓰인다 !

이론을 정립하기 위해서는 적절하다고 생각되는 모든 방법이 필요하기 때문

따라서 , 구인타당도의 정도를 어떤 단일한 지수로 표현할 수 X

II. 타

당도

의 전

통적

관점

타당도의 통합적 관점의 바탕이 됨

III.타

당도

의 통

합적

관점

1. 통합적 관점의 의의

1970 년대 초 , 학자들은 한 검사의 타당도 검증의 대상은 그 검사 자체가

아니라 검사 점수로부터 유추되는 해석과 추론이라는 것을 인식

구인타당도에 내재된 원리를 모든 타당화의 원리로 확대함으로써 타당화 과정을 과학적인 이론 검증의 과정과 동일시한다 .

통합적 관점은 타당화 과정에서 가치와 검사 활용의 결과를 명시적으로 고려한다 .

타당도는 관련된 모든 증거들을 활용하여 검사 점수의 해석에 대해 내린 종합적이고 평가적인 판단이다 .

타당화 과정은 사실상 평가이다 .

[ 타당도에 대한 통합합적 관점의 특성 ]인식변화의 결과

III.타

당도

의 통

합적

관점

2. 타당도 증거

(1) 검사내용에 기초한 증거

검사의 내용 영역의 적절성이 검사 점수로부터 추론되는 특정한 해석과 연결된다

(2) 반응 과정에 기초한 증거

측정하려는 구인과 수험자의 반응과의 적절성에 관한 것이다

(3) 내적 구조에 기초한 증거

검사문항과 검사 구성 요소간의 관계가 검사 점수 해석의 기반이 되는 구인과 일치하는 정도를 나타낸다

(4) 다른 변수와의 관계에 기초한 증거

검수 점수와 외재적인 변수간의 관련성이 검사 점수를 해석하는 데 기반이 되는 구인과 얼마나 일관성을갖는지를 분석한다

(5) 검사결과에 기초한 증거

의도하거나 의도하지 않은 검사 사용의 결과를 분석하는 것이다

감사합니다 ^^