Validade dos testes psicológicos. PASQUALI, Luis. (1)

7/29/2019 Validade dos testes psicolgicos. PASQUALI, Luis. (1)

1/9

99

Psicologia: Teoria e Pesquisa

2007, Vol. 23 n. especial, pp. 099-107

Validade dos Testes Psicolgicos: Ser Possvel Reencontrar o Caminho?Luiz Pasquali1

Universidade de Braslia

RESUMO Desde o trabalho de Cronbach e Meehl dos meados do sculo passado, o conceito de validade dos testes emPsicologia e Educao vem perdendo o seu sentido original. Embora os autores quisessem precisamente salvar esse conceito,a introduo do modelo da rede nomolgica, concebida dentro da viso do positivismo lgico veio, na verdade, destruir oconceito de validade, originalmente concebido por Kelly na dcada de 1920 e, depois, por Cattell. O conceito de validade,finalmente, foi totalmente descaracterizado com a definio do mesmo dada pelo grande psicometrista Samuel Messick,em 1989. Parece fundamental que esse conceito seja redescoberto para salvar as bases da Psicometria. A exposio procuramostrar as confuses que o modelo da rede nomolgica introduziu em Psicometria e tentar recuperar o verdadeiro significadode validade no contexto das medidas em cincias psicossociais, em particular, em Psicologia e Educao.

Palavras-chave:validade; rede nomolgica; psicometria.

The Validity of the Psychological Tests: Is It Possible to Find the Way Again?

ABSTRACT Since the work of Cronbach and Meehl of mid last century, the concept of validity of the tests in Psychologyand Education has been loosing its original meaning. Despite the intention of the authors to precisely save this concept, theintroduction of the model of the nomological network, conceived within the framework of the logical positivism, was in factdecisive to destroy the concept of validity as originally conceived by Kelly in the 1920s and later on by Cattell. The concept ofvalidity was finally completely mischaracterized with the definition given by the great psychometrist Samuel Messick in 1989.It seems to be fundamental that this concept is rediscovered in order to save the bases of Psychometry. The present article willtry to show the confusion that the nomological network model brought to Psychometry and also to try to recuperate the realmeaning of validity within the context of the measures in psychosocial sciences, especially in Psychology and Education.

Key words: validity; nomological network; psychometry.

1 Endereo: LabPAM, Instituto de Psicologia, Universidade de Braslia,Campus Universitrio Darcy Ribeiro, ICC sul, Bloco A, Braslia, DF,Brasil 70910-900.E-mail: [email protected]

considerado o modo moderno de entender validade, in-clusive assumido pela American Psychological Association(APA, 1985), tornou o tema um verdadeiro zoolgico. Naverdade, voc vai encontrar na literatura tradicional e atualsobre o tema, especialmente a norte-americana, um elencosem fim de expresses ou tipos de validades que um testepode ter. Vejamos alguns deles:

1) Validade de construto (construct validity): o testemede um atributo ou qualidade que no operacionalmentedefinido; (Cronbach & Meehl, 1955).

2) Validade de contedo (content validity): o teste cons-titui uma amostra representativa de um universo de contedo(Cronbach & Meehl, 1955; Haynes, Richard, & Kubany,1995), alm de ser relevante (Messick, 1989).

3) Validade de critrio (criterion-oriented validity): o testeprediz um critrio externo (Cronbach & Meehl, 1955).

4) Validade preditiva (predictive validity): variedadeda validade de critrio, em que este medido tempora-riamente depois de obtidos os dados do teste (Cronbach& Meehl, 1955).

5) Validade concorrente (concorrent validity): variedadeda validade de critrio, em que este medido simultaneamen-te coleta dos dados do teste (Cronbach & Meehl, 1955).

6) Validade aparente (face validity): consiste em se terperitos revendo os contedos de um teste para ver se elesso apropriados em sua cara (Mosier, 1947, 1951).

A Confuso do Conceito Validade

A verdade surge mais facilmente

do erro do que da confuso

(Francis Bacon, 1869)

Ouve-se com mais freqncia ultimamente que umdado teste psicolgico que pode ser vlido numa situaono o em outra. Ou, ainda, que tal teste tem tal validadee um outro, uma outra. Inclusive, que existem nveis dife-rentes de magnitude de validade de um teste. Este modode falar sobre a validade dos testes psicolgicos , pelomenos, confuso.

Para tornar essa situao mais maluca, veio o grande

psicometrista Samuel Messick (1989, p. 13) dizendo oseguinte: Validity is an integrated evaluative judgmentof the degree to which empirical evidence and theoretical

rationales support the adequacy and appropriateness of in-

ferences and actions based on test scores or other modes of

assessment (validade um julgamento avaliativo integradodo grau em que evidncia emprica e racionalizaes teri-cas apiam a adequao e propriedade de inferncias e aesbaseadas em escores de teste ou outros modos de avaliao).Este modo de entender e definir a validade dos testes, que


2/9

100 Psic.: Teor. e Pesq., Braslia, 2007, Vol. 23 n. especial, pp. 099-107

L. Pasquali

7) Validade generalizvel (validity generalization): ainformao dos escores do teste deve ser generalizvel sobrepopulaes e tempo (Mosier, 1947, 1951; Messick, 1989).

8) Validade discriminante (discriminant validity): umteste tem validade discriminante se mostrar correlao nulacom um teste que mede um trao independente de persona-lidade (Campbell & Fiske, 1959).

9) Validade convergente (convergent validity): um testetem validade convergente se mostrar correlao alta com umteste que mede um trao de personalidade teoricamente rela-cionado ao que o teste mede (Campbell & Fiske, 1959);

10) Validade incremental (incremental validity): a questode se uma medida particular aporta poder explicativo sobree alm de outra media para predizer um critrio relevante(Bryant, 2000).

11) Validade fatorial (factorial validity): um tipo devalidade de construto em que testes so submetidos anlise fatorial para verificar se possuem varincia comum(caso em que se diz que esto cobrindo o mesmo construto)(Guilford, 1946).

12) Validade lgica (logical validity): um teste julgadovlido por peritos (Cronbach, 1949).13) Validade emprica (empirical validity): Cronbach (1949).14) Validade conseqencial (consequential validity): os

aspectos sociais dos escores dos testes devem ser levados emconta (Messick, 1989).

15) Validade intrnseca (Intrinsic validity): Gulliksen (1950).16) Validade substantiva (Substantive validity): validade

baseada em bases racionais ou tericas (Messick, 1989).17) Validade estrutural (structural validity): as respostas

devem ser internamente consistentes sobre diferentes partesdo teste (Messick, 1989).

18) Validade externa (external validity): os escores doteste devem se correlacionar com outras medidas ou variveisde fundo (Messick, 1989) ou a medida pode ser generaliza-da atravs de vrias situaes (Emory, 1985; Lnnqvist &Hannula, s/d ).

19) Validade interna (internal validity): so as validadesde critrio, de contedo e de construto (Emory, 1985; Lnn-qvist & Hannula, s/d ).

20) Validade de hiptese (hypothesis validity): uma medi-da tem validade de hiptese se, em relao a outras variveis,ela se comporta como dela se espera (Weber, 1990).

21) Validade indireta (indirect validity): o mesmo quevalidade de hiptese (Janis, 1965).

22) Validade posditiva (posdictive validity): o oposto devalidade preditiva (Haynes & cols., 1995).

23) Validade curricular (curricular validity): constituiuma extenso da validade de contedo e consiste em verificaro aumento da aprendizagem (se se descobre que h aumentode aprendizagem em dois testes com validade de contedo,ento se verifica validade curricular).

24) Validade diferencial (differential validity): validadede uma bateria de testes avaliada pela capacidade de predizerdiferenas no desempenho em dois ou mais critrios.

25) Validade cruzada (cross validity): confirmar a vali-dade dos resultados a partir de um novo exame com estudoemprico feito com uma segunda amostra independente.

26) Validade de grupos mistos (mixed-group validity):duas amostras com formatos diferentes no trao ou diferen-

tes probabilidades em expressar dado comportamento socomparadas.

27) Validade mltipla (multiple validity): um teste temvalidade mltipla quando estiver atrelado a uma amostravasta de critrios.

28) Validade ecolgica (ecologial validity): o quanto uminstrumento psicolgico mede fatores espaciais, temporais e

situacionais do campo de aplicao.29) Validade sinttica (synthetic validity): validade deteste complexo ou de uma bateria de testes baseada no fatode que vrios fatores foram representados num nico escorecomposto.

30) Validade condicional (conditional validity): a validadedo teste depende do uso que dele se faz.

31) Validade incondicional (unconditional validity): avalidade do teste depende do construto sendo medido e nodo uso que dele se faz.

32) ?Voc est convidado a acrescentar outros tipos de valida-

de, se quiser utilizar sua criatividade ou sobrar espao! Quer

dizer: parece que perdemos o rumo! Isso, porque se reduziua validade de um instrumento de medida a um julgamentosobre as condies de obteno de uma dada medida (o escoreno teste), a utilidade e os usos que se fazem ou se podemfazer da mesma. Ela j no mais um parmetro objetivode instrumento. Assim, validade significa tudo o que dizrespeito aos testes psicolgicos e, conseqentemente, noexplica mais nada.

Tomar a expresso validade como um guarda-chuvapara tudo que diz respeito aos testes psicolgicos torna esseconceito, pelo menos, confuso, dizem Borsboom, van He-erden e Mellenbergh (2003). Esses autores insistem em queessa extenso do conceito validade nos desenvolvimentostericos recentes no ajudou na clarificao da semntica davalidade. De fato, essa mistura no conceito encerra diferentesproblemas, ou seja,

- Questo ontolgica: O que significa para um teste dizerque vlido? Isso significa perguntar: O que faz a proposioEscores no teste X medem o atributo Y verdadeira?

- Questo epistemolgica: Como podemos saber se umteste vlido?

- Questo metodolgica: Como podemos investigar seum teste vlido?

- Questo tica: Quando e como deveramos utilizar osescores de um teste?

Infelizmente, a primeira questo, que aparece como amais fundamental na discusso do que seja validade dos

testes psicolgicos, a que praticamente no tem recebidoateno na literatura sobre o assunto. Parece, ento, que ainteno de Messick de integrar os diferentes aspectos devalidade dos testes psicolgicos, de fato introduziu confuso,misturando alhos e bugalhos.

Borsboom, Mellenbergh e van Heerden (2004, p. 1) co-locam muito bem esse problema ao afirmarem:

O conceito de validade com o qual os tericos esto inter-

essados parece estranhamente divorciado do conceito que

pesquisadores tm em mente quando colocam a questo da

validade. Isso se deve a que, no sculo passado, a questo da

validade evoluiu da questo de se a gente mede o que se pre-


3/9

101Psic.: Teor. e Pesq., Braslia, 2007, Vol. 23 n. especial, pp. 099-107

Validade dos Testes Psicolgicos

tende medir (Cattell, 1946; Kelly, 1927) para a questo de se

relaes empricas entre escores de um teste se emparelham com

relaes tericas numa rede nomolgica (Cronbach & Meehl,

1955) e, finalmente, para a questo de se interpretaes e aes

baseadas em escores de testes so justificadas no somente

luz de evidncia cientfica, mas com respeito a conseqncias

sociais e ticas do seu uso (Messick, 1989).

A rede nomolgica

Para melhor enquadrar a problemtica dos testes psi-colgicos, vamos verificar o que exatamente significa estahistria da rede nomolgica, inventada por Cronbach e Meehl(1955), e que domina hoje o campo da validade dos testespsicolgicos. Esses autores tambm introduziram o conceitode validade de construto no contexto dos testes psicolgicos.Inclusive, eles afirmaram que esse tipo de validade exige umnovo enfoque cientfico. De fato, dizem eles, que a compre-enso do que seja tal conceito est ligada ao que chamaramde rede nomolgica (nomological network). Para introduzir

essa problemtica, os autores estabeleceram seis princpiosfundamentais, quais sejam:1) Falando cientificamente, para tornar claro o que algo

seja significa estabelecer as leis em que ele ocorre. Cha-maremos a esse sistema interlaceado de leis que constitui ateoria, de rede nomolgica.

2) As leis numa rede nomolgica podem relacionar a)propriedades ou quantidades observveis entre elas mesmas;ou b) construtos tericos a observveis; ou c) diferentesconstrutos tericos entre eles mesmos. Essas leis podemser estatsticas ou determinsticas.

3) Uma condio necessria para se admitir cientifica-mente um construto consiste em que ele deve ocorrer numarede nomolgica, onde, pelo menos, algumas de suas leisenvolvem observveis. Construtos admissveis podem estarbem longe da observao, i., uma derivao longa podeintervir entre os nomolgicos que definem implicitamenteo construto, e os (derivados) nomolgicos de tipo a. Estasltimas proposies permitem predies sobre eventos.O construto no reduzido s observaes, mas apenascombinado com outros construtos na rede para se fazerempredies sobre observveis.

4) Aprender mais sobre um construto terico umaquesto de elaborar a rede nomolgica na qual ele ocorre,ou de aumentar a preciso dos componentes. Pelo menos nahistria inicial do construto, a rede ser limitada e o construtoter ainda poucas conexes.

5) Um enriquecimento da rede, tais como acrescentarum construto ou uma relao teoria, justificado se talgerar nomolgicos que so confirmados pela observaoou se ele reduz o nmero de nomolgicos exigidos parapredizer as mesmas observaes. Quando observaes nose enquadram na rede como ela se apresenta no momento,o cientista tem certa liberdade em escolher onde modificara rede. Isto , pode haver construtos alternativos ou formasdiferentes de organizar a rede que, por enquanto, so igual-mente defensveis.

6) Podemos dizer que operaes que so qualitati-vamente muito diferentes sobrepem-se ou medem amesma coisa, se as suas posies na rede nomolgica as

ligam mesma varivel construto. Nossa confiana nessaidentificao depende do montante de suporte indutivo quepossumos para as regies envolvidas da rede. No neces-srio que se faa uma comparao observacional direta dasduas operaes ficamos contentes com uma prova intra-redeindicando que as duas operaes produzem estimativas damesma quantidade definida pela rede. Assim, os fsicos ficamsatisfeitos ao falar da temperatura do sol e da temperatura

de um gs numa temperatura ambiente de quarto, mesmo queas operaes de testagem sejam no-sobrepostas, isso porquetal identificao faz sentido terico.

Esses princpios fundamentais podem, mnima e es-quematicamente, ser representados na seguinte estrutura(Figura 1):

Figura 1. Rede nomolgica.

A rede nomolgica relaciona construtos com construtos(A e B), observveis com observveis (a e b), construtoscom observveis (A e a; B e b). Essas relaes podem serde covarincia (estatsticas: ligaes em curvas) ou de cau-salidade (determinsticas: ligaes em setas). Ademais, umconstruto admissvel unicamente se ele pode ser inseridonuma rede nomolgica e ele se torna recomendado se for tilpara predizer observaes. Dessa forma, um construto isola-do no tem significado e, portanto, no faz sentido, porqueele adquire sentido em relao a outros construtos. Essa aconversa (interpretada) de Cronbach e Meehl (1955).

Na ilustrao da Figura 1, o que existe de real a relao,empiricamente verificada, entre observvel a e observvelb. Esses dois observveis no so idnticos, mas esto re-lacionados, esto correlacionados. Se eles so diferentes,ento eles devem estar significando coisas diferentes, ainda

que relacionadas. Para explicar tal ocorrncia precisoinventar dois construtos diferentes, mas relacionados, que

justifiquem porque os dois observveis esto relacionados.Assim, se os dois construtos inventados so diferentes, masesto relacionados e o mesmo ocorre com seus observveis,isso valida a relao entre os observveis, porque ocorreum emparelhamento entre a rede terica dos construtos e arede emprica dos observveis. uma circularidade muitoconveniente para provar a validade dos testes psicolgicos viaconstrutos. De fato, esses tais construtos so simplesmenteum espelho virtual da relao entre os observveis. Judd,Kidder e Smith (1986) ilustram isso como na Figura 2, ondeh um fator A associado a trs outros fatores (B, C, D) na

Construto

A

Construto

B

Observvel

a

Observvel

b


4/9


L. Pasquali

rede terica (lado esquerdo da Figura), tendo como espelhoas respectivas medidas empricas (lado direito da Figura).

Figura 2. Correspondncia entre fatores da rede nomolgica e padroemprico das relaes das medidas.

Parece honesto se poder perguntar qual a naturezaontolgica desses construtos ou fatores?

Poder-se-ia, em princpio, dar duas respostas a essa ques-to, dentro da inteleco de rede nomolgica. A primeiraseria dentro do positivismo lgico que, alis, fundamenta ahistria da rede nomolgica e que Suppe (1977) mostrou terfracassado , dizendo que a pergunta impertinente, porque osconstrutos adquirem significado pela relao que um tm como outro, sem com isso implicar que eles existam na realidade.Assim, se dissermos que raciocnio dedutivo se relacionapositivamente com raciocnio abstrato e negativamente comagressividade, o que esse raciocnio dedutivo? Resposta: ele algo que se relaciona positivamente com algo e negativamentecom outro algo, sendo estes algos simplesmente termos deuma relao terica. No final das contas, construtos so sim-plesmente rtulos embutidos numa rede terica. Parece, ento,que finalmente eles so artefatos estatsticos, necessrios paraexplicar as covarincias entre os observveis.

Uma segunda resposta poderia ser dada dentro de um

contexto epistemolgico. Aqui, a prpria palavra construtoj deixa entrever o que se pretende significar com construto.Ela vem de construir. Mas, construir a partir de qu? Serela apenas uma representao mental de uma realidade ob-servvel ou seria ela uma realidade mental independente doobservvel? Se for o primeiro caso, ento construto constituiapenas uma representao e, com isso, se insere num contextopuramente epistemolgico, de conhecimento, e assim ele de fato construdo pelo sujeito conhecedor e no pela natu-reza. Se, contudo, construto for concebido como a segundaalternativa, ento ele uma realidade em si e, com isso, elese insere num contexto ontolgico, uma realidade construdapela natureza. Parece claro que a posio dos defensores da

rede nomolgica entenderia construto unicamente no contex-to epistemolgico, no mximo, quando no o entende comopuro rtulo sem nenhuma consistncia de realidade. Ele estali unicamente para dar significado relao que existe entreos observveis. Dessa forma, se entendido como realidadeepistemolgica, o construto no se constitui apenas como umrtulo sem concretude prpria, mas uma realidade, somente

que se expressa como uma representao e, portanto, total-mente dependente do seu observvel. Mas, nesse caso, a setaque vai do construto para o observvel, como na Figura 1, injustificvel, porque ela deveria ser direcionada ao contrrio,porque no o construto que causa o observvel e, sim, oobservvel que causa o construto. S para adiantar, esse modode pensar se contrape frontalmente viso da psicometriaatual da Teoria de Resposta ao Item, por exemplo, que afirmaexatamente o oposto dessa concepo assim entendida derede nomolgica (veja tambm Da Silva, 2005).

Ento, o que significa agora dizer que o teste vlido se defato mede aquilo para o qual ele foi feito para medir? Claro,ele mede o construto; mas o construto foi inventado a partir

do observvel (do escore do teste) e, assim, bvio que sermedido por este. Parece uma tautologia, que soa quase comouma safadeza. O conceito ou a percepo do gato correspondeao gato fsico. Certo! Mas, o gato percepo que justifica,valida o gato fsico ou ser este que valida sua percepo?Num contexto epistemolgico, bvio que o gato fsico quevalida a percepo do gato, porque esta simplesmente umarepresentao mental do gato fsico e ela deve correspondera este gato fsico para ser legtima. Mas, os construtos deque fala a Psicometria e a Psicologia em geral sero tambmapenas representaes mentais ou sero eles processos ourealidades em si, sem serem puras representaes? a eternabriga entre a viso materialista e dualista do ser humano, quesorrateiramente surge de novo nessa viso da rede nomolgica.Infelizmente, a soluo desse problema constitui uma questofilosfica e no emprica. E, dessa forma, ela vai continuar aser um problema enquanto houver pesquisadores que pensamde forma diferentes sobre o tema.

Sintetizando: O conceito construto pode ser entendidode trs formas, ou seja:

1) Construto um rtulo, que representa uma classe decomportamentos (como, inteligncia representando ou resu-mindo todos os comportamentos chamados de inteligentes),sem nenhuma consistncia de realidade.

2) Construto um conceito, que representa alguma reali-dade observvel (comportamento). Assim, ele uma realidadeepistemolgica, dependente de uma realidade observvel.

3) Construto uma realidade psquica, independente epreliminar ao observvel que o representa; assim, construto uma realidade ontolgica e, conseqentemente, deve serentendido em si mesmo e no em referncia a observveis.

No caso dos testes psicolgicos, poder-se-ia aduzir a balbrdiado conceito de validade a que levou a viso positivista, materia-lista, subentendida na rede nomolgica, para desacreditar essaviso, que se tornaria uma tentativa frustrada. Contudo, no casoda viso dualista, em que existem os processos psquicos inde-pendentes, fica o grave problema de saber o que eles so e quaisso as leis que regem esses processos, isto , a teoria psicolgica.E esta est longe de ser uma realidade minimamente consensualem seus detalhes entre os psiclogos. Ento, parece que estamos

A

B

C

D

c

d

b

Fatores MedidasRede nomolgica Relaes empricas


5/9



num mato sem cachorro! Minha opinio de que devemos de-senvolver honestamente a teoria psicolgica, descobrindo e noinventando as leis que governam os processos psquicos, e deixarde lado subterfgios ou palavres como a tal da rede nomolgica.Alis, a histria de aceitar um construto que explica fenmenosobservveis tem sido corriqueira em qualquer empreitada cien-tfica, inclusive na Fsica e na Biologia. Em Biologia, o gene era

aceito como construto mesmo antes de sua descoberta recente.Em Fsica, a gravidade (G) continua sendo elusiva, mas ningumduvida da sua existncia (Da Silva, 2005).

Incongruncias da rede nomolgica

Cronbach e Meehl (1955, p. 290) diziam:

Validao de construto ocorre quando um investigador cr que

seu instrumento reflete um construto particular, ao qual esto

ligados certos significados. A interpretao proposta gera

hipteses testveis especficas, que constituem o meio pelo qual

se confirma ou desconfirma a afirmativa.

Carmines e Zeller (1979, p. 23) explicam: Fundamental-mente, a validade de construto diz respeito ao tanto que uma

dada medida se relaciona com outras medidas consistentes

com hipteses teoricamente derivadas com respeito aos con-

ceitos (ou construtos) que esto sendo medidos. Isso parecesignificar que a validade de construto diz respeito ao quanto relao existente (vista, observada: a correlao) entreduas medidas (de observveis) consistente com hiptesesteoricamente deduzidas sobre os construtos sendo medidospor elas. Ou seja, se tenho duas medidas (a e b; veja Figura1) que se apresentam relacionadas (na verdade, s isso quetenho como dado emprico), ento elas so consistentes sepuder supor que os dois construtos (A e B) que elas medemforam definidos como correlacionados.

Vamos procurar entender melhor essa histria, utilizando odilema da validade de construto de Brown e Burrows (1992),adaptado de McGraw (1982) e analisado na Figura 3.

Figura 3. Ilustrao da validao de construto (adaptada de McGraw, 1982e Brown & Burrows, 1992).

Quero validar o instrumento que mede o observvel a, queconstitui uma medida do construto A (relao 3), utilizandoa relao que existe (tida como j validada) entre a medidado observvel b como medida do construto B (relao 2).Ento digo o seguinte:

O construto A se relaciona ao construto B (premissaterica: relao 1).

A medida a se correlaciona medida b (dado emprico:relao 4).A medida b mede o construto B (hiptese confirmada).Conseqentemente, a medida a mede A (hiptese: rela-

o 3) porque se relaciona medida b que mede B (hipteseconfirmada: relao 2), dado que este construto est corre-lacionado ao construto A. Isto , a mede A assim como bmede B.

Parece difcil ver a lgica desse silogismo. A base daargumentao se fundamenta na correlao que existe entrea e b, supondo que A e B tambm estejam correlacionados,e que a relao 2 seja empiricamente verificada verdadeira.

Vamos analisar essa histria em dois momentos: a) a

validade da relao 2 e b) a validade da concluso de que serelao 2, ento relao 3.

a) A validade da relao 2: b mede B

Como se pode estabelecer empiricamente que a relao2 (b para B) seja verdadeira, isto , vlida? Se a respostafor: do mesmo modo que se estabeleceu a validade darelao 3 (a para A), isto , trabalhando uma relao en-tre medida c e construto C. Obviamente, esse argumentoleva a uma seqncia ou reduo ad infinitum e , porconseguinte, invivel. Ento, como finalmente estabelecerempiricamente validada uma relao de medida com seuconstruto, que possa servir de base para o silogismo acimaapresentado? Aqui entra aquele argumento indutivista que

j Hume (1739/1888) e Popper (1972) mostraram que nofunciona. O argumento o seguinte: A evidncia comrespeito relao 3 aumenta com o aumento de estudos.Zeller e Carmines (1980, p. 82) explicam essa histria daseguinte forma:

A validade de construto no se estabelece com a confir-

mao de um nico estudo em diferentes ocasies ou pela

confirmao de muitas predies num nico estudo. Ao

contrrio, a validade de construto idealmente requer um

padro de descobertas consistentes envolvendo diferentes

pesquisadores por um perodo significativo de tempo e comrespeito a uma variedade de variveis diversas e teorica-

mente relevantes. Somente se e quando essas condies

foram atendidas, pode-se falar com confiana da validade

de construto de uma medida particular.

Assim, agindo como esses autores sugerem, a gente vaiacumulando evidncias sobre a validade de construto deuma dada medida at que, no fim do mundo, a gente tem acerteza absoluta dessa validade! E se nesse processo ocorrerevidncia negativa, qual a conseqncia sobre a validadeda medida? Carmines e Zeller (1979) dizem que isso podeocorrer por vrias razes, quais sejam,

Construto A Construto B

Outros fatores

afetando o

construto A

Outros fatores

afetando o

observvel b

Observvel a Observvel b

1

23

4

5

6


6/9


L. Pasquali

1) A medida no tem validade de construto. Nesse caso,a medida simplesmente falsa e deve ser abandonada comomedida do construto de interesse.

2) A rede nomolgica que serviu para gerar as prediesempricas est incorreta. Nesse caso, a rede terica est erradae preciso rev-la.

3) O procedimento para testar as hipteses teoricamente

derivadas est incorreto. Nesse caso, ou a medida (o teste)foi mal construda ou as anlises estatsticas foram malfeitas. Assim, tanto a medida quanto as anlises tm queser revistas.

4) Falta de validade de construto ou de preciso dealguma(s) outra(s) varivel(eis) na anlise. Isto , um dadoconstruto vem sempre associado a outros construtos. Nessecaso, foi feita uma relao entre construtos que, de fato, nose relacionam. H, portanto, falha na parte terica da redenomolgica.

Isso muito bonito. Mas, duas coisas: primeiro, os es-tudos que vo dando resultados positivos, isto , apoiandoa hiptese de validade de construto, vo aumentando a

probabilidade de certeza dessa validade. Agora, aconteceque, aps ter aumentado essa probabilidade, um resultadonegativo ocorre. O que acontece com essa probabilidade?Ela diminuiu ou acabou? Se o resultado negativo resultade uma pesquisa bem conduzida, esse resultado constitui amorte da hiptese, porque uma regra bsica, de qualquerpesquisa cientfica, que um nico resultado negativo tornaa hiptese invlida, por mais resultados positivos que tenhatido anteriormente. Trata-se da regra da confirmao emp-rica (Pasquali, 2005a). Em segundo lugar, mesmo que esseproposto processo funcionasse, tratar-se-ia de validaode um teste e no de validade do teste. Validade constituiuma propriedade de algo, enquanto validao constitui umaatividade do cientista para verificar tal propriedade. Esta seinsere num processo epistemolgico, de conhecimento, en-quanto aquela se insere num campo ontolgico, da realidadeda propriedade e do algo em questo. As duas coisas soimportantes; mas, uma no a outra, porque uma fala doque se trata, enquanto a outra fala do como fazer. A vali-dade parece ser um conceito bastante simples, se entendidacomo a propriedade de um teste estar de fato se referindo a(representando) um construto, enquanto que validao j seapresenta bastante mais complexa, porque se trata de provarcientificamente a validade do instrumento. Neste ltimocontexto, uma teoria como a da rede nomolgica til, so-bretudo quando operacionalizada como fizeram Campbell eFiske (1959) com a sua validade convergente-discriminante.

Apenas que os construtos em jogo no so conceituados pelarede nomolgica; eles so preliminares e definidos em termosda teoria substantiva psicolgica e, ento, entrosados numarede nomolgica.

b) A validade da relao se 2 e 1 e 4, ento 3

O modelo de validao de construto afirma que se as re-laes 1, 2 e 4 forem verdadeiras, ento segue que a relao3 tambm o . Entretanto, todas essas relaes postuladasno modelo da rede nomolgica so expressas como correla-es, isto , em termos de covarincia. Agora, acontece que

a covarincia nunca perfeita, ou seja, a correlao nunca 1. Suponha, por exemplo, que as correlaes propostasentre as variveis da rede nomolgica sejam todas de 0,70,que representam correlaes muito expressivas. Obviamente,trata-se das correlaes que expressam as covarincias comrespeito s relaes 1, 2 e 4, porque a relao 3 aquela quevoc quer demonstrar empiricamente. Em outras palavras,

voc est postulando que- rAB

= 0,70- r

Bb= 0,70

- rab

= 0,70.

Pergunta-se: rAa

= ?

Veja isso ilustrado na Figura 4.

Figura 4. Correlaes entre construtos e observveis.

Dessa situao, poderiam surgir vrias possibilidadespara a correlao entre a medida a e seu suposto construtoA, duas das quais esto ilustradas na Figura 5.

Figura 5. Correlao entre a medida a e o construto A.

Mesmo salvando todas as correlaes postuladas, a cor-relao entre a e o construto A tanto pode ser alta (parte Ada Figura) quanto nula (parte B da Figura). Dessa forma, osilogismo que argumenta em prol da validade de construto

A

a

B

B

b

b

r = 0,70AB

r = 0,70ab

r = 0,70bB

A

A

a

a

B

B

b

b

r = 0,70aA

r = 0,00aA

A

B


7/9



da medida a constitui, no mximo, uma prova circunstancialde tal validade. Isto , no prova nada.

Como, ento, entender a validade de construto de umteste psicolgico? Vamos discorrer um pouco sobre esseproblema.

Reencontrando o conceito de validade

Entende-se por teste psicolgico um conjunto constitudode comportamentos que o sujeito deve exibir. Ele um teste setodos os comportamentos envolvidos no conjunto se referem mesma coisa, a questo da unidimensionalidade. Ade-mais, alguns sujeitos podem ser capazes de executar todos oscomportamentos envolvidos, outros sujeitos, apenas algunsdos comportamentos e outros, ainda, nenhum dos compor-tamentos. Por que isso ocorre? Porque o sujeito que executatodos os comportamentos tem mais daquela mesma coisaque o sujeito que executa apenas alguns comportamentosou nenhum deles. Se isso for verdade, ento aquela mesmacoisa deve ser a) uma realidade, porque os comportamentos

envolvidos no teste so reais, b) aquela mesma coisa acausadora das respostas dos sujeitos e c) aquela mesmacoisa deve variar entre diferentes sujeitos, uma vez que,sendo a causa dos comportamentos, ela produz diferenasnos comportamentos dos sujeitos.

Vamos especificar um pouco essas trs afirmaes,substituindo aquela mesma coisa pelo seu sinnimo, ouseja, construto.

Na tentativa de reencontrar o verdadeiro conceito devalidade de construto, os autores holandeses Borsboom,Mellenbergh e van Heerden (Borsboom & cols., 2003; Bors-boom & cols., 2004), vm fazendo um trabalho fundamental.A presente exposio se inspira nesses pesquisadores, bemcomo de trabalhos anteriores do presente autor (Pasquali,1999, 2004). Veja, tambm, Jos Aparecido da Silva (2005),embora este autor tenha predileo por interpretao biol-gica dos construtos psicolgicos.

A base da argumentao consiste em se entender quevalidade constitui uma propriedade do instrumento de medidae que no tem nada a ver com a idia de que ela consistirianum julgamento sobre o significado dos escores de um teste,retomando, assim, o sentido original que Kelly (1927) quisdar a esse conceito, ao afirmar que um teste vlido quandomede aquilo que supostamente deve medir.

Antes de continuar, gostaria de lhe propor uma questo:Voc construiu um metro, feito de ferro, para medir o compri-mento das coisas. Voc mediu um pedao de pau e conseguiu

uma medida do mesmo. Em seguida, voc esquentou o metroe foi medir novamente o pedao de pau e conseguiu outramedida dele, agora, porm, ela era bem diferente da primeira.Pergunta: O metro, na segunda vez que voc o utilizou, jno est mais medindo comprimento?

Sendo sensato, talvez a sua resposta seja: sim, ele estainda medindo comprimento, no entanto est medindo erra-do! Muito bem, ento o metro continua medindo aquilo parao qual ele foi feito para fazer, isto , medir comprimento. Isto validade. Mas, ele est medindo errado? De acordo, mascontinua medindo comprimento, no entanto, o est fazendoerradamente porque o metro, com o calor, ficou descalibra-do. Por que ficou descalibrado? Porque houve a presena de

fatores perturbadores no uso do instrumento (o calor). Mas apresena de fatores perturbadores corriqueira em qualquerempreitada cientfica (as chamadas variveis estranhas ouconfounding variables). De qualquer forma, o instrumentoser calibrado ou no, questo de preciso, no de valida-de, porque ele continua medindo aquilo para o qual ele foiconstrudo. Assim, continua sendo verdadeiro que o metro

mede comprimento (validade), embora na prtica ele o faaerradamente (preciso). Dessa forma, validade responde a sealgo verdadeiro ou falso, enquanto que preciso responde ase algo est correto ou errado. A primeira questo diz respeitoa um problema ontolgico e a segunda a um problema psico-mtrico (de mensurao) ou metodolgico. No caso dos testespsicolgicos, os dois problemas so relevantes e importantes,mas um no o outro. Assim, conclui-se que os parmetrosde validade e preciso so caractersticas do instrumento demedida, do teste, e no da medida feita de um objeto. Estaltima confivel e legtima se o instrumento que a produziufor vlido (pertinente, relevante) e preciso (calibrado). Quemgarante a qualidade da medida a qualidade do instrumento.

E a validade do instrumento diz respeito exclusivamente pertinncia do instrumento com respeito ao objeto que sequer medir; a questo da referncia. Agora, acontece quereferncia supe que dois objetos sejam reais, porque, se umdeles no o for, ento a relao fictcia, dado que ela feitaentre uma realidade e uma racionalizao (fantasia, inven-o). o que fazem, ao que parece, os positivistas quandofalam de rede nomolgica.

O posicionamento aqui assumido tem implcita a aceita-o de uma viso filosfica e, por isso, empiricamente nodemonstrvel, sobre o que seja Psicologia e, com isso, o queseja um ser humano. Trata-se da viso dualista, que considerao ser humano um ente ontolgico heterogneo, especifica-mente composto de elementos do que Popper (1972) chamoude primeiro e segundo mundos; ou seja, de corpo e mente,sendo estes muito distintos entre si, mas perfazendo umacomposio e no um agregado (veja Pasquali, 2005a). Essaposio dualista do ser humano tomada, dado que a visomonista (materialista) no explica a contento o ser humanoe, especificamente, no caso dos testes psicolgicos, leva sincongruncias discutidas anteriormente. Ademais, ela secoaduna perfeitamente com a teoria psicomtrica atual daTeoria de Resposta ao Item (TRI , veja Pasquali, 2005b).

Voltando aos testes psicolgicos. Um teste, ento, umconjunto de estmulos comportamentais, ou seja, de com-portamentos, finalmente, porque os estmulos pretendemproduzir comportamentos. Assim, um teste um conjunto

de comportamentos observveis. Agora, o psiclogo no estespecificamente interessado em verificar componentes ouaspectos anatmicos, fisiolgicos ou genticos desses com-portamentos, nem fatores ecolgicos e nem mesmo fatoresculturais que entram no aparecimento de tais comportamen-tos. Todos esses fatores so relevantes no comportamentohumano, mas eles so do interesse do bilogo, do eclogoou de socilogo. O que, ento, o psiclogo procura entenderdesses comportamentos? O psiclogo procura entender oscomportamentos com referncia a processos psquicos, osfamosos construtos, estes entendidos como realidades on-tolgicas e no como racionalizaes inseridas numa redenomolgica. Dessa forma, para entender o comportamento, o


8/9


L. Pasquali

psiclogo deve entender o seu referente, o processo psquico,que se constitui como causa do comportamento, para satis-fazer o ditado dos romanos de scire est per causas scire(conhecer se faz conhecendo as causas). O fato de que essesprocessos psquicos sejam minimamente conhecidos (isto ,praticamente desconhecidos) no invalidam sua presena,muito menos sua utilidade cientfica.

Dessa forma, se um teste a mede um construto A, entoele deve se referir a este construto especificamente e noporque o teste se correlaciona com outro teste b que mede oconstruto B que, por sua vez, se correlaciona com o construtoA. Assim, a validade de um teste deve ser entendida comoilustrado na Figura 6.

Figura 6. Ilustrao da concepo dualista do ser humano do teste.

O construto (trao latente, teta) se posiciona como o ob-jeto que o teste quer medir, isto , ele o aquilo que o testepretende medir. Ento, ele o referente, em funo do quala qualidade do teste deve ser avaliada. Conseqentemente,as respostas ao teste (o escore no teste, o observvel, o tau)no criam o construto, antes, pelo contrrio, o escore noteste que depende do construto. Quando se diz que umteste valido, estamos assumindo uma posio ontolgicade que o atributo sendo medido existe e afeta o resultado doprocedimento de medida (Borsboom & cols., 2004). Assim,o construto o referencial para os resultados de um teste.Se estes so reais, ento o referencial tambm deve ser real.Do contrrio fica estranho se dizer, por exemplo: o teste Xmede inteligncia, mas inteligncia no existe. As duas afir-maes no podem ser simultaneamente verdadeiras. Umadelas falsa. Como os resultados do teste X so reais, entoo construto medido existe.

Comentrio Final

Validade diz respeito ao instrumento e no ao uso que sefaz dos seus escores. Assim, no faz sentido dizer que umteste com validade de construto vlido numa situao, eno o em outra. Esse modo de falar faz sentido somente

no contexto da teoria clssica dos testes, em que imperava avalidao dos testes via critrio, em que a validade do testerealmente dependia da estabilidade do critrio. Assim, se ocritrio mudasse de status, o teste que o predizia perdia avalidade. No caso da validade de construto, no existe estahistria de validade condicionada do teste, porque o critrioaqui o teta. Assim, o teste no prediz um teta, ele representaou modela comportamentalmente o trao latente. Como sesupe que o trao latente no mude de uma situao para outracomo muda um critrio, ento o teste que afere validamenteo tal teta, o far assim em qualquer situao. O problema davalidade condicionada com respeito a testes com validade

de construto ainda poderia significar alguma coisa, em duassituaes, a saber:

1) O teta que o teste mede est mal definido. Para resol-ver este problema, temos que verificar duas coisas: a) revera teoria que define o teta em questo e b) verificar a funode informao do teste fornecida pela TRI.

2) O trao latente que um dado teste mede validamente

numa situao, no se aplica numa outra situao de seleo,por exemplo. Mas este no um problema psicomtrico devalidade dos testes e, sim, um problema de psicologia orga-nizacional. Esta deve verificar se um dado trao latente ouno pertinente no contexto de uma dada seleo. Para issoexiste a profissiografia do cargo.

Referncias

American Psychological Association (1985). Standards foreducational and psychological testing. Washington: AmericanPsychological Association, Inc.

Bacon, F. (1869). Novum organum. Em J. Spedding, R. L. Ellis &D. D. Heath (Orgs.), The works of Francis Bacon. Vol. VIII(pp.179-203). Boston: Taggard and Thompson.

Borsboom, D., van Heerden, J. & Mellenbergh, G. J. (2003).Validity and truth. Internal Report. Department of Psychology,University of Amsterdam.

Borsboom, D., Mellenbergh, G. J. & van Heerden, J. (2004).The concept of validity. Psychological Review, 111(4), 1061-1071.

Brown, K. & Burrows, C. (1992). What is validity? A prologue toan evaluation of selected health status instruments. NationalCentre for Health Program Evaluation, Report 1.

Bryant, F. B. (2000). Assessing the validity of measurement. Em L.G. Grimm & P. R. Yarnold (Orgs.),Reading and understandingmore multivariate statistics (pp.99-146). Washington: American

Psychological Association.Campbell, D. T. & Fiske, D. W. (1959). Convergent and discriminant

validation by the multitrait-multimethod matrix. PsychologicalBulletin, 56, 81-105.

Carmines, .G. & Zeller, R. A. (1979). Reliability and validityassessment. New Park: Sage Publications.

Cronbach, L. J. (1949).Essentials of psychological testing. NewYork: Harper.

Cronbach, L .J. & Meehl, P. (1955). Construct validity inpsychological tests, Psychological Bulletin, 52, 4, 281-302.

Da Silva, J. A. (2005). Inteligncia: Resultado da gentica, doambiente ou de ambos? So Paulo: Editora Lovise.

Emory, C. (1985). Business research methods The Irwin Series

in Information and Decision Sciences (3 ed.). Illinois:Homewood.

Guilford, J. P. (1946). New standards for test evaluation.Educationaland Psychological Measurement, 6, 427-439.

Gulliksen, H. (1950). Intrinsic validity. American Psychologist,5, 511-517.

Haynes, S. N., Richard, D. C. S., & Kubany, E. S. (1995). Contentvalidity in psychological assessment: A functional approachto concepts and methods. Psychological Assessment, 7(3).238-247.

Hume, D. (1888). Treatise of human nature. Vol. I. Oxford: ClaredonPress. (Trabalho original publicado em 1739)


9/9



Janis, I. L. (1965). The problem of validating content analysis. EmH. D. Lasswell, N. Leites & cols. (Orgs.),Language of politics.Cambridge: MIT Press.

Judd, C., Kidder, L. & Smith, E. (1986).Research methods in socialrelations (6 ed.) New York: Rinehart and Winston.

Kelly, E. L. (1927).Interpretation of educational measurements.New York: Macmillan.

Lnnqvist, A. & Hannula, M. (s/d.). Validating performancemeasures with the nomological network. Retirado em22/09/2006 de http://www.tut.fi/units/tuta/teta/mittaritumi/

julkaisut/bryssel.pdfMcGraw, J. E. (1982). Dilemmatics. The study of research choices

and dilemmas. Em J. E. McGraw; J. Martin & R. A. Kukla(Orgs.), Judgment Calls in Research (pp.69-102). BerverlyHills: Sage.

Messick, S. (1989). Validity. Em R. Linn (Org.), Educationalmeasurement. (3. ed., 13-103). New York: American Councilon Education and Macmillan Publishing Company.

Mosier, C.I. (1947). A critical examination of the concepts offace validity. Educational and Psychological Measurement,7, 191-205.

Mosier, C.I. (1951). Problems and designs of cross-validation.Educational and Psychological Measurement, 11, 5-12.

Pasquali, L. (1999). Instrumentos psicolgicos: Manual prtico deelaborao. Braslia: LabPAM / IBAP.

Pasquali, L. (2004). Psicometria. Teoria dos testes na psicologia ena educao (2 ed.). Petrpolis: Editora Vozes.

Pasquali, L. (2005a).Delineamento de pesquisa em cincia. Vol. I:

A lgica da pesquisa cientfica. (mmeo).Pasquali, L. (2005b). Teoria de resposta ao item TRI. Manualpara iniciantes. Braslia: INEP.

Popper, K. R. (1972).A lgica da pesquisa cientfica. So Paulo:Editora Cultrix.

Suppe, F. (1977). The structure of scientific theories. Urbana:University of Illinois Press.

Weber, R. P. (1990).Basic content analysis (2 ed.). Newbury Park:Sage Publications.

Zeller, R. A. & Carmines, E. G. (1980).Measurement in the socialsciences: The link between theory and data. Cambridge:Cambridge University Press.

Documents

Validade dos testes psicológicos. PASQUALI, Luis. (1)