Taller de Psicometría #2

8/18/2019 Taller de Psicometría #2

1/13

TALLER DE PSICOMETRÍA.

1. Definir el concepto de validez.Es cuando se aplica a una prueba se refiere a un juicio concerniente a lo bien que

mide de hecho una prueba lo que pretende medir. De manera más específica, es un

juicio basado en evidencia sobre lo aprobado de las inferencias extraídas de las

puntuaciones de prueba.

2. Diferenciar lo concepto de validez ! validaci"n en la #edici"n.La validez es dada o más conocida como un término “aceptable” o “débil”

reflejando un juicio en lo adecuado que está emitiendo en realidad el atributo para

cua medici!n estaba dise"ada la prueba.

$alidaci"n es el proceso de recopilaci!n de la evidencia de valide#. $anto quien

elabora la prueba como el administrador de la misma pueden desempe"ar una

funci!n en la validaci!n de una prueba para un prop!sito específico. Es

responsabilidad del elaborador de la prueba suministrar evidencia de la valide# en el

manual de la misma.%. E&plicar el concepto de validez aparente ! e'e#plificar

%a valide# aparente se encuentra relacionada con lo que la prueba pretende medir,

es un juicio concerniente a lo relevante que parece ser los reactivos de la prueba.

&lanteándolo de una forma diferente si una prueba parece medirse de manera

concisa lo que se pretende medir “a primera vista”, se puede decir que se tiene una

valide# aparentemente alta. 'i bien la valide# aparente a veces denominada valide#

de representaci!n es una medida débil de valide#, su importancia no puede ser

subestimada, su enfoque es (el sentido com)n*.&or ejemplo+ después de que un rupo de estudiantes tom! una prueba les pides una

devoluci!n, específicamente si pensaron que la prueba fue buena. Esto te permite

hacer mejoras para el pr!ximo proecto de investiaci!n aporta otra dimensi!n

para establecer la valide#.


2/13

El - (cociente emocional* la maoría de los sistemas de calificaci!n escolares

son buenos ejemplos de pruebas establecidas que se considera que tienen un alto

rado de valide#. /na forma simple de ver la valide# concurrente es comparar una

prueba o procedimiento nuevo con un punto de referencia importante.

(. E&plicar el concepto de validez de contenido ! e'e#plifi)*e ! e&plicar la

c*antificaci"n de validez de contenido.%a valide# de contenido describe un juicio concerniente a lo adecuado del muestreo

que hace una prueba del comportamiento representativo del universo del

comportamiento del que la prueba estaba dise"ada para tomar una muestra. %a

valide# de contenido se utili#a principalmente con tests de rendimiento,

especialmente con los tests educativos tests referidos al criterio. En este tipo de

tests se trata de comprobar los conocimientos respecto a una materia o un curso.

%a valide# de contenido descansa eneralmente en el juicio de expertos (métodos de

juicio*. 'e define como el rado en que los ítems que componen el test representan

el contenido que el test trata de evaluar. &or tanto, la valide# de contenido se basa en

(a* la definici!n precisa del dominio (b* en el juicio sobre el rado de suficiencia

con que ese dominio se eval)a.

%a valide# de contenido consiste en qué tan adecuado es el muestreo que hace una

prueba del universo de posibles conductas, de acuerdo con lo que se pretende medir

(-ohen 0 '1erdi2, 3445*6 los miembros de dicho universo / pueden denominarse

reactivos o ítems. &ara autores como Din 7ershberer (3443*, la valide# de

contenido es un componente importante de la estimaci!n de la valide# de

inferencias derivadas de los puntajes de las pruebas, a que brinda evidencia acerca

de la valide# de constructo provee una base para la construcci!n de formas

paralelas de una prueba en la evaluaci!n a ran escala.


3/13

&ara establecer un posible universo de reactivos se requiere tener una adecuada

conceptuali#aci!n operacionali#aci!n del constructo, es decir, el investiador debe

especificar previamente las dimensiones a medir sus indicadores, a partir de los

cuales se reali#arán los ítems. %os ítems deben capturar las dimensiones que la

prueba pretende medir. &or ejemplo, una prueba de educaci!n con una fuerte valide#

de contenido incluirá los temas realmente ense"ados a los estudiantes, en luar de

hacer preuntas sin relaci!n. /na escuela quiere contratar a un nuevo profesor de

ciencias un panel de directores comien#a a anali#ar a los distintos candidatos.

Elaboran una lista acotada lueo dise"an una prueba, donde escoen al candidato

con la mejor puntuaci!n. %amentablemente, éste demuestra ser un maestro de

ciencias extremadamente mediocre.

%a cuantificaci!n de la valide# de contenido tiene relevancia a que uno de estos

métodos de contenido fue hecho por %a1she (589:*, quien propuso una f!rmula

simple para cuantificar el rado de consenso pidiendo a un rupo de expertos que

puedan determinar la valide# de contenido de una prueba.

+. ,C"#o infl*!e la c*lt*ra en la validaci"n de *na pr*e-a%a influencia de la cultura en lo que ense"a a los estudiantes, al iual que aspecto de

construcci!n, calificaci!n, interpretaci!n validaci!n de pruebas. %a influencia de

la cultura se extiende por tanto a juicios concernientes a la valide# de las pruebas

reactivos de pruebas.

%o que se considera una prueba de historia válida en un sal!n de clases no será

considerada así en otro. Es más, las interpretaciones hechas con base en las

respuestas de quién responde las pruebas variarán como funci!n de la cultura en la

que se encuentre el individuo.


4/13


5/13

un inventario de personalidad para predecir que conductores de autom!vil tendrán

accidentes.

5. ,En )* conite la validez conc*rrente%a valide# concurrente mide qué tan bien una prueba determinada se correlaciona

con una medida reconocida previamente. %as pruebas son para los mismos

constructos o alunos estrechamente relacionados permiten que un investiador

valide métodos nuevos contra un incondicional a examinado probado. &or

ejemplo+ %os investiadores le dan a un rupo de estudiantes una prueba nueva,

dise"ada para medir la aptitud matemática. %ueo, comparan estos resultados con

los de las pruebas a hechas en la escuela, jue#a reconocida confiable de la

habilidad matemática.7acer una referencia cru#ada de las calificaciones de cada estudiante permite a los

investiadores comprobar si existe una correlaci!n, evaluar la exactitud de su

prueba decidir si mide lo que se supone que debe medir. El elemento clave es que

los dos métodos se comparen prácticamente al mismo tiempo.

'i los investiadores midieron la aptitud matemática, implementaron un nuevo

prorama educativo después de < meses repitieron la prueba sobre los estudiantes,

esto sería valide# predictiva.

6. ,0* e entiende por validez predictiva ! co#o e e&plica el coeficiente de

validez incre#entalLa validez predictiva implica probar a un rupo de sujetos para un determinado

constructo lueo compararlos con los resultados obtenidos en al)n momento

posterior. El uso más com)n de la valide# predictiva es inherente al proceso de

selecci!n de estudiantes para la universidad. %a maoría de las universidades utili#a

un promedio de calificaciones de la escuela secundaria para decidir qué estudiantes

aceptar, para encontrar a los estudiantes más brillantes estudiosos. En este


6/13

proceso, la hip!tesis básica es que un alumno secundario con un promedio de

calificaciones alto tendrá calificaciones altas en la universidad.

El coeficiente de validez es un coeficiente de correlaci!n que proporciona una

media de la relaci!n entre las puntuaciones de prueba las puntuaciones en la

medida criterio. &ara este caso la correlaci!n seria que un investiador toma las

calificaciones obtenidas después del primer a"o de estudios las compara con los

promedios de calificaciones de la escuela secundaria. /na correlaci!n alta indica

que el proceso de selecci!n funcion! a la perfecci!n, mientras que una correlaci!n

baja sinifica que ha alo mal en el enfoque. %a maoría de los estudios muestra

que existe una correlaci!n fuerte entre las dos la valide# predictiva del método es

elevada, aunque no perfecta. ntuitivamente, esto parece l!ico+ estudiantes que

antes eran excelentes pueden extra"ar su casa o pasar el primer a"o bebiendo

cerve#a. &or otro lado, estudiantes a los que antes no les iba bien, ahora pueden ser

estudiosos esfor#arse mucho porque se sienten c!modos con la libertad del

ambiente universitario.

7. ,En )* conite la teor4a de la deciione ! *tilidad de la pr*e-a%as pruebas psicol!icas pueden usarse con prop!sitos de selecci!n, colocaci!n o

clasificaci!n. En la selecci!n cada individuo es aceptado o recha#ado, en cambio en

la colocaci!n o clasificaci!n nadie es recha#ado, todos los sujetos son asinados.

&lanteando en forma eneral, -robanch =leser (58arías estrateias de selecci!n que van

desde procesos de una sola etapa hasta análisis secuenciales, ?* un análisis

cuantitativo de la relaci!n entre la utilidad de la prueba, la ra#!n de selecci!n, el

costo del prorama de la prueba el valor esperado del resultado @* una

recomendaci!n de los que alunos casos los requerimientos de trabajo sean


7/13

adecuados a la capacidad del solicitante en luar de a la inversa (un concepto al que

se refieren como “tratamiento adaptativo”*.

El concepto de utilidad en la teoría de la decisi!n. /na característica de la teoría de

la decisi!n es que las pruebas se eval)an en términos de su eficacia en una

situaci!n particular. %a evaluaci!n no solo toma en consideraci!n la valide# de la

prueba para predecir un criterio particular, sino también otros parámetros, como la

tasa base ra#!n de selecci!n. Atro parámetro importante es la relativa utilidad de

los resultados esperados, lo favorable o desfavorable de los esperados resultados. %a

falta de sistemas adecuados para asinar valores de los resultados en términos de

una escala uniforme de utilidad ha sido uno de los principales obstáculos a la teoría

de la decisi!n.

18. E&plicar el concepto de validez de contr*cto ! c*3le on la evidencia de la

validez de contr*cto ! co#o e evidencia la validez de contr*cto ! )*e e

entiende por 9o#o:eneidad evidencia de ca#-io con la edad.La validez de contr*cto define si una prueba o experimento está a la altura de sus

pretensiones o no. 'e refiere a si la definici!n operacional de una variable refleja

realmente el sinificado te!rico verdadero de un concepto. 'e refiere a si una escala

o prueba mide el constructo correctamente. %a forma más sencilla de pensar en ella

es como una prueba de enerali#aci!n, como la valide# externa, pero eval)a si el

experimento se ocupa de la variable que estás probando. &or ejemplo, tal ve#

quieras anali#ar si un prorama educativo aumenta la capacidad artística de los

ni"os en edad preescolar. %a valide# de constructo es una medida sobre si tu

investiaci!n realmente mide la capacidad artística, una calificaci!n un poco

abstracta.

%a valide# de constructo es un juicio de lo apropiado de las inferencias extraídas de

las puntuaciones respecto a posiciones individuales en esta variable denominada


8/13

“constructo”, a que un constructo es una idea científica informada elaborada para

describir o explicar el comportamiento.

%os constructos son rasos presupuestos (subacentes* inobservables que un

elaborador de prueba puede emplear para describir el comportamiento de la prueba

o el desempe"o del criterio. El investiador que anali#a la valide# de constructo de

una prueba debe formular hip!tesis del comportamiento esperado de quienes

obtienen puntuaciones altas bajas en la prueba. De todas estas hip!tesis emana una

teoría tentativa de la naturale#a del constructo para medir con el cual fue dise"ada la

prueba. 'i la prueba es una medida valida del constructo, quienes obtienen tanto

puntuaciones bajas como altas se comportaran como la teoría lo predice. 'i quienes

obtienen las puntuaciones altas bajas no tienen un comportamiento predicho, el

investiador deberá verificar las hip!tesis planteadas del constructo (o anali#ar

nuevamente la naturale#a del constructo en sí*. /na ra#!n posible para que se

obtenan resultados contrarios a los que se habían mostrado en la teoría es que la

prueba no s!lo no es una medida valida del constructo. /na explicaci!n alternante

puede ser encontrada en la teoría que se ener! durante las hip!tesis del constructo,

tal ve# la teoría es relevante examinarla minuciosamente de nuevo. Bui#á la ra#!n

para un halla#o contrario se pueda rastrearse hasta la inclusi!n incorrecta en el

dise"o experimental de un procedimiento estadístico articulado o de la ejecuci!n

incorrecta del procedimiento como tal. &or tanto, aunque la evidencia que confirma

la teoría contribua a un juicio de que la prueba es una medida valida efectiva de

al)n constructo, la evidencia en contrario, desde el punto de vista positivo esta

proporciona un estímulo para que emerja una facetas nuevas de constructo o formas

alternativa para medirlo.


9/13

'e puede evidenciar la valide# de un constructor por medio de un estudio de

intervenci!n, donde se prueba un rupo con puntuaciones bajas en el constructo, se

le ense"a el constructo se vuelve a medir. 'i existe una diferencia sinificativa

entre la prueba anterior la posterior, anali#adas eneralmente con pruebas

estadísticas simples, esto demuestra una buena valide# de constructo.Establecer una buena valide# de constructo es cuesti!n de experiencia juicio, de

construir la maor cantidad de pruebas de apoo como sea posible. 'e utili#a toda

una serie de coeficientes herramientas estadísticas para demostrar una fuerte

valide# de constructo los investiadores contin)an hasta que sienten que han

encontrado el equilibrio entre probar la valide# la practicidad.La evidencia de la validez de contr*cto se emplean diversos procedimientos

para que se proporcionen diferentes clases de evidencia de que una prueba tiene

valide# de constructo. %as técnicas variadas de validaci!n de constructo pueden

proporcionar evidencia, por ej. de que+

• %a prueba sea homoénea midiendo un solo constructo. $ambién

denominada consistencia interna, por lo eneral se refiere a lo bien que mide

una prueba un solo concepto. $eniendo en cuenta la r de &earson, para

correlacionar puntuaciones de subpruebas promedio con la puntuaci!n total

promedio de la prueba. %as subpruebas que a juicio del elaborador de la

prueba no se correlacionen mu bien con la prueba en conjunto podrían

tener que reconstruirse o eliminarse por temor a que la prueba no mida en

constructo “rendimiento académico”. %as correlaciones entre las

puntuaciones de subpruebas la puntuaci!n total de la prueba por lo eneral

se reportan en el manual de la prueba como evidencia de homoeneidad.


10/13

• %as puntuaciones de la prueba se correlaciones con puntuaciones en otras

pruebas de acuerdo con lo que se predeciría partiendo de la teoría que abarca

la manifestaci!n del constructo en menci!n.

•%as puntuaciones de la pruebas se incrementan o disminuen como una

funci!n de la edad o del paso del tiempo como se predijo desde el punto de

vista te!rico.

• %as puntuaciones de prueba obtenidas en forma subsecuente a al)n evento

o al simple paso del tiempo (es decir, las puntuaciones pos prueba* difieren

de las puntuaciones de pruebas como se predijo desde el punto de vista

te!rico.• %as puntuaciones de prueba obtenidas por personas de rupos distintos varía

como lo predice la teoría.

La evidencia de ca#-io por la edad la naturale#a de alunos constructos es tal que se

esperaría que ocurrieran cambios en ellos a lo laro del tiempo, en los cuales se puede

incrementar como lo es la capacidad de comprensi!n lectora de un estudiante de 9C, C, 8C

también puede decrecer en la medida del tiempo como lo es en el caso de un matrimonio

que se evaluara con dicha prueba si existe o no una satisfacci!n matrimonial, si no lo es

entonces va en decaída a través del tiempo a que estos son más vulnerables con las

eventualidades u situaciones cotidianas. 'i una puntuaci!n de prueba pretende ser una

medida de un constructo que pudiera esperarse que cambiara con el tiempo, también este se

debería mostrar los mismos cambios proresivos con la edad si la puntuaci!n de la prueba

ha de considerarse como una medida valida de constructo. $ambién se debe tener en cuenta

que la evidencia de los cambios a través del tiempo, como la evidencia de la homoeneidad

de la prueba, no proporciona por sí misma informaci!n sobre la forma en que el constructo

se relaciona con otros constructo.


11/13

11. En )*e conite la evidencia de pre pr*e-a po pr*e-a evidencia de :r*po

ditinto evidencia conver:ente evidencia dicri#inante ! an3lii factoriale.La evidencia de pre pr*e-a ! po pr*e-a que muestra que las puntuaciones de

las pruebas cambian como resultado de aluna experiencia entre una pre prueba

una pos prueba puede ser evidencia de valide# de constructo. lunas de las

experiencias intermedias más comunes responsables de los cambios en la

puntuaci!n de la prueba son la educaci!n formal, un proceso de psicoterapia o la

administraci!n de medicamentos la experiencia en el trabajo. &or supuesto,

dependiendo del constructo que se está midiendo, podría parecerse que casi

cualquier experiencia que intervena en la vida producirá cambios en la puntuaci!n

de la preprueba a la posprueba.

La evidencia de :r*po ditinto también conocido como el “método de rupo

contrastados”, una forma de proporcionar evidencia de la valide# de una prueba es

demostrar que las puntuaciones en la prueba varían en una forma predecible como

una funci!n de la pertenencia de al)n rupo. El ra#onamiento aquí es que si una

prueba es una medida valida de un constructo particular, entonces las puntuaciones

de la prueba de rupos de personas que se supone que difieren con respecto a ese

constructo tendrían puntuaciones de pruebas correspondientemente diferentes.

La evidencia de conver:encia para la valide# de constructo de una prueba

particular puede provenir de diversas fuentes, en otras pruebas o medidas dise"adas

para evaluar el mismo constructo (o uno similar*. &or tanto, si las puntuaciones en la

prueba sometida a validaci!n de constructo tienden a correlacionarse altamente en

la direcci!n predicha con las puntuaciones en pruebas anteriores, más establecidas

a validas dise"adas para medir el mismo constructo (uno similar*, este sería un

ejemplo de evidencia converente.


12/13

La evidencia dicri#inante un coeficiente de valide# que muestra poca relaci!n

(estadísticamente sinificante* entre puntuaciones de pruebas u otras variables con

las que las puntuaciones de las pruebas que está sometido a valide# de constructo no

debería correlacionarse desde el punto de vista te!rico proporcionará evidencia

discriminativa de la valide# de un constructo (también conocida como valide#

discriminativa*.

An3lii factorial. %a evidencia converente discriminativa de la valide# de

constructo puede obtenerse por medio del uso del análisis factorial. Es un término

abreviado en sinular que es usado para describir una clase de procedimientos

matemáticos que están dise"ados para identificar factores o variables específicas

que com)nmente son atributos, características o dimensiones en las pueden diferir

las personas, es empleado con frecuencia como un método de reducci!n de datos en

que son anali#ados varios conjuntos de puntuaciones correlaciones entre ellos.

12. ,0* e entiende por validez ! e:o de la pr*e-a&uede definirse como el rado de precisi!n que una medici!n ofrece6 para ser fiable,

una escala debe tener la capacidad de exhibir resultados consistentes en mediciones

sucesivas del mismo fen!meno. &uede determinarse mediante un coeficiente de

confiabilidad, el cual corresponde a un índice, que bajo la forma de proporci!n, da

cuenta de la ra#!n entre la varian#a de la puntuaci!n verdadera de la escala la

varian#a total. $iene como objetivo determinar, probabilísticamente, el rado de

variaci!n atribuible a errores aleatorios o causales no vinculados a la construcci!n

del instrumento. =aranti#a la consistencia expresada en la determinaci!n del rado

de error contenido en la aplicaci!n de una escala, por tanto, en la medici!n del

fen!meno. El error puede ser entendido como el componente de la puntuaci!n

observada en la medici!n que no se relaciona con la capacidad que posee quien la


13/13

responde. sí pues se determina la fiabilidad de las puntuaciones obtenidas a través

de una sola administraci!n del test. =enerali#a las puntuaciones respecto de un

dominio o conjunto de ítems observar si los sujetos responden consistentemente a

lo laro del conjunto de ítems utili#ados. Estos procedimientos operan considerando

las correlaciones entre diversas partes del test, para lo cual existen dos caminos, la

divisi!n en dos mitades la consideraci!n del universo de ítems.

$AFDA DE+ http+GG111.hrc.esGbioestGrocH?.htmlI

Sesgos en la evaluación de pruebas diagnósticas

Los más frecuentes en este tipo de estudio son:

• Sesgo de confirmación diagnóstica al limitar el estudio a los

pacientes a quienes se les hizo en su día el "gold standard" que

suelen ser los que más probablemente tengan la enfermedad, por

tanto las pruebas positivas están sobre-representadas

(sobreestimación de la sensibilidad ! las negativas infra-

representadas (infraestimación de la especificidad

#recuentemente es imposible evitarlo por razones $ticas %a!

t$cnicas matemáticas comple&as para controlarlo

• Sesgo de interpretación de las pruebas si no se hacen

independientemente

• Sesgo debido a resultados no interpretables de la prueba

problema si dicho problema no tiene la misma frecuencia en

ambos grupos

• Ausencia de gold standard definitivo

• 'ondiciones de generalización

• Espectro de la enfermedad ("Case mix") na prueba puede tenerdistintos grados de e)actitud para diferentes grados de severidad

de la enfermedad *eben siempre comunicarse las características

clínicas de los pacientes incluidos en el estudio

• Variabilidad interobservador : +odas las pruebas (unas más que

otras requieren cierto grado de pericia en su realización e

interpretación *os observadores pueden ser igualmente e)actos

pero ser uno más sensible o específico que otro, en otras palabras

operar con la misma curva ' pero en puntos distintos o pueden

Documents

Taller de Psicometría #2