Investigación y evaluación. Implicaciones y efectos

I5SN: 1130-2496RevistaComplutensedeEducación1999, vol. lO, n.> 2:189-214

Investigacióny evaluación.Implicacionesy efectosAlgunasreflexionesmetodológicassobre

investigacióny evaluacióneducativa

JosÉMANUEL GARCíA RAMOS

Catedráticode Métodosde Investigacióny EvaluaciónEducativasUniversidadComplutensede Madrid

Directordel CentroUniversitarioFranciscode Vitoria

RESUMEN

El presenteartículodescribealgunasreflexionesmetodológicassobreInvesti-gacióny Evaluacióneducativaque el autorconsiderarelevantes,al analizardiver-sospuntosde vistaquesobreestaproblemáticaexistenen la actualidad.

Trasanalizarseriamentelos finesde la investigacióncientífica,los rasgosca-racterísticosque definenhoy a la ciencia, y algunos principios importantesquetambiénhoy caracterizana laepistemología(filosofíade la ciencia)actual, el autoranalizadosconceptosclave:Causalidady Empirismo,así como otrascuestionessobremétodoy paradigmasen Investigacióny EvaluaciónEducativas.

Posteriormentey tras poneren relación,mediday evaluacióne investigacióneinnovacióneducativas,definesu conceptode Métodosde Investigacióny Evalua-ción Educativa,y su propuestade superacióndel debateepistemológicoapoyándo-seen algunaspropuestaspersonalesquereflejan la importanciade trabajarcon te-oríasmásricas y más complejas,quecombinenvariablesde todo tipo, sobreunaestrategiabásicamentehipotético-deductiva.

Finalmente<elartículoofrecealgunasconclusionessobreinvestigaciónenEva-luación.

Ans’IRAcT

Analyzing thedifferent points of view that actualyexist on researchanéedu-cationalevaluation,the authordescribessomemethodologicalreflectionon this ar-ticle that heconsidersrelevant.

Oncethe goalsof scientific research,the specific characteristicsthat todayde-fine the scienceand sorneimportantprincipIesthat today characterizethe actualEpistemology(sciencephilosophy)havebeenanalyzed,theauthoranalyzetwo keyconcepts:CausalityandEmpirismas well as othersubjectssuchas methodandpa-radigm in researchandeducationalevaluation.

189

JoséManuelGarcíaRamos Investigacióny evaluación. Implicacionesy electos

Afterwardsandoncemeasurementandevaluationandeducationalinnovationhavebeenrelated,he defineshis conceptof Methods of researchan educationalevaluationand this proposalof onepasstheepistemologicalbasedon sorneperso-nal proposalthat reflect the importanceof working with theoriesmore rich andcomplexthatcombinealí kind of variablesbasedon a hipotetic-deductivestrategy.

Finally the articleoffers sorneconclusionson researchon evaluation.

Introducción

Es precisoreconocerqueasistimosa unosmomentosen los cualessees-tan multiplicandolospuntosde vistasobrela metodologíadela investigacióny Evaluacióneducativa.Sonmuchoslos temasmetodológicossobrelos quehayy se estánformandoopinionescon repercusionesteóricasy prácticas.

Porello sehaceprecisosituar la investigacióneducativa(y por ende,ala evaluación)en relación con la Ciencia, la Tecnología,la Pedagogía,lasdistintasdisciplinaspedagógicasy la misma prácticaeducativa,desdeunnivel conceptualy epistemológico,parapasardespuésaanalizar lasconse-cuenciasde tales relaciones.Estas reflexionesconceptualesnos ayudarántambiéna definir conmayorprecisión,nuestroconceptode InvestigaciónyEvaluación,así como su ámbitode aplicación,en el campoeducativo.

1> Los fines de la InvestigaciónCientífica

Los clásicosniveles de la investigación educativareflejan de algunamaneralos principalesfines: Básica,Aplicada,Activa y Experimentación.La primera vía la considerosustantiva,vital, desdeel reconocimientodeque su ausenciaen cualquier campo,deja sin fundamentola pretensióndecíentifidad de cualquierramadel sabery por supuesto,sin ella sehacedi-fícil pensaren la existenciade los otros niveles.

Ahorabien, ello no implica quitar o restarimportanciaa los otros dosni-velesde investigación.En los últimosañoshemosasistidoa un sanoesfuerzopor acercarla investigacióna la praxiseducativay ello es tambiénimportante,sinpor ello olvidar la importanciadela investigaciónbásica.La investigaciónpedagógicaaplicaday la investigaciónactiva,sedirigen fundamentaly es-pecíficamentea la soluciónde problemaso a la explicaciónde fenómenosysituacioneseducativas.Cuantomás próximosa la acciónconcretay contex-tualizada,máslejanosy ajenosa la búsquedadeteoríasgenerales.

Todo ello nos lleva directamenteal debate epistemológicosobre laCiencia,las Cienciasy la PedagogíacomoCienciay también,al debateso-

190 RevistacomplutensedeEducvción1999, vol. O. n.> 2: l89-2l4

JoséManuelGarcíaRamos Investigacióny evaluación.Implicacionesy efectos

bre <dasmetodologíasde la investigación»y «la controversiade paradig-mas».

2. Ciencia

El término ciencia es hoy consideradoun término equívoco,ambiguo,difícil de caracterizar,independientementede cual seasu objeto. La razo-nesde ello sonvarias.

Sin detenemosa analizarías,enla actualidadsuelendefinirsecomoras-gosmáscaracterísticosde la ciencia,los siguientes(Hdez. Pina, 1994):

1. La objetividad.Se tratade unacaracterísticadel métodocientíficoque se consiguea travésde la contrastaciónintersubjetiva.

2. La actitud crítica. Si algo caracterizaal científico contemporáneoes suactitud crítica. Estaactitudfalsacionistaescentralen los plan-teamientosmetodológicos.

3. La facticidad.Son muchoslos autoresquesostienenque la baseempíricay la experienciason los aspectosquemejor distinguenelconocimientocientífico del no científico.

4. La racionalidad.Esta característicanos permite sistematizardeformacoherenteenunciadoscontrastablesy fundamentarunateoríasobrela realidadque lasustenta

5. La contrastación.Contrastarunateoríaessometerlaa pruebade laexperiencia.Se tratade un procesoquesuponeconjugarlo racionaly lo fáctico.

6. La autonomía.La actividad científica poseeun carácterprimor-dialmenteinterno aunqueningúninvestigadorcarecede elementos«a priori»; es decir, todos llevamos implícita una cosmovisiónsubyacentequeorientade algunamaneranuestasposicionesteóri-caso conceptuales.En estesentidola actividadcientífica es inter-na, pero no exenta de planteamientosprevios procedentesde estacosmovisión.

7. Lenguajeclaroy preciso.Estacaracterísticaposibilita lacomuni-cabilidadde los contenidos,facilitandoademásel carácterautoco-rrectivo del procesocientífico.

8. La sistematización...tantoenelprocedimientocomoen la organi-zaciónde los contenidosy conocimientos.

191 RevistaComplutensedeEducación1999, vol, lO. ni 2: l89-214

JoséManuelGarcíaRamos Investigacióny evaluación.Implicociones~efectos

9. La progresión...capacidadque la cienciatiene pararesolverpro-blemas.

Comopodemosapreciar,el conceptocienciahaido evolucionandohas-ta llegar a entendersecomouna realidadcomplejacuyoscomponentesmásdestacablesserian:

— Tratarsede un tipo de conocimientomásrigurosoqueel ordinario.

— Serunaactividadquecomportaun métodopropio.

— Poseerun lenguajeespecifico.

— Aparecercomo unarealidad dinámicade carácterautocorrector

quebuscaincrementarlos niveles de verosimilitud.

3. Algunosprincipios de la Filosofíade la Cienciaen la actualidad

Segúnlos especialistassobreel tema....los principios musimportan-tes quecaracterizana la episemologíaactual, sonlos siguientes(6 prin-cipios):

1. Rechazodel Inductivismo(comentamosmásadelante).

2. El problemade la verosimilitudde las teorías. No es posiblecon-firmar las teorías.

3. Determinaciónde las teoríaspor la lógica (porel método).Nuncase puedeseparartotalmente,conocimientoobtenidode métodoutilizado.

4. Condicionantessocialesde la ciencia. Importanciade las caracte-rísticaspsicológicasy sociológicasde las comunidadescientíficasen el progresode la ciencia,inclusopor encimade los componen-tes puramentelógicosde dicho proceso.

5. Relativismoen la demarcaciónde la cienciaLa tradicional discu-sión entreracionalistasy relativistas,entornoaquéescienciay quéno lo es,parecesuperadatrasla afirmaciónde Kunh, segúnla cual«no existeningunanormasuperiorala aprobacióndelacomunidadcientífica.

6. Incomparabilidadde las teorías.Si la teoríay las observacionesohe-chosson inseparables,parececlaroquelosresultadosy consecuenciasde cadainvestigaciónno sonseparablesde su contextoteórico.

192 R ‘vista co,nplutensede Educa< iónl999 ,‘o>. It) o ‘ l89-’l4


Sobrelabasede estosprincipios,seestablecenunascondicionesparaeluso de cualquieraproximacióno parala valoraciónde las aproxima-cionesparadigméticasqueactualmentesepostulan.

La filosofía de la ciencia actual,pareceno admitir, queexistancrite-rios absolutosde demarcacióndel conceptode ciencia,y tampocolaexistenciade conocimientoscientíficoscomoconocimientossegurosad-quiridos graciasa la observacióny a la experimentacióny, en conse-cuencia,queexistaun procedimientoinferencialquenospermitaderivarte-oríascientíficasde maneraabsolutamentefiable.En estepunto incidiremosposteriormente.

En estesentido,se afirmaquetodoslos conocimientosdeberánserjuz-gadospor suspropiosméritos,por las solucionesque aportandentrode uncontextosocial(y de unacomunidadcientífica).

La epistemologíaactualpareceorientamosa aceptarabiertamentela legi-timidad delas distintasmetodologíasdeinvestigacióneducativa,evitandoto-do génerode exclusivismoo complejosde«superioridad»o «inferioridad».

En todocasoy comoinvestigadores,cualquieraqueseanuestrameto-dología prevalenteo preferente,hacemoslo conectoal exigirnos unos aotros,mutuamente,rigor y calidaden los planteamientos,desarrolloy con-clusionesde nuestrasinvestigaciones.

4. Dosconceptos:Causalidady Empirismo

Esteconcepto,muy consolidadoen la filosofía tradicional y en muchosenfoquesactualesde la investigacióncientífica, parte de la idea segúnlacual «nadaocurresin causa»,todoefectoes consecuenciade unacausatn-mediata,pudiéndoseasíordenarunasucesiónde efectosy causas.Es evi-dentequeel pensamientocausalhajugadoy juegaun papelimportanteenla investigacióncientífica; por otra pal-te, el conocimientode las causasdeunosefectos,puedeayudara dirigir la accióneducativaa las mismas,evi-tandoo produciendoefectosindeseadoso deseados.

Sin embargoy especialmenteen estesiglo, se ha sometidoa crítica talconcepto,aplicadoala realidad; inclusodesdela propiaFísica, dondepo-demosver la evolución,desdela certezaabsolutade la mecánicade Lapla-cehastalasactualesconcepcionesevolutivas(catástrofe-caos)de un Prigo-gine, pasando por las aproximacionesprobabilísticas (principio deindeterminaciónde Heisenberg).Por otra parte, las restriccionesy condi-cionesexigidasparael cumplimientode la causalidadentrevariables,sontan fuertes,quela mismaposibilidadde establecerseparecedifícil.

193 RevistaComplutensedeEducación1999, vol. lO. ni 2:189-214


Sin embargoy pesea todo ello, la causalidadestáimplícita, cuandono explícita,en la mayoríade los postulados.

Conla apariciónde los modeloscausalesy de los modelosde análisisde estructurasde covarianza,el conceptode causalidades utilizado en lavía no-experimental.En estavía el asuntoes muchomáscomplejoy de-licado, pudiéndoseestablecer«causalidad»por analogía,en diseñosoestudiosdondeni hay manipulaciónde variables,ni azarposible,a tra-vés de la Teoria.

Finalmentey paraevitar la «crítica fácil» al conceptode causalidad,convienedistinguir entredos conceptosde causalidadde diferentecalado:un conceptoingenuoy simplistay un conceptomássólidoy complejo.En este sentido,convienesuperarel primero, en virtud del cual unasola causainduce un solo efectomedianteun procesosusceptiblede serteóricamenterepresentadomedianteuna estructurafuncional sencilla ymanejable,percatándosede queen muchoscasos—la mayoríaen nues-tras CienciasSocialesy en nuestraCiencia Pedagógica—lo quese daes un «enjambre»o conjunto de con-causasgeneradorasde «en-jambres»de efectos,ligadosentresí, medianteprocesosqueno admi-ten unarepresentaciónteóricaen términosde estructurasfuncionalessen-cillas.

Una cosaseráadmitir estesegundoconceptode causalidady no el pri-mero,por ingenuoy otra biendistintaconcluir por el primeroquela causa-lidad, en cuantoposibilidadde intelecciónracionalde los fenómenos,noexiste.Evidentemente,defendemosla necesidaddeusarel conceptodecausalidad,correctamente,perosin complejosde ningún tipo y con to-da la extensióny fuerzaconqueseposible.

El término «empirismo»,comoel ya citadode «ciencia»,es hoy un tér-mino polisémico,con muchosmaticesy querequieremuchascualificacio-nes.

En nuestrocampoy desdenuestroquehacerde investigadores,parti-mos de la necesidadde derivar y contrastarnuestrosconocimientosconla realidad.El datoempíricoes importante,seacomobasedel con-trastede unaafirmacióno paralabúsquedade acuerdode interpretaciones.Ciertamente,se excluyenquienessólo haceninterpretacionesen susapro-ximacionesa larealidad,sin aportardatos,ya queeliminanla posibilidadde unacontrastaciónexterna,la posibilidadde unacomparacióninter-subjetiva,unacondiciónparami ineludible,en el contextode nuestradisciplina.

194 RevistaComplutensedeEducaciónl999, vol, lO, ni 2:189-214

JoséManuelGarcía Ramos Investigacióny evaluación. Implicacionesy efectos

5. El métodoy la cuestióndelos Paradigmasen la Investigacióny EvaluaciónEducativas

De lo anterior se deriva que, si bienla objetividady la neutralidadnodebenexigirse, por inalcanzables,si debepedirseen toda investigaciónrigor y sistematicidad,queen lamayoríade los casosvienendadospor lapreocupaciónporla validezinternao lógicadenuestrasinvestigaciones,preocupaciónquedebeplasmarsesiempreen la fasede evaluaciónde laconsistenciainternade nuestrasteoríasy tambiénporel respetoal métodoen laevaluaciónde la consistenciainternaentrela teoríay los hechos.

La discusión,polémicao debate,especialmentecandenteen los últimosaños,en tomoa los Paradigmasy metodologías,tienemuchoquever conel problemadel método,aunquepartequizásde un nivel de abstracciónsu-perior y estrechamentevinculadoacuestionesepistemológicas,defilosofíade la ciencia.

Lasraícesdel debatesonantiguas.En la actualidad,hayqueseñalarqueestedebateha generadomuchaconfusión.No vamosa reproducir—enes-ta exposición—los términose historiade estedebate.Ha sido y paraalgu-nos todavíaesun «debatecandente».

Por otrolado,lacontroversiava másallá todavía,puesafectaa quienespiensanque las distintasaproximacionessoncompatibles,frentea los queopinanque no es posiblela integración.

Porotro lado, el problemaesen partediferenteal hablarde investi-gación y al hablardeevaluaciónde programas-investigaciónevaluati-va, en dondelos objetivos sondistintos, no buscándosetantoconstruirteo-ría, conocimiento más o menos generalizable,sino más bien obtenerinformaciónparavalorar y tomar de decisiones(de mejora,de cambio, detransformación).

La complejidaddel debatey del problemay las situacionesde los in-vestigadoresante él hacen difícil enfocarlo en unas pocas páginas.Noobstante,convienedistinguir brevementedos niveles en esta discusión,Planteamientosepistemológicos;Metodológico(métodosy diseños), yTécnico.

Esteprimer nivel, trata de recogerlos distintasposiciones,enfoquesoparadigmasquedirigen la investigacióny la evaluación.Claro que,bajolasdistintasdefinicionesde investigacióny de evaluación,por lo generalsub-yacenpresupuestosfilosóficos distintos acercade epistemologíay valor.Dichospresupuestosorientany definenla naturalezade la evaluacióny dela investigaciónque se realiza.Dependiendode ellos, de cadaposición, seutilizaránunosmétodosde investigacióny unosmodelosde evaluación,así

195 RevistacomplutensedeEducaciónl999, vol. 10. nY 2: 189-214

JoséManuelGarcíaRa,nos Investigacióny evaluación.Implicacionesy efecros

como distintosdiseños/planteamientosde investigación-evaluación,comoherramientaspreferentesde trabajo.La literaturarecienteestá llenade ar-gumentosacercade la naturalezadel conocimiento.

Sin duda,quela investigacióny la evaluación,especialmenteésta,aun-queambasmucho, se ven fuertementeafectadaspor estasposiciones.Dehecho,lo máso menosaceptablede unainvestigaciónconcretao de unain-vestigaciónevaluativaparticular,depende,amenudo,de la ópticaquetomael quela valora.

Básicamentey en un primer intentoclasificatorio, puedendistinguirsetres posicionesgenerales:a) naturalista-cualitativo;b) experimental-cuanti-tativo-racionaly c) ecléctica.No nosdetenemosa explicitarlosen estemo-mento.El criterio de verdad,es básicoparadistinguir entrelas posicionesextremasdel continuo(en estenivel).

Un segundoproblemaes si: ¿Puedenintegrarse?¿Soncomplementa-rios?¿Soncompatibles?

Hay tesisparatodoslo gustos,desdelas Tesisde laoposicióno incom-patibilidad epistemológica,hastala tesisde la complementariedad,pa-sandopor la tesisde la unidadepistemológicacon diversidadmetódicaaceptada.Muchosotros autoreshandefendidola complementariedad,perodesdeposicionesy planteamientosmuy distintosy dispares.

Mi posiciónpersonalen estepuntoes la deprocurarevitar el caerenla renunciaala construccióndeunateoríasistemáticay ello sobrela si-guientetesis:en un procesoracional-objetivono tieneporquérechazarseelquemuchasvariablesquehandeser integradasenla teoríano seanni cuan-tificables,ni siquierafácilmenterepresentablesmediantecategoríasanalíti-cassencillas;peroestono tieneporquéconducirnosa posicionesen la queparecerenunciarseaestablecerunateoríasistemática;por el contrario,a loquedebeconducirnoses a un amplio esfuerzode producciónconceptualy analítica,progresivamenteconducenteal establecimientode teoríasmásricasy máscomplejas(veremosestepuntomásadelante).

En estesentido,no convieneolvidar queuna de las mayoresacusacio-nesque se hacena la investigacióneducativa,es la de queno seapoyaenla teoría.

Lo mismoocurreconlaevaluacióneducativa:su justificaciónno siem-pre estáclaray sus objetivosmuchasvecesno seprecisan.

En estenivel las consecuenciasde los planteamientosepistemológicossonevidentes.

Conviene,en todocaso,no confundirel debateparadigmáticoconeldebatemetodológicocuantitativo-cualitativo;aunquees verdad,quepa-ra entendercómose llegó al segundodebatehayaquetenerencuentael pri-

Rei ‘ista Co~nplutensede Edu<.ación999. vol, lO. ni 2:189-214

196

foséManuelGarcíaRamos Investigacióny evaluación.Implicacionesy efectos

mero.Asi, porejemplo,positivismoy cuantitativismono sonla mismaco-sa,no convieneidentificar paradigmaconmetodología.

En estenivel, mantenemosnuestraposiciónanterior,a la queconvieneañadirun matiz importante:probablemente,la fecundaciónprogresivadela teoría—dentro del marcoen quenosmovemos,estoes,labúsquedadeuna teoríacomplejaprogresiva—exige la aportaciónde elementosquehoy quedanobjetivamentefuera del horizonteconceptualperceptivodelas diferentesposicionesteóricaso argumentalespropiasdenuestroámbito educativo,elementosestosquemuy probablementedebanser to-madosde unaampliareflexión,por ejemplo,antropológica.

El temade los métodosen el ámbitode laEvaluaciónEducativa,pre-sentaalgunasvariacionesimportantesrespectoal ámbito de la investiga-ción educativa.Aún cuandola metodologíade la evaluaciónde progra-masprovieneclaramentede la metodologíadeinvestigación,ha tenidoqueir haciendoadaptacionessucesivaspararesolverproblemasespecíficosquehan ido dandolugar a métodospropios que, siendobásicamentelos mis-mos, en su proceso,al de la investigaciónaplicada,introducenalgunasva-rianteso particularidades.

En la actualidad,la evaluacióndeprogramasse caracteriza,porla fal-ta de acuerdoen lo quees,en cómo debehacersey paraquédebehacersela propiaevaluación.De hecho,podríamosvolver a agruparlos grandesen-foquesmetodológicosalternativos,de nuevo,en dos principales:a) Esque-maTradicional-objetivistay básicamenteexterno,y b) Modelo Participati-yo-subjetivista-critico y básicamenteinterno; alternativas que nosdevuelvena la discusiónoriginariaqueya hemoscomentado.

En esteámbito de la Evaluaciónde Programas,investigación-eva-luativa, se recogen,dentro de sus diseños,técnicasy herramientasal uso,todaslas posibilidadesqueofrecela investigaciónclásicaenCC. Sociales,másalgunasotrasposibilidades,máso menosnovedosasy las procedentesde la corrientecualitativa,quehanido surgiendoen la cortahistoria,toda-vía, de esteáreade la investigación,o, si se prefiere,en esteáreaevaluati-va. En todocaso,no debeolvidarsequeunacaracterísticade la investiga-ción evaluativa,que la distingue de la mayoría de las demás clasesdeinvestigación,es la de quese realizaen un marcode acción,algunaotracosa, ademásde la investigación,estásucediendo,hay un programaenfuncionamiento,o un centroen marcha,...La investigaciónes aquí unapéndice,un algoque «tambiénestápresente»,algo quetiene, sin embar-go, prioridad secundaria.Con frecuencia,los investigadoresproponemoscambiarel ordende prioridadesy conalgoderazón,peroello puedeserungraveerror.

197 RevistaComplutensedeEducación1999, vol. 10. o.’ 2: 189-214

JoséManuelGarcíaRamos Investigación evaluación.Implicacionesy efectos

En todo caso,el investigador evaluativo, el evaluadorde programas,debeconocermuchosobreinvestigación,conocerlo quese encuentraenlos textosacercade métodosde investigacióny luego tieneque aprenderaaplicar tal conocimientoa un ámbitoque a menudoresultainhóspitoparaáreasimportantesde suconocimiento.«Si luego no sale de su libro de tex-to, correel peligro de hacerun trabajoquenadatengaquever con lo quesele encargó,de «chocar»con el personaldel programao del centro,con elquetrabajay de ver desperdiciadoslos resultadosdel estudio,si es quelle-ga a completarsu trabajo»(Weis, 1975).

6. La medidaen investigacióny evaluacióneducativa

Un capituloesencial,queconvienemencionares el de los instrumentosde mediday másimportanteaún,el dela medidamisma,como basey ele-mentoesenciale inseparablede los procesosde investigacióny evaluacióneducativos.

Mediresjustamenteel procedimientoparadefinir, obtenery ofrecerda-tos, informaciónútil queposibiliteel análisisparala obtenciónde conclu-síonesen todo procesode investigación,así como el juicio o valoraciónposterioren quetodaevaluaciónconsiste.

Tambiénen el ámbito de la medidaha tenido un fuerte eco el debatecuantitativo-cualitativo.Sin volver aldebate,hayquereconocerquela pre-ocupaciónpor los datosy sucalidad,en estosúltimos añosy en ambasco-rrientesmetodológicas,esgrande.Mientrasen laperspectivacuantitativase siguen dos direcciónes:a) mejorasen las teoríasy métodosde aplica-ción; y b) profundizaciónen las teoríasformales;en la perspectivacuali-tativa sebuscasuplir la imperfecciónde las aproximacionesa la realidadeir aumentandosu validez, corrigiendofuentesde error, por la reflexiónyanálisiscuidadosode las condiciones.

En mi opinión, el conceptodemedida,aceptandolas clásicasdefini-cionesde distintosautores...debeligarse a un conceptomásamplio queelpuramenteoperacionaldebiendovincularsesiemprea unaTeoríaSus-tantivao sistemadeproposicionesreferidasaun conjuntodeconstruc-tos, quesirvenparadescribir, explicary precediralgunosaspectoslimita-dos de sudominio.

La definición de Lord y Novick (1968), es unamagníficasíntesisde loanterior: «la medidaes un procedimientopara la asignaciónde números—puntuaciones,medidas—a propiedadesespecificadasde unidadesexpe-rimentales,de modo que las caractericeny preservenlas relacionesespecí-

198 RevistaComplutensedc Educación1999,vol. IOn.02:189-214

J05éManuelGarcíaRamos Investigacióny evaluación.Implicacionesy efectos

ficadasen el dominio comportamental»(p. 17). De ahí que la medidaco-miencesiempreconun procedimientoparaidentificary relacionarlos ele-mentosdel mundoreal conelementoso constructosdel sistemalógico, pormediode unadefinición semánticaprecisa;unavez hechoesto,puedepro-cedersea la medición.

La medicióneducativase enfrenta,en estefinal de siglo, con grandesproblemasteóricosy prácticos,derivadostodosellosde las dificultadesdeconstruirinstrumentosadecuadosa los constructosque se definen,muchosde los cualespresentangravesdificultadesde delimitación.De aquí,quesesigadiciendo,queel principal problemaqueha de enfrentarun instrumen-to de medida,esel de lavalidez de constructo.

7. La Evaluacióneducativay sus ámbitos

Con relaciónal ConceptodeEvaluacióny sus ámbitos,en primer lugar,convieneseñalarla evolución queha sufrido el mismoConceptode Eva-luacióna lo largo de los últimos cincuentaaños.Ha evolucionadorápidayprofundamente,desdela conceptualizaciónde Tyler hastanuestrosdías.Inicialmenteestabarestringido—en el ámbitoeducativo——por la referen-cia al aprendizaje-rendimientode los alumnos.

Actualmentey como consecuenciade su desarrollohistórico, el con-ceptode Evaluaciónse ha ampliadoenormemente.Toda actividadeducati-va intencionales susceptiblede Evaluacióny portanto esEvaluaciónEdu-cativa.

De hecho,prácticamentetodaslas definicionesque sobreel términosehandadopuedenenglobarseenalgunodelos dosconceptossiguientes.De-finicionescomolas de Bloom (1975),Gronlund(1985),etc...,vanen la lí-nea de la evaluaciónde productoseducativosindividuales (Assesment).Definicionescomolasde Phi DeltaKappa,1971,Stufflebeany otros (1971y 84), Berk (1981);...vanen la líneade la evaluaciónde programas(Eva-luation). Otrasdefinicionestratan de abarcarambosconceptos(Pophan,1980; De laOrden,1982; PérezJuste,1986); incluso se puedeapreciardi-chaorientaciónen Scriven,1967 y otrosmuchosautores.

La tendenciaactual es considerarpor separadolas dos facetasdel tér-minoevaluacióny ello, fundamentalmente,porqueimplicanprocesosy me-todologíasbastantedistintos. En este sentido, la diferenciabásicaentreambosconceptospareceestaren la unidad-objetivode análisis:un indi-viduo o sujetoúnico(«assesment»)o bien,un programao modalidadde in-tervención(«evaluation»).

199 RevistaComplutensede Educación1999, vol, lO. n.

0 2: 189-’14

JoséManuelGarcíaRamos Investigacióny evalua~.’ión. Implicacionesy efectos

8. Investigacióne innovacióneducativa

Respectoa la relaciónentreInvestigacióne Innovacióneducativalo pri-meroqueconvieneapuntares queambosconceptosestánligados, seapo-yany justifican entresí. La investigacióneducativa,en último término,selegitimapor su compromisoconlapraxiseducativa,porel compromisoconel perfeccionamientode la acción educativay por tanto,por la repercusiónquetieneen la optimizacióndel aprendizajea travésde la innovación.Porotro lado,convieneque todainnovaciónse apoyeen algún tipo de resulta--dos de investigación;por lo menos,todainnovaciónque pretendeperma-necery consolidarsecomomodosistemáticodeintervencióneducativaper-fectiva.

Sin embargo,de todosesconocidalapocarepercusiónque, hastaelpre-sente,ha tenidola investigaciónen laprácticaeducativa.Estetemaes y hasido objetode abundanteliteraturaen los últimos años.No vamosa repro-duciraquí,de nuevo,la discusiónsobrelas causasquehan provocadoestasituacióny sus consecuenciassobreambosconceptosy sobreel debatecuantitativo-cualitativo.

Lo quesi parececlaro, es que se buscanformasde superarestasitua-ción y sobretodo se observaunacrecientepreocupaciónpor conectarade-cuadamenteInvestigacióne Innovación,Investigacióny cambioeducativo,Innovacióny Evaluación,etc... Sinduda,la vía metodológicaes esencial,puesa travésde lamejoray adecuacióndelos métodosde investigaciónpo-dremosconectaradecuadamenteinvestigacióne innovación.

9. Conceptode Métodosde Investigacióny EvaluaciónEducativa

Antes de aproximarnosun pocomásal conceptode MétodosdeInves-tigación y Evaluación,me parecenecesariohaceralgunasconsideracionesmás,sobrelas característicaspeculiaresdel conocimientopedagógico,paraenmarcarmejorestaaproximación.

Una de las cuestionesquesurgesiempreennuestroámbito, es la consi-deraciónde si la Pedagogíaes cienciao no lo es. En parteya hemoscon-testadoaestacuestiónanteriormente.

Ciertamente,el quehacerpedagógico-educativoes un arte.La cuestiónes, si ¿ademáses unaciencia?Tal corno definimos la ciencia anterior-mentey de forma ampliala Pedagogíaes tambiénunaciencia,encuantoqueutiliza métodosque se caracterizanpor tenervalor heurísticoy ser ac-ción reflexiva,rigurosa,sistemática,organizaday disciplinada.La Pedago-

200 RevistaComplutensedeEducación1999, vol. lO, u.’ 2:189-214

JoséManuelGarcía Ramos Investigacióny evaluación.Implicacionesy efectos

gía tiene modosde conocimientorigurososy metódicosconel fin de des-cubrir leyesen el objetode estudioy de expresarlos conocimientosadqui-ridos sistemáticamente.Es decir, tieneobjeto, rigor, método,leyesy teorí-as sistemáticas.

Ciertamente,lo quemáscuestaaceptaren Pedagogía,es quetengale-yes;peroelproblemase reduceala cuestiónde aquénivel degeneralidad-universalidades necesarioquese formulenenunciadosde laPedagogíapa-ra quepuedanconsiderarseleyes científicas.Citandoa Sherwood(1969),quien presentalas distintos tipos de generalizaciónaceptablesen la Cien-cia, puedeafirmarsequelaPedagogíaestáconsiguiendoleyesy teoríaspro-gresivamentemásgenerales-universales.

Porotro ladoy en cuantoquelos conocimientospedagógicosse preten-de tenganun alto gradode practicidad,al permitir a máscorto o máslargoplazo,suaplicacióna la mejoraeducativa,puedeserconsideradaunaCien-cia Tecnológica.Se trata pues,de la mejora del sistemaeducativo,de laeducaciónen general,comocriterio de validez (cuestiónestano exentadevaloresde enjuiciamiento).

Lo quehabráqueevitar, es queal enfatizarel carácterprácticodel sa-ber pedagógico,descuidemosy olvidemosque los fenómenoseducativos,objetode estudiode laPedagogía,por complejosy multivariadosquesean,sonsusceptiblesde conocimientosistemáticointegrableen teorías.

Tradicionalmente,el conceptode PedagogíaExperimentalha servidoparadenominarun campode trabajointelectualy profesionalen tornoa lametodologíacientífico-experimental,empírico-científica,y empírico-expe-rimental,por usardiversasdenominacionesquese hanutilizado paradefi-nir la metodologíapropiade la disciplinaEn estesentido,lo queha carac-terizado a nuestra disciplina ha sido su «adjetivo» (experimental)definiéndosehistóricamentecomounamodalidadde conocimientocientífi-co que se fundamentaen la experimentacióny observacióncientífica.

Numerososautoresal elaboraruna definición de la PedagogíaExperi-mental, hacenreferenciaa algunasde sus característicasbásicas:serunadisciplina metodológica,un enfoqueen el estudiode la educación,unadisciplina aplicada,dirigida a la resolucióntécnicade problemasqueplanteala realidadeducativa.

Si tuviéramosqueavanzaren unadefinición propia,diríamosquela Pe-dagogíaExperimental,los Métodosde Investigacióny Evaluación,se ca-racterizan,por las siguientesnotas:

a) Finalidadcientífica.b) Rigor en susprocedimientos.

201 RevistaComplutensedeEducación1999. vol. lO. ni 2 189’14


c) Énfasisenel Métodod) CarácterTeórico-Práctico.e) Perspectivao enfoquede los problemaseducativos.

1’) Metodología empírico-experimental;metodologíasde baseem-pírica y/o experimentalquebuscanel contrastecientíficode lare-alidad.

Ahorabien, aceptandotodo lo anterior,no es menoscierto queel grandramaquelas CienciasSociales(Economía,Psicología,etc..,)tienenplan-teadoen estemomentoy la Pedagogíano es unaexcepción(enlas CienciasNaturalesy en la Físicapor ejemplo,tambiénocurre aunqueen menorme-dida) esel haberdescubiertoquela mayoríade las variablesexplicati-vasde los fenómenoscon quetrabajamos,sonvariables«cualitativas»(entendiendopor ellas las quecomúnmentedenominamosNominalesy es-pecialmente,Ordinales)y no tanto variables«cuantitativas»(susceptiblesde sermedidascardinalmente,lo quecomúnmentedenominamoscomo deintervaloo deRazón).

Ello nos obliga a definir TeoríasExplicativascadavez másgenerales,máscomplejas,máspotentesen el sentidopopperiano,en las cualesesténpresentesambostipos de variables.Las primeras,no cuantificablesestric-tamente,sonlamayoríaen nuestroámbitoeducativo.Aún aceptandolame-didade variablescomoRendimiento,aptitudesy algunasotras,al nivel deCuasi-intervalo(«cuantificables»),la mayoríasiguensiendoordinalesy/onominales.Estasvariablesson, sin embargo,susceptiblesde algún tipo demedida,por supuestosonsusceptiblesde serdefinidasen términoslógicosy sobretodo,presentanalto poderlógico-explicativode muchosfenómenoseducativos.

En estesentido,entiendoquenuestradisciplinadebeconducirnosa tra-bajarconTeoríasTipo 2 (T2), segúnel esquemasiguiente:

a) TI: Sólo manejacategoríasanalíticascuantificables(k), por tanto,hipótesiscon sólo variablesk, quea travésdel procesoinferencialdesembocanen TeoremasK, que son susceptiblesde contrasteem-pírico.

b) T2: manejatodo tipo de categoríasanalíticasquepuedanser acu-ñadasparacaracterizarrazonablementeun grupo de fenómenos;algunasseríanK y otrasno, serianq (cualitativas).Por tanto, ten-dríamosHipótesisK e hipótesisQ, orgánicamenteligadas,queatravésdel procesoinferencialdesembocanen Teoremasqueimpli-

202 RevistaComplutensedeEducación1999, vol, lO. ni 2:189-214

foséManuelGarcíaRamos Investigacióny evaluación.Implicacionesy efectos

can «relacionesfuncionales»o estructuralesqueson contrastablesempíricamenteen términos de k y con implicacionesk, sobrecon-diciones definidas por las categoríasq. Ciertamente,en todo casohabremosde definir y justificar razonablemente,quévariablescon-sideramosk y cuálesq.

Por otro lado,y asumiendola ampliación que en los últimos añosseha producidoen la disciplina quecon la denominaciónde «MétodosdeInvestigación»en Educación ha incorporadootros métodosde investiga-ción ademásdel enfoquetradicional y el conceptode cienciaquehemosdefendidoanteriormente,parecelógico afirmar quenuestradisciplina enla actualidadse caractericepor sumatiz metodológico,queabarcaríaasílas distintas aproximacionesempírico-experimentales,cuyos objetivosson: la descripción,explicación, predicción y control, de los fenómenoseducativos.

Una definición que podría ayudarnosa resumirtodo lo dicho hastaaquí,nos llevaríaa decirqueentendemosnuestradisciplina,como el estu-dio delos métodosy metodologías,técnicasy procedimientosutilizadosy utilizables,paraobtenerun conocimientoy unaexplicacióncientíficade los fenómenoseducativos,asi comoparamejorarla realidadeduca-tiva, medianteunaaproximacióntécnicay rigurosaa los problemaseducativosy sociales,quetal realidadplantea.

Por otra partey sobrela basede todo lo dicho hastaaquí,me gustaríaconcluir conalgunaspropuestaspersonalessobrecómosuperarel ac-tual debatemetodológico.Paraello se hacenecesarialapropuestade unametodologíade investigaciónrazonable,queyo apoyaríaen mi propuestaanteriorde trabajarconTeoríasTipo2 (ya desarrolladoanteriormente).Ellosignifica que:

a) TodaTeoríadebeproponerrelacionescausales,sea dichateoríacualitativao cuantitativa.En estesentido,toda Teoríaes,por defi-nición, hipotético-deductiva.

Convienerecordaraquíque la Inducciónno puedeaceptarse,pueslos enunciadosobservacionalesestáncargadosde teoría, destru-yéndoseasíla tesisde quela Cienciacomienzacon la observación.En estalínea, la llamada«víainductiva»queprefierequela «teoríaemerjade los datos»no pareceaceptable.Comosabemoslosdatosno existenindependientementede la estructurateórica de al-guien.Algo es erigidoen datopor alguien,quelo hacea partirdealgunaclasede estructurateórica(buenao mala; conscienteo in-

Re ‘isla Co,t¡’íotensrde Educa¿.ión1999. vol. lO, ni 2 189-’14

203

JoséManuel GarcíaRamos Investigaciony evaluación.Implicacionesy efectos

consciente;explícita o implícita) que le permite reconocercomodatoalgoquepercibe.

Comoejemplo,bastadecirqueyo no puedodistinguir entreun «es-quizofrénico»y un pacientecon«delirio paranoico».Sin embargo,un buenpsiquiatrasi quepuede.De la misma maneraqueno soycapazde distinguir si se ha estropeadoel cárter o unabujía,por elmido del motor del coche. Un buenmecánicopuedehacerlo. Y esqueparamí, los síntomasdel enfermoo elmido del motorno sondatos, son hechos o fenómenosque no reconozcocomo datosmientrasno tengaunaestructurateóricamínimaquelo permita.Nopuedoo no soy capazde discerniro de aceptarcomo significativoun datoqueno puedoidentificar comotal.

Ahorabien,estono quieredecirquelapercepcióndesdeunateoríainicial (T0) no puedaplantearmeun campodeextensiónconceptualo tensiónproblemáticaconrespectoaT0. En esecaso,no es la me-rapercepciónde algodistinto —sinmás—lo quehaceque esaten-sión problemáticadesaparezca,sino la reelaboraciónhipotético-deductiva a partir de T0; ésta es la que me conducea unareflexióna partir de un nuevodato.

Partimosasí de la existenciasiemprede unaTeoríaFundamental,entendidacomoconjunto,frecuentementeno bienarticulado,deprincipios epistemológicosy sustantivos(teóricos)quetenemospor ciertosy a travésde los cualestematizamosnuestraobser-vación.

Ciertamente,la realidadesobjetiva, perono lo es la visión de lamisma desdenuestrasubjetividad.La visión de la realidadestásiempremediadapor la subjetividad.De hecho, todospodemosconstatarquesobreuna misma realidad uno ve cosasque otros,simplemente,no veny viceversa.

Partesustantivade estapropuestapersonalde superacióndel deba-te metodológicoes pues,el reconocimientode quenecesitamosTeorías,debiendodirigir nuestroesfuerzoprincipal a proponerlasy despues,contrastaríasconla realidad.Estasteorías,como ya sedijo, manejaránvariablescuantitativas(k) y cualitativas (q) quepermitanligarlasorgánicamentey que atravésdel procesoinferen-cial (hipotético- deductivo)desemboquenen el establecimientoderelacionesfuncionaleso estructuralesqueseancontrastablesempí-ncamente.

204 RevistaComplutensedeEducación1999, vol, JO, nY 2:189-214

JoséManuelGarcíaRamos Investigacióny evaluación. Implicacionesyefectos

Ciertamente,nuestramayor dificultad es que trabajamos—en lamayoria de las ocasiones—con variables cualitativas.Ello nosobligaráaun granesfuerzodeproducciónteórica,conceptualy aná-litica, progresivamenteconducentea teoríasmásricas y máscom-plejas.En cierto sentido,puededecirsequela mayoríade nuestrasTeorí-as,sono seráncualitativasy deberánconstituirseporla vía hipoté-tico-deductivaen continuainteraccióncon la realidadquepreten-demosexplicar,comprendery mejorar.Lo mismoocurreen otrasC.C. Sociales,comopor ejemplolaEconomía,dondetodaslas teo-ríasactualestrabajanconvariablescualitativasy procedendel tra-bajodesarrolladopor vía hipotético-deductiva.

b) Juntoa lo anterior,repetimos,ello no implica reducir las varia-blesconlas quetrabajamosavariablesúnicamentecuantitati-vas (k), tal comocomentamosal hablarde Teoríastipo 1 y tipo 2.Si lo hiciéramos,estañamosdejandofuera del campoexplicativode la teoríafenómenosen los queintervienenvariables«q» (la ma-yoría, comohemosdicho).No admitiríamosasíunaposición— co-mo ésta— sistemáticamentereduccionista.El clásicoejemplo del«farol y la moneda»puedeiluminar lo queaquídefendemos’.De ahí que el «enfoquecuantitativo»no seaaceptablesi implicaunareduccióncomola descrita.

c) Ahorabien, ello no significa —como en ocasionesse observa—quedebamosidentificar gratuitamenteestructurahipotético-de-ductivay estrategiareduccionista(ya descrita).Los queasí lo ha-cen,creeno postulanquelasuperacióndel reduccionismotambien

¡ En esteclásicoejemplo,muy usadodetodaslas CienciasSociales,unapersonapier-de unamonedaal cruzarla calle. Al llegaral otro lado sedacuentade ello. En la callesólohay un farol, queilumina unapartepequeñade la calle. La personabuscala monedasólo enlazonailuminadaporla farolay asílo hacedurantehoras.Llegaun amigoy lepreguntaquequé hace.El «buscador»de la monedadicequela buscadesdehacehorasy queno la en-cuentra.El amigo le invita abuscarlaportodala calle, negándoseel «buscador»,puesno es-tá iluminadaporel farol. La moralejaes muy sencilla:habráque «arrancarla farola, sin des-conectaríadela fuentedeelectricidad,si hacefalta» o buscarun «grupoelectrógeno»o unalinternapotente,parabuscarla moneda,sin reducirla búsquedaa la zonailuminadaporel fa-rol. Habrá, pues, que acomodarel método al objeto de estudio,que es la realidad objetiva,evitandoreduccionismoscomoel señalado.Nuestrasteorías,progresivamente,deberántratardeexplicartoda la realidad, para ello, frecuentemente,deberántrabajar con variables«q» yvariables«k».

205 RevistaComplutensede Educación1999, vol, lO. u.’ 2: 189-214

JoséManuelGarcíaRamos Investigacióny evaluación.Itnplicacionesy efectos

implica el abandonode estructurasteóricashipotético — deducti-vas, cayendoasíen unaposturadificilmente compatibleconel es-tudio racional y sistemáticode los fenómenos.En la medidaenque«investigacióno enfoquecualitativo»signifique el no esta-blecimientode relacionescausales,racionalmentediscernibles,no nospareceaceptable.Lo quepropugnamos,pues,es un enfoqueprogresivoen el que,asumiendolos elementospositivosde ambosenfoques,se vayaalaconstrucciónde modelosexplicativosquecombinenvariables«q»y «k>~, queestablezcanrelacionescausalesentreellas, lo quepermitirá una explicación(inteleccióny comprensión,son, en estesentido,sinónimosde explicación)quenaturalmentedebepoderes—tar abiertaa variostiposde contrastación,en algunosaspectoso di-mensionescuantitativas..,y en otrascualitativas.La tareano es fácil, ciertamente,pero el objetivo justifica el es-fuerzoqueentretodosdebemosrealizar.

10. Investigaciónsobreevaluación.Algunasconclusiones

En la actualidad,pues,nos encontramosen unaépocacaracterizadapor unavisión másequilibradade las posibilidadesde la investigaciónedu-catiya. Un período«de evaluacióncrítica»,en el cual se intentaevaluarlacalidadde la investigaciónpedagógicay su contribuciónal progresode laeducación.Una épocacaracterizadapor unagran preocupaciónmetodoló-gica, unaépocade «reflexión»sobrelo conseguidoy lo no conseguido,in-tentandodefinir:

a) Cómousarmejor los métodosy técnicasexistentes.b) Qué áreaso problemaseducativoshan sido y no han sido sufi-

cientementeabordadosdesdela metodologíade investigacion.c) Nuevosmodosde adaptarseal estudiode los problemas.d) Nuevasformasdedefinir problemaseducativos,susceptiblesde ser

investigadosdesdedistintasalternativasmetodológicas.

De la misma manera,podríamosafirmar que la vía metodológicay deInvestigaciónesesencialparalaEvaluaciónEducativa.

En primer lugar, no debemosolvidar queInvestigacióny Evaluaciónson dos cosasdistintas,queciertamentecompartenmuchoselementosde

RevistaCo¡nplutensede Educación999, vol. 10, a.’ 2: 189-2t4

206


procesoy método,peroconun objetivo diverso: la evaluación,conduceadecisiones;por el contrario,la investigaciónconducea conclusiones.En laEvaluaciónde programaso su correlatometodológico, la Investigación-Evaluativa,la investigaciónes secundaríaen prioridad; lo prioritario esva-lorar el programa,centro~..como fuentede tomade decisiones.

Con ello se quiereindicartambiénquela evaluacióndebeadaptarsealcontextoy al objetoevaluado(programas,centros,etc...)y perturbarlo me-nos posiblelas operacionesy dinámicasdel mismo.Ello no significa queno se produzcaninterferenciasen ocasiones.Lógico, entreotrascosasesprecisorecogerdatos,perohabráqueprocurar,aquíespecialmente,recabarsólo los necesarios(en ocasiones,el investigadoro el evaluadorsolicitanmásinformaciónde la queutilizarándespués).

En segundolugar, debemosteneren cuentaalgunosotros proble-masquehabráquecuidaren la investigaciónevaluativason:

a) tendenciadel programao del centro,a cambiar,mientrasestásien-do evaluado;

b) las relacionesentreevaluadoresy el personaldelprogramadel cen-tro; y

e) el hechode queel programase halla insertoen un sistemade orga-nizacióno el centroeducativoenun sistemasocio-políticomásam-plio y de quela naturalezadedicho sistemacondicionará,de algu-na manera,los resultados.La metodologíade investigacióny elsentidocomúnpuedenserbuenasherramientaspara ayudaraminimizar estaproblemática.

En tercerlugary dadala importanciaqueconcedemosa laEvaluaciónque, no lo olvidemos,tiene másinfluenciadecisivay directa sobrela cali-dad de la educación,contarcon un clarosistemaevaluativoes básico.Sila evaluaciónse constituyeen motor y palancadel aprendizajey de la me-jora de la calidad,es porque“determinaen granmedida— al prescribirlosobjetivosde la educación—las característicasde la enseñanzay del apren-dizaje, lo que los alumnosaprendeny comolo aprenden,lo que los profe-soresenseñany cómolo enseñan,los contenidosy los métodos;en otraspa-labras, el procesoy el productode la educación”(Orden, 1982).

De aquíla importanciade cuidarlacoherenciaentrelos objetivosde unprogramao centroeducativo(las metas)y la característicasdel esquemaevaluadort

No es baladíla preocupaciónde las responsablesde los programasocentroeducativos,por la evaluación.No evaluarlos programaso hacerloin-

207 RevistaComplutensedeEducación1999, vol. ¡O. o.’ 2:189-214


tuitivamenteconlievariesgosexcesivos.Evaluarde cualquierforma, es po-ner todoslos mediosparadirigir la enseñanzay elaprendizajehaciametasdesconocidasy seguramenteno deseadas.En todocaso,es necesariala vo-luntad“política” deevaluary no sólo eso,juntoa ellaes precisodefinir: de-cisionesa tomar(usodelos datosevaluativos),criteriosdevaloracióny ob-jetivos del programa.

Surgeasíuno de los problemasmáspeliagudos:la elecciónde criteriosde evaluación.En los primerosañosde la todavíacortahistoriade la eva-luación de programas,la evaluaciónprestópocaatenciónal rol de los va-lores. Seriven(1983) sugierequeello fue debidoa quelos evaluadoresin-genuamentecreíanque sus actividadespodían y debíanser “libres devalores”. Pero muchosevaluadoresaprendieronde la experiencia,queeraimposible,en el mundopolítico de la programaciónsocial y educativa,to-mar decisionessin tenervaloresquefueransobresalientesy quizásmáscla-ramentecuandolos criterios evaluátiix’&fiíefálfséleé&ionaddÑy jtf=tifica-dos.Demasiadosevaluadorese investigadoresse hanformadoy entrenadoen la creenciade quelos valoresno son partede la ciencia.

En cuartolugar,unapreguntabásicaque siempredebemoshacemos,alplanteamosunaevaluaciónde programas,es lade éstaestójustificadasiem-pi-e. Comoafirma Weis (1975), “por heréticoqueparezca,la respuestaesno.La evaluación,en su calidadde investigaciónaplicada,estáconsagradaalprincipio de utilidad”. Si no tieneningunainfluenciaen las decisiones,resul-taráuna tareayana. La misma autoraseñalacuatroclasesde circunstanciasen las cualesno vale la penaprocedera realizarunaevaluación(Pp. 23-24):

a) Cuandono haynadaquepreguntaracercadel programa.Se estáre-alizandoy las decisionessobresu futuro, o no se vantomaro ya sehantomado.

b) Cuandoel programacarecede unaorientaciónclara. El personaldel programaimprovisasusactividadesde un día paraotro, basán-doseen pocasreflexionesy menosprincipios y el programacam-bia y se va transformando,“vagabundea”y se orientacomopuede.Hay pocarazónparallamar a esto“programa

c) Cuandolas personasquedeberíansaberlo,no puedenponersedeacuerdoen quées lo queestántratandode realizaren el programa.Si existengrandesdiscrepanciasen las metaspensadas,la evalua-ción carecede fundamentosobreelcual levantarse.

d) Cuandono haysuficientedinero,ni personallo bastantecualifica-do pararesolverla evaluación.Estaes una tareaexigente,quere-quieretiempo, dinero, imaginación,tenacidady destreza.

208 RevistaComplutensede Educación1999, vol. lO. ni 2: 1S9-214

JoséManuelGarcíaRamos Investigacióny evaluación.Implicacionesyefectos

Aunquealgunaspersonaspudieranargumentarqueen circunstanciascomo las anteriores,“mejor es haceralgo quenada”, la experienciade-muestraqueel estudioquese realiza así, raraver arroja resultadoso “lu-ces”,sino másbienacabaconvirtiéndoseen “papelmojado”y terminasien-do arrinconadoo arrojadoa lapapelera.

Es,pues,esencialplantearseelporquéy el paraquéde laevaluacióndeun programa.A vecesuno puedeobservarqueladecisiónpositivasobrelarealizaciónde unaevaluaciónparticular,obedecearazonespocolegítimas,tales comopor ejemplo,algunasde los señaladospor Weis (1975):

a) Aplazarunadecisión.En ver de enviarla “patatacaliente” de la de-cisión sobreun programa,a unacomisióny esperarsu informe,seencargaun estudioevaluativoquerequiereaúnmástiempo.

b) Eludir responsabilidades.En ocasionesgruposo personasrespon-sablesde la organizacióndel programatienencriterios opuestos.Los gestoreso administradorestoma la iniciativa de pedir un es-tudio evaluativoque permita tomar decisionescon objetividadevitandoapasionamientos.Sin embargo,en muchoscasoslos ad-ministradoresya tienen tomadala decisiónantesde llamar a losevaluadores,pero deseanrevestiríadel “ropaje legitimador” de lainvestigación-evaluacion.

e) Relacionespúblicas.A vecesla evaluaciónes consideradacomounmododedarse“auto-bombo”.El administradorcreequecuentaconun programaexitosoy buscala manerade hacervisibles sus“glo-rias”. Un buenestudio“les vendráde perlas”.Copiasdel informesseránelevadasa todaslas instanciassuperiores,consiguiendoasíefectos “autoglorificantes”o económicos,si se persiguela finan-ciación del programa.Suchman(1970) habla de dos finalidadesemparentadas:“echar humo en los ojos” y “adornarse”.En el pri-mer casose intentajustificar un programadébil, seleccionandopa-ra la evaluaciónúnicamenteaquellosrasgosque, superficialmente,tienenbuenaspecto.La evaluaciónpara“adornarse”tratade encu-brir el fracasode un programaevitandotodaestimaciónobjetiva.Por supuesto,los motivosdel administradorno tienen1 porquésertorcidoso egoístas.Por lo general,es necesarioconseguirapoyosparaun conceptoo un proyectoen cuyas virtudesse cree.La eva-luación puedeofrecergranpartede esosapoyos.

d) Cumplir los requisitosdeunafinanciaciónexternao social.Muchasdecisionespolíticasde financiaciónde un programaexigen comorequisitoslaevaluacióndel mismo.Desdeel puntode vistade los

209 RevistaComplutensedeEducación1999. vol. lO. ni 2 189<14

JoséManuelGarcíaRamos Investigacióny evaluación.Implicacionesyefectos

queconcedenayudaeconómica,corriendoel riesgodefinanciarunproyectono probado,es razonableexigir que se aportendatosdelgradoen queel proyectofuncionabien.En estesentido,la evalua-ción correel riesgode ser “un ritual necesario”paraconvencero“aplacar”al financiador,perocarentede utilidadreal.

Todo lo anteriornoshacepensar,que la evaluaciónpuedeser unaem-presaracional,quea menudose efectuarápor razonesqueno sonraciona-les. Ello no debehacernosdesconfiarde ella, pero debeprevenirnosdecualquiertipo dejustificación. No todassonlegítimasy es siemprenecesa-rio ponderarlas razonesquehacenqueel evaluadoracometasu tarea.Paraempezar,seránecesariopreguntarse:¿quiénesesperanobtenerrespuestas?Y ¿quéesperanobtener?

En resumen,la investigaciónevaluativa,en opiniónde quienesla prac-tican, es unamanerade aumentarla racionalidadde las decisiones.Ténga-seen cuentaque,al contarcon informaciónobjetivaacercade los resulta-dos de los programas,es posibletomar decisionesatinadasen materiadeasignaciónde partidaspresupuestariasy planificación de los programas.Los programasque rindanbuenosresultadosse ampliarán;los que no losrindanserándesestimadoso modificadosdrásticamente.Por otra parte,sa-bemosque, si no se evalúansistemáticay objetivamentelos programasdeacciónque se ponganen marcha,es fácil que los mismosprogramasseandesechadoso ampliadospor criterios “políticos” y maniobrasen beneficiode gruposo personasparticulares.Los datos,si se utiliza la investigaciónevaluativa,sustituirána los favores y a otras negociacionespolíticas, demaneraquese tomarándecisionesmásracionales.

No obstantelo anterior,es verdadquela brevehistoriade la investiga-ción evaluativano ha sido demasiadofructífera; esmás,algunosautoreslaconsiderandecepcionante.Pocosejemplosde aportacionesimportantesalas política y/o lo programaspuedencitarse.Ello sedebe,enparte,a las no-tablesresistenciasde la organizacionesa serevaluadas,a que sus progra-masseanevaluados,a ofrecerla informaciónquese precisaen la forma enquesenecesitay al cambiono deseado.Otrapartede la culpaestribaen lamaneraen quea vecesestáestructurada,dotadade personaly ejecutadalamisma evaluación.En ocasioneshay incoherenciaentrelos fines propues-tosen la evaluacióny el tipo de estudioso programasevaluados.

“Gran partede la decepciónquevenimoscomentandose debeal carác-ter poco realistade las expectativasquese ponenen las aportacionesqueofrecerála investigaciónevaluativa.Por lo general,un estudiode evalua-ción no desembocaen laobtenciónde datosdecisivose inequívocosacerca

RevislaComplutensede Educación1999,vol. lO. nY 2:189-214

210


del valor de un programa.Sus resultadosmuestrana menudopequeñoscambios,o ambiguos,efectos“de pocamonta”, resultadosen los quehaninfluido sucesosespecíficosde lugar y momento.Tal vez se necesitaráunestudiocontinuadoa lo largo del tiempoy comparandoproyectos,paraha-blar conseguridadde éxito y de fracaso.Además,paraquienestomande-cisiones,la evaluaciónde la evidenciaobtenidaes sólo una“entrada”entremuchasotras.Debenconsiderarotrosmuchosfactores:receptividaddel pú-blico, reacciónde los participantes,costo,cantidadde recursosy deperso-nal de que se disponga,alternativasexistentes,etc. Por otra parte,la pues-ta en marchade un programaeficazpuedeno aceptarseen unadeterminadacomunidado colectivoporconsiderarsequeviola supuestosy valoresacep-tadospor esegrupo”.

El retoestáahí.

11. ReferenciasBibliográficas

Ary, D. et al. (1984). Introducción a la investigaciónpedagógica.México: Intera-mericana.

Béjar, 1 .1. (1983). Introductionto Item responsemodelsandtheir assumptions.EnHambleton(Ed.), Applicarionsof iíem responsetheory. Vancouver:Educ. Re-searchInstitute of British Columbia.

Berk, R. A. y otros (1975).Educacional evaluation methodology: the state of t/zeart. Baltimore: JohnHopkins.Univ. Press.

Brown, H. (1983). La nueva.filoso.fíade la ciencia.Madrid: Tecnos.

Bunge,M. (1984).Qué es y paraquésirve la cienciade las Cienciasy laTecnolo-gía. El País, 14-11-84(p. 28).

Buyse, R. (1949).Origeny desarrollode lapedagogíaexperimental.RevistaEspa-

ñola de Pedagogía,n.0 28 (pp. 5-9).Campbell,D. T. y Stanley,J. C. (1978).Diseñosexperimetalesy cuasiexperimenta-

les en la investigaciónsocial. BuenosAires: Amorrortu.

Chalmers,A. F. (1982). ¿Quées una cosa llamadaciencia?Madrid: Siglo XXI.

Cohen,J. (1994).The earthis round (pcz.O.5).AmericanPsychologist,49 (12) (Pp.977-1003).

Cook, T. D. y Campbell,D. T. (1979): Cuasi-experimentation.Chicago:RandMac-Nally.

Cook, T. D. y Reichardt,Ch. (1986).Métodoscualitativosy cuantitativosen inves-ligación. Madrid: Morata.

211 RevistaComplutensedeEducación1999, vol. lO, ni 2:189-214


Cronbach,L. (1974). Beyondthe two discipline of scientific psychology.PaperAmericanPsychologicalAssoc.Los Ángeles.California.

Dendaluce,1. (1988).Una reflexiónmetodológicasobrela investigacióneducativa».En. Dendaluce,1. el al. (1988),Aspectosmetodológicosde la investigaciónedu-caliva. Madrid: Narcea- II CongresoMundial Vasco.

Dewey,J. (1953/1989).Cómopensamos.BuenosAires: Paidós.

FernándezCano,A. (1995).Métodospara evaluar la investigaciónen psicopeda-gogía.Madrid: Síntesis.

Gage,N. L. (Ed.) (1963).Handbookof researchon teaching. Chicago:RandMc-Nally.(1989).The paradigmwarsandtheir aftermath:«ahistoricalsketch»of researchon teachingsince 1989.EducationalResearcher,18 (7) (PP.4-10).

GarcíaRamos,J.M. (1986).Validacióndel constructoenel ámbitopedagógico.Re-visíaEspañolade Pedagogían.0 174 (Pp. 535-554).

— (1 989a).Basespedagógicasde la evaluación.Madrid: Síntesis.

— (1989b): Evaluaciónde Programas.Evaluaciónde CentrosEducativos.En. Pé-rez Juste,R. y GarcíaRamos,J. M. (1989),Diagnóstico,evaluacióny toma dedecisiones.Madrid: Rialp.

— (1991). Recursosmetodológicosen la evaluaciónde programas.Bordón,vol.43,4. (pp. 461-476).

Garrison,J. (1986).Someprincipiesof postpositivisticphilosophyof science.Edu-cationalResearcher(Pp. 9-15).

Guba,E. G. y Lincoln, 1. 5. (1989): Fourrh generationevalualion. Newbury Park:Sage.

Gullicksen,H. (1953). Theoryofmentaltests.New York: Wiley.

HernándezPina, F. (1994). Métodosde investigaciónen Educación.Memoria deCátedra.Murcia.

Howe, K. (1985).Two dogmasof educationalresearch.EducationalResearcher,14(8).

— (1988).Againstthequantitave-qualitativeincompatibility tesis.EducationalRe-searcher,17 (4).

Howe, K. y Eisenhart,M. (1993). Criterios de investigacióncualitativa (y cuanti-tativa). Prolegómenos.Revistade Educación,300 (PP. 173-189)

Husen,T. (1988). Paradigmasde la investigaciónen educación.Un informedel es-tadode la cuestión.En Dendaluce,1. (Ed.),Aspectosmetodológicosde la inves-

Mligación educativa(Pp. 46-60).Madrid orcea.

Kaplan, A. (1985). Researchmethodology:behavioralsciences.Tite InternationalEncyclopediaofEducation,7 (Pp. 4293-4300).Oxford: PergamonPress.

212 RevistaComplutensedeEducación1999,vol, >0, ni 2:189-214

JoséManuelGarcíaRamos investigacióny evaluación.Implicacionesy efectos

Kerlinger, F. N. (1989), ~ cd.: Investigacióndel comportamiento.Técnicasy me-todología.México: Interamericana.

Kunh, Th. 5. (1984).Segundospensamientossobreparadigmas.Madrid: Tecnos.

Lecompte,M. D.; Millroy, W. L. y Preissle,J. (Eds.) (1992),The handbookofqua-litative researchin education.SanDiego: AcademicPress.

Linn, R. (1988).Medición educativa.Algunosproblemasy tendenciasactuales.En.Dendaluce,1. (Ed.),Aspectosmetodológicosde la investigacióneducativa.Ma-drid: Narcea.

Lord, F. M. y Novick (Eds.) (1968). Statisticaltheoriesof mental testscores.Rea-ding, Mass.:Addison-Wesley.

MartínezArias, R. (1995).Psicometría:Teoríadelos tesIspsicológicosy evaluati-vos. Madrid: Síntesis.

Morales,P. (1988).Medicióndeactitudesenpsicologíay educación.Construcciónde escalasyproblemasmerodológicos.San Sebastián:Tlarttalo.

Muñiz, J. (1992). Teoríaclósicade los tesIs.Madrid: Pirámide.

— (1993).Teoríade respuestaal item. Madrid: Pirámide.

Nunnally, J. C. (1978).Psychometricrheory. New York: McGraw-Hill.Orden, A. de la (1984). Investigaciónpedagógico-experimentaly praxiseducativa.

En VV.AA., Cincuentenariode losestudiosdePedagogía.Madrid: FacultaddeFilosofía y CC. de laEducación.UniversidadComplutensede Madrid.

— (1985)(Ed.). InvestigaciónEducativa.Diccionariode CC.dela Educación.Ma-drid: Anaya.

— (1989). Investigacióncuantitativay medida en educación.Bordón, vol. 41, 2(Pp. 217-236).

— (1995).Innovacióne Investigaciónenel ámbitoeducativo.Bordón, 47 (2). (Pp.135-141).

Pedbazur,E. (1982).Mulliple regresionin behavioralresearch(2. cd.). NewYork:Holt.

PérezJuste,R. y GarcíaRamos,J.M. (1989).Diagnóstico,evaluacióny tomadede-cisiones.Madrid: Rialp.

Savage,C. W. y Enrlich, P. (Eds.) (1992).Pitilosopiticalandfoundarionalissuesinmeasurenmenítheory. Hilísdale,NewHersey:Earlbaum.

Sechresth,L. y Figueredo,A. 1. (1993>.Programevaluation.AnnualReviewofPsi-cbology,44 (64) (Pp. 645-674).

Shadish,W. R. (1989).Critical multiplism: a researchstrategyand its attendanttac-tics. En Sechrest,L. el al. (Eds.), Health servicesresearch:a fous on A¡DS.Agency healthcarepolicy res. Rockville,M.D. (PP. 5-28).

Shulman,L. (1988).Paradigmsandresearchprogramsin the studyof teaching.A

contemporaryperspective.En Wittrock, M. C. (Ed.), Handbookof researchon

213 RevistaComplutensedeEducación1999. vol. lO. ni 2:189-214


teaching.New York: MacMillan. Traducido al castellano.PaidosIMEC1989.(PP.9-84).

Smith, J. K. y Heshusius,L. (1986).Closing downthe conversation:the endof thequantitative-qualitativedebateamongeducationalinquiers.EducationalResear-cher, 15(1)(Pp. 4-12).

Soltis, J. (1984).On thenatureof educationalresearch.EducationalResearche,;10.13 (PP.5-10).

Stevens,5. 5. (1946). On the theory of scalesof measurement.Science,103 (Pp.677-680).

— (1951): Matematical ¡neasurementand psychopbysics.A Handbookof experi-mentalPsychology.New York: Wiley.

Stufflebean,D. et al. (1971).Educational evaluation and decision making. Phi Del-ta Kappa. Itaca,Illinois: Peacok.

Tejedor,J. y otros (1994).Perspectivasmetodológicasactualesde la evaluacióndeprogramasen el ámbito educativo.Revistade Investigación Educativa, 23 (Pp.93-127).

Tiedeman,D. V. (1960). Experimentalmethods.EncyclopediaofEducationalRe-search, 3,S ed.AERA. New York: McMillan.

Tuckman,B. W. (1979).Analyzinganddesigningeducationalresearch.New York:HarcourtB.J. Pb.

Tukey, J. W. (1977).Exploratorydataanatvsis.Reading,Mass.: Addison-Wesley.

Van Dalen,P. E. y Meyer, W. J. (1966).Manual de técnicasde investigaciónedu-cacional.BuenosAires: Paidós.

Weis, C. H. (1975). Investigaciónevaluativa. México: Trillas.

Wittrock, M. C. (1986)(Ed.). Handbookof researchon teaching.New York: Mac-Millan (3?cd.) (Traduciónen Paidos/MEC).

Wolf, R. L. (1990>.Evaluationin education. PraegerPh..3.~ ed.

RevistaComplutensede Educación1999, voL. 1O,ni 21189-214

214

Documents

Investigación y evaluación. Implicaciones y efectos