1

Práctica de fútbol y desarrollo de habilidades en niños y jóvenes: Evidencia

de un estudio experimental en Barranquilla, Colombia

CAF-Banco de Desarrollo de América Latina1

Enero 2018.

1 La evaluación fue llevada a cabo por un equipo conformado por Pablo Brassiolo, Eduardo Fagre, Adriana Mata, Daniel Ortega, Ximena Peña, David Puebla y Jhony Pulido

2

TABLADECONTENIDOS

1. Resumen .............................................................................................................. 3

2. Introducción ........................................................................................................ 3

3. Análisis de resultados ........................................................................................ 6

4. Apreciaciones finales ....................................................................................... 23

5. Conclusiones y hallazgos ................................................................................ 24

6. Referencias ....................................................................................................... 25

7. Anexos .............................................................................................................. 28

3

1. Resumen La metodología de Fútbol Con Corazón fue estudiada durante 18 meses por el Banco de Desarrollo de América Latina -CAF-. El objetivo principal era evaluar el impacto del fútbol sobre las habilidades cognitivas, socioemocionales y otros aspectos de bienestar general de niños entre 6 y 17 años de edad de estratos bajos en 9 sedes de la ciudad de Barranquilla. Los resultados del estudio evidencian cambios significativos en los participantes y determinan la relevancia de la práctica del fútbol durante horas extra escolares bajo esta metodología. Las cifras muestran que las actividades de la metodología FCC tienden a impactar positivamente con mayor énfasis entre niños y niñas en edades intermedias (8 - 13 años); los principales logros evidenciados son el fomento a la sustitución de tiempo de actividades riesgosas y el desarrollo de comportamientos socialmente deseables. El informe concluye que entre los niños del programa hay un mejoramiento en diversos aspectos como las capacidades de relacionamiento e interacción con los demás (conexión social y pertenencia); fomento de la equidad de género y habilidades socioemocionales como la autoestima, autoconfianza y autosuficiencia.

2. Introducción La utilización del deporte como mecanismo para lograr objetivos de desarrollo está ampliamente difundida en todo el mundo, aun cuando la evidencia rigurosa sobre la efectividad de este tipo de intervenciones es escasa. En este contexto, CAF-Banco de Desarrollo de América Latina está llevando a cabo una agenda de investigación cuyo objetivo es lograr un mejor entendimiento del potencial de la práctica regular del fútbol como vía para fomentar el desarrollo y la acumulación de habilidades en niños y jóvenes. Este documento presenta los resultados de una evaluación experimental de un pro- grama de fútbol para el desarrollo llevado a cabo por la fundación Fútbol Con Corazón (FCC) en zonas urbano marginales de Barranquilla, Colombia. La intervención está dirigida a niñas, niños y jóvenes entre 5 y 17 años de edad y consiste en un programa de prácticas regulares del fútbol, bajo la supervisión de personal idóneo y con un modelo pedagógico bien definido que incluye contenidos curriculares que trascienden el ámbito deportivo. Entre sus objetivos, busca promover la formación de habilidades para la vida, la equidad de género y el empoderamiento de la mujer, la resolución pacífica de conflictos, la convivencia familiar y ciudadana, la permanencia en la educación formal y el uso adecuado del tiempo libre. Las actividades se llevan a cabo en dos sesiones semanales de trabajo en las que se desarrolla la malla curricular con base en una metodología lúdico-

4

experiencial y además se instruyen destrezas físicas, técnicas y tácticas relacionadas con la práctica del fútbol. A los fines de determinar la efectividad del programa con la mayor rigurosidad, se optó por una evaluación de tipo experimental en la que los grupos de tratamiento y control son seleccionados al azar, de manera tal de asegurar que la asignación a recibir el tratamiento sea independiente de las características de los participantes. De esta forma, bajo el supuesto de que la asignación aleatoria logra conformar grupos estadísticamente similares en cuanto a sus características observables y no observables, cualquier diferencia en las dimensiones de resultados de interés entre ambos grupos con posterioridad a la intervención puede atribuirse a la misma. La evaluación se llevó a cabo en nueve sedes de la fundación ubicadas en distintas localidades de Barranquilla. En cada una de estas sedes, al inicio de la evaluación, se levantó un registro de la población interesada en participar, y que además cumplía con los requisitos de elegibilidad, y se la clasificó por sexo y grupos de edad. Para poder conformar grupos de tratamiento y control de igual tamaño, era necesario tener, en cada categoría de sexo y edad, al menos el doble de interesados en participar que cupos disponibles.2 Luego, con la utilización de un software estadístico, el equipo de evaluación asignó los cupos disponibles en cada sede y categorías de sexo y edad entre la población objetivo: los beneficiados pasaron a conformar el grupo de tratamiento, una cantidad igual pasó a conformar el grupo de control y, en las categorías con más del doble de interesados que cupos disponibles, el resto pasó a conformar una lista de espera. El propósito de contar con una lista de espera fue facilitar los reemplazos de los participantes del programa que dejasen de asistir, de manera de atenuar el efecto de la elevada deserción típica de este tipo de intervenciones en el poder estadístico del experimento. El tamaño total de la muestra del estudio fue de 1.649 niños y niñas, repartidos en 950 del grupo de tratamiento y 699 del grupo del control (la sección 3 brinda una descripción detallada de la conformación de estos grupos, la asignación de la lista de espera y los nuevos registros realizados durante la intervención). La cuantificación de los impactos se basó en cuestionarios dirigidos tanto a los niños como a sus padres, que incluían tanto pruebas psicométricas como preguntas específicas destinadas a medir dimensiones sobre las que se esperaba que el programa tuviera efectos, así como posibles mecanismos y mediadores. De esta forma, fue posible construir indicadores de habilidades socioemocionales y cognitivas, hábitos saludables, percepción de bienestar, conocimientos para la vida, percepción del entorno y uso del tiempo, así como recabar información sociodemográfica de los participantes y sus familias. La estrategia empírica consistió en evaluar los impactos del programa mediante el estimador de diferencias post-intervención entre el grupo de (o asignado al) tratamiento y el grupo de control. Entre los principales resultados, se encuentra que el programa efectivamente modifica los hábitos de los beneficiarios, propiciando una mayor dedicación de

2 Si esto no se cumplía, la fundación FCC incrementaba el esfuerzo de difusión de la iniciativa hasta captar la cantidad de interesados que se necesitaba.

5

tiempo tanto a la práctica de actividades físicas y deportivas (algo que en parte es un efecto mecánico de la intervención) como a otras actividades de recreación y esparcimiento. El mayor tiempo dedicado a la práctica de actividades saludables (deportes y esparcimiento) no proviene de una sustitución del tiempo dedicado a las obligaciones escolares, sino de un menor tiempo dedicado a ir a centros comerciales, cuidar a otros miembros del hogar, colaborar en tareas de la casa o descansar. Asimismo, se encuentra que el programa favorece un mejoramiento de las capacidades de relacionamiento e interacción con los demás y la satisfacción que se deriva de estas interacciones, así como también el logro de ciertos objetivos específicos de la intervención, como por ejemplo fomentar la equidad de g ́enero. En cambio, el programa parece no contar con el potencial de modificar algunas habilidades que tienen que ver con el autocontrol (hiperactividad, tolerancia) y el comportamiento (respeto, solidaridad), que también son objetivos perseguidos por el programa. Tampoco se observan efectos en el rendimiento de los niños en la escuela (resultados en Matemática, Comunicación y en la probabilidad de haber reprobado el último año) según el reporte de los padres. Un efecto no buscado y no deseado del programa es que reduce la satisfacción con la escuela, particularmente entre los jóvenes varones de entre 14 y 17 años de edad. Por último, al inducir nuevas rutinas y hábitos en los niños participantes, el programa modifica el entorno al que se ven expuestos los niños. Finalmente, se analiza si el programa tiene efectos que dependen de características de los beneficiarios, sus familias o la sede en la que se llevan a cabo las actividades. Una de los aspectos en el que los resultados de la intervención parecen diferir de manera sistema ́tica es la edad de los niños. En general, los impactos del programa varían de forma no lineal a lo largo de todo el rango de edad de la población objetivo del mismo. Cuando la asignación al tratamiento tiene impactos positivos, estos tienden a concentrarse en las edades intermedias (entre 8 y 13 años), con efectos mayormente nulos en las edades extremas (5 a 7 y 14 a 17 años). Cuando los impactos son negativos, estos suelen provenir de los grupos de edad que están en los extremos del rango del experimento, sobre todo de los jóvenes de entre 14 y 17 años y con efectos leves o nulos en los niños de edades intermedias. En algunos casos se observan resultados que difieren según el sexo del niño o su nivel socioeconómico, aunque la evidencia no permite distinguir un patrón sistemático.

6

3. Análisis de resultados 3.1 ESTADÍSTICOS DESCRIPTIVOS Y BALANCE ENTRE GRUPOS La Tabla 4 presenta estadísticas descriptivas de las principales características de la población del estudio medidas al inicio de la intervención. Las primeras tres columnas presentan la media de las variables para cada uno de los grupos de asignación aleatoria (control, tratamiento y lista de espera). La información se refiere a la edad y género de los niños, edad de los padres y del jefe del hogar, tamaño y composición (biparental o monoparental) del hogar y condición de actividad de los padres respecto del mercado laboral. Las columnas 4 y 5 permiten evaluar la bondad de la aleatorización, es decir, si por virtud de la asignación al azar se logró conformar grupos estadísticamente similares. Este es un requisito esencial para poder atribuir a la intervención cualquier diferencia entre los grupos de tratamiento y control que se observe con posterioridad a la misma. En el caso de las variables binarias, la columna 4 presenta el valor-p de la prueba de diferencia de medias entre el grupo de control y el grupo de tratamiento, mientras que la columna 5 hace lo propio para la diferencia de medias entre los grupos de tratamiento y control, por un lado, y la lista de espera, por otro. En el caso de las variables categóricas con dos o más categorías, el valor p presentado corresponde a la prueba chi-cuadrado de diferencia entre distribuciones. En ambos casos, un valor-p menor a 0.05 significa que puede rechazarse la hipo ́tesis de igualdad de medias (o distribuciones) entre los grupos considerados a un nivel de significancia del 5 %. Las restantes columnas (6 a 8) muestran los tamaños de cada grupo. Considerando los grupos de tratamiento y control conjuntamente, se aprecia que el promedio de edad se sitúa apenas por debajo de los 12 años, dos tercios son varones, la edad de las madres, padres y jefes es de alrededor de 37 años, 41 años y 39 años, respectivamente, los hogares tienen en promedio 5 miembros, el 65 % de los mismos son biparentales, y trabajan fuera del hogar alrededor del 40% de las madres y 90% de los padres. En cuanto a la educación del jefe del hogar, menos de la mitad tiene educación primaria o menos, alrededor del 40 % tiene educación secundaria y el resto tiene educación superior. Por último, la población se clasifica en tres estratos socioeconómicos de tamaños similares (bajo, medio y alto) definidos en función de la tenencia de ciertos bienes en el hogar. Los datos muestran que la asignación aleatoria logró crear grupos de tratamiento y control similares en términos de las características observadas. En ningún caso puede rechazarse la hipótesis nula de que ambos grupos son estadísticamente iguales al nivel de significación definido (todos los valores-p presentados en la columna 4 son mayores a 0.05). Donde sí se aprecian diferencias estadísticamente significativas es entre la población que quedó en lista de espera y el resto de los participantes. Este desbalance se debe que la lista de espera solo pudo conformarse en algunos estratos (combinaciones de sede, grupo de edad y género)

7

en los que la cantidad de niños interesados en participar era lo suficientemente grande con relación a los cupos disponibles3. En particular, este exceso de demanda suficientemente grande como para conformar tres grupos seleccionados al azar (tratamiento, control y lista de espera) fue más frecuente entre los varones y entre los rangos de edad mayores (lo que se traslada a la edad de los padres, que también es mayor en las familias de la lista de espera). No obstante, este desbalance solo aparece cuando se analiza el total de la muestra y no afecta la validez interna del estudio, debido a que los impactos provendrán de diferencias en las variables de resultados entre asignados al tratamiento y al control al interior de cada estrato. En la Tabla 5 se presenta el balance en los grupos de tratamiento y control con- formados a partir de los nuevos llamados a participar en el programa realizados durante la intervención. Como se aprecia, el proceso de aleatorización que surge del protocolo de inclusión de nuevos reemplazos al programa funcionó adecuadamente, en el sentido que permitió balancear las características de los asignados a dichos grupos.

3 Para poder asignar niños a la lista de espera en determinado un estrato, la cantidad de inscriptos en ese estrato debía ser mayor al doble de cupos disponibles.

8

9

3.2 CUMPLIMIENTO El diseño de la evaluación descansa en la asignación al azar de la población de interés en grupos de tratamiento, control y lista de espera, por lo que a la hora de analizar e interpretar los resultados de la intervención es necesario determinar el grado de cumplimiento de la asignación inicial. Para efectos de análisis, se definen tres grupos: los “cumplidores” (toman el tratamiento si reciben la asignación y no lo hacen si no la reciben), los “siempre tomadores” (toman el tratamiento aun si no reciben la asignación) y los “nunca tomadores” (no toman el tratamiento a pesar de recibir la asignación)4. Una vez definidos estos grupos, se analizan dos aspectos relacionados con el

4 Esta clasificación se realiza bajo el supuesto de monotonicidad, o ausencia de desafiantes, que sos- tiene que la probabilidad de que un individuo asignado al tratamiento efectivamente acuda al programa, es creciente en la asignación. Esto descarta la posibilidad de que un individuo aumente su probabilidad de participar cuando no recibe la asignaci ́on o la reduzca cuando la recibe.

10

cumplimiento: el tamaño de los grupos y su nivel de representatividad respecto de la asignación inicial. En cuanto al tamaño de los grupos, es necesario definir el umbral mínimo de asistencias a los entrenamientos a partir del cual se considera que un niño efectivamente fue tratado. En la Figura 3 se observa cómo varía el tamaño de los grupos cuando se eligen distintos umbrales de cumplimiento (en cantidad de clases a las que se asiste). El grupo de cumplidores está desagregado en dos subgrupos: los que fueron asignados al control y no recibieron el tratamiento (cumplidores del control), y los que fueron asignados al tratamiento y efectivamente lo recibieron (cumplidores tratados). Como se observa, ninguno de los participantes inicialmente asignados al grupo de control recibió el tratamiento, lo que se explica por el hecho de que el diseño del programa así lo establecía y en la ejecución efectivamente se cumplió esta condición. En otras palabras, la totalidad de este grupo cumplió con la asignación inicial. Por otra parte, como puede esperarse, a medida que el umbral de clases necesarias para definir que un niño recibió el tratamiento es mayor, se reduce la cantidad de “cumplidores tratados” y aumenta la cantidad de “nunca tomadores”.

A los fines del análisis, se decidió fijar en 8 clases el umbral para identificar a un participante como tratado (lo cual equivale aproximadamente a un mes de asistencia al programa) 5. En la Tabla 6 se observa la clasificación de los participantes en los 5 La definición de 8 clases como umbral para considerar la participación en el tratamiento es en cierto modo arbitraria. Una alternativa sería utilizar un umbral relativo (un porcentaje de asistencias respecto del total de clases posibles), pero esta opción tiene el problema de que el total de clases a las que un niño podría asistir depende de cuándo fue asignado al tratamiento (los nuevos llamados fueron asignados a lo largo de toda la intervención) y de si eventualmente deserto antes del fin de la intervención. De esta forma, el denominador sobre el que se calcula el porcentaje de asistencias podría diferir entre distintos niños, haciendo que un porcentaje determinado pueda implicar

11

cuatro grupos de cumplimiento, cuando se define a un tratado como aquel que asistió al menos a 8 clases. Esta clasificación muestra que existe un 0 % (0/(0+126)) de “siempre tomadores”, un 35,3 % (298/(298+545)) de “nunca tomadores”, y un 64,7 % de “cumplidores”.

En cuanto al segundo punto, se realizó un ejercicio que permite determinar si las características de los cumplidores son similares a las características de la población en general. En caso de que esto ocurra, el re escalamiento del efecto de la asignación al tratamiento para obtener el efecto del tratamiento en los tratados, permitiría realizar la inferencia para una población de cumplidores que posee características similares a las de la población en general. Para verificar este aspecto, se sigue a Angrist and Pischke (2009), quienes plantean contrastar las probabilidades de observar una determinada característica tanto en la población general, como en el conjunto de cumplidores6. En términos formales se comprueba si la siguiente expresión se aproxima a 1:

Este ejercicio se realizó considerando un umbral de tratamiento de 8 clases y para características como la edad del niño, el sexo, la edad del encuestado, del padre, de la madre, el tamaño del hogar, el nivel socioeconómico, la educación del jefe de hogar y la actividad de la madre y del padre. Con esto se pudo determinar que existe una mayor proporción de niños de 12 años o m ́as que son cumplidores, con respecto a la población en general (ratio de 1,14 (64 %>56 %)). Otra característica que mostro ́ una diferencia por encima del 10 % en este ratio es la actividad del padre. En este caso, la probabilidad de que un padre que no trabaje es del 9 % en la población general y del 11 % en la población cumplidora. En otras palabras, los niños que más cumplen con el programa son aquellos cuyos padres no trabajan, lo cantidades absolutas de asistencia muy diferentes (por ejemplo, un 10 % de asistencias puede representar una asistencia de 10 clases posibles, o 10 de 100, o cualquier otra combinación). 6 Para este ejercicio se transforman todas las variables a dicotómicas, incluyendo las variables con- tinuas. En este caso, las categorías fueron establecidas tomando como punto de corte a la mediana de cada característica.

12

cual puede deberse a una mayor disponibilidad de tiempo por parte de ellos para ayudar a trasladar a sus hijos a las clases; sin embargo, no se observa un patrón similar en el caso de las madres. Finalmente, otra característica que muestra una diferencia importante es el nivel socioeconómico. En este caso, la población de cumplidores posee un nivel socioeconómico menor al de la población en general (ratio de 0,89 (30%<33%)), lo cual mostraría que el programa esta ́ siendo aprovechado y mejor valorado por los hogares de más bajos recursos.

3.3 DESGASTE DE LA MUESTRA En la Tabla 7 se observa que el porcentaje de cobertura global en la línea de seguimiento fue del 89,7%, y que entre grupos de tratamiento y control no existieron diferencias estadísticamente significativas. Esto último permite deducir que la tasa de desgaste fue aleatoria entre el grupo de control y tratamiento. En la Tabla 8 se presenta la tasa de cobertura para cada sede. En todos los casos, la cobertura de los grupos de control y tratamiento fue estadísticamente igual, aunque existen diferencias en el nivel de cobertura entre sedes. Las que presentaron mayores tasas de cobertura fueron Nueva Colombia, Soledad y Villa San Pedro (alrededor de 95 %), mientras que el resto presenta una cobertura de alrededor de 85 %.

13

Dado que no existe información de línea de base de buena calidad, no fue posible verificar si hay balance entre los grupos de tratamiento y control de todos los niños inscritos al inicio del programa y de los encuestados al final del programa7. En la sección 4.1 se realizó solamente un análisis del balance entre las características de los niños encuestados al final del programa. 3.4 IMPACTOS DEL PROGRAMA Para facilitar la discusión de los resultados se realizan las siguientes transformaciones de las variables. En primer lugar, en caso de ser necesario, se modifica el sentido de las variables de tal manera que un coeficiente positivo se interprete como un cambio deseable en la dimensión considerada, mientras un coeficiente negativo refleje un deterioro8. La excepción a esta regla viene dada por las variables de uso de tiempo, que se presentan con su sentido original debido a que en algunos casos no resulta claro si una mayor asignación de tiempo a determinada actividad es beneficioso o no. Por ejemplo, pasar más tiempo en la casa de un amigo o un familiar puede ser catalogado como positivo o no, dependiendo de las actividades especıficas que se desarrollen en ese espacio. En segundo lugar, todas las variables se estandarizan (restando la media y dividiendo por la desviación estándar del grupo de control) de modo que los coeficientes

7 A pesar de ello, con los datos validos recolectados al momento de la inscripción, se constató que no existen diferencias sistemáticas entre los encuestados y no encuestados. La única excepción se da con los hogares biparentales, variable que presenta el 90 % de datos válidos, ya que de los hogares encuestados, el 65,6% posee esta característica, mientras que de los no encuestados, el 51,4%. Sin embargo, tanto en los encuestados como en los no encuestados, existe balance entre grupos de control y tratamiento. 8 Por ejemplo, en el caso de una prueba de autoestima, un valor más alto es más deseable que un valor más bajo, por lo que no es necesario modificar el sentido de la variable. En cambio, en el caso de una prueba que mide agresividad, un valor más alto es menos deseable que uno más bajo, por lo que sí es necesario cambiar el sentido de la misma (lo que se logra al multiplicar la variable por -1), de forma que un valor más alto se interprete como una mejora (una reducción en la agresividad).

14

puedan interpretarse como tamaños del efecto o effect sizes. Finalmente, se construyen índices de variables individuales conceptualmente similares, de manera de reducir las dimensiones de impacto9. La conformación de los índices se presenta en la Tabla 13. Cada índice se calcula como el promedio ponderado de las variables que lo componen, utilizando como ponderaciones la inversa de la matriz de covarianzas (Anderson, 2008). No obstante, si bien el análisis de los resultados se centra en estos índices, cuando se considera relevante se hace referencia a los efectos en las variables individuales10.

9 La conformación de estos índices busca priorizar la consistencia interna entre las variables incluidas, aunque debe aclararse que no es posible evitar cierto grado de subjetividad para decidir si una variable se incluye o no. 10 Las tablas con los resultados del programa sobre las variables individuales se presentan en el Anexo de Tablas.

15

A continuación se presentan los resultados globales de la asignación al tratamiento distinguiendo entre efectos medidos a partir de pruebas psicométricas aplicadas a los niños o del reporte de ellos mismos ante preguntas y constructos diseñados para esta evaluación, por un lado, y efectos medidos a través de pruebas o reporte de los padres. Luego se describen los efectos diferenciales según características de los niños, sus familias o la sede de entrenamiento. Impactos globales de la asignación al tratamiento según pruebas o reporte de los niños: La Tabla 14 muestra los efectos de la asignación al tratamiento en los niños. La asignación al programa parece asociarse con un mayor grado de habilidades sociales y una mayor percepción de equidad de género, aunque en ambos casos se trata de efectos modestos (alrededor de 0,08 desviaciones estándares) y no distinguibles de cero estadísticamente. Uno de los componentes del índice agregado de habilidades sociales donde sí se observa un efecto positivo y estadísticamente significativo (casi 0,11 desviaciones estándares) es en la construcción de conexión social y pertenencia (ver Tabla A.1). Esta variable mide el grado de comodidad y satisfacción que el niño siente en sus interacciones con los demás, y se construye a partir de una batería de preguntas que indagan sobre la percepción de cercanía a las personas del entorno, la sensación de pertenencia a grupos y la satisfacción con la compañía y relaciones cotidianas. Una razón que podría explicar por qué se observa un impacto positivo en este indicador, mientras que no hay efectos en el otro componente del índice de habilidades sociales (la prueba de relaciones interpersonales del BASC) es que el primer constructo parece más adecuado para capturar mejoras graduales en las habilidades sociales, tanto por el tipo de preguntas como por la posibilidad de responder en una escala de Likert con un rango de 1 a 5 (donde 1 es “muy en desacuerdo” y 5 es “muy de acuerdo”), mientras que el segundo se orienta más a identificar situaciones más extremas, como por ejemplo si el niño es sujeto de burlas de sus compañeros o si los demás lo “molestan bastante”, con respuestas del tipo “si o no”. Una variable que no arroja efectos cuando se la observa en forma agregada es la que mide autoestima y confianza en uno mismo. Sin embargo, cuando se analizan los componentes de este índice por separado se puede notar que el programa genera impactos positivos en la valoración que el niño hace de su físico, capturada por la variable auto concepto físico de la prueba AF5. Como se aprecia en la Tabla A.1, el efecto de la asignación al tratamiento sobre el auto concepto físico es positivo y estadísticamente significativo (de alrededor de 0,13 desviaciones estándares). Esto sugiere que si bien la intervención no alcanza a mejorar la autoestima global de los niños, sí permitiría mejorar la percepción y valoración que el niño hace de su propio cuerpo y destrezas físicas. Por otra parte, no se encuentran efectos de la asignación al tratamiento en dimensiones como el autocontrol y las habilidades de comportamiento. Estos índices incluyen, entre otras, medidas de respeto, solidaridad y honestidad, que son

16

habilidades en las que se hace particular hincapié desde el modelo pedagógico de la fundación. En cuanto a los conocimientos de los niños en temáticas relacionadas con el sexo, otra de las áreas donde se trabaja desde los contenidos curriculares, se observa que si bien hay un efecto positivo, este es modesto y estadísticamente no significativo. También se observan algunos efectos no deseados. En particular, se destaca el deterioro en la satisfacción con la escuela (de una magnitud de casi 0.12 desviaciones estándares) atribuible a la asignación al tratamiento. Como se verá más adelante, este resultado negativo está concentrado en los niños de mayor edad. Por último, se encuentra un efecto en la percepción del entorno que, si bien no es estadísticamente significativo, es de una magnitud considerable (0.07 desviaciones estándares). Los efectos sobre las variables de entorno individuales presentados en la Tabla A.1 indican que los niños y jóvenes asignados al tratamiento resultan más expuestos situaciones potencialmente riesgosas (como por ejemplo, presencia de personas consumiendo drogas, fumando, bebiendo alcohol o portando armas; ocurrencia de peleas, situaciones conflictivas y robos). Este resultado podría tener una connotación negativa si se interpreta que la participación en el programa determina que los niños se expongan más a este tipo de situaciones. Esto podría ocurrir si, por ejemplo, la asistencia a las actividades regulares del programa implica transitar m ́as por lugares donde habitual- mente ocurren situaciones como las descritas (debe tenerse presente que la mayoría de las familias residen en las cercanías de las sedes, por lo que generalmente el traslado desde el hogar hasta el campo de entrenamiento es a pie). Si este fuera el caso, al inducir nuevas rutinas y hábitos en los participantes, el programa podría alterar el entorno al que se ven expuestos los niños, con posibles efectos no deseados. Alternativamente, estos resultados podrían interpretarse como la consecuencia de una mayor toma de con- ciencia sobre las características del entorno en el que se desenvuelven los niños, aun sin cambios en dicho entorno o en la exposición al mismo. Según ésta visión, los resultados reflejarían una mayor percepción de los riesgos que ese entorno trae aparejado, algo que podría interpretarse como un efecto positivo asociado al programa. En definitiva, un programa como el que se evalúa parece ser capaz de favorecer un mejoramiento de las capacidades de relacionamiento e interacción con los demás y la satisfacción que se deriva de estas interacciones, así como también obtener logros específicos vinculados a las características distintivas de la intervención, como por ejemplo fomentar la equidad de género, uno de los objetivos principales de la malla curricular. En cambio, el programa parece no contar con el potencial de modificar, al menos en el corto plazo, algunas habilidades que tienen que ver con el autocontrol (hiperactividad, tolerancia) y el comportamiento (respeto, solidaridad), que son objetivos específicos de la malla curricular de la intervención.

17

Impactos globales de la asignación al tratamiento según pruebas o reporte de los padres: La intervención puede afectar la percepción que los padres tienen de sus hijos, bien sea porque efectivamente logra generar efectos en los niños que son percibidos por los padres, o porque aun sin generar efectos en los niños, cambia la evaluación que los padres hacen de sus capacidades y aptitudes. Esto último podría ocurrir, por ejemplo, si los padres modifican la imagen que tienen de los niños a partir de presenciar la interacción de estos con otros niños o con los instructores. Otra posibilidad es que, a partir de actividades realizadas en el marco de la escuela para padres, o de actividades con otros padres y actores involucrados en el programa, cambian los parámetros con los que evalúan el desempeño de sus hijos. Los efectos según la percepción de los padres se presentan en la Tabla 15. El impacto más claro, como se podría esperar, se da en los hábitos de los niños. El índice de “hábitos saludables”, que incluye el reporte de los padres sobre la salud de sus hijos y sobre la práctica de actividades deportivas con regularidad, muestra un efecto positivo y estadísticamente significativo (de casi 0,27 desviaciones estándares). Este resultado se explica fundamentalmente por la participación de los niños en las actividades regulares en el marco de la intervención y, si bien este es un efecto mecánico de la asignación al tratamiento, pone en evidencia que los niños del grupo de control no realizan este tipo de actividades con regularidad, bien sea por preferencias o por falta de oportunidades para hacerlo. El efecto es, adema ́s, cuantitativamente relevante. Tal como se muestra en la Tabla A.2, el tamaño del efecto sobre la variable binaria que indica si el niño ha practicado deportes de manera regular durante el último año es de casi 0,40 de un desvió estándar. Los padres también reportan una mayor percepción de buena salud de sus hijos con relación a otros niños, y una mayor incidencia de lesiones físicas, probable- mente asociadas a la práctica deportiva, aunque en ambos casos los coeficientes no son estadísticamente significativos.

18

El programa no cambia la opinión de los padres con respecto a las habilidades sociales, el autocontrol y las habilidades de comportamiento de sus hijos. En general estos coeficientes son casi nulos o levemente negativos y en ningún caso son estadísticamente significativos, lo que también es válido para las dimensiones individuales que componen estos índices agregados. Ante la pregunta sobre posibles dificultades evidenciadas por los niños en cuanto a emociones, concentración, conducta o capacidad para relacionarse, los padres del grupo de tratamiento tienden a reportar, con respecto a los del grupo de control, un leve deterioro, aunque el efecto no es distinto de cero estadísticamente. Tampoco se observan efectos en el rendimiento de los niños en la escuela (tanto términos de resultados en Matemática como en Comunicación, así como de la probabilidad de haber reprobado el último año) según el reporte de los padres. Finalmente, se analizaron posibles efectos en la percepción de equidad de g ́enero de los mismos padres y no se encontraron impactos, algo que no debería sorprender si se tiene en cuenta el bajo nivel de involucramiento al momento de asistir a la escuela para padres. Efectos de la asignación al tratamiento en el uso del tiempo y posibles mecanismos: Para evaluar cambios en el uso del tiempo atribuibles al programa, la encuesta incluyó preguntas sobre actividades realizadas por los niños durante días de la semana (de lunes a viernes) y durante los fines de semana. Debido a que en ambos casos se obtienen resultados similares, a continuación se presentan los efectos sobre las actividades realizadas durante los días de la semana (Ver Tabla 16). Como se observa, los reportes de los padres y de los niños son muy consistentes. En general, los niños asignados al tratamiento son más proclives a entrenar o practicar en una academia deportiva que los niños asignados al grupo de control. Esto, como se mencionó, si bien en parte es un resultado mecánico de la participación en el programa, también refleja que los niños no asignados al tratamiento no realizan ese tipo de actividades por su cuenta. Además, los niños

19

asignados al tratamiento también tienden a ir más al parque, cancha deportiva o centro comunitario que los asignados al control. Es decir, más allá del efecto mecánico del programa, la asignación al tratamiento genera una reasignación adicional de tiempo hacia actividades de recreación y esparcimiento. En la medida que esto refleje un cambio de hábitos hacia actividades m ́as saludables, puede ser un beneficio de este tipo de programas. El mayor tiempo dedicado a la práctica de deportes y actividades de esparcimiento no parece provenir de una sustitución del tiempo dedicado a las obligaciones relacionadas con la escuela. Entre las actividades que se sustituyen, se destacan las visitas a centros comerciales, el cuidado de otros miembros del hogar, la ayuda en tareas de la casa, y el tiempo asignado al descanso (siesta). En general, no se observan diferencias sistema ́ticas, entre niños asignados al tratamiento y al control, en la asignación del tiempo entre actividades de ocio dentro del hogar, como por ejemplo mirar la televisión, leer, jugar con videojuegos o usar el Internet. Resumiendo, el programa parece favorecer una mayor dedicación de tiempo a actividades físicas y de esparcimiento fuera del hogar (que va más allá del mero efecto mecánico de la participación en el programa) a costa de otras actividades de esparcimiento fuera del hogar que no implican ejercicio físico (ir a un centro comercial) o de tareas en el hogar (cuidar a otros miembros).

20

Efectos diferenciales de la asignación al tratamiento: la importancia de la edad: Uno de los aspectos en el que los resultados de la intervención parecen diferir de manera sistemática es la edad de los niños. Estos resultados se presentan en las tablas A.3 y A.4. En general, los impactos del programa varían de forma no lineal a lo largo de todo el rango de edad de la población objetivo del mismo. Cuando la asignación al tratamiento tiene impactos positivos, estos tienden a concentrarse en las edades intermedias (entre 8 y 13 años), con efectos mayormente nulos en las edades extremas (5 a 7 y 14 a 17 años). Cuando los impactos son negativos, estos suelen provenir de los grupos de edad que están en los extremos del rango del experimento, sobre todo de los jóvenes de entre 14 y 17 años y con efectos leves o nulos en los niños de edades intermedias. En este sentido, entre los niños más pequeños que participan en la intervención predominan efectos nulos, tanto estadísticamente como en términos de magnitud. Este último resultado podría deberse tanto al menor poder estadístico del experimento en este rango de edad

21

(debido a que muchas de las pruebas psicométricas no se aplican a niños de esta edad, el tamaño de muestra efectivo y, por lo tanto, el poder estadístico del experimento para detectar impactos en este grupo de edad es menor), como a la dificultad para medir algunas de las habilidades analizadas en niños de tan corta edad. Uno de los resultados que emerge con mayor claridad es el efecto de la asignación al tratamiento en hábitos considerados saludables, particularmente en la regularidad con la que se practican deportes. Cuando se analizan los efectos diferenciales por edad en esta variable, se puede apreciar que los resultados son cuantitativamente más importantes, y además se estiman con mayor precisión, entre los niños de entre 8 y 13 años de edad. Entre los más grandes, si bien se mantiene un efecto positivo y significativo, el tamaño es aproximadamente la mitad del promedio de los coeficientes correspondientes a las edades medias (8 y 10 años y 11 y 13 años). En cuanto a potenciales efectos en la dimensión cognitiva, se encuentran algunos resultados positivos en los niños de entre 8 y 11 años de edad. Según el reporte de los padres sobre el desempeño de sus hijos en la escuela, mejora el rendimiento en matemáticas y en comunicación, aunque solo en el primer caso el coeficiente es estadísticamente significativo (0.168 desviaciones estándares). Por otro lado, se encuentran efectos globales positivos, que no resultan estadísticamente significativos pero que son cuantitativamente importantes, en habilidades sociales y percepción de equidad de género. Nuevamente, estos efectos son más fuertes entre los niños de edades intermedias. En el caso de la percepción de equidad de género, el efecto es positivo y estadísticamente significativo solamente para los niños de 11 a 13 años (0.196 desviaciones estándares). La búsqueda de una mayor equidad de género es uno de los objetivos de la intervención y un aspecto sobre el que se trabaja fuertemente desde los contenidos curriculares. En el caso de las habilidades sociales, si bien no se encuentran efectos significativos cuando se analiza el índice agregado, los coeficientes positivos y más grandes aparecen entre los niños 8 a 13 años. Este es el caso de uno de los componentes del índice en el que se aprecian los resultados más favorables, la medida de conexión social y pertenencia. El resultado es claramente positivo y estadísticamente significativo entre los niños de 11 a 13 años, con resultados también positivos aunque no distinguibles de cero y de menor magnitud en las demás edades. Asimismo, el programa parece haber tenido algunos efectos adversos, entre los cuales se destacan el deterioro en la satisfacción con la escuela y el aumento en los problemas de conducta. Este resultado se observa con mayor claridad entre los jóvenes de 14 a 17 años, y con menos precisión (la magnitud es similar pero el efecto no resulta estadísticamente significativo) entre los más pequeños (6 a 7 años). También se observa un deterioro en el autocontrol, principalmente en el grupo de 14 a 17 años de edad, tanto si se lo mide a partir del reporte de los niños como si se lo hace a través de la percepción de los padres.

22

Finalmente, se observan otros efectos concentrados en algunos grupos, que si bien no son estadísticamente diferentes de cero tienen una magnitud que amerita tenerlos en cuenta. Por ejemplo, se evidencia un cambio en la percepción que los niños tienen de su entorno, particularmente entre los más pequeños. Efectos diferenciales de la asignación al tratamiento en otras dimensiones: El análisis de posibles efectos diferenciales del programa se realizó para el sexo de los niños y su nivel socioeconómico. Los resultados diferenciales de la asignación al tratamiento según el sexo de los beneficiarios se presentan en las Tablas A.5 y A.6. Se aprecia que el deterioro de la actitud hacia el colegio antes mencionado se concentra en los varones, mientras que la percepción de mayores dificultades en los niños que tienen los padres es más manifiesta en el caso de las mujeres. No obstante, más allá de estos efectos puntuales, no se aprecia que los resultados sean sistemáticamente diferentes entre varones y mujeres. Los resultados diferenciales en términos del nivel socioeconómico de las familias se presentan en las tablas A.7 y A.8. Al igual que en el caso anterior, no surge con claridad un patrón sistemático, lo cual no debería sorprender si se tiene en cuenta que el programa tiene efectos modestos y que la población objetivo es relativamente homogénea en términos socioeconómicos. En algunos casos, el programa parece desfavorecer a los niños de menos recursos, quienes, por ejemplo, empeoran su percepción del entorno y resultan con menor satisfacción con la escuela. Sin embargo, en este grupo también aumenta la equidad de género. Entre los de mayores recursos de los que participan en el programa, mejoran las habilidades de comportamiento y los conocimientos sobre sexo.

23

4. Apreciaciones finales Los resultados de esta evaluación sugieren que si bien los programas de fútbol para el desarrollo tienen potencial para lograr las metas que se proponen, todavía es necesaria más investigación para poder conocer de qué forma, bajo qué condiciones y en que contextos pueden ser más efectivos. La formación y acumulación de habilidades durante la niñez y la adolescencia es un proceso complejo en el que intervienen la familia, la escuela y factores del entorno. Los programas de fútbol pueden ser un actor importante en estos procesos, pero cómo deben estructurarse, qué dimensiones de habilidades se pueden afectar, cuánto tiempo de exposición se necesita, cómo medir los cambios en estas habilidades, entre otras, son preguntas abiertas que es necesario responder si se quiere tener un mayor conocimiento sobre la efectividad de los recursos invertidos en este tipo de iniciativas. El presente estudio arroja resultados alentadores, al tiempo que pone en evidencia algunos desafíos que es necesario abordar en futuras investigaciones. Una de las dificultades de este tipo de evaluaciones es que suele haber una proporción significativa de los niños asignados al tratamiento que nunca asisten. En la intervención bajo estudio, de los 808 niños asignados al tratamiento, solo 587 fueron a alguna práctica, mientras que los restantes 221 (lo que equivale al 27 %) nunca asistieron. Y entre quienes participaron en al menos una práctica, las tasas de asistencia variaron bastante tanto entre sedes como al interior de cada sede. Adicionalmente, muchos de estos niños abandonaron el programa de forma anticipada. Por lo tanto, desde el punto de vista de los programas de fútbol para el desarrollo, el desafío es cómo estimular una mayor participación de los niños en las actividades que ofrecen, de manera de mejorar la efectividad de las intervenciones. Desde el punto de la evaluación, este es un resultado que se debe tener en cuenta al momento de diseñar este tipo de experimentos, por sus efectos perjudiciales sobre el poder estadístico. La inclusión de una lista de espera que permita reemplazar con celeridad a los que desertan es un paliativo. Sin embargo, su efectividad es limitada por el hecho de que la exposición al tratamiento de estos participantes es menor cuando el programa tiene una duración predefinida, como en este caso. Relacionado con lo anterior, un punto importante es cómo definir el tratamiento. En esta evaluación se optó por considerar que un niño recibe el tratamiento si asiste al menos a 8 clases, lo que equivale a un mes calendario. Si se tiene en cuenta que la malla curricular del programa tiene una duración de 11 meses, no sorprende que los resultados del tratamiento sean modestos. Se podría aumentar la cantidad de asistencias requerida para considerar que se recibió el tratamiento, pero esto tiene como desventaja que se reduciría el número de niños que cumplen esos estándares, por lo que el tamaño del grupo de tratamiento se reduce y esto merma el poder estadístico.

24

Todo esto parece indicar que es necesario contar con tamaños de muestra mayores para evaluar la efectividad de este tipo de programas con mayor precisión. En este caso, una dificultad adicional es que muchos de los instrumentos de medición no son aplicables a todo el rango de edad de la intervención, por lo que el poder estadístico para detectar efectos en algunas dimensiones es aún menor. Algo similar ocurre cuando se pretende analizar los resultados para ciertos subgrupos de la población participante. Asimismo, estos resultados plantean la necesidad de identificar las causas de los bajos niveles de asistencia y permanencia en el programa, a los fines de diseñar estrategias de acción dirigidas a fomentar una mayor participación de los niños en las actividades que se desarrollan en el marco de la intervención. Lograr un mayor nivel de exposición al tratamiento debe ser un requisito prioritario de este tipo de iniciativas si se quiere aumentar su efectividad. Incluso, la importancia de esta cuestión junto con la escasez de evidencia acerca de los determinantes de la participación de los niños en actividades extracurriculares, podría ameritar la realización de estudios rigurosos de la efectividad de acciones y mecanismos alternativos que potencialmente puedan contribuir a aumentar los niveles de asistencia. Por último, cabe mencionar que este estudio se concentra en los efectos de corto plazo del programa. Posibles impactos que requieran períodos más prolongados para manifestarse serán analizados en futuras evaluaciones.

5. Conclusiones y hallazgos Entre los principales resultados, se encuentra que el programa efectivamente modifica los hábitos de los beneficiarios, propiciando una mayor dedicación de tiempo tanto a la práctica de actividades físicas y deportivas (algo que en parte es un efecto mecánico de la intervención) como a otras actividades de recreación y esparcimiento. El mayor tiempo dedicado a la práctica de actividades saludables (deportes y esparcimiento) no proviene de una sustitución del tiempo dedicado a las obligaciones escolares, sino de un menor tiempo dedicado a ir a centros comerciales, cuidar a otros miembros del hogar, colaborar en tareas de la casa o descansar. Asimismo, se encuentra que el programa favorece un mejoramiento de las capacidades de relacionamiento e interacción con los demás y la satisfacción que se deriva de estas interacciones, así como también el logro de ciertos objetivos específicos de la intervención, como por ejemplo fomentar la equidad de género. En cambio, el programa parece no contar con el potencial de modificar algunas habilidades que tienen que ver con el autocontrol (hiperactividad, tolerancia) y el comportamiento (respeto, solidaridad), que también son objetivos perseguidos por el programa. Tampoco se observan efectos en el rendimiento de los niños en la escuela (resultados en Matemática, Comunicación y en la probabilidad de haber

25

reprobado el último año) según el reporte de los padres. Un efecto no buscado y no deseado del programa es que reduce la satisfacción con la escuela, particularmente entre los jóvenes varones de entre 14 y 17 años de edad. Por último, al inducir nuevas rutinas y hábitos en los niños participantes, el programa modifica el entorno al que se ven expuestos los niños. Finalmente, se analiza si el programa tiene efectos que dependen de características de los beneficiarios, sus familias o la sede en la que se llevan a cabo las actividades. Una de los aspectos en el que los resultados de la intervención parecen diferir de manera sistemática es la edad de los niños. En general, los impactos del programa varían de forma no lineal a lo largo de todo el rango de edad de la población objetivo del mismo. Cuando la asignación al tratamiento tiene impactos positivos, estos tienden a concentrarse en las edades intermedias (entre 8 y 13 años), con efectos mayormente nulos en las edades extremas (5 a 7 y 14 a 17 años). Cuando los impactos son negativos, estos suelen provenir de los grupos de edad que están en los extremos del rango del experimento, sobre todo de los jóvenes de entre 14 y 17 años y con efectos leves o nulos en los niños de edades intermedias. En algunos casos se observan resultados que difieren según el sexo del niño o su nivel socioeconómico, aunque la evidencia no permite distinguir un patrón sistemático.

6. Referencias

Anderson, M. L. (2008): “Multiple Inference and Gender Differences in the Effects of Early Intervention: A Reevaluation of the Abecedarian, Perry Preschool, and Early Training Projects,” Journal of the American Statistical Association, 103(484), 1481– 1495.

Angrist, J., and J.-S. Pischke (2009): Mostly Harmless Econometrics. Princeton Univers. Press.

Asensio, R. H. (2016): “Fútbol con Corazón. Componente Cualitativo de la Evaluación de Impacto,” Serie documentos de trabajo, CAF Banco de Desarrollo de América Latina.

Cabane, C., and A. E. Clark (2011): “Childhood Sporting Activities and Adult Labour-Market Outcomes,” Universitris1 Panth-Sorbonne (Post-Print and Working Papers) halshs-00639469, HAL.

Cabane, C., A. Hille, and M. Lechner (2015): “Mozart or Pelhe Effects of Tee- nagers’ Participation in Music and Sports,” SOEPpapers on Multidisciplinary Panel Data Research 749, DIW Berlin, The German Socio-Economic Panel (SOEP).

26

CAF (2017): “Práctica de fútbol y desarrollo de habilidades cognitivas y socioemocionales: Evidencia de un estudio experimental en Lima, Perú,” Reporte interno, CAF.

Coakley, J. (2011): “Youth Sports: What Counts as Positive Development?,” Journal of Sport & Social Issues, 35(3), 306–324.

Coalter, F. (2005): The Social Benefits of Sport: An Overview to Inform the Commu- nity Planning Process, Research report (sportscotland (Organization)). Sports Communication Group Limited.

Ewing, B. T. (2007): “The Labor Market Effects of High School Athletic Participation: Evidence From Wage and Fringe Benefit Differentials,” Journal of Sports Economics, 8(3), 255–265.

Felfe, C., M. Lechner, and A. Steinmayr (2011): “Sports and Child Develop- ment,” IZA Discussion Papers 6105, Institute for the Study of Labor (IZA).

GRADE (2014): “Proyecto Sinfonía por el Perú: Música e inclusión social. Informe final,” GRADE.

Hansen, D. M., R. W. Larson, and J. B. Dworkin (2003): “What Adolescents Learn in Organized Youth Activities: A Survey of Self-Reported Developmental Ex- periences,” Journal of Research on Adolescence, 13(1), 25–55.

Lechner, M. (2008): “Long-Run Labour Market Effects of Individual Sports Activi- ties,” IZA Discussion Papers 3559, Institute for the Study of Labor (IZA).

Lechner, M., and P. Downward (2013): “Heterogeneous Sports Participation and Labour Market Outcomes in England,” IZA Discussion Papers 7690, Institute for the Study of Labor (IZA).

Lipscomb, S. (2007): “Secondary school extracurricular involvement and academic achievement: a fixed effects approach,” Economics of Education Review, 26(4), 463– 472.

Long, J. E., and S. B. Caudill (1991): “The Impact of Participation in Intercollegiate Athletics on Income and Graduation,” The Review of Economics and Statistics, 73(3), 525–31.

Pfeifer, C., and T. Cornelissen (2010): “The impact of participation in sports on educational attainment–New evidence from Germany,” Economics of Education Review, 29(1), 94–103.

Rees, D. I., and J. J. Sabia (2010): “Sports participation and academic performance: Evidence from the National Longitudinal Study of Adolescent Health,” Economics of

27

Education Review, 29(5), 751–759.

Sallis, J. F., T. L. McKenzie, B. Kolody, M. Lewis, S. Marshall, and P. Ro- sengard (1999): “Effects of health-related physical education on academic achieve- ment: Project SPARK.,” Research quarterly for exercise and sport, 70(2), 127–134.

Sari, N., and M. Lechner (2015): “Long-Run Health Effects of Sports And Exercise In Canada,” Working Papers 150018, Canadian Centre for Health Economics.

Scanlan, T., M. Babkes, and L. Scanlan (2005): Participation in sport: A deve- lopmental glimpse at emotionpp. 275–309, Organized activities as contexts of development: Extracurricular activities, after-school and community programs.

Singh, A., L. Uijtdewilligen, J. Twisk, W. van Mechelen, and M. Chinapaw

(2012): “Physical activity and performance at school: A systematic review of the literature including a methodological quality assessment,” Archives of Pediatrics & Adolescent Medicine, 166(1), 49–55.

SPD (2007): “Literature Reviews on Sport for Development and Peace,” Discussion paper, University of Toronto: Faculty of Physical Education and Health.

Stevenson, B. (2010): “Beyond the Classroom: Using Title IX to Measure the Return to High School Sports,” The Review of Economics and Statistics, 92(2), 284–301.

28

7. Anexos A.1 Asistencias por sede y género:

29

30

31

32

A.2 Edad del participante:

33

B. Sexo del niño: Tabla A.5: Intención a tratar en índices agregados. Impacto en niños.

34

B.1 Nivel socioeconómico:

35

36