L’évaluation : dans quel cadre et avec quels outils? · 2017-10-12 · Contexte Appel à projet...

L’évaluation : dans quel cadreet avec quels outils?

RENCONTRES RÉGIONALES DUSPORT SANTÉ BIEN-ÊTRE

AUVERGNE RHÔNE-ALPESSaint-Etienne - 13 décembre 2016

Avec le concours de la DRDJSCS Auvergne Rhône-Alpes

Les missions de l’Observatoire

RECENSER

Données sur l’activité physique et

sportive

Données sur la sédentarité

ANALYSER

Pour établir un état des lieux

SUIVRE ET EVALUER

Actions luttant contre la sédentarité

Actions promouvant l’activité physique

PROPOSER OU RÉALISER

Études avec le monde

universitaire

Études avec des partenaires

publics ou privés

APPROFONDIR

Évolutions et enjeux sur le thème de

l’activité physique et de la sédentarité

en France

COMMUNIQUER

Études de l’Onaps

Corinne Praznoczy - 13/12/2016 2

Contexte

Appel à projet CNDS : Actions de lutte contre l’obésité, l’inactivité physique et la sédentarité des jeunes de 12 à 25 ans

13 projets retenus Financés sur 3 ans Des porteurs de projet différents :

– 2 ligues de sports adapté, 1 centre socio-culturel, – 2 comités régionaux Sports pour tous, – 1 réseau sport santé bien-être, – 3 comités régionaux d’éducation physique et de gymnastique volontaire, – 1 office municipal des sports, – 1 comité départemental des offices municipaux des sports, – 1 comité départemental olympique et sportif, – 1 club sportif

Des projets différents également dans leur modalité

Corinne Praznoczy - 13/12/2016 3

Contexte

Une demande d’évaluation formalisée dans l’AAP Demandes en termes d’indicateurs

– Condition physique– Changement de comportement significatif (prise de licence)– Santé– Activité physique, sédentarité– Estime de soi– Motivation– Participation, assiduité…

Deux bilans intermédiaires et un bilan définitif à fournir par les porteurs

Deux évaluations globales intermédiaires et une évaluation finale à fournir par l’Onaps

– Sur les actions– Sur le processus d’évaluation, avec des projets et des structures porteuses

différents

Corinne Praznoczy - 13/12/2016 4

Territoires concernés

MayenneComité départemental olympique et sportif de Mayenne

Champagne-ArdenneRéseau sport santé bien-être

Rhône-AlpesLigue Sport adapté de Rhône-Alpes

AlsaceComité régional Sports pour tous

Basse-NormandieCentre socio-culturel et sportif Léo Lagrange à Colombelles

CorseComité régional d’éducation physique et de gymnastique volontaire de Corse

Paca - Comité

départemental des offices municipaux des sports des Bouches-du-Rhône

- Comité régional d’éducation physique et de gymnastique volontaire de PACA

AuvergneLigue d’Auvergne du Sport adapté

La Réunion - Office municipal

des sports de Saint-Joseph

- Comité régional Sports pour tous

LorraineSociété des Régates Messines

PicardieComité régional d’éducation physique et de gymnastique volontaire

Corinne Praznoczy - 13/12/2016 5

Batterie d’indicateurs

Indicateurs de processus

Ressources qu’il est prévu de mobiliser dans le projet (intervenants, matériel et supports,

partenariats…)

Ressources réellement mobilisées

Mode de recrutement des participants (critères d’orientation vers le programme, motivation repérée

des participants, état de santé objectif…)

Suivi des abandons

Si groupe constitué sur la durée :

Ambiance pendant les séances (interactions, capacité du groupe à coproduire, à échanger…)

Moments de convivialité en dehors des séances (liens tissés qui se poursuivent hors programme et

hors séances, enrichissement du réseau social des participants…)

Corinne Praznoczy - 13/12/2016 6

Batterie d’indicateurs

Corinne Praznoczy - 13/12/2016 7

Indicateurs de résultats

Nombre de projets ayant signalé un

indicateur de ce type dans leur dossier (sur

13 projets)

IMC† 4

Tour de taille 2

Qualité de vie(a) 4

Estime de soi(b) 5

Condition physique†† 13

Activité physique(c) 6

Sédentarité(c) 4

Satisfaction

Nbre de personnes, taux de participation, nbre d’abandons

(raisons)10

Suivi de fin de projet : inscription à des activités physiques, type

d’activité8

† Le guide Fnors indiquant la mesure du poids et de la taille chez les enfants et les seuils d’IMC pour déterminer la corpulence des enfants sera fourni aux porteurs de projet qui le souhaitent.†† Tous les projets proposent un indicateur de mesure de la condition physique différent, une harmonisation n’est donc pas envisageable.(a) Propositions : Profil de Duke (auto-administré)(b) Proposition : échelle de Rosenberg (auto-administré)(c) Propositions : IPAQ court (si auto-administré)

Bilan de la première année -Données quantitatives - 1ère analyse

Participation des projets au recueil des données : 7 projets ont transmis leurs données; 1 projet a rencontré un pb technique; 4 projets ont pris du retard et n’ont pas pu transmettre les données; 1 projet a son propre dispositif d’évaluation et un public « général » (Université de

Caen);

Participation : 1 018 enfants ou adolescents pour les 13 projets (dont 592 pour la Normandie)

Participants inclus dans le fichier de données: 276 enfants ou adolescents, pour les 7 projets; Taux de participation de 38 à 77% selon les projets; Taux d’abandon de 0 à 39% selon les projets; Raisons des abandons : changement d’emploi du temps scolaire, blessure, maladie,

transport, exclusion de l’établissement, pratique d’un autre sport, raisons familiales, déménagement;

Corinne Praznoczy - 13/12/2016 8

Descriptif à l ’inclusion (sur 276 enfants/7projets):

57% de filles

Âge moyen = 12,2 ans (240, 7 projets);

IMC moyen (kg/m2) = 26,3 (185, 6 projets);

Zscore moyen = 2,32 (161, 6 projets);

Corinne Praznoczy - 13/12/2016 9

Bilan de la première année -Données quantitatives - 1ère analyse

Corinne Praznoczy - 13/12/2016 10

Indicateur Unité Participants Projets Avant Après p

IMC kg/m2 140 6 26,5 26,4 NS

Zscore 138 6 2,34 2,31 NS

Souplesse (<0 ne touche pas le sol) cm 93 2 -5,0 -3,5 0,002

Distance parcourue en 6 mn m 30 2 637 601 NS

Temps en équilibre sur 1 jambe s 83 3 17,3 16,9 NS

Score santé physique Duke /100 24 2 79,2 82,1 NS

Score santé mentale Duke /100 24 2 70,4 87,5 <0,001

Score santé sociale Duke /100 24 2 70,4 75,4 NS

Score santé générale Duke /100 24 2 73,3 81,7 <0,001

Score Estime de soi Duke /100 24 2 71,7 84,2 <0,001

Estime de soi Rosenberg /40 67 3 28,3 30,1 0,005

Bilan de la première année -Données quantitatives - 1ère analyse

Indicateurs propres aux projets

Qualité de vie (1 projet) :

Estime de soi (2 projets) :

Activité physique (1 projet) :

Sédentarité (2 projets) :

Motivation :

Tests de condition physique hétérogènes : exploitation des résultats à venir

Corinne Praznoczy - 13/12/2016 11

Bilan de la première année -Données quantitatives - 1ère analyse

Satisfaction (94, 3 projets) :

96% satisfaits de l’action

89% recommanderaient l’action à un ami

Corinne Praznoczy - 13/12/2016 12

Bilan de la première année -Données quantitatives - 1ère analyse

Analyse des bilans et des entretiens

RECRUTEMENT

PARTENARIAT

ACTIONS

MOTIVATION

QUESTIONNAIRES

DONNÉES

LOCAUX

Corinne Praznoczy - 13/12/2016 13

Analyse des bilans et des entretiens

Questionnaires• nombreux et longs

• difficile à concilier avec le temps dédié à l’APS

Données• lourdes à traiter (saisie)

• nécessité de faire une déclaration CNIL

Corinne Praznoczy - 13/12/2016 14

Actions de lutte contre l’obésité, l’inactivité physique et la sédentarité des jeunes de 12 à 25 ans IMC (cible, résultat ?) => qui prend la mesure ? Dans quel

contexte ?

Activité physique, sédentarité : comment mesurer ? Questionnaire validé, type IPAQ, long ? Autre ? Mais quelle validité ? (temps, fréquence et niveau d’AP; contextes de sédentarité…)

Qualité de vie, estime de soi : indicateurs sensibles mais questionnaires longs, pas toujours faciles d’accès.

Motivation ? Dimension essentielle.

Suivi des bénéficiaires : difficile à mettre en place, quel financement ?

Corinne Praznoczy - 13/12/2016 15

Analyse des bilans et des entretiens

Actions de lutte contre l’obésité, l’inactivité physique et la sédentarité des jeunes de 12 à 25 ans

Vigilance CNIL : recueil de données personnelles = loi sur la protection des données (Règlement européen du 4 mai 2016 qui entrera en application en 2018 : durcissement de la responsabilité du responsable du traitement des données

Traitement des données, quantitative comme qualitative (compétence spécifique )

Corinne Praznoczy - 13/12/2016 16

Analyse des bilans et des entretiens

L’évaluation doit être financée

L’évaluation doit être à la mesure des porteurs de projet

Nécessité d’outiller, d’accompagner si nécessaire

Nécessité de prendre en compte les spécificités des porteurs de projet, en termes de ressources disponibles, compétences, « éthique » propre

Corinne Praznoczy - 13/12/2016 17

Analyse des bilans et des entretiens

Le rapport d’évaluation intermédiaire de cette première année sera publié en février 2017

Merci de votre attention

Site internet : www.onaps.fr

Mail: contact@onaps.fr

Compte twitter: @onaps_officiel

Corinne Praznoczy - 13/12/2016 18