Embed Size (px)
Citation preview
Université Pierre et Marie Curie
Diplôme Inter Universitaire de Pédagogie Médicale
Mémoire
Utilisation d'applications mobiles pour la préparation de l'ECN
Les étudiants peuvent-ils facilement identifier les outils pertinents ?
Dr Stéphane Vignot
soutenu le 14 octobre 2016
Résumé :
Le développement des applications pour téléphones, tablettes et autres appareils mobiles
comprend un nombre croissant d'outils en rapport avec les questions de santé, incluant des
applications destinées à la formation initiale ou continue des professionnels. Qu'en est-il des
applications s'adressant aux étudiants en Médecine dans le cadre de leur préparation à l'Examen
Classant National (ECN) ? Une étude a été conduite sur les plateformes Google Play® et App
Store® en septembre 2016 en utilisant les mots clés "ECN" ; "ECNi" ; "Internat" ; "Examen
Classant National". Un total de 47 applications uniques a été identifié et leur descriptif a été
analysé. L'objectif principal est le soutien aux révisions par des fiches (85%). Les fonctions
d'échange ou de communauté restent marginales dans le contexte de préparation au concours.
Dans deux tiers des cas, il est impossible pour l'usager d'avoir des informations avant
téléchargement sur l'origine des applications et sur les procédures de validation du contenu. La
majorité des applications sont payantes (89 %), soit au téléchargement ou via des coûts indirects
(abonnement, achats complémentaires). La mention d'un soutien explicite de l'industrie
pharmaceutique n'est présente que pour une application. Ces applications représentent une
opportunité majeure mais l'usager doit se souvenir de l'absence de contrôle éditorial et des enjeux
financiers sous jacents. Des procédures transparentes de relecture et de déclaration des
potentiels conflits d'intérêt restent attendues. Il est donc important de développer d'emblée le sens
critique des étudiants, et des enseignants, sur ces outils.
Mots clés :
Applications mobiles - e santé - ECN - ECNi
Mémoire de DIU de Pédagogie Médicale S. Vignot
Octobre 2016 2
Introduction et objectifs de l'étude
L’adoption croissante du numérique et des NTIC (nouvelles technologies de l'information et de la
communication) dans notre société a permis l'émergence d'outils spécifiques dans le domaine de
la santé (e-santé), offrant de nouvelles perspectives pour l'information, de la prévention et du suivi
de diverses pathologies. C'est aux possibilités de formation avec ces nouveaux outils (e-learning)
que va s'adresser ce travail conduit dans le cadre du DIU de Pédagogie Médicale en s'intéressant
spécifiquement aux étudiants en Médecine, professionnels de santé en formation, et à la
préparation de l'ECN.
La génération d'étudiants actuelle est familière de l'usage de l'informatique, habituée à rechercher
des informations sur internet et à utiliser des solutions mobiles (smartphones et/ou tablettes).
L'émergence d'applications spécifiquement dédiées à la préparation de l'ECN est donc attendue et
les différents enjeux qui existaient avec les outils papiers méritent d'être évalués avec attention :
validité des informations présentées, transparence des sources, modèle économique et place de
l'industrie pharmaceutique.
Un travail conduit récemment spécifiquement dans le domaine des applications de e-santé en
oncologie a notamment permis de mettre en lumière le manque de transparence sur les
procédures de relecture et sur les sources de financement, tant pour les applications destinées
aux professionnels de santé que pour celles à destination de la population générale ou des
patients.
Qu'en est-il pour les applications s'adressant aux étudiants en Médecine dans le cadre de leur
préparation à l'ECN ? C'est pour répondre à cette question qu'a été réalisée cette étude in silico
sur les plateformes de téléchargements.
Les objectifs sont :
! identifier les applications mobiles spécifiquement dédiées à la préparation de l'ECN,
! analyser leurs principales caractéristiques,
! interroger le niveau affiché de validation des données et le modèle économique, incluant
les coûts et l'implication potentielle de l'industrie pharmaceutique.
Il s'agit d'estimer si les étudiants peuvent facilement identifier les outils pertinents mais aussi de
pouvoir les conseiller et informer les enseignants sur l'offre actuelle.
Mémoire de DIU de Pédagogie Médicale S. Vignot
Octobre 2016 3
Matériel et Méthodes
L'étude a été réalisée au mois de septembre 2016. Les applications en rapport avec la préparation
de l'ECN ont été identifiées sur les plateformes Google Play® et App Store® en utilisant les mots
clés suivants dans leurs moteurs de recherche : "ECN" ; "ECNi" ; "Internat" ; "Examen Classant
National".
Les applications non relevantes (autres domaines) ont été exclues. Les applications relevantes ont
été analysées d'après leur description dans les Stores en se plaçant dans la position de l'étudiant
cherchant à identifier les applications utiles à la préparation de l'ECN. Les doublons ont été
identifiés. Lorsqu'il existe une version de démonstration d'une application (version Lite),
l'application princeps complète a été prise en compte.
Les éléments pris en compte sont :
! description de l'application : disponibilité sur chaque Store et principaux objectifs annoncés.
! niveau de confiance a priori : cet élément a été estimé avant téléchargement en prenant en
compte la date de dernière mise à jour, la mention ou non des auteurs et l'affichage ou non
d'une validation scientifique du contenu (qualité d'un auteur ou d'un relecteur affichés).
! modèle économique : ont été distinguées les applications gratuites, les applications
payantes et les applications en téléchargement libre mais nécessitant des codes d'accès
sur abonnement ou un paiement complémentaire pour avoir accès à l'ensemble du contenu
(achats intégrés / version Lite). Le niveau de téléchargement a été colligé sur Google Play®
(non disponible sur App Store®) tandis que la connaissance des applications par le public a
été estimée par la présence d'avis et de notes.
Mémoire de DIU de Pédagogie Médicale S. Vignot
Octobre 2016 4
Résultats
Un total de 47 applications relevantes a été identifié à l'issue de la procédure de sélection (figure
1) : 6 applications disponibles uniquement sur Google Play®, 14 uniquement sur App Store® et 27
communes aux deux plateformes de téléchargement.
Figure 1 : Flow chart de l'analyse in silico
AppStore GooglePlay
rechercheparmotsclés
exclusiondesapplica3onsnonrelevantes
170app.
604app.
64app.
58app.
47app.
exclusiondesdoublonsetdesversionsLite
Mémoire de DIU de Pédagogie Médicale S. Vignot
Octobre 2016 5
Description des applications
Les principales caractéristiques des applications sont présentées dans le tableau 1. Les éditeurs
historiques (éditeurs des manuels papiers ou des revues scientifiques) sont à l'origine de 23,4 %
des applications. La majorité des développements est directement issue de sociétés spécialisées
dans la réalisation d'applications ou de sites internet. Aucune application n'est directement
produite par l'industrie. On note une application produite par une mutuelle. Plusieurs objectifs
peuvent être présentés dans la fiche descriptive. La grande majorité des applications sont
positionnées dans une démarche de révision (fiches) tandis que certaines applications sont axées
sur la réalisation d'auto-tests (quizz) ou sur la participation à des examens blancs nationaux
(notamment pour les applications en lien avec une conférence d'internat). Les fonctions
d'organisation (agenda) ou de réseau entre les étudiants restent minoritaires.
Tableau 1 : caractéristiques des 47 applications identifiées
* le total est supérieur à 100% car une même application peut être décrite par plusieurs objectifs.
N %
Disponibilités sur les StoresApp Store 14 29,8%Google Play 6 12,8%Les deux Stores 27 57,4%
Total 47 100,0%
Catégories sur les storesMédecine 36 76,6%Enseignement / Education 8 17,0%Culture Générale 3 6,4%
Total 47 100,0%
EditeurEditeur historique 11 23,4%Site internet / développeur 31 66,0%Organisme de formation prof. 2 4,3%Particulier 2 4,3%Mutuelle 1 2,1%
Total 47 100,0%
Objectifs présentés *Révision / Apprentissage 40 85,1%Quizz 7 14,9%Examen en ligne 3 6,4%Agenda 5 10,6%Echanges / Communauté 1 2,1%
Mémoire de DIU de Pédagogie Médicale S. Vignot
Octobre 2016 6
Niveau de confiance a priori
! Mises à jour
Les dates de dernière actualisation sont précisées sur les 2 plateformes de téléchargement et sont
présentées dans le tableau 2. Une mise à jour a été réalisée depuis moins de 2 ans pour 40 à
50 % des applications (selon le store considéré) tandis que 30 à 40 % n'ont pas été actualisées
depuis au moins 2013.
Tableau 2 : Année de dernière mise à jour
! Affichage de la validation du contenu
La fiche descriptive des applications ne comporte pas systématiquement d'information sur les
modalités de validation des contenus. Comme le montre la figure 2, le nom du ou des auteurs est
explicitement mentionné pour 19,1 % des applications. Une validation du contenu a été retenue
lorsqu'il était précisé les qualités de cet auteur légitimant son implication (titre et spécialité) ou s'il
était fait mention d'une affiliation à un collège d'enseignants ou à une conférence d'internat. Il est
alors possible de considérer a priori que le contenu a été validé par un expert pour un tiers des
applications (figure 2).
Figure 2 : présentation des
auteurs et validation des contenus
19%
81%
32%
68%
00%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Oui Non Oui Non
Iden6fica6ondesauteurs Valida6onscien6fique
Mémoire de DIU de Pédagogie Médicale S. Vignot
Octobre 2016 7
Modèle économique
La plupart des applications sont téléchargeables gratuitement sur les stores (83 %) mais ce
premier niveau d'analyse masque les coûts ultérieurement induits pour l'accès complet aux
contenus : version définitive à télécharger secondairement ou achats de modules dans
l'application, nécessité d'être affilié à une conférence d'internat pour obtenir un identifiant (figure
3).
Figure 3: coûts des applications
Le coût au téléchargement des applications payantes varie entre 0,99 € et 19,99 € (médiane 4,99
€). Le montant exact nécessaire pour les applications à coût différé est plus difficile à estimer de
façon homogène (de 4,99 à 5,99 € par article complémentaire à 69,99 € pour certains modules
complets).
17%
83%
Téléchargementpayant
Téléchargementgratuit
13%
17%11%
60%
Abonnement
Téléchargementpayant
Gratuité
Achatsintégrés/Lite
Mémoire de DIU de Pédagogie Médicale S. Vignot
Octobre 2016 8
La présence de publicité est possible au sein des applications mais un soutien spécifique de
l'industrie pharmaceutique n'est mentionné qu'une seule fois dans le descriptif des applications
(2%). On rappelle qu'une application est par ailleurs directement affiliée à un groupe mutualiste.
Le nombre de téléchargement est mentionné sur Google Play® et les valeurs annoncées sont
présentées dans le tableau 3, en fonction du mode de financement.
Tableau 3 : niveau de téléchargements en fonction du modèle économique (données sous Google
Play®, N=33).
Les versions Lite (incomplètes) de certaines applications, n'ont pas été comptabilisées dans le
total des applications relevantes précédemment considérées afin d'éviter les doublons. Il est
intéressant de voir dans les données source que ces versions à fonction publicitaire ont
régulièrement un succès plus marqué que la version définitive complète (nombre de
téléchargement régulièrement > 10.000 en version Lite, < 100 en version complète).
Une autre façon d'estimer la diffusion des applications est d'évaluer la présence ou non d'avis et
de notes sur les stores, considérant qu'une application commentée et notée a été à minima
téléchargée, et potentiellement appréciée. Cette approche montre que le niveau de notation et de
commentaire est particulièrement bas pour les applications de l'App Store® (10 % versus 70 % sur
Google Play®) avec également une note médiane inférieure (voir tableau 4). Les biais spécifiques
à cette analyse sont toutefois importants et seront présentés dans la discussion.
Tableau 4 : avis et note disponibles sur les Stores (* […] : valeurs extrêmes).
N % N %
Non 10 30% 35 90%Oui 23 70% 4 10%
4 [1-258] 10,5 [2-24]4,2 [2-5] 2,75 [2-4,5]
Google Play App Store
Présence d'une note
Nombre médian de votants*Note médiane (/5)*
Nombre de téléchargements
Application Payantes
Lite / Achats intégrés Abonnement Gratuité
10 à 50 0 4 0 150 à 100 2 10 1 1100 à 500 1 5 0 0500 à 1000 0 0 2 11000 à 5000 0 1 2 1> 5000 0 1 0 0
Mémoire de DIU de Pédagogie Médicale S. Vignot
Octobre 2016 9
Discussion
Cette étude réalisée sur les plateformes de téléchargement d'application Google Play® et App
Store® permet de réaliser un état des lieux en septembre 2016 de l'offre pour les étudiants
préparant l'ECN. Certaines limites doivent évidemment être prises en compte dans l'analyse des
résultats. En premier lieu, le nombre faible d'applications identifiées incite à la plus grande
prudence quant à une volonté de réaliser des analyses statistiques pertinentes. Il est important par
ailleurs de garder à l'esprit l'évolutivité sur les stores et la possibilité d'apparition rapide de
nouvelles applications. L'une des difficultés dans ce type d'analyse repose également sur la
concordance entre les mots clés choisis et la logique de référencement sur les stores. Les
procédures de Google et Apple ne sont pas transparentes et les algorithmes de recherche ne sont
pas publics. Les recherches sont basées sur des logiques type Google (requête sur des éléments
du descriptif) plutôt que de type Pubmed (recherche par mots clés homogénéisés). Les items
choisis pour les requêtes dans le cadre de cette étude paraissent cohérents (ECN, ECNi, Internat
et Examen Classant National) mais il n'est pas garanti qu'ils puissent identifier l'ensemble des
applications pertinentes. Une application non identifiée par ces mots clés aurait toutefois un fort
risque d'avoir une diffusion confidentielle (sauf à imaginer des usages volontairement restreint à
certains utilisateurs sélectionnés ?).
Quelles informations clés retenir des principales caractéristiques des applications identifiées ? Il
paraît intéressant de noter que les fonctions proposées sont très classiques, basées en pratique
essentiellement sur l'accès à des fiches de révision et à des auto-tests. Certains usages
complémentaires émergent avec des fonctions d'agenda, essentiellement pour les conférences
d'internat. Celles-ci développent également des épreuves blanches en ligne, ce qui apparaît
comme le niveau maximal d'échange envisageable entre les étudiants. Aucune ne se positionne
sur une logique de coopération ou d'échange d'information, ne serait-ce qu'en communauté
restreinte (pas de fonction "e-sous colle"). La e-préparation de l'ECN garde au final une logique
très classique et intrinsèquement individualiste.
Un point d'intérêt particulier dans l'étude des applications en lien avec la e-santé est l'analyse de
leur pertinence et de leur niveau de validation scientifique. Qu'en est-il pour les applications de
préparation de l'ECN ? Un premier élément d'évaluation est la date de dernière mise à jour, une
information qui paraît spontanément logique pour évaluer avant tout téléchargement si une
application tiendra compte des éventuelles évolutions. En pratique, il est cohérent d'être réservé
sur la pertinence des applications non actualisées depuis plusieurs années, tant sur la forme que
sur le fond (prise en compte des évolutions des ECNi ?) mais il n'est à l'inverse pas possible d'être
Mémoire de DIU de Pédagogie Médicale S. Vignot
Octobre 2016 10
rassuré par une date de mise à jour récente car il peut s'agir d'une actualisation purement
technique : corrections de bugs, modification requise à l'occasion d'un changement d'OS par
Android ou Apple. Une actualisation récente garantit au plus qu'il existe un support informatique
actif derrière l'application mais ne permet donc pas d'avoir une idée sur le bon suivi du contenu.
Une approche alternative pour évaluer la pertinence des applications et le niveau de confiance a
priori d'après leur descriptif est de s'intéresser aux auteurs et au niveau de validation scientifique
présenté par les développeurs. Il est alors important de signaler que l'écrasante majorité des
applications n'ont pas d'auteur, ou de groupe d'auteurs, clairement précisé. Si on considère que
l'affiliation à une conférence ou la présence d'une mention d'un patronage par un collège de
spécialistes (même si les noms ne sont pas explicitement précisés) est une garantie d'une
relecture experte, le niveau affiché de validation scientifique est de 32 %. Il est donc impossible
dans deux tiers des cas pour l'usager avant téléchargement d'avoir des informations sur l'origine
des applications et sur les procédures de validation du contenu. Cette pratique est en décalage
avec la logique de l'édition médicale et de la presse scientifique. L'absence de mention des
modalités de validation ne remet pas en cause la valeur réelle des applications mais doit interroger
sur la diffusion d'informations dont la pertinence n'est pas évaluée et dont la valeur n'est pas
hiérarchisée. Il est utile de rappeler qu'aucune validation du contenu n’est nécessaire pour mettre
en ligne ce type d’application, les stores s'assurant juste de la fonctionnalité et de l'absence de
contenu répréhensible. Il n'existe pas à ce jour de labellisation des applications comme cela a pu
être par le passé proposé pour les sites internet.
Il semble enfin intéressant de s'arrêter un instant sur le modèle économique de développement de
ces outils. La conception d'une application peut être issue d'une passion mais sa mise en ligne et
surtout son actualisation, technique et scientifique, sera à terme dépendante de l'existence d'un
financement. Dans le cas des applications de préparation à l'ECN, il y a en pratique peu de
gratuité véritable (11 %), ce qui paraît en accord avec les logiques des générations précédentes
d'étudiants en médecine, régulièrement prêts et souvent capables d'investir dans des
compléments à la formation universitaire (ouvrages, conférences et donc maintenant outils
connectés). Cette approche est cependant assez différente des approches globales en e-santé où
l'offre destinée aux patients, à la population générale et aux professionnels est très largement
intégralement gratuite. Se pose alors la question de la place de la publicité et notamment de
l'implication de l'industrie pharmaceutique. Dans le cas des applications de préparation à l'ECN,
celle-ci est particulièrement discrète, la mention d'un laboratoire étant explicite pour une seule
application. Existe-t-il d'autres modalités de financement de l'industrie ou des messages ultérieurs
à l'attention des futurs professionnels que sont les étudiants ?
Il est en tout cas légitime de s'interroger sur la viabilité à long terme des applications considérées
mais les éléments objectifs manquent. Les niveaux de téléchargements sont présentés sur Google
Mémoire de DIU de Pédagogie Médicale S. Vignot
Octobre 2016 11
Play® et paraissent modestes. Il faut toutefois à nouveau tenir compte de la réinitialisation des
compteurs en cas de nouvelle version de l'application. Une approche classique pour estimer la
popularité des applications sur les stores est de regarder s'il existe une note et le nombre de
votants. A nouveau, il faut tenir compte de l'impact potentiel des actualisations sur les décomptes
des voix. Se pose en outre dans le cas particulier des applications destinées à la préparation de
l'ECN la question de la franchise des utilisateurs, potentiellement soucieux de ne pas promouvoir
auprès des autres étudiants les outils les plus pertinents pour la préparation du concours.
En conclusion, l'offre d'applications dédiées à la préparation de l'ECN reste modeste. Leur
développement paraît basé sur une propension à payer qui peut être qualifié d'importante. La
présence affichée de l'industrie pharmaceutique est marginale dans les outils identifiés mais cette
question doit rester un élément de vigilance. Concernant les contenus, les mêmes limites que
celles qui sont évoquées dans l'usage des applications de e-santé sont observées : peu
d'informations sur les auteurs et manque de transparence sur les modalités de validation. Une
étape ultérieure dans l'analyse de l'offre pourrait reposer sur la réalisation d'une étude similaire
pour des applications destinées à la préparation d'un examen national universitaire en dehors du
domaine de la santé (éducation nationale ? droit ?). Ces analyses n'ont pas pour objectif de
remettre en cause l'intérêt des applications dans la formation initiale (puis continue) des étudiants.
Elles représentent en effet une opportunité majeure mais l'usager doit se souvenir de l'absence de
contrôle éditorial et des enjeux financiers sous jacents. Des procédures transparentes de relecture
et de déclaration des potentiels conflits d'intérêt restent attendues. Il est donc important de
développer d'emblée le sens critique des étudiants, et des enseignants, sur ces outils.
Mémoire de DIU de Pédagogie Médicale S. Vignot
Octobre 2016 12
Références bibliographiques Articles à propos de la e-santé et des nouvelles technologies de l'information appliquées aux études médicales
- Rasmussen K, Belisario JM, Wark PA, Molina JA, Loong SL, Cotic Z et coll. Offline eLearning for undergraduates in health professions: A systematic review of the impact on knowledge, skills, attitudes and satisfaction. J Glob Health. 2014 Jun;4(1):010405.
- Brouard B, Bardo P, Vignot M, Bonnet C, Vignot S. E-santé et m-santé : état des lieux en
2014 et apports potentiels en oncologie. Bull Cancer. 2014 Oct;101(10):940-50.
- Masters K. Health professionals as mobile content creators: teaching medical students to develop mHealth applications. Med Teach. 2014 Oct;36(10):883-9.
- O'Shea J, Berger R, Samra C, Van Durme D. Telemedicine in education: bridging the gap.
Educ Health (Abingdon). 2015 Jan-Apr;28(1):64-7.
- Melton W. Creation of mHealth content aimed at medical students. Med Teach. 2015 May;37(5):500-1.
- Briz-Ponce L, Juanes-Méndez JA, García-Peñalvo FJ, Pereira A. Effects of Mobile
Learning in Medical Education: A Counterfactual Evaluation. J Med Syst. 2016 Jun;40(6):136.
- Pathipati AS, Azad TD, Jethwani K. Telemedical Education: Training Digital Natives in
Telemedicine.. J Med Internet Res. 2016 Jul 12;18(7):e193.
- Merrell RC, Doarn CR Students in Telemedicine: A Lasting Impact. Telemed J E Health. 2016 Aug;22(8):623.
Etudes antérieures réalisées sur l'évaluation de l'offre et du niveau de confiance des applications en Oncologie ! Applications francophones
- Brouard B, Bardo P, Bonnet C, Vignot M, Vignot S. Applications mobiles en Oncologie : offre pour les utilisateurs francophones et questionnement sur le modèle de développement. Bull. Cancer (Paris), vol. 102, no. 9, pp. 716–718, Sep. 2015.
! Applications anglosaxonnes :
- Brouard B, Bardo P, Bonnet C, Mounier N, Vignot M, Vignot S. Mobile applications in oncology: is it possible for patients and healthcare professionals to easily identify relevant tools? Ann Med. 2016 Jun 27:1-7. [Epub ahead of print]
