Qu’est-ce que l’Open Science

uOttawa.ca

[email protected]

1

uOttawa.ca

Qu’est-ce que l’Open Science ?

Matthieu P. Boisgontier, MSc, MPT, PhD, HDR 13 Novembre 2020

[email protected]://matthieuboisgontier.com

1

Boisgontier MP (2020) Qu’est-ce que l’Open Science ? https://doi.org/10.17605/OSF.IO/94ZJ2

https://doi.org/10.17605/OSF.IO/94ZJ2


2

1. Qu’est-ce que l’Open Science ?

2. Questionable Research Practices (QRPs)

3. Partageons !

4. Preprints

7. Pre-registration & Registered Reports

8. Évaluer la qualité scientifique

5. Null results

6. Open Access ≠ Open Science

9. Est-ce stratégique d’être un « Open Scientist » ?


3

• C’est un état d’esprit qui valorise l’ouverture et la coopérationplutôt que l’individualisme.


https://blog.vantagecircle.com/teamwork-and-team-building

https://blog.vantagecircle.com/teamwork-and-team-building


4

• C’est partager un maximum de données, de codes d’analyse, et de documents afin que d'autres chercheurs puissent vérifier et réutiliser nos travaux le plus facilement possible.




5


• C’est valoriser les bonnes pratiques à chaque étape du processus de recherche plutôt que de se focaliser sur le résultat final de ce processus.



https://www.vox.com/2016/7/14/12016710/science-challeges-research-funding-peer-review-process

https://www.vox.com/2016/7/14/12016710/science-challeges-research-funding-peer-review-process


6


• C’est valoriser les bonnes pratiques à chaque étape du processus de recherche plutôt que de se focaliser sur le résultat final de ce processus.

• C’est soutenir l’équité, la diversité, et la viabilité du système scientifique.




7


• Transformer cet état d’esprit en culture permettrait donc d’obtenir des connaissances plus conformes au réel.

• L’Open Science fournit un cadre permettant de minimiser les pratiques de recherche douteuses (QRPs).


8



3. Partageons !

4. Preprints



5. Null results




9


Lakens D. https://www.coursera.org/learn/statistical-inferences

Tracé d'une valeur p, calculée pour un test tsimple, pour des échantillons de 10 à 2010 observations, lorsque l'hypothèse nulle est vraie.

Parce que les valeurs p sont uniformément distribuées, la valeur p se déplace de façon aléatoire entre 0 et 1.

https://www.coursera.org/learn/statistical-inferences


10


By Adam Virgile https://adamvirgile.com/infographics-all

https://adamvirgile.com/infographics-all


11

https://medium.com/@jamesheathers/fraud-aint-the-game-aae4b8ca1784

Les pratiques de recherche douteuses aboutissent à des preuves trompeuses

qui déforment notre perception de la vérité.




12

Nick Brown (left) and James Heathers (right)act as enforcers when they spot anomalies in the literature.

“What we do is error detection. That’s all. Forget about fraud.”

James Heathers



Détection des erreurs



13

https://retractionwatch.com

Fraude scientifique : Distorsion intentionnelle du processus de recherche ayant conduit à la falsification ou la fabricationdu message scientifique.

Augmenter la transparence du processus de rétraction des articles scientifiques


Erreurs ≠ Fraude

https://retractionwatch.com/


14



3. Partageons !

4. Preprints



5. Null results




15

By John R. McKiernan http://whyopenresearch.org/gallery.html

3. Partageons !Pourquoi partager ?

- Améliorer le travail collaboratif.

- Accès généralisé à la science.

- Améliorer la qualité de la science.


16

http://roar.eprints.org

3. Partageons !

Registry of Open Access Repositories (ROAR)Registre des archives ouvertes

Comment partager ?

http://roar.eprints.org/


17

3. Partageons !Comment partager ?


18

By John R. McKiernan http://whyopenresearch.org/gallery.html

3. Partageons !- Peur de se faire « voler » ses idées et de perdre l’exclusivité.

Reason not to share data:

Fear of being scooped


19

3. Partageons !- Peur de se faire « voler » ses idées et de perdre l’exclusivité

Souvent :

- Égoïste, présomptueux, et irréaliste.

- Gaspillage d’argent et de temps.

- Peur d’avoir fait des erreurs


20

3. Partageons !- Peur de se faire « voler » ses idées et de perdre l’exclusivité

- Tout le monde fait des erreurs.

- Plus nos erreurs sont corrigées tôt, Moins nous avons l’occasion de les reproduire.

Souvent :

- Égoïste, présomptueux, et irréaliste.

- Gaspillage d’argent et de temps.

- Peur d’avoir fait des erreurs


21

3. Partageons !

“Authors should consider storing primary data in a public repository

linked to the manuscript”

« This journal mandates and peer reviews data sharing. »

Est-ce que les journaux sont favorables à ce partage ?


22

Cheval B, et al. Avoiding sedentary behaviors requires more cortical resources than avoiding physical activity: an EEG study. Neuropsychologia. 2018;119:68-80. https://doi.org/10.1016/j.neuropsychologia.2018.07.029

3. Partageons !

Matthieu Boisgontier – 2019

Comment encourager, nous aussi, ce partage ?

https://doi.org/10.1016/j.neuropsychologia.2018.07.029


23

Lorsque vous expertisez un article,vous pouvez encourager les auteurs à partager.

3. Partageons !Comment encourager, nous aussi, ce partage ?


24



3. Partageons !

4. Preprints



5. Null results




25

4. Preprints

“If you want to be 1 year behind, don’t read preprints.”

Jeff Leek

https://elifesciences.org/labs/57d6b284/prereview-a-new-resource-for-the-collaborative-review-of-preprints

http://blog.europepmc.org/2018/07/preprints.html

Article partagé publiquement avant avoir été expertisé par des pairs.

Temps écoulé entre le preprint et la publication finale de l’article (mois)

No

mb

re d

e p

rep

rin

ts

https://elifesciences.org/labs/57d6b284/prereview-a-new-resource-for-the-collaborative-review-of-preprints

http://blog.europepmc.org/2018/07/preprints.html


26

Schroter S. et al. Journal of the Royal Society of Medicine. 2008;101:507-14. https://doi.org/10.1258/jrsm.2008.080062

“Editors should not assume that reviewers will detect most major errors”

4. PreprintsQuelles erreurs sont détectées par l’expertise des pairs ?

.

https://doi.org/10.1258/jrsm.2008.080062


27

4. Preprints

https://publons.com

Le système d’expertise par les pairs est saturé.

https://publons.com/


28

…

https://beallslist.net

https://scholarlykitchen.sspnet.org/2019/05/01/cabells-predatory-journal-blacklist-an-

updated-review/

4. PreprintsJournaux prédateurs

https://beallslist.net/

https://scholarlykitchen.sspnet.org/2019/05/01/cabells-predatory-journal-blacklist-an-updated-review/


29

https://plos.org/resource/open-peer-review/

4. Preprints

Royal Society Open Science, European Journal of Neuroscience BMJ, BMC, PLOS, Nature Communications,

TransparenceQualitéCrédit

Pédagogie

Représailles

Développement des open peer-reviews



30


4. Preprints

De quand datent les preprints ?



31

4. PreprintsEvolution du nombre de preprints publiés par mois (2013-2020)

Anaya J. ASAPbio. https://asapbio.org/preprint-info/biology-preprints-over-time

https://asapbio.org/preprint-info/biology-preprints-over-time


32

4. PreprintsQui preprint ?

@maboisgon


33

4. PreprintsFaut-il preprinter ?


34

4. PreprintsFaut-il preprinter ? Le point de vue des financeurs.

https://grants.nih.gov/grants/guide/notice-files/not-od-17-050.htmlhttps://erc.europa.eu/sites/default/files/content/pages/pdf/ERC-2019-Work-Programme-main-changes.pdfhttps://www.nserc-crsng.gc.ca/NSERC-CRSNG/Policies-Politiques/assesscontrib-evalcontrib_eng.asp

https://grants.nih.gov/grants/guide/notice-files/not-od-17-050.html

https://erc.europa.eu/sites/default/files/content/pages/pdf/ERC-2019-Work-Programme-main-changes.pdf

https://www.nserc-crsng.gc.ca/NSERC-CRSNG/Policies-Politiques/assesscontrib-evalcontrib_eng.asp


35

4. PreprintsFaut-il preprinter ?


36

4. PreprintsOù preprinter ?


37

4. PreprintsEst-ce que le journal dans lequel je souhaite publier accepte les articles déjà preprintés ?

www.sherpa.ac.uk/romeo

http://www.sherpa.ac.uk/romeo


38


4. PreprintsPostprints

Article publié après expertise par les pairs et avant qu'il n'ait été formaté par un journal.

Période d’embargo de 6 mois - 1 an



39



3. Partageons !

4. Preprints



5. Null results




40


5. Null results

Que faire quand il n’y a pas d’effet de notre variable indépendante ?



41

(On échoue à rejeter l'hypothèse nulle)

5. Null results

Un résultat non significatifn'est pas une preuve de l'absence d'effet.

Test d’equivalence,Estimation Bayesienne,

Facteurs de Bayes.

Harms C, Lakens D. Making 'null effects' informative: statistical techniques and inferential frameworks. J Clin

Transl Res. 2018;3:382-393.



42

AVANTavoir compris

les tests d’équivalence

5. Null results

APRÈS avoir compris

les tests d’équivalence



43

5. Null resultsParfois plus difficiles à publier

Offre 1000€ à ses chercheurs s'ils publient des résultats nuls ou une étude de réplication.

https://www.bihealth.org/en/research/quest-center/calls-and-awards/quest-calls-and-awards/null-

and-replication

https://www.bihealth.org/en/research/quest-center/calls-and-awards/quest-calls-and-awards/null-and-replication


44

5. Null resultsParfois plus difficile à publier


45



3. Partageons !

4. Preprints



5. Null results




46


https://deltathink.com/open-access/oa-data-analytics-tool/

https://deltathink.com/open-access/oa-data-analytics-tool/


47


La communauté scientifique est en désaccord avec ces frais de traitement des articles (APC) qui sont trop élevés.


48

- Les universités européennes paient €500 millions/an pour avoir accès aux articles scientifiques.


https://www.slideshare.net/EurUniversityAssociation/second-big-deals-survey-preview-of-the-results-130867813https://www.cbc.ca/news/health/research-public-funding-academic-journal-subscriptions-elsevier-librarians-university-of-california-1.5049597

- Le montant est de $300 millions pour les universités canadiennes.

https://www.slideshare.net/EurUniversityAssociation/second-big-deals-survey-preview-of-the-results-130867813

https://www.cbc.ca/news/health/research-public-funding-academic-journal-subscriptions-elsevier-librarians-university-of-california-1.5049597


49

https://www.theatlantic.com/science/archive/2019/03/uc-elsevier-publisher/583909/https://www.editage.com/insights/norway-joins-the-ranks-of-germany-and-sweden-cancels-subscription-with-elsevier


La communauté scientifique en désaccord avec ces abonnements trop onéreux.

https://www.theatlantic.com/science/archive/2019/03/uc-elsevier-publisher/583909/

https://www.editage.com/insights/norway-joins-the-ranks-of-germany-and-sweden-cancels-subscription-with-elsevier


50

“En Belgique, les articles scientifiques provenant de fonds publics peuvent être rendus publics en libre accès, quel que soit le contratavec les éditeurs. C'est écrit dans la loi. Et rétroactif.”



51

Farquharson, Jamie (2018): Diamond open access venn. figshare. Dataset.https://doi.org/10.6084/m9.figshare.6900566.v1


https://doi.org/10.6084/m9.figshare.6900566.v1


52



3. Partageons !

4. Preprints



5. Null results




53



54

Recherche exploratoire

Recherche confirmatoire

- Pour se familiariser avec un phénomène.- Pour développer des hypothèses qui devraient être approfondies.

- Pour répondre à une question de recherche théorique spécifique.- Basée sur des hypothèses statistiques prédéfinies.

7. Pre-registration & Registered ReportsDeux types de recherche

Caldwell AR, et al. Moving sport and exercise science forward: A call for the adoption of more transparent research practices. Sports Medicine 2020;50:449-459.. http://dx.doi.org/10.1007/s40279-019-01227-1

http://dx.doi.org/10.1007/s40279-019-01227-1


55

Pre-registration : Consiste à publier, sans expertise par des pairs, la description d’une étude scientifique à venir afin de limiter les pratiques de recherche douteuses.


https://aspredicted.org

https://osf.io

https://aspredicted.org/

https://osf.io/


56

7. Pre-registration & Registered ReportsEst-ce que la pre-registration change vraiment quelque chose ?

Kaplan RM, Irvin VL. Likelihood of Null Effects of Large NHLBI Clinical Trials Has Increased over Time. PLoS One. 2015 Aug 5;10(8):e0132382. http://dx.doi.org/10.1371/journal.pone.0132382

Effets nuls, bénéfiques, et néfastesAVANT et APRÈS

l’obligation de pré-inscrire les études en médecine

http://dx.doi.org/10.1371/journal.pone.0132382


57

Registered Reports : Consiste à faire expertiser l’introduction, la méthodologie, et les données pilotes d’une étude scientifique afin qu’elle ne soit acceptée pour publication dans un journal. Ceci avant que les données ne soient collectées et donc que les résultats ne soient connus. Les RR permettent de limiter les pratiques scientifiques douteuses et le biais de publication.



58


By Adam Virgile https://adamvirgile.com/infographics-all

Processus des RR

https://adamvirgile.com/infographics-all


59


Quels journaux proposent le format Registered Report ?

266 journaux au total

58 Psychologie10 Neuroscience4 STAPS

• Human Movement Science• Psychology of Sport and Exercise• Registered Reports in Kinesiology• Frontiers in Sports and Active Living

https://cos.io/rr


60


Est-ce que les Registered Reports réduisent le biais de publication ?

Scheel, A. M., Schijen, M., & Lakens, D. (2020). An excess of positive results: Comparing the standard Psychology literature with Registered Reports. https://doi.org/10.31234/osf.io/p6e9c

https://doi.org/10.31234/osf.io/p6e9c


61



3. Partageons !

4. Preprints



5. Null results




62


Le facteur d’impact, un indicateur trompeur et pervers.

“Studies in high-ranking journals are often less methodologically sound than those published in other journals.”

Lower IF Higher IF

Lower quality

Higher quality

Brembs B. Prestigious Science Journals Struggle to Reach Even Average Reliability. Front Hum Neurosci. 2018;12:37. https://doi.org/10.3389/fnhum.2018.00037

https://doi.org/10.3389/fnhum.2018.00037


63


Le facteur d’impact, un indicateur trompeur et pervers.


64


https://sfdora.org/read/

C’est la communauté scientifique qui détermine le prestige d’un journal.

Améliorer les méthodes d’évaluation de la recherche et des chercheurs.


65




66


Evaluez l'impact de la science,pas du journal.


https://www.teachaway.com/blog/need-to-know-about-interview-sessions

https://www.teachaway.com/blog/need-to-know-about-interview-sessions


67



3. Partageons !

4. Preprints



5. Null results




68

9. Est-ce stratégique d’être un « Open Scientist »

Vous n'êtes pas obligé de faire de la science ouverte tout le temps. L’important c’est de connaître les options qui sont disponibles et de les utiliser lorsque cela est possible.

C’est quoi être un « scientifique ouvert » ?

Si vous avez déjà partagé des données, du code, preprinté, « préinscrit » votre protocole ou rendu des documents de recherche disponibles gratuitement, vous êtes un « open scientist ».


69

9. Est-ce stratégique d’être un « Open Scientist »

“We encourage applicants to discuss their past and/or planned research

approach in the context of ongoing discussion in the sciences about

research practices, replicability, and open science”

Recrutement


70

9. Est-ce stratégique d’être un « Open Scientist »Financement

http://ec.europa.eu/research/openscience/pdf/os_rewards_wgreport.pdfhttps://anr.fr/fr/actualites-de-lanr/details/news/signature-dune-declaration-conjointe-en-faveur-de-la-science-ouverte-par-un-reseau-dagences-franc/

Manuscript completed in July 2017.

http://ec.europa.eu/research/openscience/pdf/os_rewards_wgreport.pdf

https://anr.fr/fr/actualites-de-lanr/details/news/signature-dune-declaration-conjointe-en-faveur-de-la-science-ouverte-par-un-reseau-dagences-franc/


71

https://storkinesiology.org

https://storkinesiology.org/

uOttawa.ca

[email protected]

1

uOttawa.ca

Qu’est-ce que l’Open Science ?

Matthieu P. Boisgontier, MSc, MPT, PhD, HDR 13 Novembre 2020


72

Boisgontier MP (2020) Qu’est-ce que l’Open Science ? https://doi.org/10.17605/OSF.IO/94ZJ2/

https://doi.org/10.17605/OSF.IO/94ZJ2/

Documents

Qu’est-ce que l’Open Science