22
DITI Département Informatique & Technologies de l'Information 1 Tests de Concordance de Script et C2i2mi Projet Auteur Christophe MATHIEU Version 1.0 Date 15/12/2010

tcs et c2i2mi

Embed Size (px)

DESCRIPTION

Présentation pré-étude sur l'usage des TCS pour la formation/évaluation des compétences du C2i niveau 2 métiers de l'ingénieur.

Citation preview

Page 1: tcs et c2i2mi

DITI DépartementInformatique & Technologies de l'Information

1

Tests de Concordance de Script et C2i2miProjet

Auteur Christophe MATHIEU

Version 1.0

Date 15/12/2010

Page 2: tcs et c2i2mi

DITI Principe Création Outil

Les tests de Concordance de ScriptsPrincipe

2

Page 3: tcs et c2i2mi

Principe Création OutilDITI

Origine des TCS

Introduction en médecine Université de Sherbrooke (Charlet 1998)

Introduction en informatique Ecole Centrale de Nantes (Magnin 2010)

http://eat-tice.ec-nantes.fr

13/04/20233

Page 4: tcs et c2i2mi

Principe Création OutilDITI

Principe

Scénario Question

Enoncé d’un cas Hypothèse Élément nouveau

Réponse Impact sur l’hypothèse : +2, +1, 0, -1, -2

Renforce fortement l’hypothèse Renforce

Correction Adéquation aux réponses des experts

13/04/20234

Page 5: tcs et c2i2mi

Principe Création OutilDITI

Prérequis

Rédaction des questions Solliciter la compétence sous une forme d’une

expertise issu d’un raisonnement en environnement incertain :

TCS ≠ QCM Historiquement, le TCS doit rendre compte de

cas réels S’appuyer sur des expériences réelles, et donc des

experts

Expertise des questions Disposer d’experts (non contextuels)

13/04/20235

Page 6: tcs et c2i2mi

Principe Création OutilDITI

Types d’expertises évaluées

Type Pronostique Diagnostique Investigation Thérapeutique

 Cette nouvelle donnée rend

le pronostic le diagnostique l’investigation la solution

+2 Beaucoup plus

péjoratif Quasi certaine Indispensable Indispensable

+1 Plus péjoratif Plus probable Plus utile, plus

pertinent Plus utile, plus

pertinent

0 Inchangé Ni plus ni moins

probable Ni plus ni moins

utile Ni plus ni moins

utile

- 1 Plus favorable Moins probable Moins utile,

moins pertinent Peu utile, peu

pertinent

- 2 Beaucoup plus

favorable Quasi

improbable Inutile Contre-indiqué

13/04/20236

Source : Demeester 2004

Page 7: tcs et c2i2mi

DITI Création Outil

CréationMéthodologie dans le contexte du C2i 2mi

13/04/20237

Page 8: tcs et c2i2mi

Création OutilDITI

Méthodologie de création

Grille de lecture Pour chaque compétence, identifier des questions

issues si possible de cas réels Brainstorming Rédaction Validation

Expertise

13/04/20238

Enseignants + Experts métiers

Experts métiers (+ nombreux)

Page 9: tcs et c2i2mi

Création OutilDITI

Exemples D2

D2-1 : Maîtriser les processus d'une politique de sécurité pour participer à sa mise en place

Comprendre le rôle du document de définition de PSSI

Connaître les caractéristiques attendues d’un système d’information, en termes de sécurité :

confidentialité, disponibilité, intégrité, non répudiation Connaître l’existence de méthodes de mise en place

d’une PSSI Adapter ses comportements et ceux de son équipe

en conformité avec la PSSI, dans son secteur d’activité

13/04/20239

Page 10: tcs et c2i2mi

Création OutilDITI

Caractéristiques de sécurité du SI : confidentialité, disponibilité, intégrité, non répudiation

Scénario :L’entreprise dans laquelle vous travaillez veut mettre en place une PSSI. Elle procède donc à une évaluation des risques et liste les points à respecter. Vous faites partie de l’équipe. Le secteur d’activité est en permanence en flux tendu et implique la manipulation de nombreuses informations documentaires.

Hypothèse :Les risques liés à la sécurité sont liés à 80% à la disponibilité des documents.

Elément Nouveau : Vous travaillez dans un cabinet de notaires.

13/04/202310

Page 11: tcs et c2i2mi

Création OutilDITI

Caractéristiques de sécurité du SI : confidentialité, disponibilité, intégrité, non répudiation

Scénario :L’entreprise dans laquelle vous travaillez veut mettre en place une PSSI. Elle procède donc à une évaluation des risques et liste les points à respecter. Vous faites partie de l’équipe. Le secteur d’activité est en permanence en flux tendu et implique la manipulation de nombreuses informations documentaires.

Hypothèse :Les risques liés à la sécurité sont liés à 80% à la disponibilité des documents.

Elément Nouveau :

13/04/202311

Votre entreprise travaille dans le domaine de l’enseignement à distance dans un contexte professionnel

Page 12: tcs et c2i2mi

Création OutilDITI

Caractéristiques de sécurité du SI : confidentialité, disponibilité, intégrité, non répudiation

Scénario :L’entreprise dans laquelle vous travaillez veut mettre en place une PSSI. Elle procède donc à une évaluation des risques et liste les points à respecter. Vous faites partie de l’équipe. Le secteur d’activité est en permanence en flux tendu et implique la manipulation de nombreuses informations documentaires.

Hypothèse :Les risques liés à la sécurité sont liés à 80% à la disponibilité des documents.

Elément Nouveau :

13/04/202312

D2-2 : Distinguer les acteurs de la PSSI et identifier leurs responsabilités légales.

Les avis sont partagés dans l’entreprise, et si le responsable technique est de votre avis, ce n’est pas le cas du responsable qualité.

Page 13: tcs et c2i2mi

Création OutilDITI

Scénario :Dans une entreprise de taille moyenne, il existe un compte utilisateur avec des droits d’accès étendus qui est utilisé par de nombreuses personnes. On vous explique qu’elle permet aux personnes qui ont besoin de documents auxquels ils n’ont pas accès de les consulter sans avoir à perdre du temps en s’adressant à la personne responsable.

Hypothèse :Vous envisagez de réactualiser la PSSI.

 Elément Nouveau : La direction vous dit qu’elle a confiance en son personnel. La direction avance que les documents accessibles par cette

session ne sont pas critiques. La direction assure que l’existence d’une telle session n’a

jamais posé problème.

13/04/202313

Page 14: tcs et c2i2mi

Création OutilDITI

Constats

Quelles sont les compétences sollicitées ? Un changement léger des hypothèses, peut changer

les compétences sollicitées. Deux déclinaisons peuvent solliciter des compétences

différentes Une même déclinaison peut solliciter plusieurs

compétences

La fabrication des questions est issue D’expertises réalisées par certains enseignants De retours d’expérience de la DCRI

Les cas proposés sont souvent fortement contextualisés

13/04/202314

Page 15: tcs et c2i2mi

Création OutilDITI

Un point essentiel

Solliciter des experts pour la constitution des questions, et leur évaluation

DCRI CLUSIF Industriels …

13/04/202315

Page 16: tcs et c2i2mi

DITI Outil

OutilsQuelle(s) plateforme(s)

13/04/202316

Page 17: tcs et c2i2mi

OutilDITI

Outil spécifique ou générique ?

Constat TCS ≠ QCMMais Modélisation question : idem QCM Réponse de l’expert : idem QCM + commentaire Réponse du candidat : idem QCM + commentaire Correction : spécifique

13/04/202317

Page 18: tcs et c2i2mi

OutilDITI

Exemple d’intégration sous Claroline à l’ISARA

13/04/202318

Page 19: tcs et c2i2mi

DITI Correction

13/04/202319

Page 20: tcs et c2i2mi

DITI Correction

-2 -1 0 +1 +2

Nb. réponses Experts 0 0 2 8 1Score attribué à la réponse

0(0/8)

0(0/8)

25(2/8)

100(8/8)

13(1/8)

13/04/202320

Page 21: tcs et c2i2mi

OutilDITI

Conclusion

Il est possible de : Adapter des outils QCM existant

Claroline Outil du C2i1 …

Etendre QTI, pour proposer un format de représentation des TCS

Export/import de TCS !

13/04/202321

Page 22: tcs et c2i2mi

22

DITI DépartementInformatique & Technologies de l'Information

22

Merci de votre attention

Christophe [email protected] Marc [email protected]