Qualità del Software e ISO9126

Valutazione e Qualità del Prodotto Software

Mario Capursohttp://info.bazarinfo.info

Valutare o non valutare, questo è il problema…

E’ piacevole valutare ? Dissonanza cognitiva e valutazione Valutare che cosa ? Valutare quando ? Valutare come ? E dei risultati che farne ?

Valutare quando e perchè Valutazione intermedia o formativa

per modificare il processo produttivo o evidenziare le lacune del prodotto

Valutazione finale o sommativa prima di vendere il prodotto

Valutare perché - 2 Valutazione sincronica: valuta qui ed

ora Valutazione diacronica: valuta lo stesso

prodotto in un arco temporale Valutazione proattiva: evidenzia le

lacune e stimola al superamento Valutazione retroattiva: riflette sul

prodotto ultimato (post mortem) Valutazione di impatto: valuta l’impatto

del prodotto sull’utente

Valutare – Chi e come Autovalutazione Eterovalutazione Valutazione tra pari Valutazione di gruppo

Valutazione per confronto Valutazione in presenza di criteri

Valutare come - modello

Come valutereste l’acquisto dell’auto nuova ?

1-10

Costo di Acquisto Economicit

àSicurezza

Valore

Euro Km/Litro

Danni al Crash Test

50% 25% 25%

0- 8000 10 8001-10000 810001-12000 7…

Indicatori e metriche Serve un indicatore finale di qualità (1-10

?) Una struttura ad albero con le

caratteristiche in cui si suddivide la qualità ed i pesi relativi

Delle metriche per le caratteristiche Degli indicatori associati ai valori delle

metriche Delle prove oggettive

Valutare come – indicatori e prove oggettive Risposte vero/falso Risposte a scelta multipla Risposte aperte

Cosa fare Definire:

Il tipo di prova (iniziale, intermedia, finale)

I destinatari Lo schema (struttura, pesi, metriche,

indicatori, domande) Come inserire le domande nella prova

oggettiva

Valutazione come analisi campionaria Il test deve essere un campione del software Deve essere rappresentativo Ciascun ambito, area o disciplina può

richiedere tipologie diverse di domande Più domande per argomenti “più importanti” Raggruppare insieme per tipologia di

domanda e (all’interno) per argomento Dai quesiti più semplici ai più complessi

Da non dimenticare Correttezza linguistica dei quesiti Formulazione chiara Istruzioni per la prova chiare Ogni quesito abbia un identificativo Impaginazione grafica leggibile Fotocopiatura di qualità Con immagini funzionali al testo ed

inserite opportunamente

Buone Pratiche

Sistemi Automatici per la valutazione On line oppure Off line Funzionalità

stabilire prioritariamente il punteggio; scegliere tra tipi di domande: vero/falso, scelta multipla, ecc. fornire aiuti al valutatore in difficoltà; elaborare e analizzare i risultati.

I software più diffusi: Question Mark (www.campustore.it) Quiz Faber (www.lucagalli.net) Web Quiz 2002 (www.smartlite.it) Winask 2000 (www.smartlite.it) JsVal (www.far.unito.it/JsVal)

Si può fare da sé (con VBA e Powerpoint)

I Pregi dei sistemi automatici Costruzione di un archivio di

domande da arricchire e condividere Differenziare le prove Distribuire casualmente le domande Interagire con il valutatore a

distanza Sottoporre a test più valutatori in

parallelo

Esempio: Valutazione della qualità del Software Didattico Valutazione del prodotto (non del

processo) Non inventate ma adottate e

adattate Il SD è software Il SD è software, ma non solo OK/NON OK vs. Valutazione

dettagliata

Obiettivo della valutazione

Per un autore: la decisione di migliorare il prodotto

Per un utente: la decisione di comprare il prodotto

Per un editore La decisione di migliorare il prodotto

(come produttore) La decisione di distribuire il prodotto

(come distributore)

Criteri di Valutazione

Tecnici (ISO 9126 - Qualità del Software)

Appropriatezza come: Educativi Di Contenuto

Operabilità come:

Commerciali

Gli Aspetti tecnici

Lo Standard ISO 9126 sulla Qualità del Software Funzionalità Affidabilità Manutenibilità Portabilità Efficienza Usabilità

Qualità del Software e Software Educativo Multimediale Usabilità

Comprensibilità Facilità nell’essere appreso Facilità d’uso

Funzionalità Appropriatezza per lo scopo specifico …

Appropriatezza: Aspetti Educativi Prequisiti Obiettivi di apprendimento Chiarezza Informativa Flessibilità Valutazione del processo di

apprendimento Valutazione dei risultati ...

Appropriatezza: Aspetti di Contenuto Presenza di un indice Struttura Modulare Capacità di creare interesse Aspetti Estetici Aspetti Grafici ...

Appropriatezza: Caratteristiche Educative e Utenti di riferimento

Sono chiaramente specificati l’età ed il livello scolastico degli utenti di riferimento ?

Sono chiaramente specificati i prerequisiti in termini di conoscenze ed abilità ?

Appropriatezza: Caratteristiche Educative e Aspetti formativi Sono chiaramente specificati gli

argomenti coperti e gli obiettivi di apprendimento ?

Gli obiettivi di apprendimento sono compatibili con l’età e la competenza degli utenti di riferimento ?

Gli obiettivi di apprendimento ed i contenuti sono consistenti con i requisiti del curriculum ufficiale ?

Appropriatezza: Caratteristiche Educative e Materiali di supporto formativo

Sono previsti ? Sono chiari ed appropriati ? Includono:

una introduzione al progetto formativo del SD? strategie d’uso con differenti tipi di utenti ? idee per l’uso congiunto con altri materiali ? strategie di gestione per situazioni differenti ? indirizzi Web/e-mail con altre risorse ?

Appropriatezza: Caratteristiche Educative e Capacità di adattamento alle necessità individuali

Il SD fornisce feedback differenziato e non stereotipato ?

Permette differenti cammini di apprendimento ?

Presenta una sequenza di attività graduate secondo le abilità personali ?

Appropriatezza: Caratteristiche Educative e Strategie per stimolare motivazione, attenzione e memoria Gli obiettivi e le fasi del processo di

apprendimento sono progettati per aumentare la motivazione dell’utente ?

La presentazione è accattivante ? Il SD è efficace nel mantenere

l’attenzione ? Le attività richieste sono varie ? Le difficoltà sono ben distribuite ? L’ informazione è ripetuta in differenti

forme per aiutare il ricordo ?

Caratteristiche Educative Uso Il SD può essere usato:

Per l’apprendimento a casa Per l’apprendimento in classe Come compito a casa Come verifiche in classe Come risorsa per l’autoistruzione Per attività di gruppo Su diversi computers in rete

Caratteristiche Educative Incoraggiamento al pensiero critico

L’utente è incoraggiato a generalizzare ? L’utente è incoraggiato a dedurre

conclusioni o inferenze ? L’utente è incoraggiato a analizzare

problemi e a generare soluzioni multiple ? L’utente è incoraggiato a fare esperimenti

e ad acquisire conoscenza osservando i risultati ?

Caratteristiche Educative Valutazione dei risultati del discente Sono previsti test di valutazione ? I test sono rilevanti rispetto agli obiettivi di

apprendimento ? Includono :

test di ingresso ? quiz/test di unità ? completamento di una procedura simulata? esame finale ?

Sono suggerite ulteriori attività di revisione dopo dei cattivi risultati in un test ?

Caratteristiche Tecniche Funzionalità

I requisiti HW e SW sono compatibili con le attrezzature disponibili?

L’installazione è facile ? Ci sono errori di funzionamento ? Il software è protetto da

modifiche ?

Caratteristiche Tecniche Funzionalità presenti Sono presenti le seguenti caratteristiche:

salva su disco ? copia su disco ? stampa ? collegati ad Internet per aggiornamenti ? registra il percorso dell’utente? registra i dati dell’utente ? produce rapporti sul progresso

nell’apprendimento del discente ?

Caratteristiche Tecniche Qualità dei media I testi sono facili da leggere ? La grafica è di buona qualità ? Il colore è usato in maniera

coerente e attrattiva ? L’audio ed il video sono di buona

qualità ? L’utente ha controllo sugli elementi

audio e video ?

Caratteristiche Tecniche Livello di Interattività L’informazione è interrotta

frequentemente da interazione con l’utente ?

L’utente può correggere una risposta errata ?

L’utente può provare più di una volta a rispondere ad una domanda ?

Le attività e le domande sono generate a caso o ordinate in ordine differente?

Caratteristiche Tecniche Analisi dei Responsi

Il feedback è supportivo ? Il feedback è informativo ? Il feedback è vario ?

UsabilitàFacilità di uso

Il software è facile da usare ? Richiede conoscenze informatiche

avanzate ? C’è una funzione di aiuto in linea ? Le indicazioni sono chiare, accurate

e disponibili in ogni momento ? Gli strumenti di valutazione sono

semplici da usare ?

Usabilità Interfaccia Utente

I menu, bottoni e le icone sono chiari e semplici da comprendere ?

Sono usati in maniera coerente ?

Navigazione La navigazione nel software è semplice ? Sono permessi cammini differenti

attraverso il software?

Usabilità Controllo da parte dell’utente E’ possibile per l’utente andare indietro

ed avanti facilmente ? Si può accedere liberamente a differenti

parti del software, o c’è un percorso obbligatorio da seguire ?

E’ possibile per l’utente “annullare” ogni decisione ?

E’ possibile uscire in ogni istante ? Si può riprendere dal punto da cui si è

usciti ?

ContenutoQualità del contenuto

Il contenuto è: accurato? chiaro? completo? aggiornato?

Le parti testuali, pittoriche, audio e video sono ben bilanciate nel presentare il contenuto?

Le immagini, i grafici ed video clips sono rilevanti ?

Contenuto Appropriatezza

Il livello di lettura è appropriato? Ci sono differenti livelli di difficoltà ?

Struttura La struttura interna segue un ordine logico ? Il software ha una struttura modulare ? Gli obiettivi di apprendimento di ciascun modulo sono

specificati ?

Contenuto Strumenti di Aiuto Ci sono i seguenti strumenti di

aiuto: indice? menu di contenuto? segnalibri? glossario? funzione di ricerca?

Gli strumenti di aiuto sono facili da usare?