ΖΖΗΗΤΤΗΗΜΜΑΑΤΤΑΑ ΑΑΞΞΙΙΟΟΛΛΟΟΓΓΗΗΣΣΗΗΣΣ

ΠΠΡΡΟΟΓΓΡΡΑΑΜΜΜΜΑΑΤΤΩΩΝΝ ΕΕΚΚΠΠΑΑΙΙ∆∆ΕΕΥΥΣΣΗΗΣΣ ΕΕΝΝΗΗΛΛΙΙΚΚΩΩΝΝ

ΘΘααννάάσσηηςς ΚΚ.. ΚΚααρρααλλήήςς

ΕΕππίίκκοουυρροοςς κκααθθηηγγηηττήήςς

ΤΤµµήήµµαα ΕΕππιισσττηηµµώώνν ττηηςς ΕΕκκππααίίδδεευυσσηηςς

κκααιι ττηηςς ΑΑγγωωγγήήςς σσττηηνν ΠΠρροοσσχχοολλιικκήή ΗΗλλιικκίίαα

2

ΚΚΕΕΦΦΑΑΛΛΑΑΙΙΟΟ 11

ΤΤΥΥΠΠΟΟΛΛΟΟΓΓΙΙΕΕΣΣ ΚΚΑΑΙΙ ΜΜΟΟΝΝΤΤΕΕΛΛΑΑ ΑΑΞΞΙΙΟΟΛΛΟΟΓΓΗΗΣΣΗΗΣΣ

Στο κεφάλαιο αυτό θα εξετάσουµε ορισµένα βασικά σηµεία της θεωρίας της

αξιολόγησης, µε έµφαση σε εκείνα που συνδέονται µε την αξιολόγηση εκπαιδευτικών

προγραµµάτων.

Στην πρώτη ενότητα, θα αναφερθούµε αρχικά στην έννοια και το περιεχόµενο της

αξιολόγησης, επιχειρώντας να οριοθετήσουµε την αξιολόγηση ως ερευνητική διαδικασία,

σε σχέση µε άλλες προσεγγίσεις, όπου η αξιολόγηση θεωρείται διοικητική διαδικασία

(όπως είναι, για παράδειγµα, ο έλεγχος ή η παρακολούθηση). Στη συνέχεια, θα

διερευνήσουµε τη σύνδεση του προγράµµατος µε τις εκπονούµενες κοινωνικές και

εκπαιδευτικές πολιτικές, αφού σε µεγάλο βαθµό τα προγράµµατα εκπαίδευσης ενηλίκων

συνιστούν µέρος ολοκληρωµένων παρεµβάσεων (για παράδειγµα, τα προγράµµατα

ανέργων αποτελούν µέρος των πολιτικών καταπολέµησης της ανεργίας). Σε αυτή την

ενότητα, τέλος, θα αναφερθούµε στη σύνδεση των διαδικασιών αξιολόγησης µε τα

χαρακτηριστικά του πλαισίου υλοποίησης των προγραµµάτων, προσεγγίζοντας την

αξιολόγηση όχι ως τεχνική και ουδέτερη διαδικασία, αλλά ως µια διαδικασία που

επιδέχεται πολλές και διαφορετικές εκδοχές σύλληψης και εφαρµογής.

Η δεύτερη ενότητα αναφέρεται στους βασικούς τύπους αξιολόγησης, αλλά και σε

ορισµένα από τα πλέον χαρακτηριστικά µοντέλα που συναντώνται στη διεθνή

βιβλιογραφία για την αξιολόγηση εκπαιδευτικών παρεµβάσεων. Από τις τυπολογίες

αξιολόγησης έχουν επιλεγεί για περαιτέρω διερεύνηση και ανάλυση δύο, εκείνη της

διαµορφωτικής-απολογιστικής αξιολόγησης και εκείνη της εσωτερικής-εξωτερικής.

Επιγραµµατικά αναφέρονται ορισµένοι άλλοι τύποι αξιολόγησης, που ωστόσο

συναντώνται µε µικρότερη συχνότητα από αυτούς που προαναφέρθηκαν.

Το κεφάλαιο ολοκληρώνεται µε την περιγραφή τεσσάρων µοντέλων αξιολόγησης,

τεσσάρων, δηλαδή, διαφορετικών προσεγγίσεων για το πώς γίνεται η αξιολόγηση ενός

προγράµµατος, ποιος είναι ο ρόλος των συντελεστών των προγραµµάτων σε αυτές τις

διαδικασίες και τέλος πώς και µε ποιους τρόπους µπορούν οι αξιολογήσεις να

συνεισφέρουν στη βελτίωση των υλοποιούµενων προγραµµάτων ή µελλοντικών

παρεµβάσεων. ∆ύο από τα µοντέλα που αναλύονται εδώ προσεγγίζουν την αξιολόγηση

ως µια συστηµατική διαδικασία προώθησης και διεύρυνσης της συµµετοχής των

συντελεστών του προγράµµατος.

3

ΕΕΝΝΟΟΤΤΗΗΤΤΑΑ 11..11

ΕΕΝΝΝΝΟΟΙΙΑΑ ΚΚΑΑΙΙ ΠΠΕΕΡΡΙΙΕΕΧΧΟΟΜΜΕΕΝΝΟΟ ΤΤΗΗΣΣ ΑΑΞΞΙΙΟΟΛΛΟΟΓΓΗΗΣΣΗΗΣΣ

1.1.1. Η έννοια της αξιολόγησης

Στην πρακτική της διάσταση η αξιολόγηση είναι «γνωστή» σε όλους τους ανθρώπους.

∆ιαισθητικά (τις περισσότερες φορές) στην καθηµερινή µας ζωή, αξιολογούµε

δραστηριότητες, δικές µας ή άλλων, αποτιµούµε την αξία προσφεροµένων υπηρεσιών ή

προϊόντων, επαναπροσδιορίζουµε την πορεία µας προσεγγίζοντας κριτικά τις ενέργειές

µας. Όπως χαρακτηριστικά επισηµαίνει ο Scriven (1991, σ. 3), η αξιολόγηση είναι µια

νέα επιστηµονική περιοχή, αλλά και µια αρχαία πρακτική. Αν και συστηµατικές

διαδικασίες αξιολόγησης του ανθρώπινου δυναµικού αναφέρονται ήδη στην αρχαία

Αίγυπτο και την Κίνα, η ανάπτυξη της αξιολόγησης ως επιστηµονικής περιοχής

εντοπίζεται στις µέρες µας (από τις αρχές της δεκαετίας του 1960) αρχικά στις Ηνωµένες

Πολιτείες και στη συνέχεια στην Ευρώπη.

Στη διάρκεια των τελευταίων σαράντα ετών, διακεκριµένοι θεωρητικοί και ερευνητές,

στη συµβολή των οποίων θα αναφερθούµε στη συνέχεια, συνεισέφεραν στην ανάπτυξη

διαφορετικών θεωρητικών προσεγγίσεων και στην ανάδειξη ποικίλων πρακτικών,

χρησιµοποιώντας εννοιολογικά και µεθοδολογικά εργαλεία από το χώρο των κοινωνικών

επιστηµών.

Τι είναι όµως αξιολόγηση; Σύµφωνα µε τον Scriven (ο.π., σ. 139), αξιολόγηση είναι η

διαδικασία προσδιορισµού της αξίας ενός αντικειµένου. Ο ορισµός αυτός, που αναφέρεται

στα περισσότερα εγχειρίδια αξιολόγησης, είναι εξαιρετικά συνοπτικός και γενικός –

ακριβώς για να καλύψει τις πολλές και διαφορετικές εκδοχές της αξιολόγησης.

Αναλύοντας τους όρους που περιέχει ο ορισµός του Scriven, µπορούµε να κατανοήσουµε

την ποικιλία των µορφών και εκδοχών της αξιολόγησης:

Η αναφορά στη διαδικασία γίνεται για να τονιστεί το γεγονός, ότι κάθε αξιολόγηση

είναι µια συστηµατική αλληλουχία ενεργειών µε συγκεκριµένο σκοπό και όχι µια

εµπειρική ή διαισθητική διατύπωση άποψης ή κρίσης. Με τον όρο αντικείµενο

4

προσδιορίζονται όλα τα πιθανά αξιολογούµενα (evaluands), όπως θα διαπιστώσουµε στην

επόµενη υποενότητα. Τέλος, ο όρος αξία παραπέµπει στον πυρήνα του προβληµατισµού

που έχει αναπτυχθεί στην επιστηµονική περιοχή της αξιολόγησης (Καραλής, 2003, σ.

257): Μπορεί η αξία να ταυτιστεί µόνον µε το υλικό όφελος που ενδεχοµένως παράγει (ή

δεν παράγει) το αξιολογούµενο αντικείµενο; Μήπως οι αξίες παραπέµπουν σε καθολικά

αποδεκτές αρχές που χρησιµεύουν ως ρυθµιστικοί κανόνες προσδιορισµού στάσεων και

συµπεριφορών ή µήπως η εµβέλεια και η αποδοχή συγκεκριµένων αξιών ταυτίζεται µε τα

όρια συγκεκριµένων κοινωνικών οµάδων; Υπάρχουν αξίες διαχρονικές και γενικής

εµβέλειας ή οι αξίες ορίζονται σε συγκεκριµένα χρονικά και τοπικά πλαίσια; Τέλος, οι

αξίες ορίζονται από τον αξιολογητή, από τους συντελεστές του αξιολογούµενου

αντικειµένου ή προκαθορίζονται µε βάση το γενικότερο πλαίσιο αναφοράς του

αξιολογούµενου αντικειµένου;

Στη συνέχεια, θα ασχοληθούµε µε δύο περισσότερο εξειδικευµένους ορισµούς της

αξιολόγησης, που αναφέρονται στην αξιολόγηση προγραµµάτων ή κοινωνικών

παρεµβάσεων.

Η αξιολόγηση ως έρευνα είναι η συστηµατική εφαρµογή ερευνητικών µεθόδων των

κοινωνικών επιστηµών για την αποτίµηση του εννοιολογικού περιεχοµένου, του

σχεδιασµού, της υλοποίησης και της ωφέλειας προγραµµάτων ή κοινωνικών

παρεµβάσεων. Με άλλα λόγια, οι αξιολογητές χρησιµοποιούν µεθόδους των κοινωνικών

επιστηµών προκειµένου να εκτιµήσουν και να βελτιώσουν τους τρόπους µε τους οποίους

κοινωνικές υπηρεσίες, προγράµµατα και πολιτικές υλοποιούνται, από τα αρχικά στάδια

του καθορισµού και του σχεδιασµού τους έως την ανάπτυξη και την εφαρµογή τους.

(Rossi & Freeman, 1993, σ. 5).

Αξιολόγηση είναι η διατύπωση κρίσης για την αξία µιας κοινωνικής παρέµβασης, µε

αναφορά σε συγκεκριµένα και ρητά κριτήρια και πρότυπα.

(European Commission, 1999, σ. 17).

Όπως διαπιστώνουµε, οι Rossi & Freeman προσεγγίζουν την αξιολόγηση ως

ερευνητική διαδικασία, ενώ στον ορισµό της Ευρωπαϊκής Επιτροπής η διατύπωση της

κρίσης για το αξιολογούµενο εξαρτάται και συνδέεται µε συγκεκριµένους και

προκαθορισµένους κανόνες. Πρόκειται για δύο ριζικά διαφορετικές προσεγγίσεις και

5

θεωρήσεις της αξιολόγησης: µια προσέγγιση, σύµφωνα µε την οποία η αξιολόγηση είναι

κυρίως ερευνητική διαδικασία και µια άλλη προσέγγιση, σύµφωνα µε την οποία η

αξιολόγηση ουσιαστικά συνιστά µια διαδικασία ελέγχου. Ο Βεργίδης, που εισήγαγε στην

ελληνική βιβλιογραφία τον σχετικό θεωρητικό προβληµατισµό, αναφέρει για τη διάκριση

µεταξύ αξιολόγησης και ελέγχου, στην περίπτωση των εκπαιδευτικών προγραµµάτων:

Ο έλεγχος:

1. Πραγµατοποιείται µε αφετηρία ένα προϋπάρχον εξωτερικό µοντέλο αναφοράς

2. Απαιτεί σαφείς κανόνες της εφαρµογής και των αποτελεσµάτων του

προγράµµατος.

3. Οι εκπαιδευτικές πρακτικές θεωρούνται προβλέψιµες, αναπαραγώγιµες και

οµοιογενείς.

4. ∆ιεξάγεται από µια ιεραρχηµένη υπηρεσία µε πλήρη διαχωρισµό των ελεγκτών

από τους ελεγχόµενους.

5. Είναι κλειστή διαδικασία που συνήθως καταλήγει σε κυρώσεις ή επιβράβευση.

Κατά την αξιολόγηση ως ερευνητική διαδικασία:

1. Υπάρχει, πιθανώς, µοντέλο αναφοράς, όµως αυτό κατά τη διάρκεια της

αξιολόγησης υπόκειται σε αναθεώρηση, εµπλουτισµό και αλλαγές.

2. Χρησιµοποιούνται ερευνητικές µέθοδοι και τεχνικές.

3. Η έρευνα αξιολόγησης διεξάγεται σε συγκεκριµένη συγκυρία και πολιτικό,

κοινωνικό και εκπαιδευτικό πλαίσιο.

4. ∆ιενεργείται από ερευνητές µε συγκεκριµένες θεωρητικές επιλογές και δίνεται

έµφαση στην έκφραση όλων των συντελεστών του προγράµµατος, στις

διαφορές, τις αντιθέσεις, τις συγκρούσεις και τις συνεργασίες τους.

5. Είναι ανοικτή διαδικασία που συµβάλλει στην ανάπτυξη και στη βελτίωση των

του εκπαιδευτικού προγράµµατος.

Βεργίδης (2003, σ. 237)

Η διάκριση στην οποία µόλις αναφερθήκαµε είναι πολύ σηµαντική και θα τη

συναντήσουµε αρκετές φορές σε αυτό τον τόµο. Στη συνέχεια, θα επιχειρήσουµε να

προσεγγίσουµε την αξιολόγηση κυρίως ως ερευνητική διαδικασία, ακριβώς γιατί τα

προγράµµατα εκπαίδευσης ενηλίκων συνιστούν παρεµβάσεις που υπόκεινται σε

6

αναθεωρήσεις, βελτιώσεις και εµπλουτισµό και διεξάγονται σε δεδοµένες κοινωνικο-

οικονοµικές συνθήκες.

1.1.2. Το πεδίο της αξιολόγησης προγραµµάτων

Στο πλαίσιο αυτού του κεφαλαίου θα εστιάσουµε στις θεωρητικές και πρακτικές

διαστάσεις της αξιολόγησης προγραµµάτων εκπαίδευσης ενηλίκων. Με τον όρο

πρόγραµµα εκπαίδευσης ενηλίκων, προσδιορίζεται ένα συνεκτικό σύνολο εκπαιδευτικών

δραστηριοτήτων και διδακτικών ενοτήτων, σχεδιασµένων και διαρθρωµένων σε σχέση µε

έναν κεντρικό σκοπό και ορισµένους επιµέρους στόχους. Τα προγράµµατα υλοποιούνται

από εκπαιδευτικούς οργανισµούς, των οποίων η διάρθρωση και οι δραστηριότητες

διαφέρουν σε πολλά σηµεία από εκείνες των οργανισµών τυπικής εκπαίδευσης.

Αναφερθήκαµε στην προηγούµενη υποενότητα στον όρο αξιολογούµενο, ο οποίος

χρησιµοποιείται στη θεωρία και την πρακτική της αξιολόγησης, προκειµένου να

περιγραφεί οτιδήποτε µπορεί να αποτελέσει αντικείµενο αξιολόγησης. Με βάση τη

διεθνή βιβλιογραφία µπορούµε να διακρίνουµε έξη πεδία αξιολόγησης: προϊόντος,

προσωπικού, προγράµµατος, πολιτικής, πρότασης και απόδοσης. Ωστόσο, οι

αξιολογήσεις σε επίπεδο κοινωνικών θεσµών ή πρακτικών περιλαµβάνουν δυνητικά όλα

τα παραπάνω πεδία, σε συνάρτηση πάντοτε µε την εµβέλεια και το σκοπό της εκάστοτε

αξιολόγησης. Στο πλαίσιο αυτό, ο όρος «εκπαιδευτική αξιολόγηση» δεν περιορίζεται

στην αξιολόγηση της επίδοσης των µαθητών ή στην αξιολόγηση των εκπαιδευτικών,

αλλά περιλαµβάνει την αξιολόγηση των αναλυτικών προγραµµάτων, των πολιτικών, των

εκπαιδευτικών προγραµµάτων και των εκπαιδευτικών µονάδων και οργανισµών (βλ. και

Walberg & Haertel, 1990, σ. xvii). Όπως χαρακτηριστικά αναφέρει ο Scriven (1991, σ.

35):

«… ο όρος «αξιολόγηση» χρησιµοποιήθηκε σε µεγάλη έκταση στους τίτλους βιβλίων

ψυχολογίας και εκπαιδευτικής ψυχολογίας, από τις πρώτες δεκαετίες του εικοστού αιώνα

έως σήµερα….Παρόλο που ο όρος «αξιολόγηση» χρησιµοποιήθηκε χωρίς επιπλέον

προσδιορισµούς, σήµαινε απλώς την «αξιολόγηση της εργασίας του µαθητή». Η ιδέα ότι

οτιδήποτε άλλο στην εκπαίδευση και την ψυχολογία, είχε ανάγκη αξιολόγησης ή

µπορούσε να αξιολογηθεί - εκπαιδευτικοί….πολιτικές, σχολεία, ήταν τόσο αδιανόητη,

7

ώστε καµιά εξήγηση… δεν δινόταν για το ότι δεν συµπεριλαµβανόταν κάποια αναφορά ή

εφαρµογή σε αυτά τα προφανή πεδία της εκπαιδευτικής αξιολόγησης».

Παρόµοια «µονοµέρεια» παρατηρείται αρκετές φορές και στα προγράµµατα

εκπαίδευσης ενηλίκων, η αξιολόγηση των οποίων περιορίζεται στις γνώσεις, δεξιότητες

και στάσεις των εκπαιδευοµένων ή στην απόδοση των εκπαιδευτών, αγνοώντας άλλες

παραµέτρους που σχετίζονται µε τη γενικότερη επίδραση των προγραµµάτων σε

κοινωνικές οµάδες ή τη σύνδεσή τους µε τις εφαρµοζόµενες κοινωνικές και

εκπαιδευτικές πολιτικές (Vedung, 2000, σ. 3).

Στις περισσότερες περιπτώσεις τα προγράµµατα εκπαίδευσης ενηλίκων αποτελούν

µέρος γενικότερων εκπαιδευτικών ή κοινωνικών πολιτικών. Παραδείγµατα τέτοιου τύπου

προγραµµάτων (που εντάσσονται σε µια γενικότερη κοινωνική ή εκπαιδευτική πολιτική)

είναι:

• Τα προγράµµατα κατάρτισης που υλοποιούνται από τα ΚΕΚ, τα οποία

αποτελούν µέρος πολιτικών για την καταπολέµηση της ανεργίας και του

κοινωνικού αποκλεισµού.

• Τα προγράµµατα καταπολέµησης του αναλφαβητισµού (που κατά το παρελθόν

αποτελούσαν σηµαντικό µέρος των προγραµµάτων εκπαίδευσης ενηλίκων).

• Τα προγράµµατα για την αναβάθµιση της συµµετοχής των πολιτών και την

ενίσχυση της ιδιότητας του πολίτη.

Η έρευνα και η ανάλυση της κοινωνικής και της εκπαιδευτικής πολιτικής δεν

περιορίζεται στο σχεδιασµό και τις προθέσεις (αν και περιλαµβάνει αυτά τα δύο βασικά

στοιχεία), αλλά επιπροσθέτως αναφέρεται στην εφαρµογή, τα µέσα, τις διαδικασίες και

τα αποτελέσµατα. Στοιχεία, συνεπώς, της εκπαιδευτικής πολιτικής θεωρούµε ότι

αποτελούν:

• Ο σχεδιασµός µέτρων πολιτικής σε έναν συγκεκριµένο τοµέα (για παράδειγµα

στην καταπολέµηση της ανεργίας), που εκφράζει την πολιτική βούληση για

παρέµβαση στον τοµέα αυτό. Σύµφωνα µε όσα έχουν αναφερθεί, η απουσία

µέτρων πολιτικής αλλά και ο βαθµός στήριξης αυτής της παρέµβασης συνιστούν

όψεις της εκπαιδευτικής πολιτικής.

8

• Το θεσµικό και νοµοθετικό πλαίσιο και οι επιχειρούµενες µεταβολές σε αυτό το

επίπεδο: η ανάλυση σε αυτό το επίπεδο συµβάλλει στην ανίχνευση των

προθέσεων, των επιδιώξεων, αλλά και της στοχοθεσίας της πολιτικής.

• Τα µέσα υλοποίησης αυτής της πολιτικής, που δεν περιορίζονται µόνον στους

υλικούς πόρους, αλλά περιλαµβάνουν το ανθρώπινο δυναµικό και τις διαδικασίες

και µηχανισµούς στήριξης της πολιτικής.

• Η δράση των επιµέρους φορέων.

• Τα αποτελέσµατα της εφαρµογής: σηµειώνουµε εδώ ότι δεν αναφερόµαστε µόνον

στα αναµενόµενα αποτελέσµατα, δηλαδή σε εκείνα τα οποία αντιστοιχούν στους

επίσηµους στόχους της πολιτικής. Σύµφωνα µε τον Βεργίδη (2001, σ. 52), τα

αποτελέσµατα µιας εκπαιδευτικής παρέµβασης µπορεί να είναι:

(i) Άµεσα ή/και έµµεσα

(ii) Βραχυπρόθεσµα ή/και µεσοπρόθεσµα

(iii) Ποσοτικά ή/και ποιοτικά

(iv) Μετρήσιµα ή/και µη µετρήσιµα

(v) Αναµενόµενα ή/και µη αναµενόµενα.

Τέλος, θεωρούµε ότι ιδιαίτερη βαρύτητα κατά την ανάλυση της εκπαιδευτικής

πολιτικής έχει η διερεύνηση των αλληλεπιδράσεων των στοιχείων της πολιτικής µε το

γενικότερο πλαίσιο1.

Οι Shadish, Cook & Leviton (1991, σ. 37-38) επισηµαίνουν ότι κατά την αξιολόγηση

προγραµµάτων θα πρέπει να συνυπολογίζουµε:

• την εσωτερική δοµή και τις εσωτερικές λειτουργίες του προγράµµατος, που

περιλαµβάνουν το ανθρώπινο δυναµικό, τους επωφελούµενους, τους πόρους, τη

διοίκηση και οργάνωση του προγράµµατος και τα αποτελέσµατα.

• το εξωτερικό πλαίσιο (context), τις επιδράσεις του και τους περιορισµούς που

διαµορφώνουν το πρόγραµµα.

• το πώς συµβαίνει η κοινωνική αλλαγή, πώς το πρόγραµµα αλλάζει και πως αυτή

η αλλαγή του προγράµµατος συνεισφέρει στην κοινωνική αλλαγή.

1 Το πλαίσιο εφαρµογής της πολιτικής (context), µε διαστάσεις πολιτικές, κοινωνικές, οικονοµικές και ιδεολογικές.

9

Το πλαίσιο, κατά τους Shadish, Cook & Leviton διαδραµατίζει έναν εξαιρετικά

σηµαντικό ρόλο στη διαµόρφωση των προγραµµάτων, ειδικά κατά τη φάση της

εφαρµογής τους, αφού επιµέρους δράσεις διαφοροποιούν το σχεδιασµό του

προγράµµατος, ενώ «τα προγράµµατα επιδρούν αλλά και δέχονται επιδράσεις από

άλλους κοινωνικούς, πολιτικούς και οικονοµικούς θεσµούς και διαδικασίες» (ο.π.: σ. 38).

Για τους λόγους αυτούς θεωρούν ότι η αξιολόγηση προγραµµάτων συνδέεται άµεσα µε

την ιστορική και πολιτική αφετηρία τους, τη δοµή, τη διοίκηση, τους πόρους και τους

τρόπους υλοποίησής τους, καθώς επίσης και µε το γενικότερο πλαίσιο εφαρµογής τους.

Με βάση τα όσα αναφέρθηκαν, µπορούµε να συµπεράνουµε ότι η αξιολόγηση ενός

προγράµµατος δεν είναι απλώς µια τεχνική διαδικασία µέτρησης και αποτίµησης

ορισµένων όψεων και παραµέτρων του προγράµµατος, αλλά κυρίως είναι µια διαδικασία

που προϋποθέτει συγκεκριµένες θεωρητικές αφετηρίες και ερευνητικές επιλογές

(Scriven, ο.π., σ. 378). Η διαδικασία αυτή «τοποθετεί» το πρόγραµµα σε συγκεκριµένο

πλαίσιο εφαρµογής και διακρίνεται από τη διερεύνηση των αλληλεπιδράσεων µεταξύ του

πλαισίου, των παραγόντων και των συντελεστών του προγράµµατος. Κάτι τέτοιο είναι

απαραίτητο, ώστε κατά την αξιολόγηση να µην διερευνώνται µόνον τα άµεσα, µετρήσιµα

και αναµενόµενα αποτελέσµατα του προγράµµατος, αλλά να αναδύονται και τα έµµεσα,

ποιοτικά, µη µετρήσιµα και µη αναµενόµενα – που σε αρκετές περιπτώσεις έχουν

µεγαλύτερη βαρύτητα για τη διατύπωση συµπερασµάτων και προτάσεων για µελλοντικές

παρεµβάσεις. Τέλος, είναι µια διαδικασία που δεν θεωρεί παγιωµένες τις σχέσεις µεταξύ

των διαφόρων συντελεστών του προγράµµατος, αλλά διαρκώς διαπραγµατεύσιµες και

µεταβαλλόµενες, µε στόχο, σε πολλές περιπτώσεις, την προώθηση της ενεργητικής

συµµετοχής όλων των επιµέρους συντελεστών. Στην επόµενη ενότητα θα διερευνήσουµε

ορισµένες από αυτές τις θεωρητικές επιλογές και τα ζητήµατα που αναδεικνύονται κατά

την αξιολόγηση προγραµµάτων εκπαίδευσης ενηλίκων.

10

ΕΕΝΝΟΟΤΤΗΗΤΤΑΑ 11..22

ΤΤΥΥΠΠΟΟΛΛΟΟΓΓΙΙΕΕΣΣ ΚΚΑΑΙΙ ΜΜΟΟΝΝΤΤΕΕΛΛΑΑ ΑΑΞΞΙΙΟΟΛΛΟΟΓΓΗΗΣΣΗΗΣΣ

1.2.1. ∆ιαµορφωτική και απολογιστική αξιολόγηση

Σε αυτή την ενότητα αυτή γίνεται µια συνοπτική αναφορά στους τύπους και τα

µοντέλα αξιολόγησης που έχουν προταθεί για την εκπαίδευση, και ειδικότερα για την

εκπαίδευση ενηλίκων. Ιδιαίτερη έµφαση έχει δοθεί στην αναλυτική περιγραφή, τα βασικά

χαρακτηριστικά, τις οµοιότητες και διαφορές, αλλά κυρίως στα κριτήρια στα οποία

βασίζεται η ταξινόµηση των διαφόρων τύπων και µοντέλων αξιολόγησης.

Μια πρώτη διάκριση ανάµεσα σε διαφορετικούς τύπους αξιολόγησης µπορεί να γίνει

µε κριτήριο το σκοπό της αξιολόγησης. Η άποψη πως η αξιολόγηση στην εκπαίδευση δεν

έχει ως σκοπό την εκ των υστέρων αποτίµηση της αποτελεσµατικότητας ενός

εκπαιδευτικού προγράµµατος, αλλά ότι µπορεί να λειτουργήσει κυρίως ως στοιχείο συν-

διαµόρφωσης της πορείας και της εξέλιξής του, είχε αρχίσει να εµφανίζεται από τις αρχές

της δεκαετίας του 1960. Παρόλα αυτά πρώτος ο M. Scriven το 19672 πρότεινε την

κλασική -σήµερα- κατάταξη των αξιολογήσεων µε βάση το σκοπό που αυτές

εξυπηρετούν, εισάγοντας ταυτόχρονα τους όρους διαµορφωτική (formative) και

απολογιστική (summative) αξιολόγηση.

Με τον όρο διαµορφωτική αξιολόγηση αναφερόµαστε στην αξιολόγηση που

διενεργείται µε σκοπό τη βελτίωση της εσωτερικής λειτουργίας και των αναµενόµενων

αποτελεσµάτων ενός προγράµµατος. Κατά τη διαµορφωτική αξιολόγηση επιδιώκεται η

ανατροφοδότηση των συντελεστών του προγράµµατος µε τις πληροφορίες που είναι

απαραίτητες για την υιοθέτηση των κατάλληλων διορθωτικών παρεµβάσεων

προκειµένου να βελτιωθεί η ποιότητα υλοποίησης ενός προγράµµατος. Έτσι η

διαµορφωτική αξιολόγηση κυρίως χαρακτηρίζεται από:

• τον εντοπισµό των αποκλίσεων σε σχέση µε τον αρχικό σχεδιασµό του προγράµµατος

και τη διατύπωση προτάσεων για την επίτευξη των αρχικών στόχων,

2 Στο άρθρο του “The methodology of evaluation” στο: Tyler, R. W., Gagne, R. M., & Scriven, M. (Eds.).

(1967). Perspectives of curriculum evaluation. Chicago: Rand McNally.

11

• την ανάδειξη των πιθανών εναλλακτικών λύσεων σε σχέση µε αυτές που έχουν

ακολουθηθεί και οι οποίες αξιολογήθηκαν ως ανεπαρκείς,

• ένα συνεχή “διάλογο”, ανάµεσα στον αξιολογητή3 και τους συντελεστές του

προγράµµατος.

Με τον όρο απολογιστική αξιολόγηση αναφερόµαστε στην αξιολόγηση που

διενεργείται µε σκοπό την εξαγωγή συµπερασµάτων και την τεκµηριωµένη διατύπωση

κρίσεων σχετικά µε την αξία ενός προγράµµατος και η οποία συνήθως συνδυάζεται µε τη

συνέχιση ή την επέκταση του προγράµµατος. Έτσι η απολογιστική αξιολόγηση κυρίως

χαρακτηρίζεται από:

• τη διατύπωση τελικών συµπερασµάτων και κρίσεων σε σχέση µε την επίτευξη των

στόχων του προγράµµατος και την αποτύπωση των παραγόντων που συνεισέφεραν

στη διαµόρφωση του τελικού αποτελέσµατος,

• τη επεξεργασία τεκµηριωµένων προτάσεων, ώστε ο φορέας χρηµατοδότησης ή/και

υλοποίησης να είναι σε θέση να αποφασίσει σχετικά µε τη συνέχιση, τη διακοπή ή και

την επέκταση του αξιολογούµενου προγράµµατος,

• τη σύγκριση της ποιότητας υλοποίησης και των αποτελεσµάτων ενός προγράµµατος

σε σχέση µε κάποιο “πρότυπο” αντίστοιχο πρόγραµµα.

Στο παράδειγµα που ακολουθεί περιγράφεται ένα πρόβληµα που παρουσιάστηκε σε

πρόγραµµα κατάρτισης και στη συνέχεια αναλύεται η επίδρασή του στην εξέλιξη του

προγράµµατος, ανάλογα µε τον τύπο αξιολόγησης που έχει επιλεγεί.

Παράδειγµα

Σε ένα πρόγραµµα κατάρτισης ανέργων παρατηρείται πως από τους είκοσι

συµµετέχοντες εγκαταλείπουν το πρόγραµµα οι πέντε, κατά τη διάρκεια των δύο

πρώτων εβδοµάδων.

Στην περίπτωση που εφαρµόζεται απολογιστική αξιολόγηση εκείνο που

ενδιαφέρει τον αξιολογητή είναι η καταγραφή του αριθµού των εκπαιδευοµένων

που εγκατέλειψαν το πρόγραµµα, καθώς επίσης και ο εντοπισµός των αιτίων που

3 Ο όρος αξιολογητής, καλύπτει τις περιπτώσεις του φυσικού προσώπου, της οµάδας ή του φορέα που

διεξάγει την αξιολόγηση.

12

οδήγησαν τους εκπαιδευόµενους σε αυτή την απόφαση. Στο τέλος, και όταν θα

έχει ολοκληρωθεί το πρόγραµµα, θα επιχειρηθεί η σύγκριση του αριθµού των

εκπαιδευοµένων που εγκατέλειψαν το πρόγραµµα σε σχέση µε αντίστοιχους

δείκτες από άλλα παρόµοια προγράµµατα κατάρτισης, καθώς επίσης και η

καταγραφή των αιτίων. Η ανάλυση αυτής της παραµέτρου (διακοπή

παρακολούθησης) αποτελεί βασικό στοιχείο προκειµένου ο αξιολογητής να

διαµορφώσει άποψη σχετικά µε τη συµµετοχή των εκπαιδευοµένων στο

πρόγραµµα και να την εντάξει σε ένα ολοκληρωµένο πλαίσιο, ώστε τελικά να

διατυπώσει µια τεκµηριωµένη κρίση σχετικά µε την αξία του προγράµµατος.

Στην περίπτωση της διαµορφωτικής αξιολόγησης η διακοπή της

παρακολούθησης του προγράµµατος, από τον πρώτο ακόµη εκπαιδευόµενο,

επιβάλλει τη διερεύνηση των αιτίων. Εφόσον οι λόγοι που οδήγησαν τον

εκπαιδευόµενο σε αυτή την απόφαση δεν είναι προσωπικοί, αλλά αφορούν στη

λειτουργία του προγράµµατος, είναι απαραίτητο να διερευνηθεί εάν υπάρχουν

και άλλοι εκπαιδευόµενοι µε τις ίδιες απόψεις. Στην συνέχεια περιγράφεται το

πρόβληµα, διερευνώνται οι πιθανές λύσεις και προτείνονται στους υπεύθυνους

του προγράµµατος οι εναλλακτικές διευθετήσεις, προκειµένου να βελτιωθεί η

λειτουργία του προγράµµατος ως προς τη συγκεκριµένη παράµετρο.

Η επιλογή ενός τύπου αξιολόγησης, ανάµεσα στη διαµορφωτική και την

απολογιστική, προσδιορίζει αντίστοιχα και ορισµένα από τα βασικά επιµέρους

χαρακτηριστικά της ίδιας της διαδικασίας αξιολόγησης. Στον πίνακα που ακολουθεί

παραθέτουµε ορισµένα από αυτά τα χαρακτηριστικά, µε την επισήµανση πως

αναφερόµαστε σε χαρακτηριστικά που κυρίως παρατηρούνται σε καθένα από τους δύο

τύπους: έτσι, για παράδειγµα, στους επωφελούµενους της απολογιστικής αξιολόγησης θα

µπορούσαµε να συµπεριλάβουµε και τους συντελεστές του προγράµµατος, κυρίως όµως

οι συντελεστές του προγράµµατος συµπεριλαµβάνονται στους επωφελούµενους στην

περίπτωση της διαµορφωτικής αξιολόγησης.

13

Πίνακας 1.1

∆ιαµορφωτική Απολογιστική

Σκοπός • βελτίωση των

χαρακτηριστικών

υλοποίησης ενός

προγράµµατος

• διατύπωση τελικών

κρίσεων και προτάσεων

πολιτικής

Κυρίως επωφελούµενοι • οι συντελεστές του

προγράµµατος

• διαµορφωτές πολιτικής

• εποπτεύοντες φορείς

Ρόλος των συντελεστών του

προγράµµατος

• συνεργάτες • πηγές πληροφόρησης

Συλλογή δεδοµένων • συνεχής • εντοπισµένη σε

συγκεκριµένες φάσεις

Κοινοποίηση αποτελεσµάτων • συζητήσεις µε τους

συντελεστές του

προγράµµατος

• ενδιάµεσες εκθέσεις

• τελική έκθεση

αξιολόγησης του

προγράµµατος

Επίσης, η επιλογή του τύπου αξιολόγησης διαµορφώνει σε σηµαντικό βαθµό και τα

ερωτήµατα µε τα οποία θα ασχοληθεί ο αξιολογητής κατά τη διάρκεια της αξιολόγησης.

Σύµφωνα µε όσα αναφέραµε, στην περίπτωση της διαµορφωτικής αξιολόγησης τα

ερωτήµατα αυτά κυρίως αφορούν στην ανίχνευση των ισχυρών και ασθενών σηµείων του

προγράµµατος µε στόχο τη διατύπωση προτάσεων για τη βελτίωση της ποιότητας

υλοποίησης, ενώ στην περίπτωση της απολογιστικής τα ερωτήµατα αφορούν στη

διαµόρφωση µιας ολοκληρωµένης και τεκµηριωµένης πρότασης για την

αποτελεσµατικότητα του προγράµµατος σε σχέση µε τους αρχικούς του στόχους.

Στη συνέχεια παραθέτουµε ορισµένες παρατηρήσεις προκειµένου να γίνουν

αντιληπτές οι διαφορές και οι οµοιότητες ανάµεσα στους δύο τύπους αξιολόγησης που

αναφέραµε:

• Ανάλογα µε το σχεδιασµό της αξιολόγησης, τόσο η διαµορφωτική όσο και η

απολογιστική αξιολόγηση, µπορεί να αφορούν στην αξιολόγηση της διαδικασίας,

αλλά και στην αξιολόγηση των αποτελεσµάτων ενός προγράµµατος. Αν και µε βάση

την αρχική τους διάκριση η διαµορφωτική επικεντρώνεται περισσότερο στην πορεία

14

υλοποίησης, ενώ η απολογιστική στην αποτελεσµατικότητα και την αξία του

προγράµµατος, εντούτοις µια σωστά σχεδιασµένη διαµορφωτική αξιολόγηση

περιλαµβάνει και την αποτίµηση της αποτελεσµατικότητας του προγράµµατος, ενώ

µια σωστά σχεδιασµένη απολογιστική αξιολόγηση αναφέρεται αναλυτικά στα

προβλήµατα που προέκυψαν και τις λύσεις που δόθηκαν κατά τη διάρκεια της

υλοποίησης. Τόσο η διαµορφωτική όσο και η απολογιστική αξιολόγηση µπορούν να

συνεισφέρουν στον εντοπισµό των προβληµάτων που προκύπτουν κατά την εφαρµογή

ενός προγράµµατος: η διαφορά είναι πως στην πρώτη περίπτωση οι διαπιστώσεις

χρησιµοποιούνται για τον αναπροσανατολισµό και τη βελτίωση του ίδιου του

προγράµµατος, ενώ στη δεύτερη περίπτωση κυρίως οδηγούν στη διατύπωση κρίσεων

και υποβοηθούν τη λήψη αποφάσεων.

• Στην περίπτωση της διαµορφωτικής αξιολόγησης η συλλογή δεδοµένων είναι συνεχής

και διατρέχει όλες τις φάσεις εφαρµογής, ενώ στην περίπτωση της απολογιστικής η

συλλογή δεδοµένων είναι προσδιορισµένη εξαρχής και εντοπισµένη σε συγκεκριµένες

φάσεις. Θα πρέπει ωστόσο να επισηµάνουµε πως και στην περίπτωση της

απολογιστικής αξιολόγησης η συλλογή δεδοµένων µπορεί να γίνεται στην αρχή, σε

ενδιάµεσες φάσεις και στο τέλος του προγράµµατος, ιδιαίτερα µάλιστα αν ο φορέας

χρηµατοδότησης ή υλοποίησης έχει αναθέσει την αξιολόγηση πριν από την έναρξη

του προγράµµατος. Στην τελευταία περίπτωση είναι αναµενόµενο να επιδιώκεται από

τον αξιολογητή η συλλογή δεδοµένων σε ολόκληρη τη διάρκεια υλοποίησης του

προγράµµατος, καθώς µε τον τρόπο αυτό θα έχει στη διάθεσή του περισσότερα

στοιχεία και πληροφορίες: όπως αναφέραµε όµως και στην αρχή της ενότητας, το

κριτήριο µε βάση το οποίο χαρακτηρίζουµε µια αξιολόγηση ως διαµορφωτική ή

απολογιστική είναι ο σκοπός της αξιολόγησης και όχι η χρονική στιγµή ή η

συχνότητα συλλογής των δεδοµένων.

• Η επιλογή ενός τύπου αξιολόγησης δεν αποκλείει την ταυτόχρονη επιλογή και του

άλλου τύπου. Είναι δηλαδή δυνατόν να έχουµε και διαµορφωτική και απολογιστική

αξιολόγηση ενός προγράµµατος. Μόνο που στην περίπτωση αυτή πρόκειται

ουσιαστικά για δύο διαφορετικές διαδικασίες αξιολόγησης, οι οποίες έχουν

σχεδιαστεί αυτόνοµα και - για λόγους εγκυρότητας των αποτελεσµάτων – θα πρέπει

να διεξάγονται από διαφορετικό αξιολογητή.

• Η επιλογή του τύπου αξιολόγησης δεν εξαρτάται πάντοτε και αποκλειστικά από τον

αξιολογητή. Ο σκοπός και οι επιµέρους στόχοι του προγράµµατος, οι απαιτήσεις του

15

οργανισµού υλοποίησης, αλλά και οι απαιτήσεις των φορέων που χρηµατοδοτούν τα

προγράµµατα προδιαγράφουν σε σηµαντικό βαθµό τον τύπο ή τους τύπους

αξιολόγησης που πρόκειται να εφαρµοστούν. Πάντως, στις περισσότερες περιπτώσεις

η διαµορφωτική αξιολόγηση επιλέγεται όταν σκοπός είναι η ενηµέρωση και η

ενεργοποίηση των συµµετεχόντων και των αποδεκτών του προγράµµατος, ενώ η

απολογιστική όταν σκοπός είναι η πληροφόρηση των υπευθύνων του προγράµµατος

ή/και διαµορφωτών πολιτικής προκειµένου να λάβουν τις κατάλληλες αποφάσεις.

Ειδικά πάντως στην περίπτωση της διαµορφωτικής αξιολόγησης, ο αξιολογητής θα

πρέπει να εξετάζει εάν το θεσµικό πλαίσιο και ο σχεδιασµός του προγράµµατος

επιτρέπουν την ανατροφοδότηση των συντελεστών και τον αναπροσανατολισµό των

επιµέρους λειτουργιών.

1.2.2. Εσωτερική και εξωτερική αξιολόγηση

Μια δεύτερη διάκριση των τύπων αξιολόγησης µπορεί να γίνει µε βάση την

προέλευση του αξιολογητή. Όταν ο αξιολογητής προέρχεται από τον οργανισµό που

υλοποιεί το πρόγραµµα η αξιολόγηση χαρακτηρίζεται ως εσωτερική, ενώ όταν ο

αξιολογητής δεν ανήκει στο προσωπικό του οργανισµού (ή τουλάχιστον στο προσωπικό

που συµµετέχει στο πρόγραµµα), πρόκειται για εξωτερική αξιολόγηση.

Παρόλο που η συνήθης πρακτική συνηγορεί στη σύνδεση της διαµορφωτικής µε την

εσωτερική αξιολόγηση και της απολογιστικής µε την εξωτερική αξιολόγηση, αυτό δεν

είναι αναγκαίο να συµβαίνει πάντοτε. Πράγµατι, ένας εξωτερικός αξιολογητής µπορεί να

διεξάγει διαµορφωτική αξιολόγηση, ανατροφοδοτώντας τους συντελεστές του

προγράµµατος µε τις πληροφορίες που είναι απαραίτητες για την ανάληψη δράσεων και

την υιοθέτηση διορθωτικών παρεµβάσεων, ενώ ένας εσωτερικός αξιολογητής µπορεί να

διεξάγει για τον ίδιο τον οργανισµό του µια απολογιστικού τύπου αξιολόγηση,

διατυπώνοντας τελικές κρίσεις και προτάσεις πολιτικής µετά τη λήξη του προγράµµατος.

Στην περίπτωση της εσωτερικής αξιολόγησης, ο αξιολογητής:

• γνωρίζει τον οργανισµό, τους στόχους, αλλά και τις ιδιαίτερες συνθήκες που

επικρατούν,

• µπορεί ευκολότερα να αντλήσει πληροφορίες, καθώς το προσωπικό του

οργανισµού τον εµπιστεύεται σε µεγαλύτερο βαθµό σε σχέση µε έναν

16

εξωτερικό αξιολογητή,

• ενδιαφέρεται περισσότερο για την πορεία του οργανισµού και εποµένως και

για την εξέλιξη του προγράµµατος,

• είναι σε θέση µετά τη λήξη του προγράµµατος να εφαρµόσει τα

συµπεράσµατα της αξιολόγησης στην κατεύθυνση της βελτίωσης των

λειτουργιών του οργανισµού.

Στην περίπτωση της εξωτερικής αξιολόγησης, ο αξιολογητής:

• δεν έχει εξάρτηση από τον οργανισµό, ούτε ιεραρχική σχέση µε κανέναν

από τους συντελεστές του προγράµµατος,

• δεν δεσµεύεται από τα αποτελέσµατα της αξιολόγησης, ούτε και από την

εξέλιξη του προγράµµατος,

• έχοντας διεξάγει αξιολογήσεις για άλλους οργανισµούς είναι σε θέση να

διαµορφώσει µια σφαιρικότερη αντίληψη για το υπό αξιολόγηση

πρόγραµµα.

Μια ειδική περίπτωση εσωτερικής αξιολόγησης είναι η αυτοαξιολόγηση. Στην

περίπτωση αυτή, η αξιολόγηση στηρίζεται σε διαδικασίες που οργανώνονται και

παρακολουθούνται από τους συντελεστές του ίδιου του προγράµµατος και όχι από

στελέχη του οργανισµού υλοποίησης που είναι επιφορτισµένα µε το έργο της

αξιολόγησης (Σολοµών, 1999, σ. 18).

∆ευτερεύουσες κατηγοριοποιήσεις για τους τύπους αξιολόγησης µπορεί να γίνουν και

µε βάση άλλα κριτήρια. Ενδεικτικά, παραθέτουµε στη συνέχεια ορισµένες

κατηγοριοποιήσεις, που συχνά αναφέρονται στις αξιολογήσεις προγραµµάτων.

Με κριτήριο τις µεθόδους και τις τεχνικές αξιολόγησης

Στην περίπτωση αυτή συνήθως οι αξιολογήσεις διακρίνονται σε ποσοτικές και

ποιοτικές (Mark, Henry, & Julnes, 2000, σ. 161).

Ανάλογα µε την επικέντρωση σε συγκεκριµένες φάσεις ή παραµέτρους του προγράµµατος

Οι αξιολογήσεις αυτής της κατηγορίας διακρίνονται σε αξιολογήσεις εισόδου,

διαδικασίας και αποτελέσµατος (Schalock, 2001, σ. 6), µε κριτήριο την έµφαση που

17

δίνεται από τον αξιολογητή στις παραπάνω παραµέτρους. Οι αξιολογήσεις εισόδου

εστιάζουν στις αρχικές συνθήκες του προγράµµατος, ενώ οι αξιολογήσεις

αποτελέσµατος στο είδος, την ποιότητα και την επάρκεια των αποτελεσµάτων του

ή/και των προϊόντων του. Οι αξιολογήσεις που δίνουν έµφαση στη σχέση µεταξύ

εισόδου και αποτελέσµατος, εντοπίζοντας τους κρίσιµους παράγοντες που

διαµόρφωσαν τα τελικά αποτελέσµατα, χαρακτηρίζονται ως αξιολογήσεις

διαδικασίας.

Με γνώµονα το βαθµό συµµετοχής των συντελεστών του προγράµµατος

Στην περίπτωση αυτή έχουµε συµµετοχικές και µη-συµµετοχικές αξιολογήσεις, στις

οποίες θα αναφερθούµε στην επόµενη υποενότητα.

Ανάλογα µε τη χρονική στιγµή που διεξάγεται η αξιολόγηση

Τέτοιου τύπου αξιολογήσεις είναι η αρχική, η εκ των προτέρων (ex-ante), η

ενδιάµεση, η τελική και η εκ των υστέρων (ex-post).

Με βάση την επικέντρωση στο σκοπό και τους στόχους του προγράµµατος

Πρόκειται για την αξιολόγηση µε βάση τους στόχους (goal based evaluation) και την

ανεξάρτητη των στόχων αξιολόγηση (goal free evaluation). Στην πρώτη περίπτωση οι

στόχοι του προγράµµατος θεωρούνται κατάλληλοι και επαρκείς και εποµένως δεν

τίθεται ζήτηµα αξιολόγησής τους – η διαδικασία της αξιολόγησης επικεντρώνεται στο

κατά πόσον αυτοί οι στόχοι επιτεύχθηκαν. Στη δεύτερη περίπτωση οι στόχοι

θεωρούνται «διαπραγµατεύσιµοι» και εποµένως αποτελούν και αυτοί αντικείµενο

αξιολόγησης (Scriven, ο.π., σ. 180).

Τέλος, σηµειώνουµε ότι σε αρκετές περιπτώσεις οι διαδικασίες αξιολόγησης

περιλαµβάνουν συνδυασµό διαφορετικών τύπων. Για παράδειγµα µια αξιολόγηση µπορεί

να είναι διαµορφωτική, συµµετοχική και ανεξάρτητη των στόχων. Υπάρχουν όµως και

περιπτώσεις ασύµβατων µεταξύ τους τύπων (όπως για παράδειγµα, διαµορφωτική

αξιολόγηση και αξιολόγηση εισόδου).

18

1.2.3. Μοντέλα αξιολόγησης

Ο όρος µοντέλο αξιολόγησης προσδιορίζει µια ολοκληρωµένη προσέγγιση για την

αξιολόγηση ενός προγράµµατος, η οποία εκτός από το θεωρητικό πλαίσιο περιλαµβάνει

προτάσεις για τους σκοπούς και τους επιµέρους στόχους της αξιολόγησης, την εµβέλεια

εφαρµογής της, την αξία και τη χρήση των αποτελεσµάτων, τους ρόλους του αξιολογητή

και των συντελεστών του προγράµµατος, τις ερευνητικές µεθόδους και τεχνικές και,

τέλος, τα αντικείµενα και τους άξονες αξιολόγησης. Μοντέλα αξιολόγησης έχουν κατά

καιρούς προταθεί για όλα τα πεδία αξιολόγησης, στο πλαίσιο όµως αυτής της

υποενότητας θα αναφερθούµε στα µοντέλα εκείνα που συνήθως χρησιµοποιούνται για

την αξιολόγηση προγραµµάτων εκπαίδευσης ενηλίκων.

Αν και ορισµένα µοντέλα αξιολόγησης είναι περισσότερο συµβατά µε συγκεκριµένους

τύπους αξιολόγησης, ή ακόµη και µε συγκεκριµένες ερευνητικές µεθόδους και τεχνικές,

εντούτοις η επιλογή µοντέλου αξιολόγησης εξαρτάται σε σηµαντικό βαθµό από:

• το σκοπό και τους στόχους της ίδιας της διαδικασίας αξιολόγησης,

• τα χαρακτηριστικά του αξιολογούµενου προγράµµατος (σκοπός και στόχοι, τύπος

προγράµµατος, εκπαιδευόµενοι),

• το θεσµικό και νοµοθετικό πλαίσιο και τις προδιαγραφές που αυτά θέτουν ή

υπαγορεύουν για τη διαδικασία αξιολόγησης.

Στη συνέχεια θα αναφερθούµε στα βασικά σηµεία ορισµένων µοντέλων αξιολόγησης

(ανταποδοτική αξιολόγηση, µοντέλο τεσσάρων επιπέδων, CIPP και ενδυναµωτική

αξιολόγηση), προκειµένου να αναδειχθούν οι διαφορετικές προσεγγίσεις και επιλογές

που µπορεί να ακολουθήσει ο αξιολογητής κατά την αξιολόγηση προγραµµάτων

εκπαίδευσης ενηλίκων. Πρόκειται για µοντέλα αξιολόγησης που έχουν προταθεί από

διακεκριµένους θεωρητικούς της αξιολόγησης και τα οποία, κατά τη διάρκεια των

τελευταίων σαράντα ετών, έχουν χρησιµοποιηθεί από µεγάλο αριθµό φορέων και

οργανισµών διεθνώς για την αξιολόγηση εκπαιδευτικών προγραµµάτων και

παρεµβάσεων. ∆ύο από τα τέσσερα αυτά µοντέλα (και συγκεκριµένα της ανταποδοτικής

και της ενδυναµωτικής αξιολόγησης) εντάσσονται σε εκείνες τις προσεγγίσεις

αξιολόγησης που χαρακτηρίζονται ως συµµετοχικές. Γενικά, η αξιολόγηση ενός

προγράµµατος µπορεί να χαρακτηριστεί συµµετοχική όταν (Καραλής, 2003, σ. 262):

• αφορά τους χρήστες και τους επωφελούµενους του προγράµµατος,

19

• χρησιµοποιεί και αντανακλά τη γνώση και την εµπειρία τους,

• προωθεί τη συµµετοχή τους στο σχεδιασµό και τη διεξαγωγή της αξιολόγησης, αλλά

και στη διατύπωση των τελικών κρίσεων για την αξία του προγράµµατος.

Στις σελίδες που ακολουθούν παρουσιάζονται οι βασικές αρχές αυτών των τεσσάρων

µοντέλων αξιολόγησης και δίνεται έµφαση στην ανάλυση των θεωρητικών τους

καταβολών και της εσωτερικής λογικής τους.

Ανταποδοτική αξιολόγηση

Προτείνοντας το µοντέλο της ανταποδοτικής αξιολόγησης (responsive evaluation) ο

Robert Stake στόχευε στη διεύρυνση της συµµετοχής των συντελεστών ενός

εκπαιδευτικού προγράµµατος στις διαδικασίες αξιολόγησης και λήψης αποφάσεων.

Ασκώντας κριτική στην κανονιστική προσέγγιση4 ο Stake (1983, σ. 291), παρατήρησε

πως:

• Η προσέγγιση αυτή δεν προωθεί το “διάλογο” µεταξύ του αξιολογητή και των

συµµετεχόντων (στελεχών, εκπαιδευτών και εκπαιδευοµένων), ο οποίος αποτελεί

αναγκαία συνθήκη για τη βελτίωση της ποιότητας των εκπαιδευτικών παρεµβάσεων.

• Αν και το κόστος των αξιολογήσεων που βασίζονται στην κανονιστική προσέγγιση

είναι µεγάλο, εντούτοις αυτές δεν δίνουν απαντήσεις στα ουσιαστικά ερωτήµατα που

προκύπτουν κατά τη διάρκεια της υλοποίησης ενός προγράµµατος.

• Στις περισσότερες περιπτώσεις ο σχεδιασµός και η υλοποίηση του προγράµµατος

βασίζονται στη λογική της αξιολόγησης, ενώ θα έπρεπε να συµβαίνει το αντίθετο.

• Οι εκθέσεις αξιολόγησης δεν συνεισφέρουν στη διαµόρφωση µιας ολοκληρωµένης

άποψης για το πρόγραµµα και κυρίως για τις ιδιαιτερότητες και τις καινοτοµικές του

προτάσεις.

4 Ως κανονιστική ο Stake θεωρεί εκείνη την προσέγγιση, η οποία κυρίως βασίζεται στον αυστηρό

προσδιορισµό των στόχων και των διαδικασιών της αξιολόγησης.

20

Η άποψη του R. Stake5

“Η εκπαιδευτική αξιολόγηση είναι ανταποδοτική αξιολόγηση εάν προσανατολίζεται στις

ενέργειες του προγράµµατος και όχι στις αρχικές προθέσεις, εάν ανταποκρίνεται στα

αιτήµατα των συντελεστών του προγράµµατος για πληροφόρηση και εάν τα διαφορετικά

συστήµατα αξιών των συµµετεχόντων λαµβάνονται υπόψη κατά την αποτίµηση της

επιτυχίας ή της αποτυχίας ενός προγράµµατος”.

Η αξιολόγηση που βασίζεται στην ανταποδοτικότητα πληροί, κατά τον Stake, τις

παρακάτω προϋποθέσεις:

• Προωθεί την επαναδιαπραγµάτευση του προγράµµατος, καθώς αυτό αναπτύσσεται και

µε βάση τα προβλήµατα που αναδεικνύονται.

• Επικεντρώνεται περισσότερο στις ενέργειες του προγράµµατος και όχι στον αρχικό

σχεδιασµό.

• Ανταποκρίνεται στα αιτήµατα των συµµετεχόντων για ενηµέρωση και πληροφόρηση

σχετικά µε την πορεία του προγράµµατος.

• Θεωρεί την “επιτυχία” ή την “αποτυχία” ενός προγράµµατος ως σχετικές έννοιες που

ορίζονται µε βάση συστήµατα αξιών, τα οποία και πρέπει να αναφέρονται κατά τη

διατύπωση των τελικών κρίσεων.

Στο σχήµα 1.1 της επόµενης σελίδας σκιαγραφείται το µοντέλο της ανταποδοτικής

αξιολόγησης.

5 Από το άρθρο του “Program evaluation, particularly responsive evaluation” (σ. 292), στο: Madaus, G.,

Scriven, M., & Stufflebeam, D. (Eds.). (1983). Evaluation Models: Viewpoints on educational and human

services evaluation. Boston: Kluwer-Nijhoff Publishing.

21

Σχήµα 1.1

Μοντέλο Ανταποδοτικής Αξιολόγησης

Πίνακας Περιγραφής Πίνακας Αξιολόγησης

Στόχοι Παρατηρήσεις Κριτήρια Κρίσεις

Αιτιολόγη

ση και

λογική

του

προγράµµ

ατος

Όπως φαίνεται στο σχήµα 1.1, σε πρώτη φάση έχουµε την αιτιολόγηση και την

ανάλυση των λόγων για τους οποίους θεωρείται αναγκαία η συγκεκριµένη εκπαιδευτική

παρέµβαση. Στη συνέχεια ο αξιολογητής εργάζεται µε βάση τον περιγραφικό πίνακα

του σχήµατος. Στον πίνακα αυτό καταγράφονται αφενός οι στόχοι του προγράµµατος και

αφετέρου οι παρατηρήσεις που έχουν προκύψει σχετικά µε το βαθµό επίτευξης αυτών

των στόχων. Η συµπλήρωση του περιγραφικού πίνακα γίνεται, όπως φαίνεται και στο

σχήµα 1.1, σε τρία επίπεδα:

Υπάρχουσα κατάσταση: Στο επίπεδο αυτό αναφερόµαστε στην κατάσταση που

επικρατεί κατά την έναρξη της εκπαιδευτικής παρέµβασης. Για τον προσδιορισµό αυτής

της κατάστασης, αναλύουµε τα χαρακτηριστικά του φορέα υλοποίησης του

προγράµµατος, των εκπαιδευοµένων (γνώσεις, δεξιότητες, προσδοκίες, κοινωνικο-

οικονοµική κατάσταση, κ.α.), των εκπαιδευτών, των στελεχών και των άµεσα ή έµµεσα

επωφελούµενων.

Παρέµβαση: Σε αυτό το επίπεδο περιγράφουµε αναλυτικά την εκπαιδευτική παρέµβαση,

δίνοντας ιδιαίτερη έµφαση στην αλληλεπίδραση µεταξύ των διαφόρων συντελεστών του

προγράµµατος.

ΥΠΑΡΧΟΥΣΑ ΚΑΤΑΣΤΑΣΗ

ΠΑΡΕΜΒΑΣΗ

ΑΠΟΤΕΛΕΣΜΑΤΑ

22

Αποτελέσµατα: Στο επίπεδο αυτό περιγράφουµε τα αποτελέσµατα που προέκυψαν από

την εφαρµογή του προγράµµατος και κυρίως τα αποτελέσµατα που αφορούν στους

εκπαιδευόµενους (γνώσεις και δεξιότητες που απέκτησαν, στάσεις που διαµόρφωσαν).

Σηµειώνουµε πως κατά τη συµπλήρωση του περιγραφικού πίνακα, στόχος δεν είναι η

αξιολόγηση των παραγόντων που αναφέραµε, αλλά η περιγραφή τους. Η αξιολόγηση

ακολουθεί στη συνέχεια µε βάση τον τρίτο πίνακα του σχήµατος 1.1 (και περιλαµβάνει

και πάλι τα επίπεδα που αναφέρθηκαν, δηλ. υπάρχουσα κατάσταση, παρέµβαση και

αποτελέσµατα). Για τη συµπλήρωση του πίνακα αξιολόγησης είναι απαραίτητο να

τεθούν κριτήρια για κάθε παράγοντα που αξιολογείται, µάλιστα στο µοντέλο της

ανταποδοτικής αξιολόγησης επιδιώκεται να υπάρχουν διαφορετικά κριτήρια για κάθε

παράγοντα: έτσι, για παράδειγµα αξιολογώντας τις σχέσεις εκπαιδευτών-εκπαιδευοµένων

µπορούµε να υιοθετήσουµε διαφορετικά κριτήρια (στη συγκεκριµένη περίπτωση εκείνα

που θέτουν οι εκπαιδευτές και εκείνα που θέτουν οι εκπαιδευόµενοι).

Σχεδιάζοντας και διεξάγοντας την αξιολόγηση ενός εκπαιδευτικού προγράµµατος µε

βάση το µοντέλο της ανταποδοτικής αξιολόγησης, ο αξιολογητής:

• Επιδιώκει τη µεγαλύτερη δυνατή συµµετοχή όλων των συντελεστών του

προγράµµατος, παρέχοντάς τους ταυτόχρονα ενηµέρωση κατά τη διάρκεια της

υλοποίησης.

• Ενθαρρύνει τους συµµετέχοντες στη διατύπωση κρίσεων, ιδιαίτερα µάλιστα εκείνους

που δεν τοποθετούνται θετικά απέναντι στο πρόγραµµα.

• Χρησιµοποιεί κυρίως τη συνέντευξη και την παρατήρηση ως ερευνητικές τεχνικές,

προκειµένου να αναδυθούν οι απόψεις και να διερευνηθούν οι στάσεις των

συµµετεχόντων.

• Αναλύει τις σχέσεις:

υπάρχουσα κατάσταση παρέµβαση

παρέµβαση αποτελέσµατα

επιδιώκοντας να προσδιορίσει τα κρίσιµα για την εξέλιξη του προγράµµατος σηµεία.

• Αναλύει τα δεδοµένα του περιγραφικού πίνακα και για τα τρία επίπεδα του σχήµατος

1.1, προκειµένου να διαπιστώσει κατά πόσο ανταποκρίνονται οι στόχοι του

προγράµµατος στις παρατηρήσεις που έχουν καταγραφεί κατά την υλοποίηση.

• ∆ιατυπώνει τις τελικές κρίσεις, λαµβάνοντας υπόψη τα διαφορετικά κριτήρια που

θέτουν οι συντελεστές του προγράµµατος.

23

Το Μοντέλο των Τεσσάρων Επιπέδων

Το µοντέλο των τεσσάρων επιπέδων (four level model) προτάθηκε το 1959 από τον

Donald L. Kirkpatrick και αφορούσε στην αξιολόγηση των προγραµµάτων

ενδοεπιχειρησιακής εκπαίδευσης. Στο χώρο αυτό είναι το ευρύτερα χρησιµοποιούµενο

µοντέλο αξιολόγησης (γνωστό και µε τον όρο Kirkpatrick model), καθώς δίνει ιδιαίτερη

έµφαση στη µέτρηση της αποτελεσµατικότητας των ενεργειών κατάρτισης. Η άποψη πως

τα προγράµµατα κατάρτισης εξυπηρετούν τη στρατηγική ανάπτυξης της επιχείρησης που

τα χρηµατοδοτεί και τα οργανώνει, είναι η βασική αντίληψη στο µοντέλο των τεσσάρων

επιπέδων. Ενδεικτικό είναι πως ο ίδιος ο Kirkpartick, αναλύοντας κατά καιρούς το

µοντέλο που έχει αναπτύξει, δεν διατύπωσε ποτέ την άποψη πως προσφέρεται για την

αξιολόγηση κοινωνικών ή εκπαιδευτικών παρεµβάσεων άλλου τύπου.

Η άποψη του D. Kirkpatrick6

“Ο λόγος που ανέπτυξα το µοντέλο των τεσσάρων επιπέδων ήταν για να αποσαφηνίσω

αυτόν τον απροσδιόριστο όρο αξιολόγηση. Ορισµένοι από τους ασχολούµενους µε τους

τοµείς της εκπαίδευσης και ανάπτυξης του ανθρώπινου δυναµικού πιστεύουν πως

αξιολόγηση σηµαίνει µέτρηση των αλλαγών στη συµπεριφορά ως αποτέλεσµα της

συµµετοχής σε προγράµµατα κατάρτισης. Άλλοι υποστηρίζουν πως η µόνη πραγµατική

αξιολόγηση είναι εκείνη που αφορά στον προσδιορισµό των τελικών αποτελεσµάτων

ενός προγράµµατος κατάρτισης. Κάποιοι άλλοι επίσης έχουν στο µυαλό τους τα

ερωτηµατολόγια που συµπληρώνουν οι εκπαιδευόµενοι στο τέλος του προγράµµατος.

Μερικοί τέλος ασχολούνται µε τη µάθηση στο χώρο της τάξης, που προσδιορίζεται µε

την αύξηση των γνώσεων, τη βελτίωση των δεξιοτήτων και την αλλαγή των στάσεων.

Και όλοι αυτοί έχουν δίκιο - αλλά ταυτόχρονα και άδικο, στο βαθµό που δεν

αντιλαµβάνονται ότι και οι τέσσερις αυτές προσεγγίσεις είναι µέρη αυτού που εννοούµε

µε τον όρο αξιολόγηση”.

Τα τέσσερα επίπεδα που προτείνει ο Kirkpatrick για την αξιολόγηση των

προγραµµάτων κατάρτισης είναι:

Ανταπόκριση (reaction): Το επίπεδο αυτό αφορά στην ανταπόκριση των

συµµετεχόντων του προγράµµατος και την τοποθέτησή τους απέναντι στις επιµέρους

6 Από τον πρόλογο του βιβλίου: Kirkpatrick, D. L. (1994). Evaluating training programs: the four levels.

California: Berrett-Koehler Publishers.

24

λειτουργίες του. Η θετική στάση των συµµετεχόντων δεν σηµαίνει κατ’ ανάγκην πως οι

στόχοι του προγράµµατος έχουν επιτευχθεί, το αντίθετο όµως καθιστά εξαιρετικά

δύσκολη την επίτευξή τους.

Μάθηση (learning): Η µάθηση εδώ ορίζεται ως “... ο βαθµός στον οποίο οι

εκπαιδευόµενοι αλλάζουν στάσεις, αυξάνουν τις γνώσεις τους και βελτιώνουν τις

δεξιότητές τους λόγω της συµµετοχής τους στο πρόγραµµα” (Kirkpartick, 1994). Για την

αξιολόγηση της µάθησης είναι αναγκαίος ο προσδιορισµός επιµέρους στόχων για κάθε

αξιολογούµενο πρόγραµµα κατάρτισης.

Συµπεριφορά (behavior): Το επίπεδο αυτό αφορά στην αλλαγή της εργασιακής

συµπεριφοράς των εκπαιδευοµένων, λόγω της συµµετοχής τους στο πρόγραµµα

κατάρτισης. Οι αλλαγές στην εργασιακή συµπεριφορά των εκπαιδευοµένων αποκτούν

ακόµη µεγαλύτερη σηµασία αν στα δύο προηγούµενα επίπεδα τα αποτελέσµατα της

αξιολόγησης ήταν αρνητικά για το πρόγραµµα. Εφόσον η συµπεριφορά αναδεικνύεται σε

ένα από τα κριτήρια που καθορίζουν την έκταση της επιτυχίας του προγράµµατος, η

περιγραφή του υπάρχοντος και του επιθυµητού οργανωτικού κλίµατος της επιχείρησης

αποτελούν βασικά στοιχεία, που τίθενται στη διάθεση των οργανωτών και των

εκπαιδευτών του προγράµµατος κατά τη φάση του σχεδιασµού και της προετοιµασίας.

Αποτελέσµατα (results): Τα αποτελέσµατα στο µοντέλο των τεσσάρων επιπέδων

αποτιµώνται µε βάση δείκτες που αναφέρονται στη συνεισφορά των εκπαιδευοµένων

στους στόχους της επιχείρησης και αφορούν στην αύξηση της παραγωγικότητας, τη

βελτίωση της ποιότητας των προϊόντων και των υπηρεσιών, τη µείωση του κόστους, την

αύξηση των πωλήσεων, κ.ά. Είναι σαφές πως η εκτίµηση των αποτελεσµάτων γίνεται

πάντοτε µετά το τέλος του προγράµµατος και µάλιστα µε όρους που αναφέρονται στην

εσωτερική λειτουργία της επιχείρησης και όχι µε όρους που αφορούν άµεσα στην ίδια τη

διαδικασία της επιµορφωτικής παρέµβασης.

Με την ανάλυση των τεσσάρων επιπέδων γίνεται φανερό αυτό που αναφέραµε στην

αρχή της περιγραφής: προνοµιακό πεδίο εφαρµογής του µοντέλου των τεσσάρων

επιπέδων είναι τα προγράµµατα ενδοεπιχειρησιακής εκπαίδευσης. Η διαδικασία της

αξιολόγησης προσδιορίζεται σε σηµαντικό βαθµό από τις ανάγκες της επιχείρησης που

χρηµατοδοτεί ή/και υλοποιεί το πρόγραµµα, ενώ ο αξιολογητής λειτουργεί περισσότερο

ως σύµβουλος της επιχείρησης και λιγότερο ως παράγοντας βελτίωσης ή αλλαγής της

ίδιας της επιµορφωτικής παρέµβασης. Η ενηµέρωση και πληροφόρηση των συντελεστών

του προγράµµατος, που φαίνεται πως αποτελούν βασικά χαρακτηριστικά άλλων

25

µοντέλων, εδώ αγνοούνται και παραχωρούν τη θέση τους στην αποτελεσµατικότητα, την

ανάλυση κόστους / αποδοτικότητας και τελικά τη διαπίστωση του βαθµού επίτευξης των

στόχων της επιχείρησης. Ακριβώς όµως αυτά τα χαρακτηριστικά έχουν αναδείξει το

µοντέλο των τεσσάρων επιπέδων στο συχνότερα εφαρµοζόµενο µοντέλο για την

αξιολόγηση προγραµµάτων εκπαίδευσης σε επιχειρήσεις κατά τελευταία σαράντα έτη.

Θα πρέπει εδώ να σηµειωθεί ότι το µοντέλο των τεσσάρων επιπέδων παρά το γεγονός

ότι είναι προσανατολισµένο σε ορισµένου τύπου προγράµµατα, θεωρείται µια από τις

θεωρητικές προσεγγίσεις µε ιδιαίτερη συµβολή στην ανάπτυξη της θεωρίας της

αξιολόγησης. Πρόκειται για το πρώτο, ιστορικά, µοντέλο αξιολόγησης στο οποίο δίνεται

έµφαση στο πλαίσιο αναφοράς του προγράµµατος. Στην περίπτωση του µοντέλου των

τεσσάρων επιπέδων το πλαίσιο του προγράµµατος καθορίζει τη λογική και τις

προδιαγραφές της διαδικασίας αξιολόγησης.

26

Το Μοντέλο CIPP

Το µοντέλο CIPP προτάθηκε για πρώτη φορά το 1966 από τον Daniel L. Stufflebeam

και αποτέλεσε την πρώτη ολοκληρωµένη πρόταση για την αξιολόγηση εκπαιδευτικών

προγραµµάτων. Με τις διάφορες επιµέρους βελτιώσεις και αναθεωρήσεις, το µοντέλο

αυτό έχει χρησιµοποιηθεί τα τελευταία τριάντα χρόνια από πολλούς οργανισµούς και έχει

αποτελέσει αντικείµενο διαλόγου και προβληµατισµού στο χώρο της αξιολόγησης

προγραµµάτων.

Η άποψη του D. Stufflebeam7

“Η προσέγγιση CIPP βασίζεται στην άποψη πως ο πιο σηµαντικός στόχος της

αξιολόγησης δεν είναι η απόδειξη, αλλά η βελτίωση. Πρόκειται για µια κίνηση αντίθετη

µε την άποψη ότι οι αξιολογήσεις πρέπει να είναι “κυνήγι µαγισσών” ή απλώς εργαλεία

για την απόδοση ευθυνών. Αντίθετα εδώ η αξιολόγηση θεωρείται ως ένα εργαλείο µε το

οποίο υποστηρίζεται η καλύτερη λειτουργία των προγραµµάτων σε σχέση µε τους

ανθρώπους που αυτά προσπαθούν να εξυπηρετήσουν… Προωθώντας την κατάργηση των

αποτυχηµένων προγραµµάτων, οι αξιολογήσεις µπορούν να λειτουργήσουν ως

διαδικασίες βελτίωσης, µε την έννοια πως συµβάλλουν στην απελευθέρωση πόρων που

θα µπορούσαν να διατεθούν σε άλλες περισσότερο αξιόλογες προσπάθειες.”

Το ακρωνύµιο CIPP προκύπτει από τις λέξεις Context (πλαίσιο), Input (είσοδος),

Process (διαδικασία) και Product (αποτέλεσµα) και αναφέρεται στις τέσσερις διακριτές

φάσεις του µοντέλου, τις οποίες περιγράφουµε στη συνέχεια. Σηµειώνουµε εδώ πως οι

όροι αυτοί χρησιµοποιούνται σε ένα εντελώς διαφορετικό πλαίσιο από εκείνο που

αναφέρθηκε στην υποενότητα 1.2.2, καθώς οι τέσσερις φάσεις δεν προσδιορίζουν

διαφορετικές προσεγγίσεις για την αξιολόγηση ενός προγράµµατος, αλλά συγκροτούν,

στο πλαίσιο του µοντέλου CIPP, ένα ενιαίο σχήµα αξιολόγησης.

Η φάση της αξιολόγησης πλαισίου αφορά στην καταγραφή των ισχυρών και ασθενών

σηµείων ενός προγράµµατος ή ενός οργανισµού και στον προσδιορισµό των ενεργειών

που πρέπει να γίνουν στην κατεύθυνση της βελτίωσης. Η διερεύνηση των αναγκών του

7 Από το άρθρο του “The CIPP model for program evaluation” (σ. 118), στο: Madaus, G. F., Scriven, M. S.,

& Stufflebeam, D. L. (Eds.). (1983). Evaluation Models: Viewpoints on educational and human services

evaluation. Boston: Kluwer-Nijhoff Publishing.

27

πληθυσµού – στόχου, ο εντοπισµός των πιθανών αλληλεπιδράσεων του προγράµµατος µε

το ευρύτερο κοινωνικό περιβάλλον, αλλά και η διάγνωση δυσκολιών και προβληµάτων

που πιθανόν να προκύψουν, αποτελούν βασικούς στόχους της αξιολόγησης πλαισίου.

Σηµαντικό σηµείο στην αξιολόγηση πλαισίου είναι η διερεύνηση της ανταπόκρισης των

στόχων και των προτεραιοτήτων της σχεδιαζόµενης παρέµβασης στις ανάγκες των

συµµετεχόντων και των επωφελούµενων.

Η αξιολόγηση εισόδου στοχεύει κυρίως στη διαµόρφωση της στρατηγικής που θα

ακολουθηθεί στη συνέχεια κατά την υλοποίηση του προγράµµατος. Οι επιµέρους

ενέργειες της φάσης αυτής περιλαµβάνουν αξιολόγηση των διαφορετικών εναλλακτικών

στρατηγικών, επισκόπηση παρόµοιων επιτυχηµένων προγραµµάτων και πρακτικών,

διάγνωση των περιορισµών που τίθενται µε βάση τα αποτελέσµατα της προηγούµενης

φάσης, εκτίµηση της διαθεσιµότητας του ανθρώπινου δυναµικού και, τέλος, ανάλυση του

προϋπολογισµού και του χρονοδιαγράµµατος. Στόχος της φάσης αυτής είναι η επιλογή

της βέλτιστης στρατηγικής σε σχέση αφενός µε τις ανάγκες των συµµετεχόντων και των

επωφελούµενων και αφετέρου µε τους περιορισµούς που θέτει το οργανωτικό και το

ευρύτερο κοινωνικό πλαίσιο.

Η αξιολόγηση διαδικασίας αφορά στην παρακολούθηση, την αποτίµηση και τη

συνεχή εποπτεία της υλοποίησης των στόχων και της στρατηγικής του προγράµµατος.

Στόχος της αξιολόγησης διαδικασίας είναι η ανατροφοδότηση των συντελεστών του

προγράµµατος για το βαθµό υλοποίησης των στόχων που έχουν τεθεί κατά την

προηγούµενη φάση, καθώς επίσης και για την αποτελεσµατική χρήση των διαθέσιµων

πόρων. Η καταγραφή και η διάγνωση προβληµάτων που δεν είχαν προβλεφθεί κατά την

προηγούµενη φάση, η ανάδειξη των αδυναµιών και των δυσκολιών που έχουν ως

συνέπεια την ανεπαρκή ολοκλήρωση επιµέρους ενεργειών και η υποστήριξη για την

ανάληψη διορθωτικών παρεµβάσεων αποτελούν βασικά στοιχεία της αξιολόγησης

διαδικασίας.

Η αξιολόγηση αποτελέσµατος στοχεύει στην εκτίµηση και ερµηνεία της αξίας των

αποτελεσµάτων και προϊόντων του προγράµµατος και περιλαµβάνει την καταγραφή και

ανάλυση των επιπτώσεων (θετικών και αρνητικών) που παρατηρήθηκαν κατά την

εφαρµογή του προγράµµατος, αλλά και τη σύγκριση των αποτελεσµάτων και των

προϊόντων µε αντίστοιχα άλλων σχετικών προγραµµάτων. Οι αποφάσεις που σχετίζονται

28

µε τη συνέχιση, την επανάληψη, την επέκταση, τη βελτίωση, τη γενίκευση ή τη διακοπή

ενός προγράµµατος αποτελούν την κατάληξη της αξιολόγησης αποτελέσµατος. Μέρος,

επίσης, της αξιολόγησης αποτελέσµατος αποτελεί και η διατύπωση προτάσεων

βελτίωσης παρόµοιων προγραµµάτων που σχεδιάζεται να υλοποιηθούν στο µέλλον.

Στον πίνακα (που αποτελεί προσαρµογή της περιγραφής του D. Stufflebeam)

αναφέρονται οι τέσσερις διακριτές φάσεις του µοντέλου CIPP σε σχέση µε τους στόχους

της αξιολόγησης και τις µεθόδους (µε την έννοια των τεχνικών και διαδικασιών) που

χρησιµοποιούνται.

Πίνακας 1.2

Οι Τέσσερις Φάσεις της Αξιολόγησης

Πλαίσιο Είσοδος ∆ιαδικασία Αποτέλεσµα

Σκοπός

• Προσδιορισµός οργανωτικού

πλαισίου

• Προσδιορισµός του πληθυσµού

– στόχου και των αναγκών

του

• ∆ιάγνωση

πιθανών

προβληµάτων

και δυσκολιών

• Εκτίµηση της ανταπόκρισης των σκοπών

στις ανάγκες του πληθυσµού

- στόχου

• Εκτίµηση

δυνατοτήτων

• ∆ιερεύνηση

εναλλακτικών

στρατηγικών

• Σχεδιασµός διαδικασιών για

την υλοποίηση

των στρατηγικών

• Προϋπολογισµός

• Χρονοδιάγραµµα

• Προσδιορισµός ή

πρόβλεψη

δυσλειτουργιών

και ανεπαρκειών

κατά την

υλοποίηση

• Καταγραφή

ενεργειών και δραστηριοτήτων

• Συλλογή

περιγραφών και εκτιµήσεων για τα

αποτελέσµατα

του

προγράµµατος

• Συσχέτισή τους µε τους αρχικούς στόχους, το

πλαίσιο, την

είσοδο και τη

διαδικασία του

προγράµµατος

• Αποτίµηση της αξίας και των

πλεονεκτηµάτων

των προϊόντων

και των

αποτελεσµάτων

• Μελέτη

αναγκών

• Ανάλυση

τεκµηρίων

• Συνεντεύξεις

• Μελέτη των

διαθέσιµων

πόρων

• Μελέτες σκοπιµότητας

• Καταγραφή

ενεργειών και δραστηριοτήτων

• Συνεργασία µε

τους εµπλεκόµενους

• ∆ιαµόρφωση

κριτηρίων για την

αποτίµηση των

προϊόντων και των

αποτελεσµάτων

του

8 Η δελφική µέθοδος (Delphi method) στοχεύει στην επικοινωνία ειδικών και την καταγραφή των απόψεών

τους για το σχηµατισµό ολοκληρωµένης άποψης-απόφασης σχετικά µε κάποιο σύνθετο πρόβληµα.

Συνήθως διεξάγεται σε τρεις διαδοχικές φάσεις, προκειµένου να επιτυγχάνεται η ανατροφοδότηση των

συµµετεχόντων µε τις επικρατέστερες απαντήσεις κάθε φάσης.

29

Μέθοδος

• ∆ιαγνωστικά

τεστ

• ∆ελφική

µέθοδος8

• Επισκόπηση

βιβλιογραφίας

• Ανάλυση καλών

πρακτικών σε σχετικά

προγράµµατα

• Πιλοτικές εφαρµογές

στο πρόγραµµα προγράµµατος

• Καταγραφή

εκτιµήσεων από

τους φορείς χρηµατοδότησης

• Ποιοτικές και ποιοτικές αναλύσεις

Στο Παράρτηµα Ι του δεύτερου κεφαλαίου (Μελέτη Περίπτωσης ΙΙΙ), παρατίθεται

µιας εξειδίκευση και εφαρµογή των περιεχοµένων του Πίνακα 1.2 και αναλύονται τα

γενικότερα ζητήµατα που αφορούν στην προσαρµογή του µοντέλου CIPP σε

συγκεκριµένο πλαίσιο υλοποίησης.

Σηµειώνουµε, ότι η αξιολόγηση µε βάση το µοντέλο CIPP µπορεί να είναι

διαµορφωτική ή απολογιστική: στην πρώτη περίπτωση η έµφαση δίνεται στην

υποστήριξη των συντελεστών του προγράµµατος κατά το σχεδιασµό και την υλοποίηση

του προγράµµατος, ενώ στη δεύτερη περίπτωση η έµφαση δίνεται στην καταγραφή των

ενεργειών και την αποτίµηση των αποτελεσµάτων (και στις δύο περιπτώσεις, όµως, το

περιεχόµενο της αξιολόγησης βασίζεται στα όσα περιγράφονται στον πίνακα 1.2).

Ενδυναµωτική αξιολόγηση

Με τον όρο ενδυναµωτική αξιολόγηση έχουµε αποδώσει στην ελληνική γλώσσα τον

όρο empowerment evaluation που χρησιµοποιεί ο D. Fetterman για το µοντέλο

αξιολόγησης που πρότεινε το 1993 (Καραλής, 2003, σ. 265). Πρόκειται για µια από τις

πλέον πρόσφατες θεωρητικές προσεγγίσεις για την αξιολόγηση προγραµµάτων και

παρεµβάσεων, ενώ είναι σίγουρα αυτή που θα µπορούσε να χαρακτηριστεί ως η

περισσότερο συµµετοχική. Η αντίληψη του Fetterman είναι πως οι συντελεστές ενός

προγράµµατος δεν πρέπει απλώς να συµµετέχουν σε όλες τις φάσεις µιας διαδικασίας

αξιολόγησης, αλλά θα πρέπει να καθορίζουν την πορεία και το περιεχόµενό της. Η

αξιολόγηση εδώ θεωρείται ως µέσο για την προώθηση της ενεργητικής συµµετοχής και

την ενδυνάµωση όλων των συντελεστών ενός εκπαιδευτικού προγράµµατος, και

ιδιαίτερα των άµεσα επωφελούµενων, δηλαδή των εκπαιδευοµένων. Ο αξιολογητής εδώ

30

δεν είναι ούτε ειδικός, ούτε σύµβουλος του οργανισµού υλοποίησης. Είναι παρατηρητής,

συνεργάτης των εκπαιδευοµένων και διευκολυντής (facilitator) στην πορεία της

ενδυνάµωσής τους. Η καινοτοµία του συγκεκριµένου µοντέλου αξιολόγησης έγκειται στο

γεγονός ότι οι εκπαιδευόµενοι ουσιαστικά εκπαιδεύονται, ώστε να γίνουν οι ίδιοι

αξιολογητές του προγράµµατος στο οποίο συµµετέχουν. Είναι προφανές ότι η εφαρµογή

αυτού του µοντέλου απαιτεί ένα πλαίσιο υλοποίησης που να διέπεται από καινοτοµικό

πνεύµα και όχι αυστηρά προκαθορισµένες συνθήκες υλοποίησης. Η έµφαση εδώ δίνεται

στην ενδυνάµωση των εκπαιδευοµένων και όχι στην επίτευξη προκαθορισµένων στόχων.

Η άποψη του D. Fetterman9

Μια ∆υναµική Κοινότητα Μάθησης

Πολλά στοιχεία θα πρέπει να συνυπάρχουν προκειµένου η ενδυναµωτική αξιολόγηση

να είναι αποτελεσµατική και αξιόπιστη. Οι συµµετέχοντες πρέπει να έχουν το περιθώριο

να πειραµατιστούν, να πάρουν το ρίσκο, αλλά και να αναλάβουν την ευθύνη για τις

πράξεις τους. Απαραίτητο είναι, επίσης, και ένα περιβάλλον που να αποδέχεται την

επιτυχία και την αποτυχία. Ακόµη, απαιτείται να έχει διαµορφωθεί κλίµα εµπιστοσύνης

και υποστήριξης. Ένας εξωτερικός αξιολογητής που θα έχει την ευθύνη της

παρακολούθησης αυτής της διαδικασίας µπορεί να συµβάλλει στο να αποδειχθεί αυτή η

προσπάθεια αξιόπιστη… Όταν υπάρχουν οι περισσότερες από τις προϋποθέσεις που

αναφέρθηκαν, αυτή η διαδικασία µπορεί να συνεισφέρει στη δηµιουργία µιας δυναµικής

κοινότητας µετασχηµατιστικής µάθησης.

Η παραπάνω αναφορά του Fetterman στη δηµιουργία µιας δυναµικής κοινότητας

µάθησης δεν αφορά αποκλειστικά στην εκπαιδευτική διαδικασία ενός προγράµµατος

εκπαίδευσης ενηλίκων: στο πλαίσιο της ενδυναµωτικής αξιολόγησης, η ίδια η

διαδικασία αξιολόγησης θεωρείται ως µια διαδικασία µάθησης και τα θεωρητικά και

µεθοδολογικά εργαλεία της αξιολόγησης εξυπηρετούν αυτό τον σκοπό: «Ενδυναµωτική

αξιολόγηση είναι η χρήση των εννοιών, των ευρηµάτων και των τεχνικών της

αξιολόγησης, προκειµένου να προωθηθεί η ανάπτυξη και ο αυτοπροσδιορισµός των

συµµετεχόντων» (ο.π., σ. 4).

9 Από την εισαγωγή του (σ. 25) στο συλλογικό τόµο: D. M. Fetterman, S. J. Kaftarian, & A. Wandersman

(eds.) (1996). Empowerment Evaluation: Konowledge and Tools for Self-Assessment & Accountability.

California: Sage Publications.

31

ΒΙΒΛΙΟΓΡΑΦΙΑ

ΕΛΛΗΝΟΓΛΩΣΣΗ

Βεργίδης ∆. (2001). Η συµβολή της αξιολόγησης στην εκπαιδευτική πολιτική. Στο Γ.

Μπαγάκης (επιµ.) Αξιολόγηση εκπαιδευτικών προγραµµάτων και σχολείου (σσ. 40-60).

Αθήνα: Μεταίχµιο.

Βεργίδης, ∆. (2003). Η συµβολή της αξιολόγησης στην υλοποίηση ολοκληρωµένων

προγραµµάτων εκπαίδευσης ενηλίκων. Στο ∆. Βεργίδης (επιµ.), Εκπαίδευση Ενηλίκων:

συµβολή στην εξειδίκευση στελεχών και εκπαιδευτών (σσ. 235-254). Αθήνα: Ελληνικά

Γράµµατα.

Βεργίδης, ∆., & Καραλής, Θ. (1999). Εκπαίδευση Ενηλίκων: Σχεδιασµός, οργάνωση

και αξιολόγηση προγραµµάτων. Πάτρα: Ελληνικό Ανοικτό Πανεπιστήµιο.

Καραλής, Θ. (2003). Συµµετοχικές προσεγγίσεις στην αξιολόγηση προγραµµάτων

εκπαίδευσης ενηλίκων. Στο ∆. Βεργίδης (επιµ.), Εκπαίδευση Ενηλίκων: συµβολή στην

εξειδίκευση στελεχών και εκπαιδευτών (σσ. 255-285). Αθήνα: Ελληνικά Γράµµατα.

Rogers, A. (1999). Η εκπαίδευση ενηλίκων. Αθήνα: Μεταίχµιο.

Σολοµών, Ι. (επιµ.) (1999). Εσωτερική αξιολόγηση και προγραµµατισµός του

εκπαιδευτικού έργου στη σχολική µονάδα: ένα πλαίσιο εργασίας και υποστήριξης. Αθήνα:

Παιδαγωγικό Ινστιτούτο.

Ξενόγλωσση

European Commission (1999). Evaluating socio-economic programmes (v.6). Brussels:

European Commission.

Fetterman, D. M., Kaftarian, S. J., & Wandersman, A. (eds.) (1996). Empowerment

evaluation: knowledge and tools for self-assessment. California. Sage Publications.

Kellogg Foundation. (1998). Evaluation handbook. Michigan: W.K. Kellogg

Foundation.

Kirkpatrick, D. L. (1994). Evaluating training programs: the four levels. California:

Berrett-Koehler Publishers.

Mark, M. M., Henry, G. T., & Julnes, G. (2000). Evaluation: An Integrated

Framework for Understanding, Guiding, and Improving Policies and Programs.

California: Jossey-Bass Publishers.

32

Rossi, P. H., & Freeman, H. E. (1993). Evaluation: a systematic approach (5th

ed.).

California: Sage Publications

Schalock, R. L. (2001). Outcome-Based Evaluation. Boston: Kluwer-Nijhoff

Publishing.

Stufflebeam, D. L. (1983). The CIPP model for program evaluation. In G. F. Madaus,

M. S. Scriven, & D. L. Stufflebeam (Eds.), Evaluation Models: Viewpoints on

educational and human services evaluation (pp. 117-141). Boston: Kluwer-Nijhoff

Publishing.

Scriven, M. S. (1967). The methodology of evaluation. In R.W. Tyler, R.M. Gagne, &

M. S. Scriven (Eds.), Perspectives of curriculum evaluation (pp. 39-83). Chicago: Rand

McNally.

Scriven, M. S. (1991). Evaluation Thesaurus (4th ed.). California: Sage Publications.

Shadish, W. R., Cook, T., & Leviton, L. (1991). Foundations of program evaluation:

theories of practice. California: Sage Publications.

Stake, R. E. (1983). Program evaluation, particularly responsive evaluation. In G.

F.Madaus, M. S. Scriven, & D. L. Stufflebeam (Eds.), Evaluation Models: Viewpoints

on educational and human services evaluation (pp. 287-310). Boston: Kluwer-Nijhoff

Publishing.

Vedung, E. (2000). Public Policy and Program Evaluation. New Jersey: Transaction

Publishers.

Walberg, H. J., & Haertel, G. D. (Eds.). (1990). The International Encyclopedia of

Evaluation. New York: Pergamon Press.

33

ΚΚΕΕΦΦΑΑΛΛΑΑΙΙΟΟ 22

ΣΣΧΧΕΕ∆∆ΙΙΑΑΣΣΜΜΟΟΣΣ ΚΚΑΑΙΙ ∆∆ΙΙΕΕΞΞΑΑΓΓΩΩΓΓΗΗ ΤΤΗΗΣΣ ΑΑΞΞΙΙΟΟΛΛΟΟΓΓΗΗΣΣΗΗΣΣ

ΕΕΝΝΟΟΤΤΗΗΤΤΑΑ 22..11

ΟΟ ΣΣΧΧΕΕ∆∆ΙΙΑΑΣΣΜΜΟΟΣΣ ΤΤΗΗΣΣ ΑΑΞΞΙΙΟΟΛΛΟΟΓΓΗΗΣΣΗΗΣΣ

2.1.1. Τα στάδια της αξιολόγησης ενός προγράµµατος

Η διαδικασία της αξιολόγησης ενός προγράµµατος οργανώνεται σε επιµέρους στάδια

τα οποία περιλαµβάνουν:

• Τον αναλυτικό σχεδιασµό της αξιολόγησης,

• Τη διεξαγωγή της αξιολόγησης,

• Την κοινοποίηση των αποτελεσµάτων.

Το περιεχόµενο των σταδίων που συγκροτούν τη διαδικασία της αξιολόγησης

αναλύεται στο σχήµα 2.1 που ακολουθεί, και το οποίο είναι αρκετά γενικό, µε στόχο να

καλύψει την αξιολόγηση προγραµµάτων µε διαφορετικά χαρακτηριστικά και µάλιστα

ανεξάρτητα από το µοντέλο ή τον τύπο που επιλέγει ο αξιολογητής. Εποµένως, τόσο τα

επιµέρους στάδια όσο κυρίως το περιεχόµενο αυτών των σταδίων, θα πρέπει να

προσαρµόζονται κατά περίπτωση ανάλογα µε τις ιδιαίτερες παραµέτρους του

προγράµµατος ή του σχήµατος αξιολόγησης που επιλέγει ο αξιολογητής. Για παράδειγµα,

στην περίπτωση που η αξιολόγηση του προγράµµατος βασίζεται στο µοντέλο CIPP, είναι

προφανές πως οι τέσσερις επιµέρους διακριτές φάσεις του µοντέλου συγκροτούν µια

επαρκή σειρά βηµάτων που ακολουθεί ο αξιολογητής και εποµένως καλύπτουν τα

αντίστοιχα στάδια που περιγράφονται στο σχήµα 2.1. Ή ακόµη, στην περίπτωση της

ανταποδοτικής αξιολόγησης, ο βαθµός συµµετοχής των συντελεστών του προγράµµατος

στην ίδια τη διαδικασία της αξιολόγησης, αλλά και η έµφαση που δίνεται στην

πληροφόρηση και ενηµέρωση των συµµετεχόντων διαφοροποιούν και πάλι σηµαντικά το

σχήµα που προτείνεται, προσδίδοντας βαρύνουσα σηµασία στο τελευταίο στάδιο.

Σχήµα 2.1

Τα στάδια της αξιολόγησης

ΣΧΕ∆ΙΑΣΜΟΣ ΤΗΣ

ΑΞΙΟΛΟΓΗΣΗΣ

∆ΙΕΞΑΓΩΓΗ ΤΗΣ ΑΞΙΟΛΟΓΗΣΗΣ ΚΟΙΝΟΠΟΙΗΣΗ

ΑΠΟΤΕΛΕΣΜΑΤΩΝ

• ∆ΙΕΡΕΥΝΗΣΗ ΑΝΑΓΚΩΝ

• ΠΡΟΣ∆ΙΟΡΙΣΜΟΣ ΤΩΝ ΣΤΟΧΩΝ

ΤΗΣ ΑΞΙΟΛΟΓΗΣΗΣ

• ΕΠΙΛΟΓΗ ΤΥΠΟΥ ΚΑΙ ΜΟΝΤΕΛΟΥ

ΑΞΙΟΛΟΓΗΣΗΣ

• ΧΡΟΝΟ∆ΙΑΓΡΑΜΜΑ ΚΑΙ

ΠΡΟΫΠΟΛΟΓΙΣΜΟΣ

• ΠΡΟΣ∆ΙΟΡΙΣΜΟΣ ΑΝΤΙΚΕΙΜΕΝΩΝ,

ΑΞΟΝΩΝ ΚΑΙ ∆ΕΙΚΤΩΝ

• ΕΠΙΛΟΓΗ ΜΕΘΟ∆ΩΝ ΚΑΙ

ΤΕΧΝΙΚΩΝ & ΣΥΛΛΟΓΗ ΚΑΙ

ΑΝΑΛΥΣΗ ∆Ε∆ΟΜΕΝΩΝ

• ΕΡΜΗΝΕΙΑ ΑΠΟΤΕΛΕΣΜΑΤΩΝ ΚΑΙ

∆ΙΑΤΥΠΩΣΗ ΠΡΟΤΑΣΕΩΝ

• ΕΠΙΛΟΓΗ ΑΠΟ∆ΕΚΤΩΝ ΤΗΣ

ΑΞΙΟΛΟΓΗΣΗΣ

• ΣΥΓΓΡΑΦΗ ΕΚΘΕΣΗΣ

ΑΞΙΟΛΟΓΗΣΗΣ

• ΚΟΙΝΟΠΟΙΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΩΝ

ΣΤΟΥΣ ΑΠΟ∆ΕΚΤΕΣ

2.1.2. Ζητήµατα σχεδιασµού της αξιολόγησης

Ανατρέχοντας στις προηγούµενες ενότητες και συγκεκριµένα στους τύπους και τα

µοντέλα της αξιολόγησης µπορούµε να συµπεράνουµε πως δεν υπάρχει ένας τύπος ή

µοντέλο που µπορεί να εφαρµοστεί σε όλα τα προγράµµατα ή τις παρεµβάσεις που

αξιολογούνται. Ο σχεδιασµός της αξιολόγησης δεν εξαντλείται στην επιλογή

µεθόδων ή τεχνικών, ούτε περιορίζεται στη διαµόρφωση κριτηρίων ή δεικτών, αλλά

αφορά στη συγκρότηση µιας ολοκληρωµένης πρότασης σχετικά µε τους στόχους της

αξιολόγησης, τον τύπο και το µοντέλο που επιλέγονται, το βαθµό συµµετοχής των

συντελεστών, καθώς και τις πιθανές χρήσεις των αποτελεσµάτων. Στην αντίθετη

περίπτωση, η διαδικασία της αξιολόγησης µετατρέπεται σε µια απλή συλλογή και

παράθεση στοιχείων, τα οποία λόγω της έλλειψης ερµηνευτικού πλαισίου δεν

µπορούν να οργανωθούν συστηµατικά ώστε να αποτελέσουν σηµεία εκκίνησης για τη

διαµόρφωση συµπερασµάτων και προτάσεων. Ο σχεδιασµός της αξιολόγησης έχει

αυτόν ακριβώς το στόχο, τη διαµόρφωση δηλαδή µιας ολοκληρωµένης πρότασης για

τη διαδικασία της αξιολόγησης και περιλαµβάνει τα παρακάτω:

Α. ∆ιερεύνηση αναγκών

Η διερεύνηση αναγκών της αξιολόγησης επηρεάζεται σε σηµαντικό βαθµό από τη

διερεύνηση αναγκών του ίδιου του προγράµµατος και µάλιστα σε αρκετές

περιπτώσεις γίνεται ταυτόχρονα, προκειµένου να συνδεθεί ο σχεδιασµός και η

υλοποίηση του προγράµµατος µε τη διαδικασία της αξιολόγησης. Στη φάση αυτή ο

αξιολογητής του προγράµµατος αναλύει όλους εκείνους τους παράγοντες που θεωρεί

ότι επηρεάζουν τη διαδικασία της αξιολόγησης. Αναλυτικότερα, η φάση αυτή

περιλαµβάνει:

Ανάλυση των στόχων του προγράµµατος: Η ανάλυση του σκοπού και των στόχων

του προγράµµατος, καθώς επίσης και η ανάλυση του πλαισίου υλοποίησης είναι

βασικά στοιχεία για το σχεδιασµό της αξιολόγησης. Η ανάλυση που γίνεται στο

σηµείο αυτό περιλαµβάνει επίσης και την επισκόπηση εκθέσεων αξιολόγησης από

σχετικά προγράµµατα που έχουν υλοποιηθεί κατά το παρελθόν, αλλά και την

καταγραφή των συµπερασµάτων και των προτάσεων που έχουν διατυπωθεί σε αυτές.

36

Ανάλυση αναγκών φορέα υλοποίησης και συµµετεχόντων: Σηµαντικό στοιχείο για

το σχεδιασµό της αξιολόγησης είναι η διερεύνηση των αναγκών του φορέα

υλοποίησης αλλά και της οµάδας των συµµετεχόντων του προγράµµατος. Η

ανατροφοδότηση του φορέα υλοποίησης µε τα συµπεράσµατα της αξιολόγησης, ο

βαθµός συµµετοχής των συντελεστών του προγράµµατος στη διαδικασία της

αξιολόγησης, ο προσδιορισµός των χαρακτηριστικών, των προσδοκιών και των

αναγκών των συµµετεχόντων, είναι στοιχεία που διαµορφώνουν σε σηµαντικό βαθµό

το πλαίσιο της αξιολόγησης.

Προσδιορισµός απαιτήσεων των φορέων ανάθεσης και χρηµατοδότησης: Στις

περισσότερες περιπτώσεις ο φορέας υλοποίησης ενός προγράµµατος δεν ταυτίζεται

µε το φορέα ανάθεσης ή/και το φορέα χρηµατοδότησης. Στις περιπτώσεις αυτές είναι

αναγκαία η διερεύνηση των απαιτήσεων των φορέων αυτών, αλλά και ο

προσδιορισµός των περιορισµών που θέτει το πλαίσιο υλοποίησης στη διαδικασία της

αξιολόγησης. Μάλιστα, ένα σηµείο το οποίο θα πρέπει να απασχολήσει ιδιαίτερα τον

αξιολογητή ενός προγράµµατος είναι η αποκάλυψη ενδεχοµένων συγκρούσεων

µεταξύ των αναγκών του φορέα υλοποίησης και των απαιτήσεων των φορέων

ανάθεσης ή/και χρηµατοδότησης.

Παράδειγµα

∆ύο προγράµµατα κατάρτισης πρόκειται να υλοποιηθούν στην ίδια πόλη κατά

την ίδια χρονική περίοδο. Σκοπός και των δύο προγραµµάτων είναι η εκπαίδευση

είκοσι ανέργων αποφοίτων Λυκείου στο αντικείµενο “Εφαρµογές των

υπολογιστών στη σύγχρονη επιχείρηση”.

Το πρώτο πρόγραµµα χρηµατοδοτείται από το Ευρωπαϊκό Κοινωνικό Ταµείο και

έχει ανατεθεί από το Υπουργείο Εργασίας σε πιστοποιηµένο Κέντρο

Επαγγελµατικής Κατάρτισης. Το δεύτερο πρόγραµµα χρηµατοδοτείται από

πόρους του ∆ήµου και έχει ανατεθεί στο Τµήµα Εκπαίδευσης τής Αναπτυξιακής

∆ηµοτικής Επιχείρησης της πόλης. Παρόλο που το αντικείµενο κατάρτισης και η

οµάδα – στόχος είναι ίδια και στις δύο περιπτώσεις, εντούτοις οι αξιολογητές

των προγραµµάτων πρέπει κατά το σχεδιασµό της αξιολόγησης να λάβουν

υπόψη τις παρακάτω παραµέτρους:

37

Στην πρώτη περίπτωση:

• Τους στόχους του Ευρωπαϊκού Κοινωνικού Ταµείου, τους σχετικούς

Κοινοτικούς κανονισµούς και τους λόγους για τους οποίους χρηµατοδοτείται

το συγκεκριµένο πρόγραµµα,

• το νοµοθετικό πλαίσιο, και ειδικότερα τους κανονισµούς του Υπουργείου

Εργασίας σε σχέση µε την υλοποίηση και την αξιολόγηση των προγραµµάτων

που αναθέτει σε Κέντρα Επαγγελµατικής Κατάρτισης.

Στη δεύτερη περίπτωση:

• Το συνολικό πλαίσιο των σχετικών δράσεων του ∆ήµου και τους λόγους για

τους οποίους χρηµατοδοτούνται παρόµοια προγράµµατα που απευθύνονται σε

άνεργους νέους της πόλης,

• τον εσωτερικό κανονισµό λειτουργίας του εκπαιδευτικού τµήµατος της

Αναπτυξιακής ∆ηµοτικής Επιχείρησης, και ειδικότερα τα σηµεία που

αφορούν στις διαδικασίες υλοποίησης και αξιολόγησης των προγραµµάτων.

Προσδιορισµός των αποδεκτών της αξιολόγησης: Είναι ιδιαίτερα σηµαντικό να

προσδιοριστούν οι αποδέκτες (φορείς, οργανισµοί ή φυσικά πρόσωπα) της

αξιολόγησης ενός προγράµµατος κατά το στάδιο του σχεδιασµού, γιατί:

• κατά τη διαδικασία της αξιολόγησης θα αποτελέσουν πηγές πληροφόρησης

σχετικά µε την εξέλιξη του προγράµµατος, και

• όπως θα δούµε στη συνέχεια, κατά την κοινοποίηση των αποτελεσµάτων της

αξιολόγησης θα πρέπει να λάβουν γνώση όσοι συµµετέχουν ή επηρεάζονται

(άµεσα ή έµµεσα) από την υλοποίηση ή τα αποτελέσµατα του προγράµµατος.

Β. Προσδιορισµός των στόχων της αξιολόγησης

Οι στόχοι της αξιολόγησης δεν ταυτίζονται σε όλες τις περιπτώσεις µε τους

στόχους του προγράµµατος, καθώς ο αξιολογητής έχει τη δυνατότητα να

διαµορφώσει ένα πλαίσιο αξιολόγησης διαφορετικό από το πλαίσιο που

διαµορφώνουν οι στόχοι του προγράµµατος. Για το λόγο αυτό, στην προηγούµενη

ενότητα αναφερθήκαµε σε δύο διαφορετικούς τύπους αξιολόγησης: την αξιολόγηση

µε βάση τους στόχους (goal based evaluation) και την ανεξάρτητη των στόχων

38

αξιολόγηση (goal free evaluation). Στο σηµείο αυτό µπορούµε να δούµε

αναλυτικότερα τη λειτουργία του κάθε τύπου, καθώς επίσης και τα κριτήρια επιλογής

ανάµεσα σε αυτές τις δύο τελείως διαφορετικές προσεγγίσεις αξιολόγησης.

Στην πρώτη περίπτωση (αξιολόγηση µε βάση τους στόχους), οι στόχοι του

προγράµµατος έχουν καθοριστική σηµασία και όλη η διαδικασία της αξιολόγησης

είναι προσανατολισµένη στη διαπίστωση του βαθµού επίτευξης αυτών των στόχων.

Συνήθως, οι αξιολογήσεις που διερευνούν την επιτυχία ενός προγράµµατος ή την

επίτευξη των στόχων που έχει θέσει ο φορέας υλοποίησης εντάσσονται σε αυτή την

κατηγορία. Οι επικριτές αυτής της προσέγγισης θεωρούν πως η επιλογή της

περιορίζει το πεδίο της αξιολόγησης και εκφυλίζει την όλη διαδικασία σε µια απλή

παρακολούθηση του προγράµµατος, αφού πλέον αντικείµενο της αξιολόγησης είναι η

διαπίστωση του βαθµού υλοποίησης των αρχικών στόχων: το πρόβληµα στην

περίπτωση αυτή είναι πως οι στόχοι ενός προγράµµατος δεν είναι κατ’ ανάγκην

αξιόλογοι (µε την έννοια ότι δεν οδηγούν πάντοτε σε βελτίωση της θέσης των

συµµετεχόντων, ή ότι υπάρχουν περιθώρια αποτελεσµατικότερης αξιοποίησης των

διατιθέµενων πόρων).

Στη δεύτερη περίπτωση (ανεξάρτητη των στόχων αξιολόγηση) ο αξιολογητής

ασχολείται µε τα αποτελέσµατα του προγράµµατος και όχι µε τους αρχικούς του

στόχους (Scriven, 1991, σ. 180). Η αξία ενός προγράµµατος, στην περίπτωση αυτή,

προσδιορίζεται σε σχέση µε το πλαίσιο που διαµορφώνει ο αξιολογητής, αγνοώντας

την αρχική στοχοθεσία του προγράµµατος. Οι επικριτές αυτής της προσέγγισης

αναφέρουν πως οι στόχοι ενός προγράµµατος είναι βασικό στοιχείο για τον

προσανατολισµό της διαδικασίας της αξιολόγησης και ότι η απόρριψη ή η κριτική

τους θεώρηση οδηγεί στη διατύπωση συµπερασµάτων που δεν έχουν άµεση σχέση µε

την υλοποίηση του προγράµµατος.

Στο σηµείο αυτό θα πρέπει να σηµειωθεί πως η επιλογή ανάµεσα στις δύο

προσεγγίσεις που αναφέρθηκαν δεν είναι πάντοτε θέµα του αξιολογητή. Συνήθως οι

φορείς που αναθέτουν την αξιολόγηση ή χρηµατοδοτούν την υλοποίηση ενός

προγράµµατος θεωρούν ως αδιαπραγµάτευτους τους στόχους που έχουν τεθεί,

καθορίζοντας έτσι σε σηµαντικό βαθµό και το πλαίσιο της διαδικασίας της

αξιολόγησης.

39

Γ. Επιλογή τύπου και µοντέλου αξιολόγησης

Ο τύπος του προγράµµατος, η εµπειρία του αξιολογητή αλλά και η άποψή του για

τα διαφορετικά µοντέλα και τύπους αξιολόγησης είναι καθοριστικά στοιχεία που

διαµορφώνουν τις επιλογές του σχετικά µε το σχήµα αξιολόγησης. Στις περισσότερες

όµως περιπτώσεις ορισµένες βασικές παράµετροι του πλαισίου υλοποίησης του

προγράµµατος καθορίζουν σε σηµαντικό βαθµό τις επιλογές σχετικά µε µοντέλο ή

τον τύπο που επιλέγεται. Ενδεικτικά αναφέρουµε ορισµένες από αυτές τις

παραµέτρους:

Η διάρκεια του προγράµµατος: για παράδειγµα, ίσως δεν έχει νόηµα να επιλέξει ο

αξιολογητής διαµορφωτικού τύπου αξιολόγηση για ένα ταχύρυθµο πρόγραµµα

ενδοεπιχειρησιακής εκπαίδευσης διάρκειας πέντε ηµερών.

Η οµάδα – στόχος: εάν το πρόγραµµα απευθύνεται σε κάποια ευάλωτη κοινωνική

οµάδα (οπότε είναι αναµενόµενο να εντοπιστούν προβλήµατα κατά την υλοποίηση),

τότε ο αξιολογητής θα εξετάσει σοβαρά την περίπτωση της διαµορφωτικής

αξιολόγησης. Αντίθετα σε ένα πρόγραµµα που απευθύνεται σε στελέχη ενός

οργανισµού και το οποίο εντάσσεται στον ετήσιο προγραµµατισµό εκπαίδευσης

αυτού του οργανισµού, η επιλογή αξιολόγησης διαµορφωτικού τύπου δεν είναι τόσο

απαραίτητη όσο στην προηγούµενη περίπτωση.

Το είδος του προγράµµατος: Το µοντέλο των τεσσάρων επιπέδων εφαρµόζεται στα

περισσότερα προγράµµατα ενδοεπιχειρησιακής κατάρτισης, ακριβώς γιατί δίνει

ιδιαίτερη έµφαση στη µέτρηση της αποτελεσµατικότητας – απαραίτητο στοιχείο

αξιολόγησης για τις εταιρείες που χρηµατοδοτούν τα σχετικά προγράµµατα.

Αντίθετα, δεν ενδείκνυται για την αξιολόγηση προγραµµάτων βασικής παιδείας και

αλφαβητισµού ενηλίκων ή για την αξιολόγηση προγραµµάτων που απευθύνονται σε

ευάλωτες κοινωνικές οµάδες.

Ο βαθµός συµµετοχής των συντελεστών του προγράµµατος: όπως έχει αναφερθεί

στο προηγούµενο κεφάλαιο υπάρχουν µοντέλα αξιολόγησης (για παράδειγµα το

µοντέλο της ανταποδοτικής αξιολόγησης) που έχουν ως στόχο τη διεύρυνση της

συµµετοχής των συντελεστών ενός προγράµµατος στη διαδικασία αξιολόγησης και

40

λήψης αποφάσεων. Εφόσον η παράµετρος αυτή είναι βασική προτεραιότητα για το

φορέα υλοποίησης ή προκύπτει µε βάση τους στόχους του προγράµµατος, ο

αξιολογητής θα πρέπει να προτείνει και να εφαρµόσει παρόµοια συµµετοχικά

µοντέλα αξιολόγησης.

Όσα αναφέρθηκαν σε αυτή την ενότητα συναντώνται στη διεθνή βιβλιογραφία µε

τον όρο εκτίµηση αξιολογησιµότητας (evaluability assessment) ενός προγράµµατος.

Με τον όρο αξιολογησιµότητα προσδιορίζουµε το βαθµό στον οποίο ένα πρόγραµµα

µπορεί να αξιολογηθεί και σε ορισµένες περιπτώσεις το εάν έχει νόηµα µια

διαδικασία αξιολόγησης. Η εκτίµηση αξιολογησιµότητας περιλαµβάνει συστηµατική

ανάλυση του πλαισίου υλοποίησης, αλλά και του φορέα που οργανώνει το

πρόγραµµα: για παράδειγµα, στην περίπτωση που το πρόγραµµα χρηµατοδοτείται

στο πλαίσιο µιας συγκεκριµένης παρέµβασης, ίσως ο φορέας να µην επιδιώκει την

ανάδειξη των πιθανών προβληµάτων που παρουσιάζονται κατά την υλοποίηση, αλλά

την ανάδειξη µιας εικόνας οµαλής υλοποίησης και επίτευξης των στόχων.

Τέλος, σε αυτή τη φάση θα πρέπει ο αξιολογητής να διαµορφώσει και τα γενικά

κριτήρια, µε βάση τα οποία θα διατυπώσει στο τέλος τα συµπεράσµατά του. Όπως

χαρακτηριστικά επισηµαίνει ο Demunter (2001, σ. 36), τα κριτήρια είναι πολυάριθµα

και η επιλογή τους είναι συνάρτηση των στόχων του προγράµµατος, των επιδιώξεων

του φορέα υλοποίησης και της πολιτικής του φορέα χρηµατοδότησης Ενδεικτικά

ορισµένα από τα πιθανά κριτήρια είναι:

• η συνέπεια (υλοποίηση του προγράµµατος σύµφωνα µε τον προγραµµατισµό),

• η αποτελεσµατικότητα (διερεύνηση του βαθµού επίτευξης των στόχων του

προγράµµατος),

• η αποδοτικότητα (σύγκριση του κόστους του προγράµµατος µε άλλα

προγράµµατα που είχαν παρόµοια αποτελέσµατα),

• η καταλληλότητα (οι στόχοι του προγράµµατος ήταν επαρκείς σε σχέση µε το

πρόβληµα που αναµενόταν να επιλύσουν;),

• η συνάφεια (οι ενέργειες υλοποίησης ήταν συνεκτικές ή παρατηρήθηκε

αντίφαση µεταξύ τους;),

• η κατάλληλη οργάνωση (οι ενέργειες του προγράµµατος υλοποιήθηκαν την

κατάλληλη χρονική στιγµή;).

41

∆. Χρονοδιάγραµµα και προϋπολογισµός

Στο στάδιο αυτό είναι απαραίτητο να καθορίσουµε το ακριβές χρονοδιάγραµµα

αλλά και την ανάλυση του προϋπολογισµού της αξιολόγησης. Αν και πρόκειται

κυρίως για διοικητικής φύσεως παραµέτρους του σχεδιασµού, εντούτοις είναι

εξαιρετικά κρίσιµες για την επιτυχία της όλης διαδικασίας, αφού από τις

παραµέτρους αυτές επηρεάζονται: η συχνότητα και ο χρόνος συλλογής των

δεδοµένων, η ανάλυση και ερµηνεία τους, το προσωπικό που θα εµπλακεί στην

αξιολόγηση, ο χρόνος παράδοσης της έκθεσης αξιολόγησης, οι διαδικασίες που

απαιτούνται για την κοινοποίηση της έκθεσης στους αποδέκτες.

Η διαθεσιµότητα του προσωπικού που θα εµπλακεί στην αξιολόγηση, η

εναρµόνιση του χρονοδιαγράµµατος της αξιολόγησης µε τις προθεσµίες

ολοκλήρωσης του προγράµµατος και η ορθολογική κατανοµή του προϋπολογισµού

της αξιολόγησης στις επιµέρους ενέργειες, είναι ορισµένοι από τους παράγοντες που

θα πρέπει να λάβει υπόψη του ο αξιολογητής κατά το στάδιο του σχεδιασµού της

αξιολόγησης. Φυσικά, αρκετές φορές κατά τη διάρκεια της διεξαγωγής της

αξιολόγησης θα χρειαστεί να επανέλθουµε στα ζητήµατα που εξετάσαµε στο

προηγούµενο στάδιο, τροποποιώντας µάλιστα σε µερικές περιπτώσεις τον αρχικό

σχεδιασµό - ανάλογα µε τα προβλήµατα που ανακύπτουν κατά την υλοποίηση και

την αξιολόγηση του προγράµµατος.

42

ΕΕΝΝΟΟΤΤΗΗΤΤΑΑ 22..22

∆∆ΙΙΕΕΞΞΑΑΓΓΩΩΓΓΗΗ ΤΤΗΗΣΣ ΑΑΞΞΙΙΟΟΛΛΟΟΓΓΗΗΣΣΗΗΣΣ ΚΚΑΑΙΙ ΚΚΟΟΙΙΝΝΟΟΠΠΟΟΙΙΗΗΣΣΗΗ ΤΤΩΩΝΝ

ΑΑΠΠΟΟΤΤΕΕΛΛΕΕΣΣΜΜΑΑΤΤΩΩΝΝ

2.2.1. Αντικείµενα, άξονες και δείκτες αξιολόγησης

Στο σηµείο αυτό προσδιορίζουµε τι αξιολογούµε, πώς το αξιολογούµε και µε

βάση ποιες παραδοχές αποφαινόµαστε για την αξία του ή την ανταπόκριση στους

στόχους του προγράµµατος. Είναι σηµαντικό να καθοριστεί το γενικό πλαίσιο των

αντικειµένων, των αξόνων και των δεικτών κατά τη φάση του σχεδιασµού της

αξιολόγησης, όµως η εξειδίκευση και εφαρµογή τους είναι µέρος της διεξαγωγής της

αξιολόγησης.

Το περιεχόµενο των όρων αντικείµενο, άξονας και δείκτης αξιολόγησης είναι

σχετικό και ορίζεται κάθε φορά σε σχέση µε τον τύπο του αξιολογούµενου. Για

παράδειγµα, αξιολογώντας ένα πρόγραµµα εκπαίδευσης ενηλίκων ορισµένα από τα

αντικείµενα αξιολόγησης είναι:

• Οργανωτική και διοικητική υποστήριξη

• Χώροι και υποδοµή

• Συντονισµός

• Εποπτικά µέσα - εργαστηριακός εξοπλισµός

• Αναλυτικό περιεχόµενο – θεµατολογία

• Εκπαιδευτές

• Εκπαιδευόµενοι

• Προϋπολογισµός

• Εκπαιδευτικό υλικό

Για καθένα από τα αντικείµενα αξιολόγησης καθορίζουµε στη συνέχεια τους

επιµέρους άξονες στους οποίους αναφέρεται η αξιολόγηση. Έτσι, προκειµένου να

αξιολογήσουµε τους εκπαιδευτές του προγράµµατος, ορισµένοι από τους άξονες

είναι:

• Προετοιµασία του µαθήµατος

43

• Γνώση του αντικειµένου

• Σχέσεις µε τους εκπαιδευόµενους

• Χρήση συµµετοχικών µεθόδων και τεχνικών

• Συνεργασία µε το προσωπικό του οργανισµού

• Χρήση των εποπτικών µέσων και του εργαστηριακού εξοπλισµού

Αντίστοιχα, στην περίπτωση των εκπαιδευοµένων ορισµένοι από τους άξονες

είναι:

• Γνώσεις και δεξιότητες που απέκτησαν

• Συµµετοχή στο πρόγραµµα

• Συνεργασία µε τους υπόλοιπους συντελεστές του προγράµµατος

Τέλος, οι δείκτες (ποσοτικοί ή ποιοτικοί) αποτελούν τις παραµέτρους µε βάση τις

οποίες αξιολογούµε καθέναν από τους παραπάνω άξονες. Για παράδειγµα, ένας

δείκτης µε βάση τον οποίο µπορούµε να εκτιµήσουµε τη συµµετοχή των

εκπαιδευοµένων είναι ο µέσος όρος απουσιών ή ο αριθµός των εργασιών που

παρέδωσαν κατά τη διάρκεια του προγράµµατος.

Σηµειώνουµε, επίσης, ότι οι δείκτες διακρίνονται σε: σχετικούς (δηλαδή εκείνους

που συνεκτιµώνται µε τις υπόλοιπες παραµέτρους της αξιολόγησης, προκειµένου να

οδηγήσουν σε συµπεράσµατα) και σε απόλυτους (δηλαδή εκείνους που οδηγούν σε

άµεσες εκτιµήσεις).

Όπως µπορούµε να συµπεράνουµε µε βάση τα όσα αναφέρθηκαν, το σχήµα

<αντικείµενα – άξονες – δείκτες>, αποτελεί στην πραγµατικότητα µια ανάλυση του

αξιολογούµενου προγράµµατος σε όλους εκείνους τους συντελεστές και τους

παράγοντες που εµπλέκονται στην υλοποίηση, καθώς επίσης και σε εκείνες τις

παραµέτρους µε βάση τις οποίες µπορεί ο αξιολογητής να διατυπώσει τις κρίσεις του.

Όπως χαρακτηριστικά επισηµαίνει ο Scriven (1991, σ. 143), εκείνο που διακρίνει την

αξιολόγηση από τις άλλες εκδοχές της εφαρµοσµένης κοινωνικής έρευνας είναι το

γεγονός ότι προκειµένου ο αξιολογητής να διατυπώσει συµπεράσµατα θα πρέπει

44

προηγουµένως να έχει καθορίσει το είδος και τον τύπο των δεδοµένων που θα

συλλέξει, αλλά και τα κριτήρια και τα πρότυπα µε βάση τα οποία θα διατυπώσει τις

κρίσεις του.

Με βάση το σχήµα που προτείνεται εδώ, οι διαδικασίες αξιολόγησης µπορούν να

δοµηθούν κατά αναλυτικό τρόπο, µε γνώµονα τα λειτουργικά χαρακτηριστικά του

προγράµµατος. Πρόκειται για ένα πλέγµα αλληλοεξαρτώµενων παραγόντων,

συντελεστών και παραµέτρων που αποτελούν τον πυρήνα της διαδικασίας

αξιολόγησης. Αυτά τα τρία επίπεδα ανάλυσης απεικονίζονται και στο σχήµα 2.2:

Σχήµα 2.2

Αντικείµενα, άξονες και δείκτες αξιολόγησης

∆είκτης 1.1.1

∆είκτης 1.1.2

……………………

∆είκτης 1.1.ν

Άξονας 1.1

Άξονας 1.2

Άξονας 1.3

…………………

Άξονας 1.ν

ΑΞΙΟΛΟΓΟΥΜΕΝΟ

ΠΡΟΓΡΑΜΜΑ

Αντικείµενο 1

Αντικείµενο 2

Αντικείµενο 3

……………………

Αντικείµενο ν

45

Ωστόσο, εύλογο θα ήταν το ερώτηµα: µπορεί ο αξιολογητής ενός προγράµµατος

να έχει τη βεβαιότητα πως έχει συµπεριλάβει όλα τα πιθανά αντικείµενα και άξονες;

Η απάντηση είναι πως κάτι τέτοιο είναι εξαιρετικά δύσκολο. Οι αξιολογήσεις

προγραµµάτων είναι ανοικτές διαδικασίες, στις οποίες συχνά αναθεωρούµε τις

απόψεις µας. Ωστόσο, η συστηµατική ανάλυση του προγράµµατος, αλλά και η

εµπειρία του αξιολογητή µπορεί να συµβάλλει στην ανάπτυξη πληρέστερων

σχηµάτων αξιολόγησης – κάτι άλλωστε που συµβαίνει µε όλους τους ερευνητές και

σε όλες τις έρευνες.

Στο σηµείο αυτό, θα πρέπει να επισηµανθεί πως η ερµηνεία των αποτελεσµάτων

και η διατύπωση συµπερασµάτων, συνήθως δεν µπορεί να γίνει άµεσα µε βάση τους

δείκτες του σχήµατος 2.2. Έχουµε ήδη αναφέρει πως το σχήµα 2.2 συνιστά ένα

πλέγµα αλληλοεξαρτώµενων παραγόντων και εποµένως η όποια διατύπωση

συµπερασµάτων θα πρέπει να προκύπτει από την αλληλοσυσχέτιση δεικτών, αξόνων

και αντικειµένων.

2.2.2. Η κοινοποίηση των αποτελεσµάτων της αξιολόγησης

Σε αυτή την υποενότητα περιγράφονται κυρίως τα πρακτικά θέµατα που

σχετίζονται µε την κοινοποίηση των αποτελεσµάτων της αξιολόγησης. Συνήθως η

κοινοποίηση των αποτελεσµάτων της αξιολόγησης περιορίζεται στη συγγραφή της

έκθεσης αξιολόγησης και την αποστολή της στο φορέα που έχει αναθέσει την

αξιολόγηση. Εδώ το έχουµε περιλάβει ως ξεχωριστό στάδιο, προκειµένου να

υπογραµµιστεί πως βασικός στόχος κάθε διαδικασίας αξιολόγησης είναι η

πληροφόρηση των ενδιαφεροµένων φορέων ή φυσικών προσώπων σχετικά µε την

υλοποίηση και τα αποτελέσµατα ενός προγράµµατος ή µιας παρέµβασης.

Α. Επιλογή αποδεκτών

Κατά την ανάλυση του σχεδιασµού της αξιολόγησης αναφερθήκαµε στους

αποδέκτες της αξιολόγησης. Στους αποδέκτες της αξιολόγησης του προγράµµατος

περιλαµβάνονται:

• φορείς χρηµατοδότησης και ανάθεσης προγραµµάτων,

• οργανισµοί κατάρτισης,

46

• συµµετέχοντες στο πρόγραµµα (εκπαιδευόµενοι, εκπαιδευτές, προσωπικό του

οργανισµού),

• άµεσα ή έµµεσα επωφελούµενοι από την υλοποίηση του προγράµµατος.

Β. Συγγραφή έκθεσης αξιολόγησης

Η έκθεση αξιολόγησης ενός προγράµµατος δεν είναι απλώς ένα τεχνικό κείµενο

που απευθύνεται στους φορείς υλοποίησης, ανάθεσης και χρηµατοδότησης, αλλά έχει

ως βασικό στόχο την κοινοποίηση των αποτελεσµάτων του προγράµµατος, καθώς

επίσης και των συµπερασµάτων και των προτάσεων που προέκυψαν από την

αξιολόγηση, σε όλους τους ενδιαφερόµενους φορείς και φυσικά πρόσωπα.

Στη συνέχεια παρατίθενται ορισµένες πρακτικές οδηγίες για τη συγγραφή της

τελικής έκθεσης αξιολόγησης, καθώς επίσης και προτάσεις σχετικά µε τα

περιεχόµενά της (τα οποία όµως πιθανόν να διαφοροποιούνται κατά περίπτωση,

ανάλογα µε τον τύπο του προγράµµατος ή τις απαιτήσεις του φορέα ανάθεσης της

αξιολόγησης).

Σύνοψη

Περιληπτική αναφορά στο πρόγραµµα και τους βασικούς στόχους του, στο σκοπό

και τη διαδικασία αξιολόγησης και στα βασικά συµπεράσµατα.

Η σύνοψη απευθύνεται κυρίως σε εκείνους που δεν πρόκειται να µελετήσουν

αναλυτικά την υπόλοιπη έκθεση και εποµένως θα πρέπει να είναι πλήρης και να δίνει

µια γενική εικόνα της διαδικασίας αξιολόγησης και των βασικών συµπερασµάτων

που προέκυψαν.

Περιγραφή του προγράµµατος

Σκοπός και στόχοι του προγράµµατος, τόπος και χρόνος υλοποίησης,

συµµετέχοντες, φορείς ανάθεσης και χρηµατοδότησης, προϋπολογισµός και

χρονοδιάγραµµα.

47

Περιγραφή της διαδικασίας αξιολόγησης

Σκοπός και στόχοι της αξιολόγησης, επιλογή τύπου και µοντέλου, περιγραφή του

σχήµατος αξιολόγησης, αντικείµενα-άξονες και δείκτες, σχεδιασµός, µέθοδοι και

τεχνικές, ερευνητικά εργαλεία.

Παρουσίαση των δεδοµένων

Παρουσίαση των δεδοµένων (πίνακες, διαγράµµατα, αποµαγνητοφωνηµένες

συνεντεύξεις), ανάλυση και ερµηνεία των δεδοµένων.

Συµπεράσµατα

Περιγραφή και αποτίµηση των προϊόντων και των αποτελεσµάτων του

προγράµµατος, παρουσίαση των συµπερασµάτων και προτάσεις σχετικά µε τη

συνέχιση του προγράµµατος ή τη βελτίωση άλλων παρόµοιων µελλοντικών

προγραµµάτων.

Γ. Κοινοποίηση των αποτελεσµάτων στους αποδέκτες

Εκτός από την έκθεση αξιολόγησης µπορεί να έχουµε και άλλες µορφές

κοινοποίησης των αποτελεσµάτων της αξιολόγησης, ιδιαίτερα µάλιστα στην

περίπτωση της διαµορφωτικής αξιολόγησης. Σηµειώνουµε, ότι στη διαµορφωτική

αξιολόγηση η κοινοποίηση των αποτελεσµάτων είναι συνεχής και διατρέχει όλες τις

φάσεις υλοποίησης του προγράµµατος. Όπως είναι φυσικό αυτή η κοινοποίηση δεν

περιορίζεται στη γραπτή διατύπωση συµπερασµάτων, αλλά µπορεί να έχει το

χαρακτήρα προφορικής επικοινωνίας (πολλές φορές άτυπης) µε τις διάφορες οµάδες

εµπλεκοµένων στο πρόγραµµα ή να έχει τη µορφή ανεπίσηµων εσωτερικών

κειµένων. Η µορφή κοινοποίησης των αποτελεσµάτων της διαµορφωτικής

αξιολόγησης εξαρτάται σε µεγάλο βαθµό από το µηχανισµό ανατροφοδότησης που

έχει επιλεγεί, προκειµένου τα προβλήµατα που προκύπτουν να αναλύονται και να

οδηγούν στην ανάληψη διορθωτικών παρεµβάσεων.

Για αρκετές κατηγορίες αποδεκτών η έκθεση αξιολόγησης δεν έχει µεγάλη

χρηστική αξία, καθώς δεν είναι σε θέση να ερµηνεύσουν τα όσα περιλαµβάνονται σε

αυτήν. Στις περιπτώσεις αυτές η σύνοψη της έκθεσης, που δεν θα δίνει µεγάλη

βαρύτητα σε τεχνικούς όρους, έχει ως αποτέλεσµα να επιτύχουµε το βασικό στόχο

που είναι η δηµοσιοποίηση των συµπερασµάτων και των προτάσεων που προέκυψαν

48

κατά την αξιολόγηση του προγράµµατος σε όσο το δυνατόν περισσότερους

ενδιαφερόµενους φορείς, οργανισµούς και φυσικά πρόσωπα.

Στον πίνακα που ακολουθεί παρατίθενται οι πιθανοί τρόποι κοινοποίησης των

αποτελεσµάτων από προγράµµατα και κοινωνικές παρεµβάσεις, όπως διατυπώνονται

σε κείµενο της Ευρωπαϊκής Επιτροπής10:

Πίνακας 2.1

Τρόποι κοινοποίησης των αποτελεσµάτων της αξιολόγησης

Συναντήσεις

Ανεπίσηµες

Εκθέσεις

Εµπιστευτικά

Έγγραφα

Έκθεση

αξιολόγησης

Σύνοψη

της έκθεσης

Παρουσιάσεις

Ενηµερωτικά

φυλλάδια

Συνέντευξη

τύπου

Φορέας χρηµατοδότησης

Στελέχη του φορέα

Ευρωπαϊκές, εθνικές,

περιφερειακές και

τοπικές αρχές

Πολίτες και ΜΜΕ

10 Προσαρµογή από European Commission, 1999, σ.162.

49

ΒΙΒΛΙΟΓΡΑΦΙΑ

ΕΛΛΗΝΟΓΛΩΣΣΗ

Βεργίδης, ∆., & Καραλής Θ. (1999). Εκπαίδευση Ενηλίκων: Σχεδιασµός,

οργάνωση και αξιολόγηση προγραµµάτων. Πάτρα: Ελληνικό Ανοικτό Πανεπιστήµιο.

Demunter, P. (2001). Η αξιολόγηση: θεωρητική και πρακτική προσέγγιση. Στο Γ.

Μπαγάκης (επιµ.) Αξιολόγηση εκπαιδευτικών προγραµµάτων και σχολείου (σσ.23-39).

Αθήνα: Μεταίχµιο.

Faulkner, D., Swann, J., Baker, S., Bird, M., & Carty, J. (1999). Εξέλιξη του

παιδιού στο κοινωνικό περιβάλλον: Εγχειρίδιο Μελέτης (µτφ. Α. Ραυτοπούλου).

Πάτρα: Ελληνικό Ανοικτό Πανεπιστήµιο.

Ευρωπαϊκή Επιτροπή (1997). Κοινοτική Πρωτοβουλία «Απασχόληση» - Οδηγός για

την εσωτερική αξιολόγηση για τους φορείς υλοποίησης των σχεδίων. Βρυξέλλες:

Ευρωπαϊκή Επιτροπή.

Καραλής, Θ. (2001). Μεθοδολογικές προσεγγίσεις στην αξιολόγηση

εκπαιδευτικών προγραµµάτων: η περίπτωση του προγράµµατος εκπάιδευσης

εκπαιδευτών ΠΛΑΤΩΝ. Στο Γ. Μπαγάκης (επιµ.) Αξιολόγηση εκπαιδευτικών

προγραµµάτων και σχολείου (σσ.290-300). Αθήνα: Μεταίχµιο.

Καραλής, Θ. (2003). Συµµετοχικές προσεγγίσεις στην αξιολόγηση προγραµµάτων

εκπαίδευσης ενηλίκων. Στο ∆. Βεργίδης (επιµ.), Εκπαίδευση Ενηλίκων: συµβολή στην

εξειδίκευση στελεχών και εκπαιδευτών (σσ. 255-285). Αθήνα: Ελληνικά Γράµµατα.

Καραλής, Θ. (2005). Εκπαίδευση Ενηλίκων: Σχεδιασµός Προγραµµάτων. Πάτρα:

Ελληνικό Ανοικτό Πανεπιστήµιο.

Κουτούζης, Μ., Χατζηεστραυτίου, Ι. (1999). ∆ιοίκηση εκπαιδευτικών µονάδων:

Κοινωνική και ευρωπαϊκή διάσταση της εκπαιδευτικής διοίκησης. Πάτρα: Ελληνικό

Ανοικτό Πανεπιστήµιο.

Μαυρογιώργος, Γ. (2003). Αξιολόγηση του εκπαιδευτικού έργου. Στο Α. Κόκκος

(επιµ.), ∆ιδακτικό υλικό του Εθνικού Προγράµµατος Εκπαίδευσης Εκπαιδευτών.

Αθήνα: Υπουργείο Εργασίας.

Μπαγάκης, Γ. (2003). Η συµβολή της έρευνας-δράσης στην εκπαίδευση ενηλίκων.

Στο ∆. Βεργίδης (επιµ.), Εκπαίδευση Ενηλίκων: συµβολή στην εξειδίκευση στελεχών

και εκπαιδευτών (σσ. 225-231). Αθήνα: Ελληνικά Γράµµατα.

50

Noye, D., & Piveteau, J. (1999). Πρακτικός οδηγός του εκπαιδευτή (µτφ. Ε. Ζέη).

Αθήνα: Μεταίχµιο.

Rogers, A., (1999). Η Εκπαίδευση Ενηλίκων (µτφ. Μ. Παπαδοπούλου & Μ.

Τόµπρου). Αθήνα: Μεταίχµιο.

ΞΕΝΟΓΛΩΣΣΗ

European Commission (1999). Evaluating socio-economic programmes (v.1).

Brussels: European Commission.

Fetterman D. M. (1994). Steps of Empowerment Evaluation: From California to

Cape Town. Evaluation and Program Planning, 17(3), pp. 305-313.

Fetterman, D. M. (1996). Empowerment Evaluation: An Introduction to Theory

and Practice. In D. M. Fetterman, S. J. Kaftarian, & A. Wandersman (eds.),

Empowerment Evaluation: Knowledge and Tools for Self-Assessment &

Accountability (pp. 3-46). California: Sage Publications.

Kirkpatrick, D. L. (1994). Evaluating training programs: the four levels.

California: Berrett-Koehler Publishers.

Mezirow, J. (1991). Transformative dimensions of adult learning. California:

Jossey-Bass Publishers.

Rae, L. (1994). Assessing Trainer Effectiveness. Vermont: Gower.

Scriven, M. S. (1991). Evaluation Thesaurus (4th ed.). California: Sage

Publications.