評鑑報告與結果運用曾淑惠

國立台北科技大學技術及職業教育研究所

2001/3/25 台北科大 技職所 曾淑惠 2

目 錄• 評鑑報告

– 性質– 接受者– 目的– 應備要件– 內容架構– 處理方式– 各國高等教育評鑑處理方式比較– 評鑑報告處理的原則– 溝通

• 結果運用– 意義– 用途– 影響結果運用的因素– 各國高等教育評鑑結果運用比較– 評鑑結果運用注意事項

2001/3/25 台北科大 技職所 曾淑惠 3

評鑑報告的性質 一、公信力 五、完整性 二、民主化 六、描述性 三、時宜性 七、廣布性 四、客觀性 八、清晰性

2001/3/25 台北科大 技職所 曾淑惠 4

評鑑報告的接受者• 對評鑑有興趣的個人或團體

– 評鑑參與者– 受評主體全體工作人員– 受評主體財務提供單位– 受到受評主體運作影響的人員– 研究者、學術界、評鑑團體等外部人員– 其他

2001/3/25 台北科大 技職所 曾淑惠 5

評鑑報告的接受者需清楚定義

被忽略的觀眾可能變得易怒，而發生無法預期的事；想要獲得資訊來作決策而得不到訊息的觀眾，可能會在忽略某些生死攸關的重要訊息下進行決策

2001/3/25 台北科大 技職所 曾淑惠 6

評鑑報告的目的• 展示績效• 使人信服• 提供教育資訊• 展示探索與調查成果• 資訊文件化• 擴大參與• 獲得支持

• 促進瞭解• 促進公共關係

2001/3/25 台北科大 技職所 曾淑惠 7

評鑑報告應具備要件包含正負面的結果採取適當的呈現型式明白呈現評鑑 者自身的價值觀或偏見清晰一致、具整體性指出評鑑的限制所在及使用的要點分發給有關人員，獲取回饋

2001/3/25 台北科大 技職所 曾淑惠 8

評鑑報告的內容架構• 量化的：

– 分數– 等第– 其他統計數據

質化的：– 特色或一般概況陳述– 優、缺點– 建議改進事項

2001/3/25 台北科大 技職所 曾淑惠 9

評鑑報告的內容架構 ( 續 )• 綜合報告• 分項報告

• 評鑑概要• 評鑑人員的共同反應• 受評鑑者的回應與處理• 具體結論與建議 • 日期與簽名

2001/3/25 台北科大 技職所 曾淑惠 10

評鑑報告的內容架構 ( 續 )• 執行結論• 前言• 評鑑的焦點• 評鑑的計畫與程序• 評鑑結果的呈現• 結論與建議

• 對少數族群的報告與答辨• 附錄

Worthen& Sanders, 1987

報告中要適時展現對評鑑脈絡的洞察力

2001/3/25 台北科大 技職所 曾淑惠 11

評鑑報告的處理方式• 封閉式評鑑：受評主體無法查閱評鑑報告或評鑑等級及意見。

• 開放式評鑑：受評主體可以看到評鑑報告或評鑑等級及意見。

注意評鑑報告所有權的問題

2001/3/25 台北科大 技職所 曾淑惠 12

評鑑報告的各種處理方式•完全對外公佈

– 優點：• 滿足社會大眾「知」的權利• 符合績效責任與強迫其改進之雙重要求機制

– 缺點：• 影響受評機構與評鑑小組開放討論的機會

2001/3/25 台北科大 技職所 曾淑惠 13

評鑑報告的各種處理方式 ( 續 )

•不對外公佈– 優點：可協助機構達到自我改進的目的– 缺點：無法滿足社會大眾「知」的權利

•選擇性公佈– 詳細報告予受評機構，對外則報告大要

• 優點：評鑑小組可取信於受評機構，提高訪談層級• 缺點：無法滿足外部使用者並引起懷疑

2001/3/25 台北科大 技職所 曾淑惠 14

評鑑報告的各種處理方式 ( 續 )•選擇性公佈 (續 )

– 詳細報告予受評機構，由其自行決定是否公布• 優點：符合民主精神• 缺點：表現不好之受評機構不會公佈其評鑑結果

2001/3/25 台北科大 技職所 曾淑惠 15

各國高等教育評鑑報告的處理方式比較 國家評鑑報告處理方式

我 國美 國英 國

法 國荷 蘭芬 蘭丹 麥

大陸地區香 港

日 本韓 國印 度智 利墨西哥

完全對外公佈 V V V V 資料從缺

V V 資料從缺資料從缺

V不對外公佈 V選擇性公佈 V V V V V V是否排等第 V V V V

2001/3/25 台北科大 技職所 曾淑惠 16

評鑑報告處理的原則一、撰寫原則：必須使用對社會大眾公平 或平衡反應的名詞二、指引： 1. 簡單且清楚的報告 2. 公平且廣泛的報告 3. 判斷資訊來源並給感謝 4. 充分反應評鑑人員的發現 5. 勿違反報告的整體性

2001/3/25 台北科大 技職所 曾淑惠 17

評鑑報告的溝通• 正式的程度 (視評鑑的本質與意圖而定 )

– 正式溝通 (總結性評鑑常採之 )– 非正式溝通 (形成性評鑑常採之 )

• 溝通的廣度– 沒有一定的依循標準

• 有效的溝通– 三要素：語言、內容與組織、資訊的視覺呈現

2001/3/25 台北科大 技職所 曾淑惠 18

評鑑結果運用的意義 又稱評鑑利用（黃政傑，民 89），係指將評鑑結果運用於與方案、問題有關之決定，而不是指新聞界或學術界的運用。

2001/3/25 台北科大 技職所 曾淑惠 19

評鑑結果的用途• 做為工具用

– 決策者要做為方案的終止或延續時，而以評鑑報告的發現為依據

• 做為概念用– 評鑑報告並未做為決策依據，但確實影響決策者對問題的思考

•做為說服用–評鑑報告只被用來支持特定的立場，以避免他人攻擊

2001/3/25 台北科大 技職所 曾淑惠 20

各國對評鑑結果運用之比較 國家評鑑報告之運用

我 國美 國英 國

法 國荷 蘭芬 蘭丹 麥

大陸地區香 港

日 本韓 國印 度智 利墨西哥

作為各校改進之依據 V V V V V V V V V V V V V V作為經費分配（補助）之參考或依據 V V V V V V V作為認可之依據 V V V V V V V V作為學生選校系之參考 V V V作為設置新學位課程之依據 V V V

2001/3/25 台北科大 技職所 曾淑惠 21

影響評鑑結果運用的因素 一、評鑑者角色的問題 二、方法上的缺點 三、評鑑發現與所作決定無關 四、缺乏行動建議 五、資料處理和報告型式不當 六、澆冷水的效應 七、缺乏推廣管道 八、不具公信力 九、缺乏使用者的參與和提倡 十、組織的惰性

2001/3/25 台北科大 技職所 曾淑惠 22

評鑑結果運用注意事項 讓使用者參與評鑑 改進評鑑方法，提升公信力 建立評鑑推廣管道 評鑑者應即時且不斷地提供資料回饋 澄清目標，指出評鑑目的和用途 評鑑報告應依限完成 參照使用者能力來撰寫評鑑報告 召開討論會，使評鑑和行動結合 不過度運用評鑑結果