一、评价的概念1. 评价的概念—— 衡量人物与事物的价值。—— “ 决定事物、产品或过程的优点和价值的过程。”

评价的本质：判断事物的优点和价值。

第四章 计算机辅助教育的评价

2. 评价的分类（什么时候进行、目的是什么、评价标准）—— 形成型评价—— 总结型评价

3. 计算机辅助教育评价 —— 是衡量和估计计算机辅助教育的活动过程或者说计算机辅助教育系统产品（如课件产品等）的教育价值的过程。 教育应用价值是由它们帮助实现教育作用的程度和水平反映出来。

4. 教育评价的常用方式—— 实验研究方式—— 专家评价方式

5. 计算机辅助教育评价的作用帮助决策；促进推广应用；进一步提高产品质量。

6. 计算机辅助教育评价的趋势 面向决策的评价 面向价值的评价 自然评价 面向系统的评价

二、评价方法1. 评价的模型评价的模型

是一种过程框架——规划评价的步骤和计划：包括如何确定目标，如何将其划分阶段，找到评价的最佳途径的步骤等。

评价模型的作用：—— 对于受过训练的评价人员—— 对于评价组织者

评价模型的类型： 帕罗乌斯的差异模型 斯塔夫勒宾的 CIPP 模型 我国的三级评价模型

计算机辅助教育评价工作是一个系统过程，不论运用什么模型，都包含有收集信息、分析处理信息、判断及报告等阶段。

2. 信息收集的方法从开发者处收集信息从试验运行收集信息从现场教学收集信息

观察记录法联机结果记录法

教学活动后收集信息调查法测试法

3. 信息处理的方法非数据类型信息的处理

处理办法是归纳整理列出一系列清单：文档资料清单、必须改正的错误清单、修改建议清单、应用建议清单等。这些都是修改应用计算机辅助教育系统的重要信息。分类保管，以利于查询。

数据类型信息的处理

处理核查录入数据整理

最简单的处理方法：加权累计记分法

第 j 个观察人员的综合评价

评价小组的综合评价

4. 评价信息的报告

（报告对象、报告内容、信息组成）

—— 形成型评价

—— 总结型评价

三、评价内容与标准1. 评价内容体系 如何把笼统的教育价值细分为一系列可以观察或测量的，便于处理、判断的信息分量，从而使评价人员可以从各个方面来观察、衡量教育价值，并以此为依据得出综合判断。 这种对于计算机辅助教育系统的教育价值的结构化就是评价内容体系评价内容体系。

2. 评价内容体系建立的基本原则

——完备性、合理性和可操作性等。

3. 建立评价内容体系的方法—— 调查综合法和系统分析法。

调查综合法 : 自底向上的体系建立方法

系统分析法 :自顶向下的体系建立方法

4. 标准与权值的讨论

标准——用何种度量方式来测定各项目的价值

权值——采用自顶向下的系统分析方法

5. 评价内容面面观： 评价标准按照 CAI 课件的内容特性、教学特性和技术特性等三方面来衡量。

内容特性 内容特性包括科学性、教育性和适当性，即看内容是否准确反映客观规律和符合科学原理；内容对于教育对象来说是否具有较高的教育价值；内容是否符合社会道德法律、伦理规范。

教学特性

指是否有明确的教学目标；是否达到预定的教学目标；教学思路是否清晰合乎逻辑；难度是否适当；是否能激起学生学习动力；是否能激发学生创造性思维；是否能提供有针对性的即时反馈；学生是否控制学习的主动权；是否和学生原有知识基础相结合（教学的继承性）；是否有助于进一步的学习（学习的迁移性）。

技术特性

信息显示有效性，即信息显示的格式和位置安排是否得当，图形、色彩、声音的运用是否服从于教学的需要。发挥计算机特点，即是否充分应用了计算机的有关功能；使用的方便性，即学生和教师是否毫无困难地进行操作使用；程序的可靠性，即不因为学生误操作而产生不可恢复的中断；后援资料的充分性，即使用说明、学习指导手册等应完备，简单明了而有效。

6. 一些有代表性的评价体系 美国数学教师协会软件评审表我国的中小学教育软件评审标准

1993年国家教委制定了《中小学教学软件审查标准及其说明》

1999 年教育部颁发 CD-ROM教育软件评审指标体系

按照 CAI 课件的教育性、科学性、技术性、艺术性和使用性五个方面来衡量。

教育性：指选题恰当，适应教学对象的需要；突出重点，分散难点，深入浅出，易于接受；注意启发，促进思维，培养能力；作业典型，例题、练习份量适当，善于引导。

科学性：内容正确，逻辑严密，层次清楚；模拟仿真形象举例贴切、准确真实；场景设置、素材选取、名词术语、操作示范符合有关规定。

技术性：图象、动画、声音、文字设计合理；画面清晰，动画连续，色彩逼真，文字醒目；声音清晰，音量适当，快慢适中；交互设计合理，智能性好。

艺术性：媒体多样，选用适当，设置恰当，创意新颖，构思巧妙，节奏合理；画面悦目，声音悦耳。

使用性：界面友好，操作简单、灵活；容错能力强；文档资料齐备。

四、评价实施 课件评价实施包括组织培训评价人员，评价实施过程，写出评价报告。

评价计划组 人员计划安排选拔人员培训组织外界联系

计划人员行政人员

课件管理组 人员登录、筛选、分类、保管、评后综合、分析、信息发布准备

软件管理人员统计分析人员初评人员

课件评审组 人员各学科课件评审

评价专家（可以是兼职人员）

评价人员的选择

形成型评价流程

系统需要分析

系统设计

系统实现

分析评价

设计评价

实现评价

开

发

过

程

评

价

过

程

筛 选 停 止

准备文件（描述）

设置学生情况

试用与观察

归纳与记录

综合评价

所有情况完了？

登录准备

信息采集

报告 总结型评价实施流程

未完

完

不合格

初步合格

目前仍未出台广泛认可的网上学习评价标准。 “ 提供网上课程评判标准的将是私人机构而非政府部门。”

几个比较成熟的评价标准在线学习的认证标准（ E-Learning Certification Standards)虚拟学习环境的教育评价框架（ A Framework for Pedagogical Evaluation of Virtual Learning Enviroments）在线学习质量（ Quality of the Line）

一、计算机辅助学校行政管理

计算机辅助学校行政管理（ Computer Managed Education Administration,CMEA）是一个以计算机为工具，对学校管理信息进行全面管理的人机系统，能准确、及时地反映学校各项工作的当前状态，利用过去的数据预测未来，能从全局出发辅助学校各职能部门以及校长管理学校。

第五章 计算机辅助教育管理

1.CMEA的功能建立数据库处理数据

2.CMEA的应用范围 学生档案管理 教职工档案管理 教务管理 学校资源管理 财务管理 人事组织管理

3.CMEA的系统构成

相对应应用范围的六个子系统，共同使用三个数据库：学生数据库、财务数据库和教职工数据库。

二、计算机辅助教学管理

计算机管理教学（ Computer Managed Instruction ， CMI ）是计算机管理信息系统在教学中的应用，即利用计算机管理和指导教学的全过程。 CMI 不是直接向学生传递教学信息，而是观察、检测和分析学生在学习过程中的行为表现，从而影响向学生传递信息的方式和内容。

CMI 是利用计算机管理信息系统来支持各类教学管理职能，它主要为教师服务，能帮助教师监控、评价和指导学生的学习过程，并为教师及时地提供教学分析报告，也能代为决策。此外还能为学生提供学习咨询信息。

1.CMI 的兴起 CAI 的个别化教学 教学行为的目标性 教学方式的多样性

—— 要求教师同时也是教学管理员

2.CMI 的开发与应用 作为 CAI 的支持系统而构成于 CBE系统中 用于传统的课堂教学信息的管理——“反应分析器” 在考试测评方面的应用—— CAT 应用于虚拟课堂、开放大学、远程教育和成人教育等领域

CMICMI 系统的模型系统的模型

3.CMI 的功能结构1 ）教学活动和教学信息的采集、记录与处理 教学活动是指师生在各种形式下的共同活动。在教学活动过程中，必然地需要各种教学信息，同时也会产生各种教学信息。 教学信息可分为：静态信息和动态信息。

2 ）教学目标库、教材库、教学资源库、题目库 这些库可统称为教学库，是师生进行教学活动的主要知识基础和支撑者。 教学目标库：有对各课程的基本教学目的和要求，教学大纲及其说明，以及教学指导书等。教学目标库还可随时输入某些特定的教学要求。 教材库：有各课程的教材和教学参考材料等，包括印刷文字教材和非印刷声像教材， CAI 课件等。 教学资源库：有教师基本情况，学生名单及其学习历史情况，教室与实验室使用情况以及教学媒体的配置情况等。 题目库：有各课程的大量测验考试与学习作业题目。

3 ）测验生成、测验评分和成绩分析。 根据教学考核的要求，从题目库中按一定规则选取适度的题目组成一次测验，可联机测试，可试卷测试，计算机系统自动评分。根据学生的测试成绩，可对教与学进行各种分析，既可对全班学生成绩作总体分析，也可对学生进行个别化分析。同样对测验题也可进行总体与个别分析。能向参与教学过程的各类人员提供多项报告。 报告可分三个管理级别：第一级是教学单元管理级，第二级是课程管理级，第三级是教学计划管理。

4 ）诊断和处方。 为了确定学生的学习进程是否朝着预定的教学目标前进，必须进行学习诊断。 诊断分为：表征性诊断与因理性诊断。 表征性诊断是根据学生的测试成绩，不需参考学习历史。因理性诊断是当学生在当前单元的学习遭到失败时，为了确定造成失败的原因和寻求适当的补救办法，这种诊断要充分利用学习历史。 处方则是根据诊断的结果为学生指派适当的学习任务。按其性质可分为前进处方和补救处方。

5）调度、控制与通信问题。 根据教学目标要求，并参考教学资源的配备情况可对教学活动进行调度安排，必要时可给出一份课程表，在教学进行过程中，系统还可参照诊断处方情况对教学活动安排给予及时的适当修改与补充，形成一个闭环控制系统，使教学活动过程能始终处于较好的状态，朝着预定的教学目标前进。 在 CMI 系统中，提供“信箱”的功能，允许教师，学生，和教学管理人员之间相互通信，以保证 CMI功能正常。

CMI软件方块图

CMI硬件框架图

4.CMI 的三个典型应用1 ）教学监控系统 教学监控系统是一种对学生个别化学习活动进行检测、控制与管理、引导和评价，同时也为教师提供各种报告和服务的 CMI 系统。

教学监控系统的功能（ 1 ）能对学生的个别化学习活动进行系统的控制与管理（ 2 ）能跟踪学生的学习行为并记录相应的学习数据（ 3 ）能根据学生的学习记录诊断学生的学习情况并给出学习处方（ 4 ）能为教师提供报告和各种服务

教学监控系统的控制结构（ 1 ）与 CAI相结合的教学监控系统（ 2 ）辅助教师监控教学过程的教学监控系统

进入

选择课程内容

评价与建议

选择学习单元知识

评价学习处方

完成课程学习保存学习信息

记录学习轨迹和人机交互信息

预测试

后测试

退出

通过

未通过

通过未通过

教学监控系统的信息收集及处理（ 1 ）问题应答（ 2 ）教学内容（ 3 ）教学目标及其实现

教学监控系统的检测方式（ 1 ）检测学生测验的答对率（ 2 ）检测学生犯某类错误的频率

2 ）课堂教学信息处理系统 课堂教学信息处理系统（ Classroom Instruction Information Process system， CIIPS）是一种能自动采集、处理和分析课堂教学中学生反应数据的实时处理系统。

CIIPS的基本结构CIIPS的硬件组成

CIIPS的软件结构

CIIPS的工作过程

CIIPS的处理分析*反应曲线：显示对问题反应的学生人数在时间上的积累分布情况，能够为教师提供有关全班学生当前学习状况的重要信息。二维矩阵（ ti， ri）

*S-P表分析：利用学生的问题得分表进行教学情况分析的一种信息处理方法。使用这种方法既可评价学生个体的学习状况，又能对班级整体的学习倾向及整个问题的妥当程度作出衡量。

学生－问题的得分矩阵。S-P表的形成S-P表的性质S-P表的分析

SP表处理规则：1. 将学生顺序从上到下按得分递减排列。2. 将问题顺序从左到右按答对次数递减排列。3. 如果几个学生总得分相同，则把每一个学生答错的各题被其他学生答对的次数求和，和小的排在上面。4. 如果几个问题答对次数相同，则求出每一个问题答错的学生，他们的得分和，和小的这个问题排在左面。5. 作 S线，对每一个学生画竖线段，竖线段左边的问题数目等于相应学生的得分，然后用横线连接。6. 作 P线，对每一个问题画横线段，横线上方的学生数为答对该问题的次数，然后用竖线连接。学生—问题得分矩阵，经上述处理后，称 S-P表。

例如： S1 、 S6 、 S13 、 S14 这四位学生总得分都是 5 分。

S1 答错题是 P1 、 P4 、 P5 、 P6 、 P8 ， 它们被答对的次数和为 8+9+6+7+4=34

S6 答错题是 P3 、 P6 、 P7 、 P8 、 P9 ， 它们被答对的次数和为 11+7+10+4+8=40

S13 答错题是 P1 、 P5 、 P7 、 P9 、 P10 ，它们被答对的次数和为 8+6+10+8+5=37

S14 答错题是 P6 、 P7 、 P8 、 P9 、 P10 ，它们被答对的次数和为 6+7+4+8+5=30

则从上到下排列为 S14 、 S1 、 S13 、 S6

例如： P1 和 P9 这两个问题答对次数都是 8 。

P1 答错的学生是 S1 、 S2 、 S3 、 S9 、 S10 、 S12 、S13 ，

这些学生总的得分之和是 5+6+3+8+6+1+5=34 。

P9 答错的学生是 S6 、 S8 、 S11 、 S12 、 S13 、 S14 、S15 ，

这些学生总的得分之和是 5+2+4+1+5+5+4=26 。

则从左到右排列为 P9 、 P1 。

S-P表的性质

① 由于学生的得分总和与问题答对次数的总和是相等的，所以 S线左方的面积与 P线上方的面积相等。

② S线既是学生得分曲线，也可以看作是按得分累积的人数曲线。 P线是对各问题正确回答数的累积分布曲线。

③S线与 P线总是相交的，而且若不重合，则P线的左端总是在 S 线的上方， P线的右端总是在 S线的下方。

④S 线与 P线之间的面积称作两线的离差。离差的大小反映了学生对问题的回答情况与问题难易之间的关系，越小说明学生对问题的回答情况与问题难易之间的关系正常，如果 S线与 P线重合，说明全体学生的学习状态是绝对稳定的。

S-P表的分析

整体性分析：

学生与问题之间的差别分析—— 断层学生回答情况与问题难度之间的均匀程度分析——离差

断层是指两线中间的直线部分。

离差是 S线与 P线之间的面积。

个体性分析：

对学生的学习状况作出评价—— 学生的警告系数对问题的妥当程度作出估计——问题的警告系数

对问题警告系数的计算公式为 ：

对学生警告系数的计算公式为 ：

3 ）计算机辅助测验

计算机辅助测验（ Computer-Assisted Testing， CAT）是计算机在测验及其评价中的应用。

完整的 CAT系统题库系统

CAT 系统的功能

帮助教师或教学管理人员进行测验设计与生成考卷在一定条件下实施测验进行测验分析、管理成绩与提供报告

一个完整的 CAT 功能模块图

题库系统

题库是 CAT系统各种功能有效实现的基础，因此，对于 CAT系统的设计开发来说，题库的建立是关键。

题库系统是支持题库建立和对题库进行有效管理的计算机软件。

题库建设中使用的两种测量理论题库系统的基本构成题库结构设计组卷策略设计

题库建设中使用的测量理论有两种： 经典测量理论 (CTT： Classical Test Theory)

项目反应理论 (IRT： Item Response Theory)

两种理论的核心部分是数学模型，它们是基于不同的假设提出的。经典测量理论采用的是线性的确定性模型；项目反应理论采用的是非线性的概率模型。

经典测量理论 (CTT)

经典测量理论通过项目分析和整体分析来鉴定测验试题的质量和衡量测验的有效性和可靠性。

(1) 项目分析：项目分析是对考试中的每一试题进行分析。

学业成绩考试可以用来衡量学生的实际水平，也可以用于衡量学生的相对水平。当用作衡量学生的相对水平时，对测验所做的项目分析一般包括难度分析、区分度分析和迷惑答案的有效性分析等。

难度分析 难度是衡量测验试题难易水平的数量指标 。

采用 (0， 1)记分法，即答对 1题记 1 分，答错时记 0分 ,式中 Pj表示第 j题的难度， Cj 为答对第 j题的人数 ,n为考生数。

由上面的式子可知， Pj取值范围为 0≤Pj≤1 。 Pj=1 时表明无一人做对该题，该题难度大； Pj=0时表明每个考生都做对了该题，该题难度小。

在组成试卷时，应尽量使试卷题目的平均难度接近0.5，同时要使试题的难度有一个较合理的分布。

区分度分析 区分度是衡量测试题对不同水平被试者区分程度的指标。计算区分度的方法常用的是两端分组法，即：先将考生的总成绩从高分到低分排列，然后从中划出一个高分组 (H组 )和一个低分组 (L组 )，二组人数相等，并分别统计两组对某题 j 的答对人数。设各组人数为 n， RH 和 RL 分别为高分组和低分组答对第 j题的人数，则该题的区分度 D按下式计算：

D的取值在 -1 和 +1之间， D>0 且 D值越接近 +1 ，题目的区分能力越强。一般认为， D在 0 ． 4 以上的试题就有足够好的区分能力了。

迷惑答案的效力

迷惑答案的效力是指多重选择题中供选择用的非正确答案被挑选的可能性。

如果在考试中某一选项无一人挑选，则说明该选项没迷惑力；如果被选用的人数多且低分组选用的多于高分组，则说明该选项具有较强的迷惑力；如果高分组和低分组对某选项选用的人数都很少且人数接近，说明该选项的迷惑力很小。

迷惑力很小的选项被认为有效性低或没有效性，对这样的选项要修改或调整。

(2)整体分析：利用测验的结果对试卷进行全面的分析和评价。

它是通过信度和效度两个数量指标来描述的，用以衡量测验的有效性和可靠性。可靠性是指多次测验的测量结果是一致的；有效性是指测验的测量是准确的。而信度则是对测量一致性程度的估计；效度是对测量准确程度的估计。

项目反应理论 (IRT)

项目反应理论是针对经典测量理论的不足而提出来的一种新的测量理论。它的最大优点是项目参数和被试能力参数的不变性，可以用来衡量学生的实际水平。

项目反应理论的一个成功应用，就是自适应测验 (Adaptive test)的编制。在通常的考试和测验中，无论被试水平的高低，所接受的都是同样数量的一批相同试题的测验。对于低水平的被试来说，那些难度大的试题，根本无法作答，这样的题如同虚设；对于高水平被试来说，那些难度小的试题，考不出他的真实水平。只有当试题难度与被试特质水平相适应、大体相当时，试题所提供的信息量最大，测验结果的效度与被试接受测验的积极性均可大大提高。所谓“自适应”，就是测验本身自动地去适应被试的具体情况，在施测试题的难度和数量上去适应被试特点而灵活变通。

题库系统的基本构成：

题库的基本特征：

(1) 题库中的题目按学科领域分类，每一学科领域的题目又细分为若干个题目组合，这些题目组合可用于特定的教学目标，或测验特定的概念或能力。

(2) 题库中的每一题目由两部分组成，即题目属性指标和题目本身。题目属性指标有多项，反映有关题目的多种信息，这些信息将某一题目与库中的其它题目区别开，同时标记着题目使用的历史和使用情况。

(3) 题库具有构成和给出等价形式测验的能力。等价形式的测验是由不同的题目组合构成的，但每个测验的统计结果具有等效性。

上述题库的三方面特征的体现要通过题库结构设计来达到，换句话说题库结构设计时要考虑题库的这三个基本特征。

因此，题库结构设计最基础的工作应包括：确定题目类型、规定试题属性及题库总体数据结构的确立等几方面。

组卷策略设计

组卷策略是指系统进行组卷的方式方法。它是题库系统自动生成有效 (对测验目标来说 )试卷的关键。组卷策略设计主要涉及成卷要求的数量化、卷面分数分配、库中选题等问题的处理。一般地说，对题库系统组织试卷的要求是根据出卷者的需求产生一份对于测验目标 (如教学评价、学生能力水平评价等 )有价值的测验试卷。