Автоматизированная система контроля уровня знаний

в системе дистанционного образования

Магистерская диссертация по специальности 05.13.11

,,Математическое и программное обеспечение вычислительных машин, систем, комплексов и сетей``

Научный руководительзав.кафедрой ИВТ ГрГУ

доцент, к.т.н. Кадан А.М.

Петров Сергей Валерьевич

Актуальность темы определяется

1) Интенсивным характером развития систем дистанционного образования

2) Необходимость создания и внедрения объективных количественных методик оценок качества знаний и качества учебного процесса.

3) Необходимостью достижения экономической эффективности учебного процесса путем автоматизации контроля уровня знаний в ДО.

4) Ролью технологий ДО в освобождения преподавателя от рутинной работы

Объект исследования

системы дистанционного образования

Предмет исследования

алгоритмы, методы и средства организации контроля знаний в системах дистанционного образования

Связь работы с научными программами и темами

Научно-исследовательские темы кафедры информатики и вычислительной техники ГрГУ:

СУ4-03 ,,Разработка и внедрение новых информационных технологий в деятельность университета``

Ф04/3 ,,Развитие информационной структуры математического факультета на основе компьютерных сетей``

Гипотеза исследования

Учет полной информации, содержащейся в ответах

испытуемого, использование методов многомерного

статистического анализа и компьютерных средств

обработки данных

позволит получить комплексную объективную оценку

уровня знаний

Цель исследования

Разработка инструментальной системы,

предназначенной для определения количественной оценки

комплексной структуры знаний

Задачи исследования

1) Разработка алгоритма работы системы

2) Обоснование используемых математических методов

3) Разработка модулей, реализующих основные блоки алгоритма:●анализа качества содержания компьютерного теста;●автоматического анализа результатов тестирования;●адаптивного теста, минимизирующего стоимость контроля знаний.●оценки достоверности результата тестирования и оценки устойчивости процедуры тестирования

4) Интеграция компонент системы с существующим ПО ДО

5) Проведение эксперимента по внедрению системы в учебный процесс ГрГУ и анализ его результатов

Научная новизна и практическая значимость

В применении методик многомерного статистистического анализа в области построения алгоритмов автоматического контроля качества образовательного процесса и оценки результатов тестирования уровня знаний

В комплексном подходе к тестированию знаний, реализованном в рамках данного исследования, который позволяет повысить возможности компьютерного тестирования знаний до уровня традиционного устного экзамена

Основные положения работы, выносимые на защиту

1 Возможна эффективная автоматизация методов определения достоверных качественных и количественных оценок результатов тестирования уровня знаний, основывающихся на многомерном статистическом анализе.

Основные положения работы, выносимые на защиту

2 Автоматизация является адекватным средством, позволяющим сделать объективным этап построения шкалы оценок компонентов теста при его создании

Основные положения работы, выносимые на защиту

3 Комплексный подход к процессу создания, применения и оценке достоверности контроля знаний позволяет создать условия для переноса центра тяжести учебного процесса на самостоятельную контролируемую работу учащихся

Основные положения работы, выносимые на защиту

4 Процедуры оценки, основывающиеся на многомерном статистическом анализе, обладают естественно присущими свойствами, позволяющими организовать адаптивную процедуру тестирования знаний

Апробация результатов и публикации

Результаты, полученные в ходе данного исследования применялись для оценки этапного контроля знаний студентов ГрГУ и неоднократно докладывались на заседаниях Советов математического факультета и факультета физической культуры.

По теме исследования опубликовано 6 работ.

Основная идея предлагаемого метода

Все имеющиеся способы оценки результатов тестирования ограничиваются использованием лишь части собираемой в ходе тестирования информации.

В оценке результатов не используется анализ зависимостей между вариантами ответов разных вопросов теста.

С помощью предлагаемого подхода можно увеличить кол-во информации на основании которой вычисляется оценка в десятки раз.

Входные данные для анализа

а) компьютерные тесты, организованные по схеме:

б) результаты контрольной группы проверенные традиционным методом контроля знаний

в) результаты предъявления вопросов теста испытуемому

Выходная информация

Объективная количественная оценка различных составляющих знаний

испытуемого

Структура оценки знаний испытуемых

1) традиционная оценка 2) желаемая оценка

3) в интерпретации многомерного статистического анализа

Общиезнания

Специальныезнания

Способности

Общиезнания

Специальныезнания

Способности

Способности

Специальныезнания

Общиезнания

Традиционный метод получения оценки

Предлагаемый метод получения оценки

Источник дополнительной информации

!

Ответы разных вопросов теста коррелируют между собой, если вопросы относятся к одной компоненте знаний

Аспекты реализации предлагаемого подхода

Вашему вниманию предлагается несколько алгоритмов оценки уровня знаний использующих методы многомерного статистического анализа для учета результатов анализа зависимостей между вариантами ответов в тесте

Алгоритм объективного формирования теста

Алгоритм оценки ответа испытуемого

Алгоритм определения устойчивости оценки знаний

Алгоритм адаптивного контроля знаний

Реализация предложенных алгоритмов

Методики оценки качества тестов и ответов испытуемых реализованы в программной среде R

Решены вопросы интеграции с существующим

программным обеспечением поддержки учебного процесса

APL->S->R

Пример реализации метода принципиальных компонент на языке R

prcomp <- function(x, retx=TRUE, center=TRUE, scale.=FALSE, tol = NULL) { x <- as.matrix(x) x <- scale(x, center = center, scale = scale.) s <- svd(x, nu = 0) if (!is.null(tol)) { rank <- sum(s$d > (s$d[1]*tol)) if (rank < ncol(x)) s$v <- s$v[, 1:rank, drop = FALSE] } s$d <- s$d / sqrt(max(1, nrow(x) - 1)) dimnames(s$v) <- list(colnames(x), paste("PC", seq(len = ncol(s$v)), sep = "")) r <- list(sdev = s$d, rotation = s$v) if (retx) r$x <- x %*% s$v class(r) <- "prcomp“ r }

Причины использования RDBMS

● быстрый доступ к выбранной части большой базы данных

● сохранение данных более структурировано, чем предоставляет возможности прямоугольной модели таблицы фрейма данных R

● конкурентный доступ множества клиентов, в том числе работающих удаленно, одновременно с разграничением прав доступа к обрабатываемым данным

Методы интеграции с существующим программным обеспечением ДО

➔Чтение из сокета

➔Использование вызова downlоad.file

➔Интефейс DCOM

➔Интерфейс CORBA

Пример обращения к данным в среде R с помощью вызова интерфейса CORBA

Описание IDLInterface Matrix { long nrow(); long ncol(); double data (in long i, in long);};

Инициализация BOA на порту 2001

CORBAinit(c("-OAport","2001",commandArgs()))

Обращение к объекту из среды R:

> .Corba("mat","nrov")[1] 3> .Corba("mat","ncol")[1] 4

Результаты экспериментов

Анализ результатов контрольного среза знаний на 2-ом курсе

математического факультета ГрГУ.

Шаг 1

Первые два выделенные ортогональные фактора содержат 64% всей наблюдаемой дисперсии. Целесообразно проводить анализ используя пространство двух первых

выделенных независимых факторов.Eigenvalues of correlation matrix

Active variables only

39,31%

24,70%

20,11%

15,89%

0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0 4,5 5,0

Eigenvalue number

0,5

0,6

0,7

0,8

0,9

1,0

1,1

1,2

1,3

1,4

1,5

1,6

1,7

Eig

enva

lue

В пространстве первых двух факторов нагрузки наблюдаемых переменных распределились:

Projection of the variables on the factor-plane ( 1 x 2)

Active

Ì àòàí 1

Ì àòàí 2

Àëãåáðà

Àí àë.Ãåî ì .

-1,0 -0,5 0,0 0,5 1,0

Factor 1 : 39,31%

-1,0

-0,5

0,0

0,5

1,0

Facto

r 2 :

24,7

0%

В пространстве значений факторов вычисленных для каждого из сдававших тест наблюдается весь диапазон возможных значений ответов (хотя и не все сочетания за каждой из точек может стоять несколько студентов получивших одинаковый комплект оценок). Существует одна максимальная оценка и одна минимальная оценка, две противоположные вершины ромба.

Projection of the cases on the factor-plane ( 1 x 2)

Cases with sum of cosine square >= 0,00Labelling variable: ãðóï ï à

Active

5

5

5

5

55

55

5

5

5

55

5

5

55

5

5

5

5

5

5

5

5

55

5

5

5

5

5

54

4

4

4

4

4

4

44

4

4

4

4

4

4

4 4

4

4

44

4

3

33

3

3

33

3

33 3

3

333

33

3

3

3

3

3

3

2

2

2

2

2

2

2

2

22

2

2

22

2

2

2

2

2

22

2

2

2

1

1

1

1

1

11

1

1

1

1

1

1

1

11 1

1

1

11

111

-4 -3 -2 -1 0 1 2 3 4 5

Factor 1: 39,31%

-4

-3

-2

-1

0

1

2

3

4

Fac

tor

2: 2

4,70

%

Была построена двумерная гистограмму которая отражает особенности ответов на вопросы теста во всей группе второкурсников сдававших тест и особенности групп.

Bivariate Histogram (Spreadsheet3 12v*126c)

Выводы

Наибольшая доля низких оценок во второй группе. Первая группа середнячки.

Первая вторая и пятая группа демонстрирует широкий разброс в направлении «Алгебра -- Геометрия». Пятая группа демонстрирует в целом повышенный уровень знаний.

Третья группа резко «алгебраизирована» и демонстрирует в целом высокий уровень оценок. В меньшей степени выражена «алгебраизация» в четвертой группе, оценки средние.

Анализ результатов контроля качества учебного процесса.

Plot of Eigenvalues

Number of Eigenvalues0

2

4

6

8

10

12

14

16

Va

lue

– Анкета состояла из 18 первичных оценок. Вид функциональной зависимости Анкета состояла из 18 первичных оценок. Вид функциональной зависимости доли дисперсии выделенного первичного фактора от его порядкового номера доли дисперсии выделенного первичного фактора от его порядкового номера четко свидетельствует о наличии простой факторной структуры с числом четко свидетельствует о наличии простой факторной структуры с числом первичных факторов равным двум. первичных факторов равным двум.

Factor Loadings, Factor 1 vs. Factor 2Rotation: Varimax normalized

Extraction: Principal components

Var1Var2

Var3

Var4

Var5

Var6Var7

Var8

Var9

Var10 Var11

Var12

Var13

Var14

Var15

Var16

Var17

Var18

-0,2 0,0 0,2 0,4 0,6 0,8 1,0

Factor 1

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

Fa

cto

r 2

Первичные оценки Первичные оценки равноудалены от центра равноудалены от центра

координат по причине координат по причине равносильности и равносильности и

достаточно равномерно достаточно равномерно образуют вклады в образуют вклады в

значения обоих значения обоих факторов.факторов.

Scatterplot ( 2v*835c)

-5 -4 -3 -2 -1 0 1 2 3

Factor

-5

-4

-3

-2

-1

0

1

2

3

Fa

cto

r

ТребовательностьТребовательностьжесткостьжесткость

Доброже-Доброже-лательностьлательность

Доступность, понятность предметаДоступность, понятность предмета

Сложность предметаСложность предмета

Non-Normal Capability Histogram

Skewness: 1,2633; Kurtosis: 2,6212LSL: ,5312; Nom.: 1,230; USL: 1,929

Within SD: ,0098; Cp: 22,12; Cpk: 23,80

-2 -1 0 1 2 3 4 5 6 7

-3,*SLSL

NominalUSL

3,*S

0

50

100

150

200

250

300

● С помощью процедур контроля качества С помощью процедур контроля качества можно выделить объективно пределы можно выделить объективно пределы “нормальной силы” воздействия в “нормальной силы” воздействия в отношениях студент-преподаватель.отношениях студент-преподаватель.

Выводы

1 Процедура оценки качества теста знаний заключается в проверке способности теста дифференцировать опрашиваемую аудиторию по заданным критериям отбора. Реализация данного положения формально сводится к процедуре применения, полученной в ходе дискриминантного анализа контрольной группы, дискриминантной функции к результатам тестирования.

Выводы

2 Решение проблемы объективного и достоверного тестирования уровня знаний можно решить оценкой "образа знаний" тестируемого, привлекая при этом полное сочетание информации даваемой тестом в целом; процедура тестирования при этом строго формализована, и результат однозначно следует из отмеченных ответов проверяемого.

Выводы

3 Адаптивная процедура тестирования может быть основана на пошаговом выборе оптимального вопроса (дистрактора) в ходе дискриминантного анализа во время ответа тестируемого.

Выводы

4 Применение процедуры объективного тестирования, в сочетании с дискриминантным анализом на этапе проверки и факторным анализом на этапе создания теста, позволяет перейти от оценки знаний к оценке навыков и умений, выявить имеет ли испытуемый целостную картину знаний.

Спасибо за внимание