Изследване на възможности и средства за ...konkursi-as.tu-sofia.bg/doks/SF_FKSU/ns/147/avtoreferat.pdf · 2013-08-08 · След това добавяме

ТЕХНИЧЕСКИ УНИВЕРСИТЕТ - СОФИЯ

ФАКУЛТЕТ Компютърни Системи и Управление

КАТЕДРА Програмиране и Компютърни Технологии

маг. инж. Йоана Михайлова Минкова

Изследване на възможности и

средства за интегриране в мултимедийни

среди на дидактически материали за

оценяване

АВТОРЕФЕРАТ

на дисертационен труд за присъждане на

образователната и научна степен „доктор”

Професионално направление 5.3 „Комуникационна и

компютърна техника”

Докторска програма „Автоматизация на области от

нематериалната сфера”

Научен ръководител: проф. д-р инж. Господин Желев

София, 2013

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяване

маг. инж. Йоана Михайлова Минкова 2

ОБЩА ХАРАКТЕРИСТИКА НА ДИСЕРТАЦИОННИЯ ТРУД

Актуалност на проблема

При разработването на мултимедийни обучителни материали (за онлайн или офлайн

разпространение) авторите използват среда за разработка, избрана по определени критерии –

такава с лесен интерфейс или тази, която е закупена и/или внедрена от образователната

институция, в която преподават. Съществува голямо разнообразие на мултимедийни среди,

които се използват в обучението. Това разнообразие обаче налага необходимостта да се

създадат условия за лесно преминаване от една среда в друга, за улеснена преносимост на

създадените продукти за обучение от една среда в друга.

Възниква необходимостта да се предложи технологично решение за провеждане,

изследване, анализиране и управление на обучението. Решение, което преподавателите от

средното и висше образование да прилагат в учебния процес. което позволява и допринася за

управление на обучението и за повишаване на ефективността му.

Цел и задачи

Цел:

Да се изследват съществуващите подходи и програмни средства, да се създаде метод и

да се разработи решение, което интегрира възможностите на мултимедийни среди с

педагогически и структурни модели, описващи функционалното развитие на учебния процес и

автоматизация на оценяването и управлението на процесите на обучение. То е предназначено да

облекчи създаването и въвеждането на дидактически материали и улеснява преминаването и

пренасянето от една обучителна среда в друга. Предоставянето на различни електронни

дидактически материали на учениците и студентите, в зависимост от формите и етапите на

обучение, ще създава възможност за по-добра организация на учебния процес. Натрупаните

резултати в бази данни да позволяват автоматизирана обработка, визуализация и по-коректното

им тълкуване. Всичко това трябва да улесни учителите и преподавателите в управлението на

обучението.

Задача 1. Да се изследват и подложат на сравнителен анализ мултимедийни среди. Да се

изберат тези, които са най-подходящи за създаване и приложение на електронни дидактически

материали в онлайн или офлайн среди.

Задача 2: Да се изследват известните педагогически подходи и модели на обучение. Да

се оценят ползите и ограниченията им при приложението им в електронното обучение.

Задача 3: Да се създаде модел на развитието на учебния процес в средното и висшето

образование. Да се изследва използването на този модел за подпомагане вземането на решения

за управление на учебния процес въз основа на автоматизирана обработка на данни.

Задача 4: Да се изследват възможностите за въвеждане на дидактически материали,

които могат да се използват в избраните среди. При необходимост да се разработят средства и

осигурят условия за създаването им по начин, удобен и достъпен за по-широк кръг обучители,

независимо от техните компетенции в областта на ИТ.

Задача 5: Да се изследват и подберат научните методи за оценка качеството на

създадените дидактически материали, тяхната надеждност, трудност и дискриминативна сила

на тестовите задачи .

Задача 6: Да се изследва доколко статистическите данни, получени като резултат от

използването на дидактически материали в мултимедийните среди подлежат на единна

обработка и визуализация. При необходимост да се създаде средство, което да тълкува



резултатите от използването на дидактически материали, независимо от средата, в която са

направени. Това средство да позволява графична визуализация на получените резултати, да

обяснява смисъла на някои характеристики на тестови въпроси и задачи и да дава препоръки за

подобряване на качеството им.

Научна новост

Докторантския труд разработва, експериментира и прилага технологично решение за

изследване на учебния процес и тълкуване на резултатите с цел подпомагане управлението на

процеса. Технологичното решение представлява премерена съвкупност от методи и подходи,

включващи създадения модел и мултимедийни среди.

Практическо приложение

Разработеният в дисертацията модел, интегрираното въвеждане на дидактически

материали в мултимедийни среди, автоматизираната обработка на резултатите се прилага при

обучението на студенти в първи курс, програма „Компютърни медийни технологии” в НБУ в

курса „Структури в програмирането и ИТ”, както и при обучението на ученици в 9-ти клас на

Частна гимназия по мултимедия, компютърен графичен дизайн и анимация по предмета

Информатика.

Научни публикации

Основните резултати от дисертацията са включени в 8 публикации, една от които е

отпечатана в списание, а останалите са докладвани на международни конференции.

Структура и обем на дисертационния труд

Дисертационният труд се състои от увод, четири глави, заключение, резюме на

приносите, списък на авторските публикации, списък на използваната литература, включващ 74

източника, забелязани цитати. Дисертацията е в обем 165 страници, в това число 81 фигури и 39

таблици. Означенията на формулите, фигурите и таблиците са както в дисертацията.

I Глава Преглед и сравнителен анализ на мултимедийни среди

В тази глава са разгледани среди за създаване на мултимедийни приложения. Те са

разделени в две основни групи: среди за създаване на офлайн приложения и среди за създаване

на онлайн приложения. За целите на сравнителния анализ, според честота на използването им

са подбрани следните среди:

За офлайн приложения: Adobe Director, Adobe Authorware, ToolBook Instructor;

За онлайн приложения: ATutor, Claroline, e-Front, Ilias, Moodle - всички избрани

среди са с отворен код.

Предложени са общи критерии за сравнение на горепосочените среди:

Средства за структуриране и организиране на учебните обекти;

Средства за създаване на съдържание;

Управление на процеса за оценяване на придобитите знания;

Проследяване развитието на група обучаеми или отделен студент.

Поради специфичните особености, отличаващи средите за създаване на онлайн

приложения и тези за създаване на офлайн приложения са определени и допълнителни

критерии за сравнение:



За офлайн приложения:

o Средства за програмиране;

o Взаимодействие с други програми;

o Пакетиране и разпространение на създадените мултимедийни приложения.

За онлайн приложения:

o Организация работата на студенти в група;

o Обмен на файлове, съдържащи дидактически материали или разработени от

студентите задачи;

o Управление на достъпността на учебното съдържание в курса, както по

отношение на времето (начална и крайна дата), така и по отношение на нивото

на достъп на потребителите.

Резултатите от сравнителния анализ на авторски системи и такива с отворен код за

създаване на мултимедийни обучителни материали водят до следните изводи:

Извод 1: Сравнението и оценката на горепосочените критерии, свързани с организацията

на учебния процес показват, че най-подходящи за създаване и разпространение на обучителни

материали в училища и университети са авторската среда ToolBook и платформата за

електронно обучение Moodle, осигуряващи подпомагане на учебния процес и в офлайн и в

онлайн режим. Тези среди са избрани за да са изследва доколко е възможно те да бъдат

интегрирани.

Извод 2: ToolBook и Moodle имат следните положителни качества:

Поддържат SCORM стандарт (спецификация за това как да се създават единици

онлайн обучаващ материал, които да могат да бъдат използвани в различни системи

и различен контекст.). Това осигурява възможност презентационни дидактически

материали, създадени в ToolBook да бъдат интегрирани в Moodle.

Предоставят възможности за създаване на тестове в самата среда;

Предоставят някои статистически данни от проведени тестове.

Извод 3: Двете среди имат следните недостатъци:

Не предлагат възможност за въвеждане на тестови въпроси, предварително създадени

в широко разпространен и лесен за използване продукт, напр. MS Word;

Не се осигурява преносимост на тестове между средите и лесното им интегриране;

Не осигурява предварителни модели за тълкуване на получените резултати, така че

преподавателите да се ориентират относно качеството на създадените дидактически

материали, резултатите от усвояване на изучавания материал, качествените нива и

компетентности.

II Глава Теоретични изследвания и изграждане на модел на процеса на

обучение

Моделите и подходите, прилагани в обучението могат да се класифицират в две групи:

педагогически ориентирани и технологично ориентирани модели.

Педагогически ориентираните модели могат да се разделят в три категории, не взаимно

изключващи се, като всяка от които съдържа различен набор от приоритети в практиката на

обучение и преподаване:

Асоциативна (учене като дейност чрез структурирани задачи);

Когнитивна (учене чрез разбиране);

Ситуативна (ученето като социална дейност).



При технологично ориентираните (обобщени) модели фокусът е върху максимално

разширяване на връзката между обучителни цели и участници в обучителния процес, чрез

учене, подпомагано от технологиите.

Разгледаните модели могат да се използват като "водещи принципи", т.е. като вид схема,

за прилагане на определен педагогически подход. На второ място, те могат да се използват

директно при проектирането на учебна дейност или курс, за да помогнат вземането на решения

какви обучителни дейности биха били подходящи. На трето място, те могат да се използват за

разработването на учебна среда. На четвърто място, те могат да се представят на обучаемите, за

да могат сами да подпомогнат процеса си на обучение. Накрая, те могат да се използват като

аналитични инструменти за описание на педагогическа практика.

Един от недостатъците на моделите за обучение е, че често те просто визуално

представят конкретен педагогически подход. Освен това има някои критики [50], за това, че

моделите са абстракции и обучителите не разбират как ефективно да приложат модела, а само

възприемат едно негово повърхностно приложение в практиката си.

Ето защо е необходимо да се създаде един модел, който да бъде разбираем от

обучителите, да бъде лесно приложим в тяхната работа, модел, който да позволява и допринася

за управление на обучението и който да цели повишаване ефективността му, при това

прилагайки върховите постижения на информационните и комуникационни технологии, а

именно мултимедията .

За изграждането на един функционален модел на развитието на процеса на обучение е

необходимо да се преценят какви форми на мултимедийните технологии могат да бъдат

прилагани в конкретните форми и фази, да се валидират тестовете и получените резултати.

За да се установят етапите и формите за приложение на информационните технологии в

образованието, създаваме функционално формализиран модел на процеса на обучение. За

базисни са избрани моделите на Желев [36] и на OpenUniversity.

Paзвитиeтo нa учeбния пpoцec пpoтичa пo cпиpaлa (фиг. 16), като нa вcякa нoвa виткa

eднa или дpугa фopмa ce нaпълвa c кaчecтвeнo нoвo учeбнo cъдъpжaниe, кoeтo ce явявa нoвa

cтъпкa нa пoзнaниeтo:

фигура 16 Развитие на учебния процес

Моделът на Желев може да се развие в две посоки, прилагайки и доразвивайки

факторите, заложени в моделите на OpenUniversity и на Nicol и Mulligan. Най-напред се добавят



фазите на ежеседмичен контрол. В някои случаи, в зависимост от специфичните особености на

изучавания предмет и използваната методика, преди „Предоставянето на нови знания“ или в

„Самоподготовка 1“ може да бъде заложен „Входящ тест“.

След това добавяме и учебните форми и средства, използвани на всеки от етапите на

учебния процес (фиг.18), при което се получава модел, приложим не само във висшето, но и в

средното образование.

фигура 18 Модел на учебния процес с включени учебни форми и средства

Учебният процес започва с предоставяне на нови знания - лeкция или нов урок. Те могат

да бъдат предшествани от входящ тест. Специфичното разпределяне на въпросите в под теми и

приблизителното разбиране на предварителната подготовка на учащите се може да помогне на

преподавателя да се ориентира за готовността на обучаваните за възприемане на новия учебен

материал.

Сaмocтoятeлнaта пoдгoтoвкa нa cтудeнтитe/учениците пpeди (CП1) и cлeд (CП2)

практическите занятия следва да допринесе за осмислянето и задълбочаването на придобитите

знания. Методически погледнато, като хронология, самостоятелната работа трябва да бъде

разположена след лекцията и преди лабораторното (или семинарното) упражнение.

Самоподготовката пpeди практическите занятия включва както препрочитане,

запаметяване на новия материал, така и тест за самопроверка, който да даде представа, не

оценка, на самия обучаем за нивото на придобитите знания, за възможни пропуски, които

трябва да бъдат наваксани. За придобиването на практически умения може да се използват

различни форми: ceминapни зaнятия/ упpaжнeния, експериментална работа в специализирани

лаборатории, разработка на курсов проект/задача, като целта естествено е да се приложат в

действие, на практика придобитите познания.

По време на упражненията или семинарните занятия преподавателите дискутират

теоретичните постулати от предходната лекция, както и резултатите и евентуалните проблеми

при разработените от студента домашни задачи.

Практическите умения могат да се придобият и задълбочат и чрез самостоятелна

разработка на курсов проект, чиято сложност и обем да съответства на задачите, които биват



задавани по време на контролно. Така подготовката на обучаемият е по-спокойна и той може

сам да определи готовността си за текущия контрол.

След провеждането на практическите занятия, под една или друга форма, обучаемият

отново трябва да положи усилия и да направи самоподготовка, която може да бъде съпътствана

с разработка на домашна работа.

Описаните до момента фази на учебния процес, покриват една учебна седмица, oтpaзявaйки

cмeнитe нa фopмитe нa учeбнaтa дeйнocт пpи изучaвaнe нa мaтepиaлa в дaдeна тема нa учeбния

пpeдмeт. С цел осъществяване на периодична проверка на придобитите знания и умения е добре

преподавателят да провежда ежеседмичен контрол било то чрез проверка на домашни работи,

или чрез проверка на разработена част от проекта или чрез кратък тест.

Но от гледна точка на един семестър / срок, тези повтарящи се ежеседмични събития се

прекъсват два или три пъти в семестъра за т.нар. текущ контрол, oтpaзявaйки зaвъpшвaнeтo нa

изучaвaнeтo нa дaдeн paздeл oт учeбния мaтepиaл. Получената текуща оценка оказва

съществено влияние върху крайната оценка за курса.

Текущия контрол би било редно да се провежда по няколко начина: в теоретичната си

част с помощта на специално разработени тестове или чрез писмено развиване на теоретични

въпроси. Практическите умения следва да се проверят с подходящо зададени задачи,

съответстващи на спецификата на материала и обобщаващи знанията и уменията придобити по

време на курса.

Естествено крайната фаза в учебният процес представлява финалният изпит. Начините

за провеждането му са идентични с тези за провеждане на текущуят контрол, като разликата

естествено е в обхвата и обема на материала, върху който се поставя оценка на обучаемите. Ако

една от формите на финалният изпит е тест, той трябва да даде възможност за по-вероятно и

сравнително по-точно оценяване на обема, смислеността, обвързването, решението и други

характеристики на усвояването на знания по конкретната тема.

Проследявайки фазите на учебния процес можем да видим къде могат да намерят

приложение информационните технологии (фиг. 19).

При първият етап – предоставяне на нови знания, преподавателят може да изнесе устно

лекция на аудиторията. Но освен това, на база на препоръчаните от Министерството или

водещия преподавателски екип учебници, подходящи научни книги и енциклопедии, може да

бъде оформен като реферат (част от електронна книга), съдържащ вътрешни и външни линкове

и онагледен с подходяща презентация, оформена с Power Point, Flash или други средства.

Използването на тестове в този етап е безсмислено, поради това, че обучавания се

намира в процес на запознаване с нов материал, който не е изучен, упражнен и запомнен.

При самоподготовката пpeди практическите занятия (СП1) би било полезно за

студентите ако могат да прочетат в електронен вариант допълнителен текстов материал

(реферат), с цел улесненото и задълбочено възприемане на новите знания.



фигура 19 Модел на учебния процес, обезпечен с електрони образователни ресурси

На същият този етап обучаемият може сам да провери степента на усвояване на

материала чрез подготвен от преподавателя „тест за самопроверка”. Ако тестът е в електронна

форма и предвижда подходяща „обратна връзка”, която да обясни допуснатата грешка, той ще

подпомогне обучаемия да усвои в максимална степен новите знания, да придобие увереност, че

е разбрал и осмислил учебния материал и да бъде достатъчно подготвен, за да ги приложи на

практика. Такъв тип тест може да се използва и като „входящ тест”, предшестващ упражнение

или лабораторно занятие.

Етапът на придобиване на практически умения би могъл да се реализира по множество

начини в зависимост от спецификата на изучаваната материя. В болшинството случаи на този

етап информационните технологии се използват по-скоро като инструмент при провеждането

на лабораторни/ семинарни занятия.

След провеждането на практическите занятия, под една или друга форма, обучаемият

отново трябва да положи усилия и да направи самоподготовка, която може да бъде съпътствана

с разработка на домашна работа и/или да му бъде предоставен мултимедийно приложение за

самообучение, тюториал1 или симулационни програми.

Съществен елемент в процеса на обучение е контрола и оценката на придобитите от

обучаемите знания.

Оценката на знанията се извършва периодично във времето - срок или семестър, като

задължително има и компонент с по-голяма тежест – семестриален изпит, класна работа,

изпитване за оформяне на срочна/годишна оценка. Една от най-активните форми за контрол на

придобитите знания е тестът. При тестовете е налице обективно оценяване на резултатите,

което от своя страна повишава интереса на студентите/учениците към процеса на обучение и ги

стимулира.

1 Реализирана чрез компютърна програма система от инструкции, която съдържа информация, упражнения, тестове и

др. и е предназначена за самообучение [Webster's New World College Dictionary Copyright © 2010 by Wiley Publishing, Inc., Cleveland, Ohio. Used by arrangement with John Wiley & Sons , Inc. ]

http://www.yourdictionary.com/dictionary-definitions/



Ефективността на оценяването чрез тест зависи от способността на преподавателя да

съставя надеждни тестове в сферата на конкретния предмет.

Тестовото изпитване е най-удачно да бъде компютъризирано, макар този процес да изисква

по-сложна система за автоматизиран контрол, повече време за разработването на специфични

контролни задачи и техните варианти. Но пък проверката и анализа на резултатите са много

по-облекчени.

В компютърните системи за конструиране и провеждане на тестове има възможности

проверка на отговорите на обучаемия, за предаване резултата от теста към системата за

управление на обучението, рестартиране на теста. Ако тестовете са с обучителна цел,

съществуват средства за реализиране на обратна връзка с обучаемия– например при грешен

отговор да се изведе съобщението “Не е вярно” и да се обясни кой е верният отговор и защо.

При стартиране на теста е желателно да се идентифицира потребителят на теста, така че при

съхранение на резултатите от теста, срещу тях да бъде съпоставено и името на обучаемия.

Други полезни характеристики на компютърно-базираните тестове е изпращането на

резултатите от теста по e-mail до преподавателя и/или студента.

Компютъризираните тестове могат да се създават основно по два начина: ползвайки

специализирана авторска среда (за offline употреба) или чрез използване на платформа за

електронно обучение (за online употреба). И в двата случая е добре да се предвиди възможност

създадените тестове да могат да се използват многократно.

Тъй като преподавателите не изпитват затруднения да напишат тестовите въпроси със

съответните възможни отговори в текстообработваща програма, напр. MS Word, би било

полезно да се създаде приложение (интегратор), което да осигури въвеждането на тестовете,

подготвени в един документ, както в авторска среда, така и в платформа за електронно

обучение, т.е. да се интегрира входа на тестовете. От друга страна, след провеждането на тест, е

необходимо освен да се види крайната оценка на обучаемите, получените статистически данни

да се обработят и анализират. Целта естествено е от една страна да се подобри качеството на

самия тест, изследвайки надеждност, трудност на въпросите и др. критерии, а от друга – да се

подобри качеството на обучението като цяло.

Полезно за преподавателя би било наличието на едно приложение, което освен да обработи

и анализира резултатите от проведен тест, да визуализира получените статистически данни с

оглед на по-ясното им възприемане, да дава насоки и съвети на преподавателя как и какво

трябва да коригира по отношение на въпросите и дистракторите.

Въпросното приложение трябва да обработва данни от теста, независимо от начина,

използван за създаването му – авторска среда или платформа за електронно обучение, т.е. да се

интегрира изхода от проведен тест.

Ето защо моделът е разширен, като са добавени от една страна преподавателят, като

активна роля в управление на процеса на обучение, и от друга страна е добавен модул –

„интегратор”. Интеграторът се намира на входа на учебния процес, осигурявайки на

преподавателя лесно създаване и вграждане в учебния процес на средства за оценяване. Но в

него постъпват данни също и от изхода на процеса – резултатите от проведеното оценяване за

да улесни преподавателя при вземането на решения за начина на управление и повишаване

качеството на обучението.


Йоана Минкова 10

фигура 31 Модел на учебния процес, обезпечен с електрони образователни ресурси, създадени от преподавателя с помощта на интегриращо входа и изхода

приложение



3. Методи за оценка характеристиките на дидактически материали за оценяване

3.1. Определяне трудността на тестови задачи

Основната характеристика, по която се избират задачите в теста е степента на тяхната

трудност. Трудността на задачите е параметър, който може да се определи чрез оценките за

нивото на усвояване на знанията на студентите. Такъв анализ може да покаже предимствата и

недостатъците на измерителните качества на теста, напр. лошо конструирани въпроси или

неподходящо прогнозирани и съставени възможности за отговори. Обикновено такива тестови

въпроси не са добре съгласувани с останалите и при анализа се характеризират с големи

амплитуди, т.е. очертават се като много лесни или много трудни. Коефициентът на трудност на

тестовата задача с избираем отговор може да се изчисли по следната формула [13]:

(2) i

ii

N

AP

, където:

Pi – трудност на i- тия въпрос,

Ai – брой верни отговори на i- тия въпрос,

Ni – общ брой студенти отговорили на i- тия въпрос.

Броят на възможните отговори на задачата оказва влияние при тълкуване на оценката на

трудността й. Според [65] се приема се, че при задача с множествен избор, съдържаща 5

алтернативи, средната трудност трябва да бъде около 45% (табл. 21):

Табл. 21: Тълкуване на коефициента на трудност за задача с 5 алтернативи

Тип Много лесна Лесна Оптимална Трудна Много трудна

Трудност(%) 84 - 100 69 - 84 37 - 68 21 - 36 0 - 20

3.2. Определяне индекс на дискриминация

Индексът на дискриминация е изключително полезен инструмент за измерване

качеството на тестови въпроси. Той представлява степента, в която въпросът разграничава

студентите с високи постижения от тези с ниски постижения. Очаква се студените, които са

получили висок резултат на целия тест да се справят с отделния въпрос по-добре от тези, чиито

резултат от теста е по-нисък. При анализ на индекса на дискриминация на тестов въпрос се

определят две групи от студенти – „силна група” и „слаба група”. За целта най-напред е

необходимо да се подредят студентите в зависимост от получените резултати на теста. Първите

25% или 27% от студентите с най-висок резултат формират „силната група”, а последните 25%

или 27% от студентите с най-нисък резултат формират „слабата група”.

Индексът на дискриминация е разликата от трудността на въпроса за студентите с висок

резултат на теста и трудността на въпроса за студентите с нисък резултат [52]:

(3) D = PU-PL, където

PU - трудност на въпроса за студентите от „силната” група (U) ;

PL - трудност на въпроса за студентите от „слабата” група (L).

Стойностите на индекса на дискриминация варират между 0 и 100. Колкото по-висок е

индексът на дискриминация, толкова повече въпросът прави по-добро отделяне на студентите,

получаващи висок общ резултат от тези, получаващи нисък общ резултат. При равни други

условия колкото са по-големи стойностите на дискриминационния индекс на въпросите,

толкова по-надежден е теста.



Коефициент на дискриминация, близък до 0 показва, че тестовия въпрос е неподходящ за

разграничаването на студентите, които се справят добре с теста, от тези които не се справят с

него. Колкото дискриминацията е по-близо до теоретичната граница 100, толкова по-добре

въпросът разграничава студентите, знаещи добре материала от тези, които не го знаят [65].

3.3. Оценка на надеждността на тест

Надеждността е психометрично свойство на теста чрез което се определя степента на

стабилност на оценката, в зависимост от случайната грешка при измерването. Чрез изследване

на резултатите на студентите може да се направи анализ на надеждността и заключения дали

използваният тест измерва в достатъчна степен студентските знания, т.е., че тестът наистина

мери постиженията, които е предвидено да мери. Надеждността е мярка за точността на

получените оценки [65].

Обикновено надеждността се определя чрез изчисление на коефициент на надеждност

(R) или като случайна грешка, получена от него. Като цяло коефициента на надеждност от

измерването не трябва да бъде по-малък от 0.60. Високата надеждност (с коефициент близък до

1.0) предполага, че ако същия тест се повтори със същите студенти, резултатите ще са почти

еднакви. Колкото е по-висок коефициента на надеждност толкова е по-добре, т.к. това означава,

че имаме малка случайна грешка в резултатите. Тест с надеждност 1.0 има случайна грешка

нула и следователно има отлична (пълна) надеждност [3].

Определянето на коефициента на надеждност на теста може да се извърши по 4

различни метода, всеки от който се прилага в зависимост от специфичните особености на

използвания тест

След направен анализ на методите за оценка на надеждност избираме като най -

подходящ за нашите изследвания методът на KR #21, т.к всички студенти са поставени в

равни условия при тяхното тестово изпитване, защото са преминали еднакъв курс на

подготовка и следователно би трябвало да няма големи разлики в получените от тях оценки

на теста. Ако се получават големи разлики в оценките им е необходимо да се анализират

факторите, който причиняват дисперсията на тестовите оценки.

Формулата на Кудер – Ричардсън KR #21 – използва се когато се предполага, че

всички вътрешни корелации и трудностите на отделните задачи са приблизително равни:

(7)

221

)(1

1 k

XkX

k

kR

, където:

R – надеждност на теста;

к – брой въпроси в теста;

X – средната стойност на действителните резултати (точки); 2- дисперсия (средната стойност на квадратите на разликите между измерванията и X ).

При изследване на надеждността на теста се отчита и фактора дисперсия на получените

оценки, т.е. разликата в получените точки от групата студенти тествани по едно и също време и

при еднакви условия., т.е. надеждността е и мярка, изразяваща степента в която резултатите от

теста са повторими. Дисперсия се изчислява по следната формула [65]:

(8)

2

1

2 1 N

i

i XXN

, където:

N – брой на студентите;



x1, x2, x3, … , xn – стойност на съответното измерване;

X – средната стойност от измерванията.

Извод 1: Разгледаните модели могат да се използват като "водещи принципи", т.е. като

вид схема, за прилагане на определен педагогически подход. Но в повечето случаи моделите са

абстракции и обучителите не разбират как ефективно да ги приложат в практиката си. Ето защо

е необходимо да се създаде един модел, който да бъде разбираем от обучителите, да бъде лесно

приложим в тяхната работа, модел, който да позволява и допринася за управление на

обучението и който да цели повишаване ефективността му, при това прилагайки върховите

постижения на информационните и комуникационни технологии, а именно мултимедията

Извод 2: Разработен е модел, който описва фазите и етапите на учебния процес като

един от съществените елементи е ежеседмичният контрол. Целта е осъществяване на

периодична проверка на придобитите знания и умения, която да установи евентуални пропуски

и преподавателят да прецени какви подходи да приложи за по-доброто усвояване на учебния

материал. Друг основен елемент в модела е вграждането на мултимедийните технологии –

посочено е какви електронни образователни ресурси е подходящо да се използват на всеки етап.

В модела е добавен и модул „интегратор”. Извод 3: Подбрани са методи за оценка характеристиките на дидактически материали за

оценяване, които ще се използват за експерименталните изследвания.

III Глава Създаване на програмен продукт, унифициращ въвеждането на

дидактически материали в мултимедийни среди и извеждане на резултатите

1. Проектиране на програмния продукт

При проектирането на програмния продукт най-напред бяха дефинирани целите и задачите- да се осигури възможност за преносимост на тестове между мултимедийни среди

(ToolBook и moodle), предлагайки следните функции: - Конвертира тест, създаден в текстообработващ редактор в база данни, от която създава

тест в ToolBook (вход в ToolBook). Възможно е и директно въвеждане на тестовите

задачи в база данни;

- Конвертира тест, създаден в текстообработващ редактор или база данни във формат

Moodle XML. Полученият файл лесно се импортира в средата (вход в moodle).

- Обработва информацията от база данни, попълнена по време на проведен тест с

ToolBook, като дава информация за всеки обучаем, постижението му и разпределението

на оценките от теста (Обработка на резултати от ToolBook ).

- Използва натрупаните статистически данни от проведен тест в среда moodle, като

осигурява възможност на преподавателите за анализ и графична визуализация на важни

параметри на теста (Обработка на резултати от moodle).

Продуктът следва алгоритъма, представен на фиг. 33.



фигура 33 Алгоритъм на програмния продукт

Проектирана е структурата на базата данни, в която ще се въвежда информацията за тестовете и получените резултати:

фигура 34 Структура на базата данни



Базата данни съдържа следните таблици: - „Question”: съдържа информация за типа, името и текста на въпроса;

- “Students”: съдържа информация за студентите, преминали теста; - “Test_ItemChoice”: съдържа отговорите и тегловните коефициенти на въпроси от

изборен тип; - “Test_ItemMatch”: съдържа отговорите и тегловните коефициенти на въпроси за

съпоставяне;

- “Test_ItemArrange”: съдържа отговорите и тегловните коефициенти на въпроси за подреждане;

- “Test_ItemFill”: съдържа отговорите и тегловните коефициенти на въпроси за попълване; - “Scores”: съдържа отговорите, дадени от студентите и общата оценка.

2. Реализация на програмния продукт

За реализацията на приложението бе избран езикът за програмиране Visual Basic тъй

като позволява изграждане на графичен потребителски интерфейс, връзка с бази данни посредством технологията ADO, работа с XML документи.

При реализацията на приложението най-напред е създадена модална форма, даваща

информация за предлаганите функции и предоставя на потребителя възможност за избор на желаното действие (фиг. 35):

фигура 35 Начален екран на продукта

2.1. Интегриран подход за организация въвеждането на въпроси в компютъризиран тест

2.1.1. Унифицирано форматиране на въпросите за компютърен тест

За създаване на унифициран вход на въпросите с техните отговори, предлагаме на

създателите на тестове да използват някой от широко разпространените редактори на текст,

какъвто например е Word или да въвеждат директно в база данни тестовите въпроси, техните

отговори и тегловни коефициенти.

Създаденото приложение е експериментирано за два от най-често използваните типа

въпроси – изборен метод и съпоставяне (намиране на съвпадение).

При създаването на тест най-напред е необходимо да се структурира учебния материал.

Според тази структура се определя съдържанието на теста по раздели, теми, подтеми. Създават

се възлови въпроси, които обхващат пълното съдържание на дадена подтема. Така че, ако

обучаемият отговори правилно на всички възлови въпроси върху конкретна подтема, това

гарантира, че той е усвоил материала по нея.



За да се организира генералната съвкупност от въпроси в база данни, трябва на етапа на

проектиране на теста да се даде име на всеки въпрос с цел уникалното му идентифициране. За

да могат да се изследват зависимостите в натрупаната статистика, е необходимо в името на

въпроса да се съдържа името на раздела, темата и подтемата.

фигура 36 Формат на тестовите задачи

Повечето среди за осигуряване на автоматизиран тестов контрол дават възможност за

връзка с бази данни. Файл, създаден с MS Access е достъпен за всички среди. Някои от тях,

например, MS ClassServer и Macromedia Authorware създават SQL заявки към базата данни.

Други разполагат с програмни средства за връзка с база данни.

За да се създаде база данни Access, съдържаща генералната съвкупност от тестови

въпроси и съответно отговори, приложението на Visual Basic предлага два избора на

потребителя: възможността за използване на предварително подготвен тест в Word или ръчно

въвеждане в база данни.

фигура 37 Избор на метод за въвеждане на тест

И в двата случая се създава база данни, съдържаща информация за тестовите въпроси (фиг. 41).

фигура 41 Създадената база данни



2.1.2. Унифицирано въвеждане на въпросите в компютърен тест в авторска

среда ToolBook

Един от начините за онагледяване на приложения подход е чрез използване на

авторската сред ToolBook. От гледна точка на използването на бази данни, ToolBook разпола га

с програмни инструкции за четене и запис на данни в таблици на Paradox или dBase. Ето защо е

необходимо текстовия файл да се обработи така, че данните от него да съществуват като файл

на Paradox. Затова следващото действие на Visual Basic приложението е да се съхрани базата

данни като файл на Paradox.

По-нататък управлението се предава към създадено с ToolBook приложение, което

създава компютъризиран тест, чиито основни страница изглежда по начина, показан на фиг. 45:

фигура 45 Тест в ToolBook

2.1.3. Интегриране на предварително подготвени тестове в среда Moodle

2.1.3.2. Преобразуване на тест във формат Moodle xml

Разработеното приложение, позволяващо автоматично въвеждане на тестови въпроси и

техните отговори в средата за електронно обучение ToolBook е надградено, така че да

позволява и автоматичното въвеждане в среда Moodle на тестове, създадени в

текстообработващ редактор. За целта се използва същият формат (фиг. 36) за въвеждане на

условието и отговорите на тестовите задачи.

След внимателно проучване на възможностите и форматите, които предлага Moodle за

импортиране на тестове, бе преценено, че най-удачен вариант за преобразуване на базата данни

в достъпен за средата формат е да се използва Moodle XML форматът.

За да се осъществи преобразуването на MS Access базата данни в XML Moodle формат

е необходимо най-напред да се осъществи връзка с базата данни чрез използване на

технологията Microsoft’s ActiveX Data Objects (ADO):

Dim mobjADOConn As ADODB.Connection

Dim mobjADORst As ADODB.Recordset

Dim mstrSQL As String

.......................................

Private Sub ConvertXML_Click()

Set mobjADOConn = New ADODB.Connection

Dim strQuery As String

mobjADOConn.ConnectionString = "Provider=Microsoft.Jet.OLEDB.4.0; Data Source=" &

"d:\test.mdb" & ";User ID=Admin;Password="



mobjADOConn.Open

Необходимо е също така да се добави библиотеката “Microsoft XML v. 3” за да се

използват методите и свойствата на класа IXMLDOMNode за достъп до елементите на XML

файла:

Dim objDoc As DOMDocument

Dim objNode As IXMLDOMNode

Dim i As Integer

Основните елементи на XML файла се създават от следните оператори:

CreateProcessingInstruction objDoc, "xml", "version='1.0'"

Set objNode = CreateNode(objDoc, Nothing, "quiz")

По нататък процедурата продължава с четене на данните от съответните полета на

таблицата Question (фиг. 34), докато не се стигне края на файла.

mstrSQL = "Select * from Question"

Set mobjADORst = New ADODB.Recordset

mobjADORst.CursorLocation = adUseClient

mobjADORst.Open mstrSQL, mobjADOConn, adOpenStatic, , adCmdText

Set objDoc = New DOMDocument

Set objNode1 = CreateNode(objDoc, Nothing, "quiz")

While Not mobjADORst.EOF

strQuery = mobjADORst.Fields("qID")

ID_n = strQuery

strQuery = mobjADORst.Fields("qType")

…..

Wend

Прави се проверка за типа на текущия въпрос, като в зависимост от това дали е „изборен

метод” или „съпоставяне”, се изпълнява различен код (фиг. 49, фиг. 50), който създава пореден

възел в структурата на новия XML файл, задавайки съдържание или от таблицата

„Test_ItemChoice” или “Test_ItemMatch”.

фигура 49 Създаване на въпрос от изборен метод фигура 50 Създаване на въпрос за

съпоставяне

В резултат на описаните действия се генерира файл в Moodle XML формат, представящ

всички въпроси, възможни отговори със съответните им тегловни коефициенти, съдържащи се



в базата данни на MS Access. След това преобразуване вече е съвсем лесно всички тестови

въпроси да бъдат импортирани в банка с въпроси в среда Moodle.

Съдържанието на файла се запазва в банката и импортираните въпроси вече са на

разположение на преподавателя, който може да избира кои от тях да бъдат част от даден тест.

2.2. Интегриран подход за организация на извеждането на резултатите от

компютъризиран тест

2.2.1. Извеждане на резултатите от компютъризиран тест, създаден в

ToolBook

2.1.2. Проектиране и структура на базата данни

2.2.1.2. Заявки в базата данни

Първата стъпка за осъществяване на интегрирано извеждане на резултатите от тестовете е

да се проектира нова база данни. Базата данни е създадена в Microsoft Access и се състои от

седем таблици (фиг. 34), които са празни, докато не се попълнят автоматично от ToolBook

приложението.

След проектирането на таблиците е необходимо също така да се създадат някои заявки,

които следва да бъдат определени предварително, докато базата данни все още е празна. Тези

заявки ще бъдат полезни за предоставяне на статистически данни за проведения тест. Една от

тези заявки - "Общ резултат" (фиг. 34) е проектирана въз основа на таблиците " Students" и

"Scores". Тя ще даде информация за постижението на всеки обучаем - факултетен номер, име,

брой правилни и грешни отговори, оценка.

Заявката - "Correct responses for a given" се основава на таблици "Question" и "Scores". Тя

изисква въвеждане от потребителя на ID номера на въпроса и предоставя информация за това

колко и кои студенти са дали правилен отговор на този въпрос. Друга заявка - "Marks

distribution" използва връзката между таблиците "Marks" и "Scores" и показва колко студенти

имат отлична оценка, колко много добра и т.н. Тази заявка се използва за придобиване на

допълнителна - визуална информация за разпределението на получените оценки. Въз основа на

тази заявка е проектирана диаграма, която да позволява на преподавателя да види дали кривата

представя нормално Гаусово разпределение на или не.

2.1.3. Извеждане на резултатите от теста

Компютърният тест е приложение, разработено с мултимедийната авторска среда ToolBook

Instructor и изграден въз основа на базата данни в Access, която съдържа общата банка с

тестови въпроси и съответните отговори. Тази база данни се генерира автоматично, на базата на

Microsoft Word документ, създаден от преподавателя.

За осъществяване на унифициран изход на резултатите от теста най-напред е необходимо да

се направи връзка с базата данни. Приложението използва Microsoft ActiveX Data Objects

(ADO), за да актуализира и прави заявки към таблиците в Microsoft Access.

След като се установи връзка с ADO, вече е възможно да изпълняват команди към ADO за

извличане и съхранение на данни.

При стартиране на теста, първият екран, който потребителят вижда в ToolBook изисква

въвеждане на факултетен номер на студента, име, презиме и фамилия. Тези данни се задават

като стойности на съответните полета в таблицата "Students".



След попълването на личните данни, потребителят започва решаването на теста. Придвижва

се от страница на страница в ToolBook и отговаря на различни въпроси. По време на този

процес, скрипта в приложението следи действията на студента. В момента, когато потребителят

избере някакъв отговор, се изпълнява скрипт, който записва данните в съответните полета в

таблицата "Scores" - ID на въпроса, ID на отговора и тегловният му коефициент.

Последния екран на приложението предоставя информация за процента на правилните

отговори и получената оценка. Тази информация също се добавя в базата данни.

След затваряне на теста, цялата необходима информация е записана в базата данни и

връзката между ToolBook и базата данни се затваря.

2.1.4. Представяне и анализ на резултатите от теста

Въпреки, че всички резултати са събрани в базата данни, за преподавател, чиято област не е

ИТ, ще бъде трудно ръчно да ги анализира. Ето защо създаваме една проста форма - "Analysis",

която дава на преподавателите бърз и лесен начин да получат статистическа информация за

теста:

статистическа информация за даден студент: учителят трябва да избере от падащ списък

името на студент, който е направил теста. В резултат ще види запис, съдържащ следната

информация: факултетен номер и име на обучаемия, въпроси, дадени отговори и

тегловните им коефициенти, броя правилни и грешни отговори, крайна оценка;

статистическа информация за даден тестови въпрос: учителят трябва да избере от падащ

списък име на тестов въпрос. В резултат на това ще получи информация за това колко

студенти са отговорили на въпроса, колко от отговори са правилни / грешни, какво е

разпределението на отделните дистрактори;

статистическа информация за всички студенти : тук информация може да бъде

представена по два начина – текстова и графична.

2.2.2. Извеждане и обработка на резултатите от тест, създаден в moodle

2.2.2.1. Въведение

В платформата за електронно обучение Moodle могат да се създават тестове, включващи

разнообразни типове въпроси. След решаването на тестовете има възможност за получаване на

статистически данни от резултатите. Но тези статистически данни са представени в таблична

или текстова форма, което налага допълнителната им обработка. За мнозинството

преподаватели това представлява допълнително затруднение, още повече, че липсват обяснения

за съдържанието и смисъла и статистическите данни. Необходимо е улесняване и подпомагане

на преподавателите да вземат решение кои от тестовите въпроси е необходимо да се променят,

за стане по-качествен и надежден теста.

2.2.2.2. Приложение за визуализация на статистически данни от

проведени в moodle тестове

Двата вида статистика получена в moodle е възможно да бъде експортирана в три формата –

текстов, електронна таблица в excel или електронна таблица в OpenOffice (OSD формат).

Експортирането в електронна таблица дава сериозни възможности за обработка и

визуализиране на резултатите от теста. Създаденото приложение на Visual Basic ползва

резултатите и от двата вида статистика. Ето защо след стартиране на приложението и



необходимо най-напред да се посочат файловете, в които са експортирани двете статистики –

обобщена и детайлна (фиг. 57):

фигура 57 Начални екрани на приложението

След избора на двата файла, потребителят на приложението има възможност за избор

кои данни да бъдат анализирани и представени:

i. Индекс на дискриминация;

ii. Трудност на въпросите;

iii. Постижения на обучаемите;

iv. Разпределение на оценките.

За целта е проектирана нова форма във Visual Basic (фиг. 58), съдържаща:

1. Списъчна кутия за предоставяне избор на потребителя;

2.Текстово поле, даващо информация за смисъла на анализираната характеристика;

3. Текстово поле, предоставящо тълкуване и интерпретиране на резултатите от теста;

4. Поле за изображение, в което да се визуализират получените резултати от анализа на

избраната характеристика.

фигура 58 Форма за обработка на резултати от тестове в moodle

В зависимост от направения избор от потребителя се извиква съответната процедура

(“Discr_Index()”, ” Distribution()”, ”Marks”, „Difficulty()”).

Извод 1: В някои среди е известна преносимост на данни между отделните приложения,

напр. създадена таблица в Word може да бъде пренесена в Excel и/или Access и обратно.

Установената липса на преносимост на тестове между избраните среди доказва необходимостта



и налага създаването на специален програмен продукт. Продуктът е реализиран с програмният

език Visual Basic, избран като най-подходящ за осигуряване на функционалните възможности за

обмен на данни между средите. Продуктът създава банка с въпроси в среда MS Access,

използвайки тест, предварително подготвен в текстообработващ редактор. Базата данни се

ползва за генериране на тест в среда ToolBook или moodle. Унифицира се въвеждането на

дидактически материали, автоматизира се процеса и се минимизира възможността за допускане

на грешки, съществуваща при ръчно въвеждане на данните.

Извод 2: Известни са много среди, които съхраняват и извеждат резултатите си в

таблична форма, което в повечето случаи затруднява потребителите да разберат смисъла им.

Решението на този проблем се търси в графичната визуализация. ToolBook и moodle съхраняват

и представят статистиката в таблична форма. Това обосновава необходимостта от търсене на

графично представяне и интерпретиране на резултатите.

Генерираният тест в ToolBook е програмиран с вграденият в средата език за

програмиране OpenScript, така че автоматично да попълва база данни с резултатите от теста.

Продуктът, разработен с Visual Basic анализира и визуализира получените резултати.

Статистическите данни от проведен тест в moodle се съхраняват в два файла на Excel.

Единият съдържа информация за общите резултати от теста, а другият статистика за всяка

тестова задача. Създаденият продукт използва данните от тези два файла като анализира и

визуализира следните параметри:

- Трудност на въпросите (процентът на решилите правилно задачата спрямо

общия брой тестирани лица);

- Индекс на дискриминация (разликата от трудността на въпроса за

студентите с висок резултат на теста и трудността на въпроса за студентите

с нисък резултат )

- Постижения на обучаемите – броят на верните отговори на всеки преминал

теста;

- Разпределение на оценките, показващо доколко то съвпада с Гаусовото

разпределение, определено от Европейската Система за Трансфер на

Кредити (ECTS).

- Точността на измерване на теста - неговата надеждност.

Това улеснява и подпомага преподавателите да вземат решение кои от тестовите въпроси

е необходимо да се променят, за стане тестът по-качествен и надежден, как да редактират

дидактическите материали и как да предлагат информация за вземане на управленски решения

за процеса на обучение.



IV Глава Експериментално изследване на работоспособността на

разработеното технологично решение

1. Експериментиране на разработения модел при обучение на ученици и студенти

Предложеният модел е реализиран и приложен при обучението на студенти в първи

курс, програма „Компютърни медийни технологии” в НБУ в курса „Структури в

програмирането и ИТ”, както и при обучението на ученици в 9-ти клас на Частна гимназия по

мултимедия, компютърен графичен дизайн и анимация по предмета Информатика.

Всяка лекция/урок се онагледява със слайдове, описващи и обосноваващи основните

теоретични постановки и онагледяващи практическите приложения с използване на действащи

примерни програми. След урока преподавателят качва в платформата за електронно обучение

moodle файл в PDF формат, съдържащ теоретичен материал по темата. Този материал съдържа

информацията от лекцията, но в по-разширен и подробен вид от презентацията, както и връзки

към допълнителни източници.

фигура 59 Електронни материали в

moodle

фигура 60 Въпроси за самопроверка в

moodle

фигура 61 Тест за самопроверка в moodle

PDF файлове с информа ция

по темата



Тези материали се използват на етапа „Самоподготовка 1” от модела на фиг. 31 с цел

усвояване и задълбочаване на знанията на учениците/студентите. След това обучаемите трябва

да направят тест за самопроверка, съдържащ 10-12 въпроса с отворен отговор и качен в moodle.

Придобиването на практически умения става чрез семинарни/ лабораторните упражнения, в

които преподавателите проверяват и задават въпроси най-напред върху теоретичната част, а

после и върху съставените от студента задачи по време на упражнението. Практическите

умения могат да се усъвършенстват и демонстрират и чрез разработване на курсов проект. Още

по голяма увереност в своите знания, пък и натрупване на опит за представяне на теоретичната

част на предстоящо контролно, се придобива след самоконтрола с тестовете предложени след

всяка тема. Това става на етап „Самоподготовка 2” в предложения модел. Тестовете са от

изборен метод, съдържащи по пет отговора, от които само един е верен. Тъй като са качени в

moodle, то времето за отговор е ограничено, а и системата автоматично оценява отговорите и

поставя оценка. Следващият етап е ежеседмичния контрол. Той включва проверка на домашни

работи и разработена част от курсовия проект. Текущият контрол би било редно да се провежда

по няколко начина: в теоретичната си част с помощта на специално разработени тестове и

система за тяхното оценяване или чрез писмено развиване на теоретичните проблеми, като и в

двата случая, изтеглени чрез случаен избор на въпросите и темите. Окончателният контрол или

изпитът се провежда по традиционните начини за писмено (на ръка) описание на изтеглените

чрез случаен избор теоретични въпроси и текстови код на програмите описващи решението на

поставените задачи. За подготовка служат всички изброени по-горе дидактически материали

предоставяни в електронна форма или върху хартиен носител.

2. Експериментиране на компютъризиран тестов контрол

2.1. Създаване на тестове за текущ и финален контрол

Текущият контрол на студентите в курса “Структури в програмирането” се провежда

под формата на два теста по време на семестъра.

Тестовете са създадени чрез технологията, описана в III глава и реализирани в авторска

среда ToolBook, която осигурява възможности за обратна връзка, проследяване действията на

тестваните лица, автоматична оценка. Тъй като от тези тестове зависи крайната оценка на

обучаемите, следва да направим статистически анализ, за да проверим дали създадените

тестови въпроси са коректни и надеждни. Основната задача на тестовете е да бъдат инструмент

за обективно оценяване на знанията на студентите. Провеждането на тестов контрол на

знанията на студентите с помощта на компютърните технологии ни дава възможност да се

натрупат достатъчно статистически данни, за да можем да решим и друга задача – да

анализираме дали този инструмент е достатъчно добър. Според класическата теория на

тестовете основните измерителни характеристики на тестовете са трудност, дискриминация и

надеждност

2.2. Статистически анализ на създадените тестове

2.2.1. Определяне на вероятност за брой верни отговори

За определяне на оценъчните интервали, първото важно условие е да се определят

вероятностите за различен брой верни отговора (от 0 до n), които може да въведе един студент

при случаен избор на отговор (при абсолютно непознаване на учебния материал).

Вероятността за к на брой верни отговора се изчислява по формулата на Бернули:



(9) knp

kp

knk

n

kP )1(

)!(!

!

където:

n – брой въпроси;

k – брой верни отговори;

(n-k) – брой грешни отговори;

p – вероятност за верен отговор;

(1-p) –вероятност за грешен отговор.

Това представяне се получава по следния начин на разглеждане на събитието А - {n-те

проведени опита са независими, като k от тях завършват с “успех”, а останалите (n-k) - с

“неуспех”, където k = 0,1,…,n}. Вероятността за еднократна реализация на събитието А поради

независимостта на опитите е равна на pk(1- p)n-k. Остава да умножим последния израз по броя на

различните начини, по които може да се сбъдне събитието А. За нас е без значение реда на

отчитане на “успехите” - само искаме те да бъдат k на брой. Броят на различните начини за

реализиране на събитието А е отношението:

(10) )!(!

!

knk

n

Тогава:

p = 1/5 = 0. 2 - един верен отговор измежду 5 възможни

1- p = 1- 0.2 = 0.8 - четири неверни отговора измежду 5 възможни

Математическото очакване и дисперсията на случайна величина се пресмятат по

формулите:

(11) E (X) = np и

(12) )1(2

pnpx ,

където n = 35 (общият брой въпроси).

Ако представим в графична форма получените данни за вероятността един студент да

отговори на определен брой въпроси без да знае нищо се получава:

фигура 62 Разпределение на вероятността

От графиката ясно се вижда, че при случаен избор на отговори, при пълно незнание на

материала, най-голяма е вероятността да се въведат 7 верни отговора.

Математическото очакване е:

(13) 72,0.35)( npxE

А дисперсията е:



(14)

37,28,0.2,0.20)1( pnpx

2.2.2. Определяне обема на извадката от въпроси

На теста са отговорили 49 студента. С цел да се анализират данните, получени на теста и

да се изчислят мерките на разсейване по метода на сигмалните отклонения, можем да въведем

данните в табл. 23:

Табл. 23: Мерки на разсейване

Средният брой точки, получени от един студент се изчислява по формулата за

претеглено средно аритметично:

(15) 39,1849

901.

f

fxx ,

т.е. средният брой верни отговори, дадени от един студент е ~ 18.

За да се получи средното аритметично отклонение, първоначално се изчисляват

абсолютните разлики (колона 5) и получените се претеглят по съответните честоти (колона 6).

По нататък изчислението на средно аритметично отклонение се извършва по формулата:

(16) 4,6249

226,37

f

.f|xx|δ

Изчисляването на дисперсията преминава през последователното повдигане на

разликите от колона 5 на квадрат и получените квадрати се умножават по съответните

честоти. Резултатите са посочени в колона 8, а сумата от тях представлява числителя на

формулата за дисперсията. По този начин са налице необходимите стойности, за да изчислим

дисперсията:

(17)

34,3549

63,1731.2||2

f

fxx

Средното стандартно отклонение се получава като корен квадратен от дисперсията:

(18)

94,534,35.||

f

fxx

От получените данни можем да пресметнем и коефициента на вариация на средното

стандартно отклонение:

Оценки

(бр.точки) в

интервален

вариационен

ред

Честота Среди на

интервала

Произве-

дение

Абсолютна

разлика

Произве-

дение

Квадрат на

разликата

Произве-

дение

f x fx. || xx fxx .|| 2|| xx

fxx .|| 2

1 2 3 4 5 6 7 8

5 - 9 2 7 14 11,39 22,78 129,68 259,36

10 - 14 13 12 156 6,39 83,04 40,80 530,44

15 - 21 19 18 342 0,39 7,37 0,15 2,86

22 - 28 13 25 325 6,61 85,96 43,72 568,38

29 - 35 2 32 64 13,61 27,22 185,29 370,59

49 901 226,37 1731,63



(19)

%3,32100.39,18

94,5100.

% xxV

Полученият коефициент на вариация позволява да се направи извода, че съществуват

големи различия в успеваемостта на студентите.

Както бе споменато тестът, на който се явяват студентите се състои от 35 въпроса.

Всъщност тези въпроси са избрани по случаен признак от база, съдържаща 150 тестови въпроса.

Тези 150 въпроса покриват целия преподаван до теста материал. За да преценим дали извадката

от 35 въпроса е представителна и отразява обективно знанията на студентите е необходимо да

се пресметне нейния обем. От известните от статистиката формули за определяне на обема на

извадката (n) ще използваме тази, която се прилага при зададена грешка в проценти и при малка

стойност на N (единиците в генералната съвкупност):

(20) N

Vt

Vt

n2

%2

2

%

2

%2

Въпросът, който си поставяме е: какъв обем на извадката ще бъде достатъчен, ако

искаме броя на въпросите, съдържащи се в теста да отразяват преподавания материал, като

оценката на този показател да бъде валидна с относителна грешка не по-голяма от 10% (∆),

т.е. при 90% гаранция за сигурност. Във формула (20) се използва гаранционният множител t,

чиито стойности е известно, че варират от 1 до 3. Избираме неговата средна стойност: 2. От

предишните наблюдения сме пресметнали (8) коефициента на вариация V% =32,3. Прилагайки

формула (20) можем да изчислим обема на представителната извадка:

(21)

6,3282,127

16,4173

82,27100

16,4173

150

16,4173100

16,4173

150

29,1043.4100

29,1043.4

150

23,32.22210

23,32.22

2

%2

2

%

2

%2

N

Vt

Vtn

От полученият резултат, приблизително равен на 33 въпроса става ясно, че този брой

въпроси покрива с 90%-ова гаранция преподавания материал.

2.2.3. Анализ на получените оценки

Направеният анализ на резултатите от проведен експериментален тест в курса

“Структури в програмирането” показва, че избраният брой въпроси – 35 отразява в достатъчна

степен преподаваният материал в първата част на курса (тестът се провежда след първата

половина на семестъра). При този брой въпроси най-голяма е вероятността да бъдат отгатнати

случайно 7 верни отговора. Експерименталните данни потвърждават теоретичните. Това

доказва, че избраният интервал от точки (0-9) да съответства на оценка две е подходящо

подбран.



Първи тестов контрол в НБУ са преминали 49 студента, а втори тестов контрол - 53.

Процентното разпределение на получените оценки е визуализирано на фиг. 65.

фигура 65 Процентно разпределение на

оценките в НБУ


оценките в професионалната гимназия

При експериментиране на същите тестове, учениците в средно училище получават по-

ниски оценки фиг. 66.

Можем да сравним разпределението на оценките, получени от студентите и учениците

със скалата на оценките (пунктираната крива), определена в съответствие с критериите за

оценки на Европейската система за трансфер на кредити. Тази крива всъщност представя едно

нормално Гаусово разпределение, при което максималният процент студенти получават оценка

Добър. Плътните криви представя разпределението на оценките на обучаемите от двата теста.

Забелязва се, че кривите имат приблизително еднакво разпределение.

2.2.4. Експериментално определяне трудността на тестовите въпроси на

база на сравнителен анализ на резултатите на студентите в ТУ- София и

НБУ

За оценка на знанията на студентите по дисциплината Информатика I във ЕМФ в ТУ –

София и в НБУ се използва компютъризиран тестов контрол.

За определяне на коефициентите на трудност на използвания компютъризиран тест се

анализират резултатите на всички студенти явили се на първи и втори тестови контрол, като се

отчитат параметрите: номер на раздел, номер на въпрос от този раздел, случайно генериран

вариант на въпроса, вид отговор на студента (верен/грешен) и процента на студентите

отговорили вярно на дадения инвариант спрямо общия брой студенти отговаряли на този

инвариант.

На първи тестов контрол в ТУ – София са се явили общо 133 студента.Той се състои от 35

въпроса, равномерно разпределени и структурирани в 7 основни раздела. Съвкупността от

получените резултати, е описана в таблица, показваща оценката на трудността на въпросите по

раздели.

Построяваме хистограмата, визуализираща това разпределение (фиг.67), от която се вижда,

че коефициента на трудност при тестовите задачи за първо контролно варира между 6% и 63 %.

Повечето от генерираните варианти на въпросите попадат в интервала от 35 до 55 %, което

показва, че имат оптимален коефициент на трудност.

Аналогичните резултати, получени в НБУ са представени на фигура 68.




трудността на тестовите въпроси по раздели от 1-во

контролно в ТУ - София


трудността на тестовите въпроси по раздели от 1-во

контролно в НБУ

фигура 69 Оценка на трудността по раздели

от 1-во контролно в ТУ-София

фигура 70 Оценка на трудността по раздели

от 1-во контролно в НБУ

Вижда се, че трудността на въпросите варира между 22% и 77 %, което е доста широк

интервал. Но ако пресметнем разпределението на трудността на въпросите, се получава, че 80 %

от въпросите са в границите на оптималната трудност:

От фигура 69 се вижда, че степента на трудност по разделите обхващащи материала за 1-во

контролно е в интервала 36% до 52% , следователно може да се направи извода, че оценката на

коефициента на трудност на задачите от първи тестов контрол е оптимална.

Аналогичната графика, получена при провеждането на 1-во контролно в НБУ (фиг.70),

показва, че трудността на въпросите варира в интервала 39% - 62%. Т.е. същите въпроси са по-

лесни за студентите в НБУ или те са по-силно мотивирани да учат, т.к. изследването е

проведено със студенти от програма “Компютърни медийни технологии”, и тази дисциплина е

тясно свързана с тяхната бъдеща професионална реализация. Аналогично построяваме

таблицата с данни и фигурите с процентното разпределение трудността на задачите от II-ри

тестов контрол. На втори тестов контрол в ТУ – София са се явили общо 124 студента.Той се

състои от 30 въпроса, структурирани в 5 основни раздела. (фиг.71, фиг. 73):


трудността по раздели от 2-ро контролно в ТУ -

София


трудността по раздели от 2-ро контролно в НБУ

05

101520253035404550556065707580

Раздел 1 Раздел 2 Раздел 3 Раздел 4 Раздел 5 Раздел 6 Раздел 7

Тр

уд

но

ст (

%)

въпрос 1

въпрос 2

въпрос 3

въпрос 4

въпрос 5

05

101520253035404550556065707580


Тр

удн

ост (

%)

въпрос 1

въпрос 2

въпрос 3

въпрос 4

въпрос 5

Оценка на трудността по раздели на първо контролно

0

5

10

15

20

25

30

35

40

45

50

55

60

65

70

75

80


Тр

удн

ост

(%

)

Оценка на трудността по раздели на първо контролно

0

5

10

15

20

25

30

35

40

45

50

55

60

65

70

75

80


Тр

удн

ост

(%

)

05

101520

25303540

455055

606570

7580

Раздел 1 Раздел 2 Раздел 3 Раздел 4 Раздел 5

тр

уд

но

ст (

%)

1 въпрос

2 въпрос

3 въпрос

4 въпрос

5 въпрос

6 въпрос

7 въпрос

0

5

10

15

20

25

30

35

40

45

50

55

60

65

70

75

80


тр

удн

ост (

%)

въпрос 1

въпрос 2

въпрос 3

въпрос 4

въпрос 5

въпрос 6

въпрос 7



05

101520253035404550556065707580859095

100


въпрос 1

въпрос 2

въпрос 3

въпрос 4

въпрос 5

фигура 73 Оценка на трудността по

раздели от 2-ро контролно в ТУ-София

фигура 74 Оценка на трудността по

раздели от 2-ро контролно в НБУ

От фиг. 71 се вижда, че коефициента на трудност при тестовите задачи за второ контролно

варира между 25% и 63 %. Повечето от генерираните варианти на въпросите попадат в

интервала от 35 до 55 %, което показва, че имат оптимален коефициент на трудност.

Получените данни в НБУ са представени на фиг.72 и фиг. 74.

Забелязва се, че коефициента на трудност варира в интервала 26% -72%. Но ако пресметнем

разпределението на трудността на въпросите, се получава, че 73 % от въпросите са в границите

на оптималната трудност:

Оценката на трудността на целия 2-ри тест по раздели е представена на фиг. 73 и фиг. 74.

Вижда се, че степента на трудност по разделите обхващащи материала за 2-ро контролно е в

интервала 30% до 48% в ТУ-София и 36% до 53% в НБУ, следователно може да се направи

извода, че оценката на коефициента на трудност на задачите от втори тестов контрол също е

оптимална до леко трудна.

Трудността на въпросите при проведени тестове в средното училище варира при първи

тестов контрол в интервала от 28% до 93%, а при втори тестов контрол в интервала от 13% до

47%.

2.2.5. Изследване индекс на дискриминация на въпросите в използваните

тестове за оценка на знанията на студентите

Индексът на дискриминация е анализиран на базата на събрани статистически данни от

проведените тестове в НБУ и в ЧПГ по мултимедия, компютърен графичен дизайн и анимация.

На първият тестов контрол са се явили 71 студента. Резултатите на първите 18 от тях,

които са получили най-високи резултати формират „силната” група, а последните 18 с най-

нисък резултат, формират „слабата” група. Анализирани са отговорите на всеки един въпрос на

тези 36 студента, въз основа на което е изчислен индекса на дискриминация на въпросите в

първия тест.

От фиг. 75 се вижда, че коефициентът на дискриминация при тестовите въпроси за първо

контролно варира между 23 и 80.

фигура 75 Индекс на дискриминация на

въпросите в първия тест


въпросите във втория тест

Оценка на трудността по раздели на 2-ро контролно

05

101520253035404550556065707580


Тр

уд

но

ст (

%)

Оценка на трудността по раздели на второ контролно

05

101520253035404550556065707580


Тр

уд

но

ст (

%)

05

101520253035404550556065707580859095

100


въпрос 1

въпрос 2

въпрос 3

въпрос 4

въпрос 5

въпрос 6

въпрос 7



Интерпретирането на индексът на дискриминация е представено в табл. 36.

Табл. 36 Интерпретиране индекса на дискриминация

Забелязва се, че няма въпроси с индекс по-нисък от 19, които не бива да бъдат

използвани. По-голямата част от въпросите (71 %) могат да се окачествят като отлични тъй като

за тях D>=40. Необходимо е още веднъж да се огледат въпросите (20 %), които попадат в

интервала 30-39 и да се направи опит да се подобри въпроса. Съществуват и три въпроса с

дискриминация между 20 и 29. Това се дължи на факта, че два от тях са много лесни, а третият

– много труден.

При провеждане на тестовете в ЧПГ по МКГДА индексът на дискриминация варира в

сходни граници: с индекс на дискриминация D>=40 са 65% от въпросите, а в интервала 30-39 са

25% от въпросите.

Аналогично построяваме таблицата с данни и визуализиращата я графика (фиг. 76) с

индекса на дискриминация на въпросите от втория тестов контрол на студентите. На теста,

състоящ се от 30 въпроса, структурирани в 5 основни раздела са се явили общо 75 студента.

Показателите, касаещи индекса на дискриминация се оказват по-добри от тези за първия

тест. Отново няма неизползваеми въпроси (D<=19), но процентът на въпросите, които могат да

се окачествят като отлични (D>=40) е доста по-висок - 84%. Добре е да се огледат още веднъж

13% от въпросите ( с индекс на дискриминация между 30 и 39), въпреки че могат да продължат

да се използват. Един единствен е въпросът (№ 4 от втори раздел), който е с индекс на

дискриминация 29 и е задължително да се промени.

При провеждане на тестовете в ЧПГ по МКГДА индексът на дискриминация варира в

близки граници: с индекс на дискриминация D>=40 са 80% от въпросите, а в интервала 30-39 са

17% от въпросите.

2.2.6. Изследване и анализ на надеждността на използвания тест за оценка на

знанията на студентите

При направеният експеримент със студентите от ЕМФ в ТУ – София са взели участие

133 студенти на 1-ви тестов контрол и 127 студенти на 2-ри тестов контрол.

Средната стойност от всички получени точки на първи тестов контрол са X = 13,52.

Следователно за дисперсията се получава: 2= 24,13. Прилагаме формулата на KR #21:

(22)

68,013,2435

)52,1335(52,131

135

35)(1

1 221k

XkX

k

kR

Т.к. полученият коефициент на надеждност R=0,68 е по-голям от 0,60, може да се

направи извод, че използваният тест на първи контрол за измерване на знанията на студентите е

в достатъчна степен надежден т.е. той е добър инструмент за оценка на знанията на студентите.

По аналогичен начин е изследвана и изчислена надеждността на използваният на втори

контрол тест.

Индекс на

дискриминация (D)

Значение

D >= 40 Отлични въпроси

30<D<=39 Могат да продължат да се използват

20<D<=29 Добре е въпросът да се преразгледа и подобри

D<=19 Няма добри качества за установяване на различие и по-

скоро не бива да се използва



Средната стойност от всички получени точки X = 11,39. Следователно за дисперсията се

получава: 2= 22,14. Прилагаме формула (7) на KR #21:

(23)

70,014,2230

)39,1130(39,111

130

30)(1

1 221k

XkX

k

kR

От полученият коефициент на надеждност R=0,70 на втори тестови контрол се вижда, че

той също е надежден в достатъчна степен и може да се окачестви като добър инструмент за

оценка на знанията.

Сравняваме получените резултати от двата тестови контрола (фиг. 77). Забелязва се, че

съотношението на основните измерителни параметри при двата тестови контрола е

еквивалентно, като се има предвид, че броя на тестовите задачи във втория тест е по-малък (30),

което води и до по-малка дисперсия на получените резултати и следователно до по-голяма

надеждност на теста.

фигура 77 Сравнение между получените данни за първи и втори тестов контрол

2.3. Статистически анализ на създадените тестове с използване на

разработения програмен продукт

Приложението за анализ на получените резултати предлага най-напред кратко обяснение

за смисъла и значението на индекса на дискриминация (фиг. 78). След това за всеки от

въпросите (посочени с техните имена) е определена стойността на индекса и са групирани

според интервала, дефиниран от [18]. Дадени са насоки за това дали може да продължава да се

използва конкретният въпрос или е необходимо да бъде преработен. Графиката визуализира

стойностите на дискриминационния индекс на всеки въпрос.


въпросите

фигура 79 Трудност на въпросите

0,00

5,00

10,00

15,00

20,00

25,00

Средна стойност

от получените

точки

дисперсия KR #21

Сравнение между получените данни за първи и втори

тестов контрол

тест 1

тест 2



фигура 80 Постижения на обучаемите

фигура 81 Разпределение на оценките

Екранът на приложението отново дава кратка информация относно смисъла на

параметъра „трудност” на въпроса, а след това посочва кои са трудните, лесните, оптималните

въпроси, кои е необходимо да се преразгледат като структура и като алтернативи и кои могат да

продължат да се използват (фиг. 79). Графичното представяне на трудността на въпросите

позволява бърза ориентация за преподавателя каква е степента на трудност на теста.

Друга опция която имат на разположение потребителите на приложението нагледно да

видят постиженията на всеки един от обучаемите (фиг. 80). Графиката показва поименно

тестваните лица и броя на верните отговори на всеки от тях.

Последната опция в приложението визуализира разпределението на получените оценки

(фиг. 81). Графичното представяне на оценките позволява на преподавателят да види дали

резултатите от теста е в съответствие с критериите за оценки на Европейската система за

трансфер на кредити (представени в Помощната таблица на страница И-3 от практическото

ръководство на ECTS), според които максималният процент студенти получават оценка

„Добър”, при което резултатната графика представя нормално Гаусово разпределение.

Извод 1:

Болшинството от създадените тестови задачи имат коефициент на трудност в границите

37%-68 %, който се счита за оптимален.

Разгледани са въпросите с екстремни показатели на трудност. В резултат на което е

обърнато внимание на два въпроса от първи текущ контрол които се открояват като по-лесни,

както и на един въпрос от втори текущ контрол, открояващ се като много труден и за двете

групи обучаеми.

При изследване на коефициента на трудност на тестов контрол със студенти от ЕМФ,

ТУ-София и от НБУ се забелязват отклонения от 3% до 10 % в трудността за двете групи, което

може да се обясни с това, че студентите в НБУ са по-силно мотивирани да изучават

Информатика, т.к. изследването е проведено със студенти от програма “Компютърни медийни

технологии” и тази дисциплина е тясно свързана с тяхната бъдеща професионална реализация.

Изследванията на трудността на въпросите при проведени тестове в средното училище

показва, че въпреки, че преподаваният материал е един и същи, проведените тестове се оказват

по-трудни за учениците, което е обяснимо от гледна точка на тяхната възраст и образователна

степен.

Извод 2:

Анализът на индекса на дискриминация от проведените тестове със студенти в НБУ

сочи, че:

- Няма въпроси с индекс по-нисък от 19, които не трябва да бъдат използвани.



- По-голямата част от въпросите (79 % за първи тест и 84% за втори тест) могат да се

окачествят като „отлични” тъй като за тях D>=40.

- Необходимо е още веднъж да се огледат някои въпроси (16 % за първи тест и 13% за

втори тест), за които индексът на дискриминация е в интервала 30>D>=39, т.е. следва да се

направи опит да се преработи въпроса.

- Съществуват и три въпроса с дискриминация между 20 и 29. Това се дължи на факта, че

два от тях са много лесни, а третият – много труден.

- Един единствен е въпросът, който е с индекс на дискриминация 29 и е задължително

дистракторите да се заменят с по-кратки и ясни съждения.

При провеждане на тестовете с ученици в гимназията индексът на дискриминация варира в

сходни граници. От първият тестов контрол с индекс на дискриминация D>=40 са 65% от

въпросите, а за 25% от въпросите D e в интервала 30-39. При вторият тестов контрол данните са

съответно 80% и 17%. Въпросите с дискриминация между 20 и 29 съвпадат и за двете групи

обучаеми.

Извод 3:

При сравнение на оценките, получени от студентите в НБУ и в средното училище се

забелязват следните тенденции:

- Оценките на студентите са по-високи от оценките на учениците;

- Съществените разлики (в рамките на 9%-15%) са при оценки „добър” и

„много добър”, което е допустимо, имайки предвид разликата във възрастта

и образователната степен на експерименталните групи. При разпределението

на останалите оценки резултатите са почти идентични (с отклонения от 2 до

4%).

- Разпределението на оценките и на двете групи се приближава до

дефинираното от практическото ръководство на ECTS.

Извод 4:

Статистическият анализ, направен съгласно формулата на Кудер – Ричардсън #21

показва, че коефициентът на надеждност и на двата теста е над 0.60 (съответно R=0,68 за тест 1

и R=0,70 за тест 2). Това показва, че използваните тестове за измерване на знанията на

студентите и учениците са в достатъчна степен надеждни за оценка на знанията.

Извод 5:

Разработен е инструмент (софтуерно реализиран в глава III), който анализира

качеството на тестови задачи. Анализът помага за оптимизиране надеждността на тестовете,

контролиране на трудността и индекса на дискриминация на тестовите задачи и подпомага

управлението на обучението. Проведените експерименти с три различни групи обучаеми – две

групи студенти в различни университети и една група ученици, водят до сходни резултати.

Получените отклоненията при измерването на трудността, индекса на дискриминация и

разпределението на оценките са в интервала 3%-15%. Смятаме, че са допустими заради

разликата в образователната степен (ученици-студенти) и в характеристиката на двата

университета (инженерен-технологичен). Резултатите показват, че предложеното технологично

решение работи еднакво добре и с трите експериментални групи.



V. Заключение

Сравнителният анализ и оценка на авторски системи и такива с отворен код за създаване

на мултимедийни обучителни материали показват, че най-подходящи за създаване и

разпространение на обучителни материали в училища и университети са авторската среда

ToolBook и платформата за електронно обучение Moodle. Те осигуряват подпомагането на

учебния процес и в онлайн и в офлайн режим. Изследването е насочено към интегрираното им

използване и с проверка на възможността за обмен на информация между тях.

Мултимедийните среди поддържат SCORM стандарт и предоставят възможности за

създаване на тестове в самата среда, но не позволяват да се осъществи преносимост на тестове

между двете среди и лесното интегриране, визуализиране и автоматизирано интерпретиране на

резултатите.

След разглеждане на различни модели и подходи, прилагани в обучението се налага

създаването на модел, който да е разбираем от обучителите, да е лесно приложим в тяхната

работа. Моделът описва фазите и етапите на учебния процес, като посочва какви електронни

образователни ресурси е подходящо да се използват на всеки етап. Включва и софтуерен

продукт, явяващ се интегратор на мултимедийните среди. Софтуерният продукт осигурява

възможност за автоматизирано въвеждане в мултимедийни среди на тестови въпроси,

предварително създадени в широко разпространен и лесен за използване продукт, напр. MS

Word, създавайки база данни – банка въпроси. Използването на натрупаните статистическите

данни от проведен тест в среда Мoodle или ToolBook осигурява възможност на преподавателите

за анализ и графична визуализация на някои параметри на теста. Това улеснява и подпомага

преподавателите при вземането на управленски решения за процеса на обучение.

Докторантския труд разработва, експериментира и прилага технологично решение за

изследване на учебния процес и тълкуване на резултатите с цел подпомагане управлението на

процеса. Технологичното решение представлява премерена съвкупност от методи и подходи,

включващи създадения модел и мултимедийни среди.

Проведените експерименти (в средно училище и два университета) за проверка на

модела и оценка на създадените дидактически материали показват, че разработеното

технологично решение помага за оптимизиране надеждността на тестовете, контролиране на

трудността и индекса на дискриминация на тестовите задачи и подпомага управлението на

учебния процес. Проведените експерименти с три различни групи обучаеми – две групи

студенти в различни университети и една група ученици, водят до сходни резултати, с

отклонения от 3% до 15%. Смятаме, че са допустими заради разликата в образователната степен

(ученици-студенти) и в характеристиката на двата университета (инженерен-технологичен).

Резултатите показват, че предложеното технологично решение работи еднакво добре и с трите

експериментални групи.

Натрупаните резултати ще инициират възможност да се разшири инструментариума, да

се развият дидактическите материали и да се подготви по голям експеримент за изследване на

връзката между получените резултати, планираните стратегии и тактики с инструментите за

управление на обучението.



Отделни части от дисертацията са докладвани на национални и международни научни

конференции:

Конференция № на статия от

списъка с

публикации

International scientific conference “Computer Science 2004”,

Sofia, Bulgaria

[1]

Second International scientific conference “Computer Science

2005”, Halkidiki, Greece,

[2]

Third international Bulgarian - Turkish conference „Computer

Science 2006”, Istanbul, Turkey

[3]

Fourth international Bulgarian- Greek conference „Computer

Science 2008, Kavala, Greece

[5], [6]

Proc. of Fifth international Scientific conference „Computer

Science 2009, Sofia, Bulgaria

[7]

XX юбилейна международна научно-техническа

конференция АДП 2011, Созопол, България

[8]

Междинни резултати от дисертацията са отчетени при работата на кандидата по няколко

научни проекта:

Проект на МОН „Изследване, моделиране и избор на методи и технически

средства за електронно обучение... ”, по договор № I1207/02. Темата е от плана на

научния съвет за „Научни изследвания” на МОН; смесен колектив – НБУ, ТУ-

София;

Проект на НИС на ТУ-София, ВHИ № 555/05 на тема „Изследване на модели и

създаване на дидактически материали за контрол и оценка качеството на

обучение в два курса по Информатика в условията на Е-обучение в локалната

мрежа на ТУ-София и Интернет.”;

STELLA: Science Teaching In LifeLong Learning /2008-2009/, Програма Леонардо

да Винчи, "Учене през целия живот";

Международен проект STENCIL: Science Teaching European Network Contributing

to Innovation in Learning /2011-2013/; Програма Леонардо да Винчи, "Учене през

целия живот".

Забелязани са 7 цитата и 5 автоцитата на посочените в дисертацията публикации по

темата.

VI. Приноси

1. Изследване и сравнителен анализ на мултимедийни среди и модели на обучение.

/научно-приложен/

2. Създаване на модел на развитието на учебния процес, приложим в средното и

висшето образование. /научен/

3. Проектиране и реализация на програмен продукт, унифициращ въвеждането на

дидактически материали в мултимедийни среди и извеждане на резултатите. /приложен/

4. Експериментално изследване на разработеното решение /научно-приложен/



VII. Публикации

[1] Jelev Gospodin, Minkova Yoana. Determination of representative sample size and knowledge

assimilation test results processing. Problems & discussion. Proc. of International scientific

conference “Computer Science 2004”, Sofia, Bulgaria; pp. 274-279

[2] Jelev Gospodin, Minkova Yoana. An Integrated Approach for Organization of Questions Input

in a Computerized Test. Proc. of Second International scientific conference “Computer Science

2005”, Halkidiki, Greece, part II, pp. 253-258,ISBN 954 438 526 6

[3] Jelev Gospodin, Minkova Yoana. Automated output and processing of the computerized test.

Proc. of Third international Bulgarian - Turkish conference „Computer Science 2006”,

Istanbul, Turkey, part II, pp. 164-169

[4] Jelev Gospodin, Minkovska Daniela, Minkova Yoana. Еxamination of reliability and

discrimination index of test items for knowledge assessment // Computer engineering, 2008, №

1, pp. 86 – 89

[5] Jelev Gospodin, Minkova Yoana. Comparative Analysis of Authoring Tools for Multimedia

Application Development, Proc. of Fourth international Bulgarian- Greek conference

„Computer Science 2008, Kavala, Greece, part III, pp. 978-983, ISBN: 978-954-580-256-0

[6] Jelev Gospodin, Minkova Yoana. An Integrated Approach for Organization of the

Computerized Test Results’ Output. Proc. of Fourth international Bulgarian-Greek conference

„Computer Science 2008, Kavala, Greece, part III, pp. 973-977, ISBN:978-954-580-256-0

[7] Minkova Yoana. Integrating Document Based Quizzes in moodle LMS. Proc. of F ifth

international Scientific conference „Computer Science 2009, Sofia, Bulgaria, part II, pp. 395-

400, ISBN:978-954-438-853-9

[8] Йоана Минкова, Господин Желев. Мултимедийни приложения за обучение по

CAD/CAM. Сборник доклади от XX юбилейна международна научно-техническа

конференция АДП 2011, Созопол, България

Research of possibilities and methods for integrating in mult imedia environments of didactical materials for assessment

Yoana Minkova 38

Research of possibilities and methods for integrating in multimedia environments

of didactical materials for assessment

Summary

The aim of the thesis is to perform a research on existing approach and program tools, to create

a method and to develop a solution that integrates the capabilities of multimedia environments with

pedagogical and structural models describing the functional development of the learning process,

automation of assessment, management of educational processes. The solution aims to facilitate the

creation and implementation of teaching materials and their transfer between different educational

environments. Providing students with various electronic teaching materials, depending on the forms

and stages of training, an opportunity for a better organization of the educational process will be

created. Collecting results in databases should allow automated processing, visualization and their

correct interpretation. All this should facilitate teachers and lecturers in training management.

The comparative analysis and evaluation of authoring and open-source systems for

development of multimedia training materials indicates that the most suitable for the creation and

distribution of educational materials in schools and universities are ToolBook authoring tool and e-

learning platform Moodle. They provide support of learning in online and offline mode. The study is

aimed at integrating their use and inspection of the ability to exchange information between them.

After reviewing different models and approaches in training, the creation of a model that is

understood by trainers and is easily applicable in their work is imposed. The model describes the

phases and stages of the learning process, stating what electronic educational resources are suitable to

be used at each stage. It includes a module, which integrates multimedia environments. This module

enables automated input in multimedia environments of test questions, previously created in a

widespread and easy to use product, e.g. MS Word, creating a database – test bank. Using the statistics

of tests carried out in Moodle or ToolBook environment provides the possibility for teachers to get

analysis and graphical visualization of some parameters of the test. This facilitates and assists teachers

in making management decisions about the learning process.

PhD thesis develops, experiments and implements technology solution for analyses of

educational process, interpreting the results in order to help the process management. Technological

solution is a measured set of methods and approaches, including the developed model and multimedia

environments.

The experiments (in vocational school and two universities) for model validation and

evaluation of the developed teaching materials indicate that the technological solution helps to

optimize the reliability of the tests, to control difficulty index and the discrimination of the tests and

helps to manage the educational process. Experiments, conducted with three different groups of

students - two groups of students in different universities and a group of students in a school, led to

similar results, with deviations from 3% to 15%. We consider that they are admissible because of the

difference in educational level (secondary – high education) and because of the characteristics of the

universities (Engineering - Technology). The results show that the proposed solution works equally

well with all three experimental groups.

Collected outcomes will initiate opportunity to extend the toolkit for development of didactic

materials and to prepare a bigger experiment for research and analyses of relationships between the

results obtained, planned strategies and tactics, and tools for management of education.

Documents

Изследване на възможности и средства за ...konkursi-as.tu-sofia.bg/doks/SF_FKSU/ns/147/avtoreferat.pdf · 2013-08-08 · След това добавяме