Анализ на резултатите от външното оценяване по български език и литература в 4.клас
Татяна Ангелова,Софийски университет
Национално съвещание с експертите по начално образование, 4 октомври 2010
Екип
Доц. д-р Татяна Ангелова – Софийски университет “Св. Кл. Охридски”
Съставители на задачите: Здравка Делиева, Емилия Пейчева, Дора Бешева, Снежана Якимова и Ренета Савчева – начални учителки
Експерти за оценка на тестовите задачи: доц. д-р Гергана Дачева, доц. д-р Йовка Тишева – Софийски университет, преподавателки по съвременен български език
Цел на външното оценяване по български език и литература в 4.клас
Да се установи в каква степен е усвоен общообразователният минимум за културно-образователната област Български език и литература. Минимумът включва базисни за езиковата и литературната подготовка знания и умения, които са необходими и достатъчни за преминаването на учениците от четвърти в пети клас.
Съдържание на външното оценяване
Съдържателните области са обобщени така, че да могат да обхванат по-малко задачи с по-голям образователен потенциал. Стремежът е да се установи дали тестът позволява да се провери какъв е обемът и съдържанието на предвидения за оценяване общообразователен минимум по български език и литература. За ориентир служат Държавните образователни изисквания за завършен начален етап – 4.клас.
Български език Литература
Спецификация на тестовите задачи
За основа на спецификацията са използвани Държавните образователни изисквания за културно-образователната област Български език и литература за завършен начален етап, степен на образование – основна.
Познавателните равнища, на които съответстват задачите, са три:
разпознаване и разбиране на факти и понятия, свързани с учебното съдържание по БЕЛ;
приложение по зададен модел/без зададен модел – проверяват се уменията за анализ на езикови факти и на литературни факти, разпознаване и анализ на грешки (правописни и пунктуационни);
общуване и аргументация – проверяват се уменията да се изказва и защитава мнение по подходящ за възрастта въпрос, свързан с художествен/нехудожествен текст.
Банка от тестови задачи по български език и литература
Банката включваше 228 нови задачи, от които 125 бяха оценени от експерти по една и съща матрица за всички оценявани учебни предмети.
Критериите, по които бяха оценени задачите, са следните:
Съответстват ли на спецификациите? Ясно ли е поставено условието? Кой е правилният отговор на задачата? Единствен ли е правилният отговор? Има ли фактологични грешки? Задължителна ли е за учебния минимум?На експертите беше предложена възможност да
препоръчат подобряване на задачите, ако сметнат, че е необходимо. Всички препоръки и предложения на експертите бяха взети предвид.
Експертна оценка на тестовите задачи
От всичките 125 задачи, подложени на оценка, бяха оставени като качествени онези, които получиха оценка 1, тоест по мнението на експертите принадлежат към общообразователния минимум. Тези задачи бяха редактирани внимателно и от тях бяха избрани задачите за изпитните варианти.
Изпитни вариантиИзтегленият вариант включваше: 15 задачи с избираем отговор по български език и
литература Диктовка на текст, към който от 15-те задачи има
задачи за четене с разбиранеПрез 2008 беше направена апробация на два вида задачи за редактиране на текст, в който са внесени
правописни грешки, свързани с основни правила на книжовния език;
задача със свободен отговор: кратък писмен отговор на въпрос към текста, върху който са решавани задачи с избираем отговор от изпитния вариант. Но по препоръка на МОМН беше взето решение внедряването им да бъде отложено временно.
Формати задачи
Уменията за възприемане и извличане на информация от художествен и нехудожествен текст бяха проверявани чрез задачи за четене с разбиране, с избираем отговор, съставени към текста за диктовка.
Уменията за владеене на книжовния език бяха проверявани чрез задачи с избираем отговор и чрез диктовката.
Критерии за оценка. Мотивация
Всяка задача с избираем отговор при правилно решение донасяше по 1 точка.
Критериите за оценка на диктовката бяха основани на, следвани вече трета година, изисквания за външното оценяване в 4.клас. Но бяха обогатени с информация от Правописния речник на съвременния книжовен български език. БАН София 2002. Този речник е кодифициран за употреба и единодушно се използва от специалистите. Текстовете за диктовка бяха специално дискутирани и избрани така, че да отговарят на възрастовите особености на децата и целите на оценяване.
Извадка. Групиране на учениците
Извадката съдържа: 62060 ученици от общо 1918 училища в
страната.20 т. – 9,92%19 т. –16.48%, 19т.- 13,85%17 т. – 11,92%15 т. и повече – 7.91% (т.е. 75 процентил)0-4 т. – под 1% (т.е. 25 процентил)0 т. – 0,11% - не са решили нито една
задача
Извод въз основа на средния успех
Като се има предвид, че изпитният вариант позволява да се прецени в каква степен е усвоен образователният минимум, то може да се твърди, че за по-голямата част от учениците този минимум е овладян. 0,1% не са решили нито една задача. 91% са решили вярно 10 и повече задачи.
Средният тестов бал – 12 т.
Психометрични данни на задачите с избираем отговор
Трудност. Като цяло тестовият вариант е лесен. Средният тестов бал е 11.08 при максимален бал 15, а средната трудност е 78.66. Стандартно отклонение – 2.85, а стандартна грешка на измерването -1.4.
Надеждност. Алфа на Кронбах е 0.76 за тестовия вариант при стандартна грешка на Алфа 0.002. Както е известно, колкото по-близо до 1 е стойността на Алфа, толкова е по-висока надеждността на тестовия вариант.
Разграничителна сила. 14 от задачите имат много добра и добра разграничителна сила за практически нужди(над 30%), а 1 от задачите- 3-та - има допустима стойност на разграничителната сила.
Изводи от психометричните характеристики на задачите с избираем отговор
Тестът не е прекалено труден (под 20%) за нито една от групите.
Тестът е труден под средното (над 75%) за групите говорещи български език.
Тестът е средно труден за групата говореща турски, ромски език и друг език (над 50, но под 75%).
Наблюдава се статистически значима разлика между групата, говореща български език и групата, говореща ромски език.
Контент анализ на задачите от изпитния вариант (1)
Групата задачи за четене с разбиране към текста показват формирани умения да се определя ситуацията на общуване и вида на текста според нея – художествен, разговорен, научен. Учениците се ориентират в сюжета, в обстановката на действие, разбират смисъла на прочетеното. При решаването на тези задачи релевантен признак е домашният език. По –високи са постиженията на учениците с домашен език – български. Висок е процентът на решилите задача за извличането на пряко умозаключение от текста (88 ).
Контент анализ на задачите от изпитния вариант (2)
Учениците са се справили много добре и със задачите за определяне на антонимни отношения (91). Много добри са постиженията и при разграничаване на пряко от преносно значение (82%), при определяне на езикови средства в художествен текст (сравнение-81%). При решаването на тази задача по-високи са постиженията на момичетата.
Контент анализ на задачите от изпитния вариант (3)
Учениците умеят да прилагат практически знанията за сродните думи (73%), знанията за прилагателно и съществително като части на речта за подлог като част на изречението(82). Може да се смята, че са овладени основни понятия за езика, върху които ще продължи работата в прогимназиалната степен.
В сравнение с останалите задачи задачите за пунктуация са с процент на трудност 78, тоест основни правила за употреба на препинателни знаци в края на изречението, са усвоени практически.
Контент анализ на задачите от изпитния вариант (4)
По отношение на задачите, чрез които се проверява подготовка по литература, също може да се заключи, че учениците разбират основната опозиция – добро- зло, разпознават художествен от нехудожествен текст, познават съдържанието на такива произведения като басните на Езоп. Четвъртокласниците откриват епитети в текста и определят значението им в контекста, определят сравнението като изразно средство.
Влияние на най-често говорения език в семейството
Среден тестов резултат -11.8
Български език – 12.30
Турски език – 10.17 Ромски език – 9.13 Друг език – 10.44
Средна трудност -78.66
Български език – 81.97
Турски език- 67.78 Ромски език – 60.9 Друг език – 69.63
Извод за тестовите задачи с избираем отговор
Може да се обобщи, че посочените тематични единици в съдържателните области от спецификацията са посилни за усвояване от учениците – между 70-80 % и са надеждна основа да се създадат стандарти за оценяване.
Психометрични данни за диктовката
Скалата за оценка на диктовката е с много добра надеждност за практически цели, Алфа -0,84.
Среден тестов бал – 3.87 Средна трудност -77.42 Медианата е 4.25 т.е. 60% от учениците Модата е твърде висока – 5 и съвпада
със 75 процентил, т.е. 28% от учениците се правят отлично с проверяваното учебно съдържание.
Подреждане на критериите за оценка на диктовката според трудност и разграничителна сила
Буква я и ю след съгласна – 88/ 0.65 Правопис на същ. имена с наставка –
ост – 87/ 0.67 Четливо писане – 87/ 0.58 Обеззвучаване на съгласни в средата
и в края на думата – 79/ 0.58 Условно писане : буква а при
членуване на същ. имена от м.р.- 83/ 0.57
Замяна на А с Ъ и обратно- 56/ 0.43
Извод от психометричните данни от диктовката
Във всички региони средната успешност в диктовката е над 80% т.е. над строгата граница за успешност 75%. Този резултат тълкуваме като доказателство за постигането на минималните изисквания от задължителния минимум за знанията и уменията, свързани с книжовните правописни правила.
Взаимовръзка между резултатите от теста с 15 задачи с избираем отговор и диктовката
Взаимовръзката на резултатите от диктовката и теста по БЕЛ е средна по сила (коефициент на корелация, равен на 0,59). Индексът на детерминация (или делът на общото помежду им) е равен на 0,342.
Средният брой решени задачи в теста е 78.7%.
Средният брой покрити критерии на диктовката е 77.4%.
Резултатите от теста и от диктовката не се различават статистически значимо.
Постижения на четвъртокласниците. Влияние на фактора едноезичие, двуезичие
Език Брой ученици
Среден тестов резултат
Българ-ски
50122 19.90
Турски 6416 16.84
Ромски 5290 14.06
Други езици
234 17.5
Общо 62060 19.54
Извод за влиянието на фактора едноезичие/двуезичие
Наблюдава се разлика между средния резултат по БЕЛ за четирите групи най-често говорим в семейството език. Критерий за качеството на педагогическата работа може да бъде намаляването на тази разлика в региона, населеното място, училището и паралелката.
Изводи
Като цяло може да се обобщи, че проведеното външно оценяване в четвърти клас по български език и литература е успешно. Ако се смята, че усвояването на учебно съдържание от задължителния минимум в рамките на 70-80 % е показателно, то въз основа на данните може да твърди, че учениците са овладели базисни за езиковата и литературната подготовка знания и умения, без които е неприемливо преминаването в пети клас.
Въпроси за дискутиране и възможните им решения (1)
Да започне работата по създаване на държавни образователни изисквания за оценяване, чрез които да се ориентират критериално задачите за оценяване. В момента приключва работата си екип за външното оценяване по 7-ма Рамкова програма.
Да започне работата върху описания на прагове за владеене на български език в съответствие с Европейската рамка за изучаване на езици - базисно равнище и равнище на напреднали. Това ще позволи да се диференцират по трудност и разграничителна сила изпитните задачи.
Въпроси за дискутиране и възможните им решения (2)
Получената обратна информация да се прилага не санкциониращо, а стимулиращо за процеса на обучение по български език и литература. В момента приключва работата си екип за вътрешно оценяване (стандарти)
Непрекъснато да се обновява системата за външно оценяване по български език и литература.
Да се усъвършенства културата на оценяване с тестови задачи.
Молба за съдействие
Моля, изразете вашето становище за: формат, видове задачи, критерии за оценка, възможности за подобряване на начина, по който се оценява усвояването на общообразователния минимум.
Моля, дайте предложения за подобряване на организацията, при която протича оценяването: как да се отстрани рискът от преписване, от показване и подсказване.
Възможно ли да се търси приемственост между оценяването за завършен четвърти клас и вътрешното оценяване в четвърти и в пети клас?
Recommended
