1

ДЕПАРТАМЕНТ ЗА ЕЗИКОВО ОБУЧЕНИЕ И ЧУЖДЕСТРАННИ

СТУДЕНТИ

Член на ALTE

Софийски университет “Св. Климент Охридски”

2

Стандартизиран тест по български езикРетроспекция и перспективиКембридж 2008

Андонян M., Борисова A., Йончева Г., Тодоринова Ю.

3

Представени са някои основни моменти , свързани с изпитите по Стандартизираните тестове по български език:

4

Главни насоки на изследването:

Разработване на тестоветеИзпитвани лицаРезултати от изпититеИзводи от одита на ALTE 2007

5

НачалотоСъздаването и развитието на

стандартизираните тестове по български език започва през 2000 година и продължава и днес.

45 годишната история и опит на Департамента в ЧЕО и засиленият интерес към изучаването и сертифицирането на българския език като чужд са основните фактори в осъществяването на този процес.

6

Целта на теста е: Да задоволи интереса на чуждестранната

аудитория към тест по български език, създаден в съответствие с Европейската езикова рамка и стандартите на АЛТЕ.

Да служи като езиков стандарт за продължаване на образованието или за работа.

Да служи като стандартизиран инструмент за оценяване на резултатите от обучението по български език в ДЕО-ИЧС.

Да бъде част от процедурата по придобиване на българско гражданство.

7

Нива на компетентностСтандартизираният тест по български език като

чужд покрива 5 нива на езикова компетентност: A2, B1, B2, C1 and C2, които са строго приравнени към ЕЕР и работната рамка на АЛТЕ.

БАЗОВО НИВО – отговаря на ниво A2 от ЕЕР

ДОБРА КОМПЕТЕНТНОСТ – B1 и B2 от ЕЕР

ВИСОКА КОМПЕТЕНТНОСТ – C1 и C2 по ЕЕР

8

Конструиране на теста

Тестовият конструкт, типовете задачи и формат, които измерват 4-те основни рецептивни, продуктивни и интерактивни умения, са базирани на модела на комуникативната компетентност на Бахман-Тачева.

9

Съдържание на тестаЕзиковият материал за теста се подбира от

различни автентични източници: вестници списания учебници и справочници брошури художествена литература и др. Основните принципи за подбор са описани в

инструкцията за авторите на тестови задачи.

10

Критерии за подбор на съдържанието Външният контекст и езиковата

употреба за различните нива по ЕЕР Нивото на измерваните умения Типични теми и тематични области,

характерни за различните нива Социо-културен контекст Лексикален обхват Граматика Специфични трудности за изучаващите

български език като чужд.

11

Качество на тестовите задачиКачеството на тестовите задачи се установява чрез

апробирането им върху контролна група, идентична на изпитваната популация (т.нар. предварителен тест или pre-testing).

Поради обективни фактори, произтичащи от досегашния начин на администриране на изпитите за ниво, pre-testing в реални условия практически не може да се осъществи.

По тази причина качеството на тестовите задачи и валидността на теста досега са оценявани чрез апробиране в учебни условия или посредствомекспертно оценяване, организирано от Изпитния борд.

12

Нови изпитни материалиПреди да се използват, новите изпитни

материали се преглеждат и одобряват от две работни комисии:

Комисията по съдържанието проверява и одобрява езиковото и тематичното съдържание.

Комисията по етика следи за неподходяща и чувствителна езикова употреба при различни групи изпитвани лица (пол, раса, етнос, религия и др.)

13

Обучение на екипа

Изпитният борд провежда семинари и практически занятия, предназначени за:

автори на тестови задачиекзаминаториексперти, включени в

оценъчните процедури.

14

Изпитни центровеДва изпитни центъра администрират

Стандартизирания тест по български език: Тестовият център в ДЕО, съвместно с

катедрата по Български език Изпитният център в IMXA – Солун.Имаме договори за изграждане на нови

изпитни центрове в: Пиза (Италия) Нант (Франция)но те все още не действат.

15

Проверка и оценяванеИзвършва се по ясни и подробно описани в

отделни инструкции критерии за оценяване на писмена и устна продукция.Тези инструкции детайлно определят:

процедурите за оценяване критериите за оценяване граничните стойности за различните

оценки оценъчната скала

16

Оценяване

Задачите с избираем отговор се оценяват с предварително зададен брой точки, които се дават само при верен отговор.Не се отнемат точки при

грешен или непопълнен отговор.

17

Оценяване Устният изпит се оценява по

специална инструкция и формира отделна оценка, която се включва в крайната оценка от изпита с коефициент 0,25.

По регламент на устния изпит се прави пълен аудиозапис, който се съхранява в отделна папка заедно с остналите изпитни материали на кандидата.

18

Точност на оценяванетоВсички компоненти на изпита се

оценяват непосредствено след провеждането му.

Екзаминаторите се подбират от щатния състав на катедрата по български език в ДЕО. Предстои те да бъдат лицензирани от Изпитния борд.

Списъкът на лицензираните екзаминатори се утвърждава от Изпитния борд в началото на всяка учебна година.

19

Отговорности на екзаминаторитеЕкзаминаторите следва да изпълняват

стриктно оценъчните процедури и да попълват грижливо изпитните документи на кандидатите.

При непопълнени данни изпитните материали стават негодни за последващ статистически анализ и се изключват от общата бройка на изпитаните лица.

Това е особено важно за всички изпитни протоколи и двете анкетни карти, които подлежат на статистически анализ.

20

Роля на супервайзераАдекватността на оценяването на изпитните

материали се следи от наблюдаващия изпитасупервайзер, който има правото да потвърди или да оспори оценките, дадени от екзаминаторите.

При неодобрение на оценките супервайзерът има правото да ги коригира на своя отговорност, след което той внася случая за разглеждане от Изпитния борд.

Наблюдаващ изпита може да бъде ръководителят на катедрата по български език или определено от него хабилитирано лице.

21

Обща оценка от изпита

Говорене25%Писане

38%

Четене15%

Слушане22%

Общата оценка от изпита се образува от резулатите от различните части на изпита както следва:

22

Времетраене и праг на изпитаВреметраенето на целия

изпит е 3 часа. Минималният резултат

(праг) за вземане на изпита е 60% от максимума.

23

Пост-тестов анализ Кодексът за практика на АЛТЕ изисква

последващ анализ на тестовите резултати, който аргументирано да доказва, че те не са повлияни от странични фактори.

Чрез анализа на данните от двете изпитни анкети се разкрива профилът на изпитаните лица и се правят редица полезни за Департамента изводи.

Резултат от такъв анализ е и настоящата презентация.

24

Анкетни картиОтговорите в анкетните карти предоставят

необходимата информация за: предварителната подготовка и образование

на кандидатите с каква цел се явяват на изпита информационни източници за изпита и

въздействие на рекламата непосредствени впечатления от организацията

и степента на удовлетвореност от представянето на изпита

Тази информация се събира и изисква задължително от всички членове на АЛТЕ.

25

Разпределение на изпитаните лица за периода 2000-2007

Total = 419

43 5062

90

174

0

20

40

60

80

100

120

140

160

180

2000/2003 2004 2005 2006 20070

20

40

60

80

100

120

140

160

180

200

26

Цели за явявяне на изпит

За общи цели3%

Работа34%

Гражданство15%

Образование48%

Изпитите се използват предимно за продължаване на образованието, работа или гражданство.

27

B2 ниво се избира предимно за образователни цели

A2

B1

B2

C1

C2

workgeneraleducationcitizenship

28

B1 ниво се избира предимно от кандидати за гражданство

A2

B1

B2

C1

C2

workgeneraleducationcitizenship

29

B1, B2, C1 и C2 нива се избират предимно за работа

A2

B1

B2

C1

C2

workgeneraleducationcitizenship

30

Цели за явяване на изпит според средната възраст

2126

3540

education general work citizenship

31

Цели за явяване на изпитспоред пола

7

53

4

4332

75

4

4639

128

8

89

0

20

40

60

80

100

120

140

citizenship education general work

female male totalЗа гражданство се явяват повече мъже

32

Цели за явяване на изпит според националността

Turkish; 39%

Greek; 64%

Greek; 35% Other; 38%

Other; 26%

Education Work

33

Разпределение на изпитаните лица по възрастови групи

26 - 4035%

- 188%

40 +17%

19 - 2540%

34

Разпределение на изпитаните лица по пол

male53%

female47%

35

Кои са най-предпочитанитеинформационни източници за теста?

Advertissment

Test Book

Friends

IMHA Institute

Internet

None

Office

Staff

40+ years26-40 years19-25 years-18 years

36

Достатъчна ли е предварител-ната информация за теста?

YES50%NO

19%

No answer18%

Neither13%

37

Кои са факторите за подготовка за теста?

0 10 20 30 40 50 60

-18 years

19-25 years

26-40 years

40+ years

TeacherSelf-practiceText book

Преподавателят е основен фактор за предтестова подготовка.

38

Как изпитаните оценяват ефективността на предтестовата подготовка?

-18 years old

19-25 yearsold

26-40 yearsold

40+ years old

positivenegative

Младежите имат по-негативно отношение към предтестовата подготовка.

39

Какъв е средният успехза различните нива?

4.75

4.72

4.60

5.18

5.43

4.00 4.50 5.00 5.50 6.00

A2

B1

B2

C1

C2

40

Статистически средни на успеха по възрастови групи

5.1

4.6

4.99

4.93

4.84

5.38

4.75

5

5

5

4 4.5 5 5.5 6

-18

year

s19

-25

year

s26

-40

year

s40

+ye

ars

All

Mean Median

Тинейджърите показват най-високи резултати

41

Статистически средни на успеха по пол

5.01

5

4.68

4.75

2 3 4 5 6

Mea

nM

edia

n

MaleFemale

42

Среден успех и роден език

3.00 3.50 4.00 4.50 5.00 5.50 6.00

Turkish

Asian

Greek

Hebrew

Arabic

French

German

English

Italian

Spanish

Slavic

43

Как изпитаните преценяват своето представяне?

19%

15%

54%

12%

no answer

worse

as expected

better

44

Самооценка на представянето по нива

0% 20% 40% 60% 80% 100%

A2

B1

B2

C1

C2

worseas expectedbetter

27% от ниво C1 оценяват представянето си като по-лошо от очакваното

45

Как изпитаните оценяват качеството на изпита?

no answer17%

very good39%

good8%

satisfactory1%

unsatisfactory1%

excellent34%

81% отизпитаните одобряват качеството на изпита

46

Изводи от одита на АЛТЕ

Тестът за ниво B2 беше одитиран от АЛТЕ през м. юни 2007.

Одитът разкри някои пропуски и същевремено наложи незабавни действия за подобряване на качеството на теста и начина за администриране на изпитите за нива.

47

Увеличаване на броя на изпитаните лица Малкият брой изпитани лица (под 400) бе основна

критика при одита на теста. За да отговори на това изискване Съветът на

департамента реши всички чуждестранни студенти да се явят безплатно на теста за ниво В2вместо на годишен изпит по български език

С това решение се защити и тезата, че нивото B2 е предназначено за академични цели

90 студенти се възползваха от това решение Изпълнителният съвет на АЛТЕ даде

изключително висока оценка за това решение (още повече, че то е взето по наша инициатива)!

48

Апробиране на изпитните тестове Апробирането на тестовете в реални

изпитни условия, определянето на психометричните качества на тестовите задачи, надежността и валидността на тестовете остава най-важната задача с оглед на предстоящите одити на другите нива.

Наложително е въвеждането на задължителенпредварителен тест, който да служи както за определяне на нивото на кандидата, така и за апробиране на нови задачи и на отделни части от тестовете.

49

Надежност на тестовете

Въвеждане на опорни задачи с доказани психометрични параметрив различните варианти на тестовете.

Увеличаване на броя на изпитаните лица.

50

Банка от тестови задачи

Да започне работа по създаване на банка от тестови задачис установени психометрични параметри.

51

Калибрирани модели за оценяванеДа се пристъпи по-активно към

установяване накалибрирани моделиза оценяване на различните типове задачи за различните нива на теста.

52

Благодарим за вниманието