BỘ GIÁO DỤC ĐÀO TẠO

BỘ GIÁO DỤC ĐÀO TẠO

XÂY DỰNG CÂU HỎI LĨNH VỰC TOÁN PISA

Tháng 07 năm 2013

Nguyễn Hải Châu

Bộ Giáo dục và Đào tạo

SESDP

I. TỔNG QUAN VỀ XÂY DỰNG ĐỀ THI PISA

2

SESDPCác thuật ngữ Booklet: Đề thi (B1-7; B8-13;B14-20;B21-27)Cluster: Nhóm một số Unit cùng lĩnh vực

(Toán, Khoa học, Đọc hiểu). PM: Paper Maths (7 cluster) PR: Paper Reading (03 cluster) PS: Paper Science (03 cluster)

Unit: Bài toán (Ký hiệu PM … ; PS … ; PR …) Item: Câu hỏi của Unit (kí hiệu Q ..)Batch: Chồng bài thi có số lượng từ 23-26

booklet/1 chồng. Các booklet trong mỗi chồng đều cùng số hiệu “SỐ BOOKLET”

SchooID: Mã trường học. 3

SESDPThuật ngữ cấu trúc đề thi

Một item là một câu hỏi riêng lẻ/một nhiệm vụ được mã hoá riêng lẻ.

Một unit là một số các item chỉ liên quan đến một bối cảnh.

Một cluster. Là một Nhóm các unit cùng lĩnh vực; là một phần thi khoảng 30 phút.

SESDP

- Booklet (B)<– Cluster (PM,S,R)<– Unit (PM,S,R)<- Item(Q)

- Đề thi dùng trong Khảo sát chính thức PISA 2012 gồm có :

Các đề thi trên máy tính (CBA)

Đề thi trên giấy (Paper Based test)

Phần thi Năng lực tài chính

Việt Nam lựa chọn tham gia phần thi trên giấy

5

CẤU TRÚC ĐỀ THI PISA 2012

SESDP

- Đề thi được ghép từ các cluster 1 ; 2; 3; 4 - Mỗi Cluster gồm các unit (Từ 2 đến 9)- Mỗi unit gồm 1-4 câu hỏi (item) về một chủ đề

của unit đó

6

QUI TRÌNH TẠO LẬP ĐỀ THI

SESDPCấu trúc một đề thi

7

Trang bìa

Bảng công thức

Hướng dẫn

chung

Khảo sát

năng lực (Q)

SESDPCẤU TRÚC ĐỀ THI PISA 2012

SESDP

9

CẤU TRÚC ĐỀ THI PISA 2012

Việt Nam sử dụng các cuốn đề

SESDP

- Một đề thi có từ 50 đến 63 câu hỏi, với độ dày khoảng 55 trang

- Đề thi có số lượng câu hỏi

Nhiều nhất là 63 câu (đề 8)

Ít nhất là 50 câu (đề 11)

Mỗi đề có khoảng 400 học sinh tham gia làm bài (5200HS/13 đề).

Mỗi số booklet có khoảng 400 cuốn 10

CÁC CÂU HỎI TRONG ĐỀ THI

SESDP

- Mỗi Cluster Toán Trung bình có 12 câu- Mỗi Cluster Khoa học Trung bình có 18 câu- Mỗi Cluster Đọc hiểu Trung bình có 14 câu- Khảo sát chính thức PISA 2012 có 13 cluster trong đó:

Có 7 Cluster Toán: PM 1,2,3,4,5,6B,7B Có 3 Cluster Khoa học: PS 1,2,3 Có 3 Cluster Đọc hiểu: PR 1,2,3

Trong quá trình lập Booklet, mỗi cluster được xuất hiện 4 lần với 4 vị trí khác nhau 1(bội);2;3;4.

11


SESDP

- Việc ghép Cluster vào Booklet được thực hiện ngẫu nhiên

- Các câu hỏi Toán trải đều trong 13 đề thi

Số lượng các câu hỏi Toán trong một đề ít nhất là 12 câu hỏi nằm trong các đề 8, đề 12 và đề 22

Số lượng các câu hỏi Toán trong một đề nhiều nhất là 36 câu (đề 10,11, 25 và 27) và 37 câu (đề 24 và 26)

12


SESDP

13 booklet đều có Toán:

5 đề có cả 3 lĩnh vực Toán, Khoa học, Đọc hiểu là B8;12;13;22;23.

4 đề chỉ có Toán và Khoa học là B10;21;25;27

4 đề chỉ có Toán và Đọc hiểu là B9;11;24;26

13

CẤU TRÚC ĐỀ THI

SESDP

14


63

53535061

58

6058

57

5154

52

54

SESDPUnit và Item

Một Bài toán (UNIT) là một số nhiệm vụ liên quan đến gợi ý hoặc tình huống cần phải giải quyết

Một Câu hỏi (Item) là một nhiệm vụ: Câu hỏi

- Mục đích câu hỏi

- Quy tắc mã hoá

SESDPCác hình thức câu hỏi

1.Câu hỏi trắc nghiệm khách quan nhiều lựa chọn

2.Câu hỏi Đúng/Sai (Có/Không) phức hợp

3.Câu hỏi đóng đòi hỏi trả lời (ngắn hoặc dài)

4.Câu hỏi mở đòi hỏi trả lời (ngắn hoặc dài)

16

SESDP

Ví dụ : Cuộc thi chạy

Giới thiệu PISA – Phần 2 17

SESDP


SESDP


SESDP Các hình thức câu hỏi

Hướng dẫn chấm điểm câu 1Mức đầy đủMã 1: Trả lời : D. Không tính điểmMã 0: Đáp án khácMã 9: Không trả lời



Hướng dẫn chấm điểm câu 2Mức đầy đủMã 1: Trả lời theo thứ tự: Đúng, SaiKhông tính điểmMã 0: Đáp án khácMã 9: Không trả lờiCâu hỏi 3. Tính thời gian chạy bằng giây cho vận

động viên đạt huy chương vàng ở cự ly 800m nam.…..........................................



Hướng dẫn chấm điểm câu 3Mức đầy đủMã 1: 104,65s1:44,65 = 60s + 44,65s = 104,65sKhông tính điểmMã 0: Đáp án khácMã 9: Không trả lời


SESDP Các hình thức câu hỏi

Câu hỏi 4. Bảng trên đây cho biết thành tích của những vận động viên đạt HCV của cự ly 100m trong các năm 1896; 1956 và 2008

Đưa ra hai lý do mà em cho rằng thời gian chạy qua các năm đang giảm dần.

........................................................................................................................................................


Năm Thời gian (s)

1896 12

1956 10,5

2008 9,69


Hướng dẫn chấm điểm câu 4Mã 1: Nêu được hai lý do hợp lý -Sức khỏe con người tốt hơn (1); Phương pháp huấn

luyện khoa học hơn (2). -Những đôi giày chuyên dụng để nâng cao thành

tích (3); Người ngày càng cao và chân dài hơn (4) -Đường chạy được nâng cấp qua các năm (5); Có cơ

sở đào tạo dành cho các vận động viên chuyên nghiệp (6).

Đưa ra 2 trong 6 lý do trên là lời giải đúng. Có C62 =

15 câu trả lời hợp lý. Ngoài ra có thể có các câu trả lời khác nếu hợp lý đều được Mã 1.

Không tính điểmMã 0: Đáp án khác: không nêu đủ hai lý do hợp lý.Mã 9: Không trả lời


SESDP

25

Hình thức câu hỏi PISA

Tên Unit

Hình vẽ minh họa

Bảng biểu, các thông tin cơ bản liên quan đến các

câu hỏi sau đó

SESDP

26

Câu hỏi và trả lời của học sinh

Học sinh sẽ khoanh tròn vào Có hoặc Không

trong từng dòng

Học sinh sẽ viết câu trả lời hoặc lời giải vào các dòng

cho sẵn này

Số thứ tự của câu hỏi trong đề thi

II. KHUNG NĂNG LỰCĐÁNH GIÁ NĂNG LỰC

SESDP

Năng lực toán học Năng lực toán học (mathematic literacy): - Khả năng nhận biết ý nghĩa, vai trò của kiến thức

toán học trong cuộc sống; - Khả năng tư duy, suy luận, lập luận và giải toán; - Khả năng vận dụng kiến thức toán nhằm đáp ứng

nhu cầu đời sống hiện tại và tương lai một cách linh hoạt.

Năng lực của học sinh được hình thành qua việc học toán nhằm đáp ứng với những thách thức của đời sống hiện tại và tương lai;

Năng lực phân tích, lập luận và trao đổi thông tin một cách hiệu quả thông qua việc đặt ra, hình thành và giải quyết vấn đề toán học trong các tình huống và hoàn cảnh khác nhau.


SESDPCác cấp độ năng lực Toán PISA Cấp độ 1: Ghi nhớ, tái hiện - Nhớ lại các đối tượng, định nghĩa và tính chất toán học - Thực hiện được một cách làm quen thuộc - Áp dụng một thuật toán tiêu chuẩn Cấp độ 2: Kết nối và tích hợp - Kết nối, tích hợp thông tin để giải quyết các vấn đề đơn giản - Tạo kết nối trong các cách biểu đạt khác nhau - Đọc và giải thích được các kí hiệu và ngôn ngữ hình thức (toán

học) và hiểu mối quan hệ của chúng với ngôn ngữ tự nhiên Cấp độ 3: Toán học hóa, Khái quát hóa, suy luận - Nhận biết nội dung toán học trong tình huống có vấn đề phải

giải quyết, - Sử dụng kiến thức toán học để giải quyết vấn đề, - Biết phân tích, suy luận, lập luận, chứng minh toán học.


SESDPĐánh giá với khung năng lực?

Xác định lĩnh vực/phạm vi

Mô tả về các biến(tình huống, quy trình, nội dung)

Mathematics Science Reading

SESDPVí dụ câu hỏi Toán học: Cầu thang

Độ cao của mỗi bậc thang trong cầu thang 14 bậc trên là bao nhiêu?

Độ cao: _ _ _ _ cm

Đặc điểm năng lực

Tình huốngNghề nghiệp

Quy trìnhCông thức hoá

Nội dungKhông gian và hình

khối

SESDPVí dụ câu hỏi Toán học: Điểm thi

Nhín vào biểu đồ, giáo viên nhận xét rằng nhóm B làm tốt hơn nhóm A. Học sinh trong nhóm A không đồng ý với giáo viên của họ. Họ cố gắng thuyết phục giáo viên rằng nhóm B chưa hẳn đã tốt hơn nhóm A. Hãy đưa ra một lập luận Toán học, sử dụng biểu đồ mà nhóm A dùng.

SESDPVí dụ câu hỏi Toán học: Điểm thi

Looking at the diagram, the teacher claims that Group B did better than Group A. The students in Group A don’t agree with their teacher. They try to convince the teacher that Group B may not necessarily have done better. Give one mathematical argument, using the graph that the students in Group A could use.

Đặc điểm năng lực

Tình huốngKhoa học

Quy trìnhDiễn giải

Phạm vi nội dung

Giải thiết và dữ liệu

III. CẤU TRÚC HÌNH THỨCBÀI TOÁN PISA (UNIT)

SESDP

Sự hiểu biết phổ thông của PISA được đánh giá qua các Bài toán (Unit) bao gồm một tài liệu “stimulus material” (có thể trình bày dưới dạng chữ, bảng, biểu đồ, hình ảnh…) và theo sau đó là một số nhiệm vụ (câu hỏi - item) được gắn kết với tài liệu này

Bài toán giải quyết tình huống thực tiễn, 3 phần:(1) Tiêu đề : Tiêu đề tình huống thực tiễn(2) Phần dẫn: Mô tả thực tiễn (với tình huống cần giải quyết)(3) Câu hỏi :

Báo cáo số 1 - Quy tắc và Kỹ thuật Mã hóa 35

Cấu trúc hình thức Bài Toán PISA

SESDPĐặc điểm cơ bản

36

1.Giả thiết “ẩn” trong (2), (3) hoặc cả (2) và (3)2.“Thừa” giả thiết: Mô tả thực tiễn nhiều hơn GT3. “Thiếu” GT: GT Trong mô tả thực tiễn.

IV. PHẦN DẪN (Stimulus material)

PISA 2000 đến PISA 2012

SESDPChọn tài liệu cho phần dẫn

Ngữ cảnh phù hợp với học sinh 15 tuổi

Nguồn có thể là một sự việc, sự kiện trong thực tế, báo, tạp chí, ký sự, web. Nên là một nguồn đáng tin cậy.

Không phải “Tạp chí nhà trường.”Thích hợp với các nền văn hoá và

ngôn ngữ. Nội dung không nên trở thành lỗi

thời.38

SESDPMột phần dẫn tốt…

Phần dẫn là thông tin được đưa ra như một ngữ cảnh cho nhiều item:

Hợp lý, phong phú và hấp dẫn;Có tính thử thách “tối ưu”; không

quá khó và không quá dễ;Không đưa ra những thách thức

thiếu tự nhiên và không thực tế;Có thể gợi ra câu hỏi tìm kiếm;Bình đẳng và công bằng giữa các

nước tham gia (các đơn vị tham gia).

SESDPPhần dẫn không tốtĐưa ra hành vi phạm tội hoặc phản cảm Chấn thương (tai nạn oto, bạo lực)

Sex, tôn giáo, chính trị hoặc các vấn đề nhạy cảm khác. Hành vi xấu xa, bạo lực, phân biệt chủng tộc, vô đạo đức

hoặc thiếu trách nhiệm. Những khuôn mẫu không mong muốn– nghiện hút, nghiện

rượu, những cám dỗ dẫn đến nguy hiểm Ngôn ngữ thô tục

Trông đợi quá nhiều hoặc quá ít vào HS Phần dẫn dựa trên những kiến thức không quen thuộc Phần dẫn mà học sinh 15 tuổi cho rằng đó chỉ là thách thức

cho những trẻ mần non hay tiểu học.

V. THIẾT KẾ CÁC DẠNG CÂU HỎI

SESDPCác dạng câu hỏi (trong UNIT)

Câu hỏi trắc nghiệm khách quan nhiều lựa chọn đơn giản (Simple multiple choice)

Câu hỏi trắc nghiệm khách quan nhiều lựa chọn (phức hợp) Complex multiple choice

Câu hỏi đóng đòi hỏi trả lời ngắn hoặc dài (dựa trên những trả lời có sẵn) (close – constructed response question)

Câu hỏi mở đòi hỏi trả lời ngắn (short response question); Câu hỏi mở đòi hỏi trả lời dài (open – constructed response question.

42

5.1. Xây dựng câu hỏi trắc nghiệm khách quan đơn giản

Ron MartinDave ToutJuliette MendelovitsWorkshop for Vietnamese DelegationAugust 2012

SESDPLưu ý Chuyên gia

Việc viết câu hỏi trắc nghiệm khách quan yêu cầu mức độ kỹ năng cao. Mức độ kỹ năng này là nhân tố rất quan trọng trong việc đưa ra các đánh giá đúng đắn về năng lực và kiến thức.

SESDPMột số lưu ý về câu hỏi TNKQ

Trường hợp 1Những học sinh trả lời ‘không biết’ hoặc

không thể hiểu câu trả lời để có cơ hội đoán một đáp án đúng trong 4 phương án.

Nếu các phương án đều đáng ngờ thì cơ hội để đoán đúng câu trả lời là khoảng 25% (nếu có 4 phương án)

Tuy nhiên: Nếu học sinh có đủ kiến thức để loại đi một phương án sai thì cơ hội đoán đúng câu trả lời sẽ tăng lên.

SESDP

Trường hợp 2

Câu trả lời đúng và các phương án nhiễu đáng tin cậy đưa ra các gợi ý (hoặc tài liệu để so sánh) khiến học sinh không thể đưa ra câu trả lời.

SESDP

Tuy nhiên

Việc mã hoá và soạn câu trả lời cho câu hỏi TNKQ thực sự đáng tin cậy.

Việc mã hoá thì nhanh và dễ. Máy có thể thực hiện mã hoá những bài khó và phức tạp, từ đó sẽ tiết kiệm được chi phí cho việc mã hoá..

SESDPCâu hỏi TNKQ tốt

Khung/cấu trúc rõ ràng [Khung năng lực PISA] Phần dẫn có tính xác thực, hấp dẫn:- Gần gũi với học sinh ở các nước- Thu hút được mối quan tâm của học sinh- Khuyến khích đề cập đến khái niệm, kiến thức, quy

trình được đánh giá [tính chất xác thực mức độ cao]- ĐG được khái niệm và phương pháp Toán học; Đánh giá

1 khả năng trong khung năng lực Toán học bao gồm: mục tiêu – ngữ cảnh, nội dung, phương pháp.

Chỉ có một câu trả lời đúng duy nhất Có nhiều phương án nhiễu đáng tin cậy (nhưng không

đúng) và không đưa ra những gợi ý liên quan để chấp nhận hoặc từ chối

Ngôn ngữ mà tất cả HS đều có thể đọc được

SESDPCâu hỏi TNKQ tốt:

Câu đúng (đáp án) phải:Có cùng độ dài, ngôn ngữ với các phương

án nhiễu.Phải là đúng hoặc là câu trả lời tốt nhất

BẢO ĐẢM NÓ LÀ MỘT (duy nhất).

Các câu nhiễuPhải là sai nhưng hợp lý.Không phải là đúng một nửa.Phải phức tạp song song với đáp án.

SESDP

Country 60-kg bags1000s

Percentage (%) of world production

Brazil 49,200 35.8%

Vietnam 21,000 15.3%

Indonesia 8,300 6.0%

Colombia 7,500 5.5%

Ethiopia 6,300 4.6%

Café của chúng ta đến từ đâu?5 nước đứng đầu về sản lượng café trong năm 2011/2012 là Brazil, Vietnam, Indonesia, Colombia và Ethiopia. Bảng này cho biết sản lượng café hạt của những nước này.Và hạt café được đóng gói thành hàng nghìn bao 60 kg?

Sản lượng café 2011/12

Source: United States DePhầnment of Agriculture, June 2012

• Có xấp xỉ bao nhiêu bao hạt café 60kg được sản xuất trên thế giới trong năm 2011/2012?

A. 60,000 B. 70,000 C. 90,000 D. 140,000 E. 150,000

Thiết kế phương án nhiễu

SESDPCác phương án nhiễuCâu hỏi ví dụ:• Có xấp xỉ bao nhiêu bao hạt café 60kg được sản xuất trên thế giới

trong năm 2011/2012?

• Các câu trả lời được tính toán là khoảng 137,000 trong khi xấp xỉ là khoảng 140,000 đến 145,000 (vd. Nếu bạn nói 35.8% là nhiều hơn 1/3 một ít, thì bạn lấy 147,600, do đó câu trả lời là 140,000 được xem là có thể đúng.)

Các phương án nhiễu tốt là cái gì?• 35.8% của 49,200 = 17,900 vì vậy 20,000 (chỉ) là một câu trả lời hợp lý – không

chắc chắn như nó ít hơn sản lượng của Brazil. Mặc dù đây là cách chung mà một học sinh phải giải quyết vấn đề.

• 135.8% của 49,200 = 66,813 vì vậy 70,000 là hợp lý • Nếu bạn thêm tất cả 5 giá trị, bạn lấy 92,300 – so 90,000• Thêm 5 của % và lấy 67.2% - so 67.2% x 92,300 = 62025.6 => 60,000• Nhưng tất cả đều thấp hơn câu trả lời đúng – có phương án nhiễu nào cao hơn

140,000 không? 167% x 92,300 = 154141 => 150,000

VD câu hỏi TNKQ nhiều lựa chọn

SESDP

5.2. Xây dựng Câu hỏi

nhiều lựa chọn phức hợp

SESDPCâu hỏi lựa chọn phức hợp

• Cho phép đánh giá hiểu biết toàn diện sâu hơn/rộng hơn về một khái niệm hoặc một quy trình.

• Có thể giúp giảm bớt nhu cầu đưa ra lời giải trong Toán học

• Tất cả các phần trong một câu hỏi phải liên quan đến cùng một khái niệm hoặc một quy trình

• Khó khăn là làm sao để sử dụng những từ ngữ ngắn gọn, súc tích để diễn đạt câu hỏi

• Nói chung là đối với những câu hỏi dạng này thì học sinh khó giành được điểm hơn.

SESDPVí dụ: Chiều cao của học sinh


Trong một giờ học toán, các học sinh đều được đo chiều cao của mình. Chiều cao trung bình của các học sinh nam là 160 cm, còn của các học sinh nữ là 150 cm. Alena là người cao nhất – cô cao 180 cm. Zdenek là người thấp nhất – cậu cao 130 cm. Hai HS vắng mặt trong giờ hôm đó, nhưng đến lớp trong giờ học hôm sau. Họ cũng được đo chiều cao, và mức trung bình được tính toán lại. Thật bất ngờ là chiều cao trung bình của HS nữ và chiều cao trung bình của HS nam đều không thay đổi. Từ thông tin này, rút ra được kết luận nào dưới đây? Khoanh ‘Có hoặc ‘Không’ đối với mỗi kết luận.

SESDPChiều cao của học sinh


Kết luận Có thể rút ra kết luận này hay không?

Hai học sinh đều là nữ. Có / Không

Một HS nam và một HS nữ. Có / Không

Hai HS cao bằng nhau. Có / Không

Chiều cao trung bình của tất cả các HS đều không thay đổi.

Có / Không

Zdenek vẫn là người thấp nhất Có / Không

SESDPChiều cao của học sinh


Cách chấm điểm:Mã 1: Tất cả đều là "Không"Mã 0: Câu trả lời khácMã 9: Không trả lời.

Có 3 khả năng: -Hai HS nữ có chiều cao TB là 150cm-Hai HS nam có chiều cao TB là 160cm-1 nam cao 160cm, 1 nữ cao 150cm.


Sản phẩm Jason có thể mua gì với 200 zeds?

MP3 player and the headphones Có / Không

MP3 player and the speakers Có / Không

All 3 items – the MP3 player, the headphones and the speakers Có / Không

Music City đang có chương trình giảm giá. Khi bạn mua hai hay nhiều hơn sản phẩm giảm giá, Music City sẽ giảm 20% giá trị lúc đầu của những sản phẩm này.

Jason có 200 zeds.

Trong đợt giảm giá này, anh ấy có thể mua những gì?

Khoanh tròn “Có” hoặc “Không” cho mỗi tuỳ chọn dưới đây.


Số vụ tai nạn lao độngTháng 2010 2011Jan 15 17Feb 21 28Mar 34 31Apr 30 36May 35 43Jun 28 21Jul 20 23Aug 25 27Sep 19 14Oct 25 21Nov 21 18Dec 24 21TỔNG CỘNG:

297 300

Smiths Packaging ghi chép lại những vụ tai nạn lao động. Các bảng biểu chỉ ra số lượng tai nạn mỗi tháng trong năm 2010 và 2011.

Phát biểu Phát biểu này có đúng hay không?

Trong năm 2011, có 7 tháng mà số vụ tai nạn hàng tháng thấp hơn giá trị trung bình. Có / KhôngTrong năm 2011, the median number of injuries per month was higher than the mean value. Có / Không

Dựa trên dữ liệu này của năm 2011, phát biểu nào sau đây về số lượng trung bình các vụ tai nạn lao động tại Smiths Packaging là đúng? Khoanh tròn “Có” hoặc “Không” cho mỗi phát biểu sau đây.

SESDPTNKQ phức hợpTap chí Daily Mail và đài truyền hình Channel 7 ở Zedland đều tổ chức các cuộc thăm dò biến đổi khí hậu. Mỗi cuộc thăm dò đều hỏi cùng một câu hỏi: “Zedland cần có hành động gì liên quan đến việc biến đổi khí hậu không?”Đây là kết quả của hai cuộc thăm dò.

Phát biểu Phát biểu có đúng không?

54% tổng số lựa chọn là “Không”. Có / Không / không đề cập

Có thể là ít hơn 8402 người đã tham gia vào 2 cuộc thăm dò. Có / Không / không đề cập

Số lượng người xem Channel 7 gấp khoảng 2 lần số lượng độc giả Daily Mail. Có / Không / không đề cập

Dựa trên thông tin từ 2 cuộc thăm dò, phát biểu nào sau đây là đúng?Khoanh tròn “Có” hoặc “Không” hoặc “không đề cập” cho mỗi phát biểu.

Dave ToutRon MartinJuliette Mendelovits

5.3. Xây dựng Câu hỏi đóng, mở

đòi hỏi trả lời ngắn hoặc dài

SESDP

MụC ĐÍCH CÂU HỏI:Mô tả: mô tả ngắn gọn mục đích của câu hỏi.

[nên nhất quán với quy trình]Phạm vi nội dung toán học: không gian và hình

khối; thay đổi và mối quan hệ; số lượng; giả thiết và dữ liệu

Nội dung: nghề nghiệp; cá nhân; khoa học; hoặc xã hội

Quá trình: công thức, vận dụng, giải thích

Cấu trúc câu trả lời mở

SESDP Các dạng câu hỏi câu trả lời

Câu trả lời ngắn đối với câu hỏi đóng Câu trả lời dài đối với câu hỏi đóng Câu trả lời đối với câu hỏi đóng là câu trả lời có sẵn

và duy nhất. Câu trả lời ngắn đối với câu hỏi mở Câu trả lời dài đối với câu hỏi mở

SESDP

Câu hỏi với câu trả lời mở tốtCâu trả lời phải:Rõ ràng, không mơ hồ.Các câu trả lời có thể phân vào các câu trả lời

tiêu chuẩn.Tránh những câu trả lời hời hợt

Với câu hỏi yêu cầu trả lời mở, kỹ năng của cán bộ mã hoá và tác giả xây dựng hướng dẫn mã hoá trở nên rất quan trọng trong việc đưa ra các đánh giá đúng đắn và mang tính so sánh.

SESDP

Câu hỏi với câu trả lời mở ngắn thường là:Các câu hỏi đơn giản và dễ hiểu hơnĐiển hình một câu trả lời tốt nhất– một câu trả lời số; một

tên; chọn một giá trị/vị trí trong biểu đồ hoặc bản đồ; ...Với một câu trả lời số, cái này được sử dụng khi có quá

nhiều tuỳ chọn cho một câu hỏi trắc nghiệm khách quan đơn giản – đôi khi sau thử nghiệm, một CR có thể được đổi thành một MC dựa trên phần lớn các câu trả lời.

Câu trả lời mở ngắn

SESDPCâu trả lời mở

Gợi ý cho các câu hỏi CR có thể mã hoá tự động:Câu hỏi cần có bố cục tốt, hướng dẫn rõ ràng, không gây mập mờ...” Bảo đảm không thể có 50% cơ hội để đoán câu trả lời đúng v.d., không thể trả lời đơn giản “có” hoặc “không”Nếu đó là câu trả lời bằng số, cố gắng đơn giản hoá nó để mã hoá vd. Kết quả là số nguyên hoặc số thập phân hữu hạn.

SESDP Xúc xắc


BÀI TOÁN: Trong hình bên phải, ta thấy có ba con xúc xắc được xếp chồng lên nhau. Trên mặt con xúc xắc thứ nhất có 4 chấm. Có tổng số bao nhiêu chấm trên 5 mặt nằm ngang mà bạn không nhìn thấy được?. Có………………….chấm

MÔ TẢ: Hình bên phải là hai con xúc xắc. Xúc xắc là các khối lập phương có số được cho theo quy tăc sau: “Tổng số chấm nằm trên hai mặt đối diện nhau luôn bằng 7”

Khối 1

Khối 2

Khối 3

SESDPXúc xắc


Giả thiết ẩn cho ở phần mô tả: Tổng số chấm trên 2 mặt đối diện luôn bằng 7Giả thiết thừa: Các chấm trên các mặt xúc xắc (ngoài mặt trên cùng) che dấu GT ẩnSuy luận: Nhìn thấy cái không thấy (GT ẩn)Tổng của các giá trị chưa biết là một giá trị đã biết

Hướng dẫn chấm điểm:Mức Đầy đủ: Mã 1: Có 17 chấm. Không tính điểm:Mã 0: Các câu trả lời khác.Mã 9: Không có câu trả lời

Khối 1

Khối 2

Khối 3

SESDP



Brazil 49,200 35.8%

Vietnam 21,000 15.3%


Colombia 7,500 5.5%

Ethiopia 6,300 4.6%

Café của chúng ta đến từ đâu?5 nước đứng đầu về sản lượng café trong năm 2011/2012 là Brazil, Vietnam, Indonesia, Colombia và Ethiopia. Bảng này cho biết sản lượng café hạt của những nước này.Và hạt café được đóng gói thành hàng nghìn bao 60 kg?

Sản lượng café 2011/12

Source: United States Department of Agriculture, June 2012

Brazil sản xuất được hơn Vietnam bao nhiêu bao café 60kg trong năm 2011/2012?

………………………………………………………………………………..

………………………………………………………………………………..

Câu hỏi với câu trả lời mở

SESDPCâu trả lời mở ngắn

Mục đích câu hỏi:Mô tả: Xem bảng để xác định dữ liệu tương ứng và thực hiện phép tính số học trên dữ liệuPhạm vi nội dung toán học: Giả thiết và dữ liệuNội dung: Xã hộiQuy trình: Sử dụng

Mức đầy đủMã 1: 28,200

• 28,200 bao• 28.2 hàng nghìn

Không đầy đủMã 0: Câu trả lời khác

Mã 9: Không trả lời.

Hướng dẫn mã hoá:

SESDPCâu trả lời mở dài

Các câu hỏi câu trả lời mở dài là cách để đo mức độ cao hơn suy nghĩ, hiểu biết và việc áp dụng kiến thức của học sinh.Có một số thách thức trong việc sử dụng các câu hỏi có câu trả lời mở dài:Soạn Hướng dẫn mã hoá đáp ứng yêu cầuThời gian và chi phí trong HƯỚNG DẪN MÃ HOÁDuy trì tính nhất quán và độ tin cậy giữa những người chấm khác nhauQuá trình này thường yêu cầu các hệ thống giám sát tính thống nhất và chính xác của HƯỚNG DẪN MÃ HOÁ.

SESDPCâu trả lời mở

Các thách thức và gợi ý cho các câu hỏi CR thường được các chuyên gia mã hoá:•Như đối với các câu hỏi câu trả lời ngắn mức độ cao hơn•Câu hỏi cần có cấu trúc cực kỳ tốt, với hướng dẫn rõ ràng, không mập mờ và không (quá) dài•Tránh các câu hỏi quá rộng để học sinh phải giải thích nhiều•Đừng yêu cầu học sinh “tổng hợp quá nhiều tư liệu ở nhiều tài liệu”.

SESDP

Thách thức và gợi ý cho các câu hỏi CR dài năng lực Toán học thường được các chuyên gia mã hoá:Suy nghĩ cẩn thận về tư duy toán học mà bạn đang đánh giá và câu trả lời bạn tìm kiếmSoạn mục đích câu hỏi để bày tỏ mục đích, ý định của câu trả lời và để giúp cho việc hướng dẫn mã hoá/mã hoáBảo đảm đáp ứng các câu trả lời khác nhau– các phương pháp khác (đúng); sử dụng các giá trị khác (vd. pi); độ chính xác; từ ngữ, thuật ngữ khác nhau tuỳ thuộc vào khả năng của học sinh.

Câu trả lời mở

SESDP



Brazil 49,200 35.8%

Vietnam 21,000 15.3%


Colombia 7,500 5.5%

Ethiopia 6,300 4.6%

Where is our coffee coming from?The top five coffee producing countries in 2011/2012 were Brazil, Vietnam, Indonesia, Colombia and Ethiopia. The table shows their total coffee bean production figures.And did you know that coffee beans are packed and measured in thousands of 60-kilogram (kg) bags?

2011/12 Coffee Production

Source: United States Department of Agriculture, June 2012

Isabel khẳng định: “Brazil sản xuất hơn 1/3 lượng café trên thế giới” Giải thích tại sao khẳng định của Isabel là đúng.

…………………………………………………………………………………………….

…………………………………………………………………………………………….

…………………………………………………………………………………………….


SESDPCâu trả lời mởMục đích câu hỏi:

Mô tả: giải thích tại sao một giá trị trong bộ dữ liệu được thể hiện dưới dạng tỉ lệ phần trăm lớn hơn một tỉ lệ phân đoạn của bộ nàyPhạm vi nội dung Toán học: giải thiết và dữ liệuNội dung: xã hộiQuy trình: sử dụng

Mức đầy đủMã 1: Giải thích đúng dựa trên sự so sánh 35.8% và 1/3.

•Brazil sản xuất 35.8% sản lượng hạt cafe thế giới, và 1/3 là chỉ 33.33%, vì vậy Isabel đã đúng bởi vì 35.8% lớn hơn. •35.8% > 1/3•1/3 là 33.3% có nghĩa là Brazil sản xuất nhiều hơn 1/3 lượng cafe thế giới

Không đầy đủMã 0: Câu trả lời khác

•Bởi vì 49,200 là nhều hơn một nửa (92,300).

Mã 9: Không trả lời.

SESDP

Ví dụ Toán học PISA Bài 1 – PizzasMột cửa hàng Pizza phục vụ 2 cái loại pizza tròn có cùng độ dày những kích cỡ khác nhau. Cái nhỏ hơn có đường kính 30 cm và trị giá 30 zeds. Cái lớn hơn có đường kính 40 cm và trị giá 40 zeds.

Bánh pizza nào có lợi thế kinh tế hơn? Đưa ra lý do của bạn.

Mã 1: Đưa ra lý do chung rằng kích thước của bánh pizza tăng nhiều hơn so với giá trị của chiếc bánh, suy ra chiếc bánh lớn có lợi thế kinh tế hơn

HOẶCTính diện tích và số lượng trên mỗi zed cho mỗi chiếc

bánh pizza để kết luận rằng cái bánh to sẽ có lợi thế kinh tế hơn

Mã 0: Câu trả lời khác [kể cả câu trả lời đúng nhưng giải thích không đúng.]

Qúa chung– cần giải thích rõ ràng “lý do chung” – vd. Ít nhất là thêm vào một ví dụ

Nghĩ đến tất cả các khả năng- cũng có thể tính zed trên mỗi cm

Câu trả lời có thể “có” hoặc “không”

Nhận xét

Sẽ quy cho: 30 cm: 706.5 = 23.55 cm2 40cm : 1256 = 31.4 cm2 ?Hoặc “tôi sẽ tiết kiệm 10 zeds vì tôi không thể ăn một cái pizza lớn, vì thế cái nhỏ là tốt hơn.”


SESDP Điểm kiểm tra

Giới thiệu PISA – Phần 2

76Biểu đồ cho thấy các kết quả kiểm tra môn Khoa học của hai nhóm là Nhóm A và Nhóm B. Điểm trung bình của Nhóm A là 62,0 và điểm trung bình của Nhóm B là 64,5. Các học sinh đạt kiểm tra khi điểm số lớn hơn hoặc bằng 50.

SESDPĐiểm kiểm tra

Quan sát biểu đồ, so sánh điểm trung bình của hai nhóm, giáo viên cho rằng Nhóm B đã làm bài kiểm tra tốt hơn Nhóm A.

Những học sinh trong Nhóm A chưa nhất trí với ý kiến của giáo viên. Họ cố thuyết phục giáo viên rằng Nhóm B không hề làm bài tốt hơn.

Bằng việc sử dụng biểu đồ, hãy đưa ra lập luận toán học mà các học sinh Nhóm A có thể sử dụng để thuyết phục giáo viên.


SESDPĐiểm kiểm tra

Hướng dẫn chấm điểmMã 1: Đưa ra một lập luận hợp lý; có sự liên hệ với

số học sinh đạt kiểm tra và ảnh hưởng không đáng kể của những học sinh không đạt; hoặc số học sinh có điểm cao nhất.

• Nhóm A có nhiều HS đạt kiểm tra hơn Nhóm B (Nhóm A có ít HS không đạt kiểm tra hơn Nhóm B).

• Trong những HS đạt kiểm tra, thì HS của nhóm A có kết quả đồng đều hơn học sinh của Nhóm B.

• Nhóm A có nhiều HS đạt trên 80 điểm hơn nhóm B.


SESDPNHỮNG VỤ TRỘM

Giới thiệu PISA – Phần 2

Một phóng viên truyền hình đã trình bày biểu đồ sau và phát biểu:“Biểu đồ cho thấy số lượng những vụ trộm tăng mạnh từ năm 1998 tới năm 1999.”

Ý kiến của Em về kết luận này. Giải thích.

SESDPNhững vụ trộm


Xét đến hai sự so sánh: Số vụ trộm tăng từ năm 1998 đến 1999 so với số các vụ trộm năm 1998 (số tăng tuyệt đối và số tăng tương đối)Số vụ trộm tăng từ năm 1998 đến 1999 so với số vụ trộm tăng giữa hai năm trước đó (so sánh số tăng với nhau)Sẽ có ba trường hợp:Câu trả lời “Không” bao gồm cả các nhận định chỉ ra rằng việc giải thích đồ thị là không hợp lý. Câu trả lời “Có” bao gồm tất cả những nhận định chỉ ra rằng việc giải thích biểu đồ là hợp lý.Câu trả lời “Chưa đủ cơ sở để kết luận” với giải thích hợp lý về biểu đồ “thiếu thông tin” Đánh giá câu trả lời giải thích biểu đồ là hợp lý hay không, không nên chọn tiêu chí chỉ đơn giản là “Có” hoặc “Không”.

Ron MartinDave ToutJuliette Mendelovits

6. MÃ HÓA BÀI THI

SESDP

Dạng trả lời Tính chất Quy định Mã hóa Đáp án nhiều lựa chọn

Chỉ chọn một đáp án trong nhiều đáp án được nêu ra

Không yêu cầu (câu trả lời được nhập trực tiếp)

Đáp án nhiều lựa chọn phức hợp

Lựa chọn trong một chuỗi các đáp án dạng đúng/ sai hoặc có/không

Không yêu cầu (câu trả lời được nhập trực tiếp vào máy tính)

Các đáp án đóng được cho sẵn

Viết câu trả lời ngắn hoặc đáp án tính toán số học, câu trả lời rõ ràng chỉ có một kết quả

Một số không yêu cầu(câu trả lời được nhập trực tiếp vào máy tính);Mã hóa đối với một số item, gán mã tham chiếu với hướng dẫn mã hóa.

Trả lời ngắn Câu trả lời ngắn hoặc đáp án tính toán số học, nhưng nhiều cách đưa ra đáp án

Mã hóa, gán mã tham chiếu với hướng dẫn mã hóa.

Đáp án mở Câu trả lời dài (ví dụ: Yêu cầu lập luận hoặc trình bày chi tiết lời giải

Mã hóa, gán mã tham chiếu với hướng dẫn mã hóa.

Table 2: PISA item types and coding requirements

SESDPCâu hỏi với câu trả lời mở

Hướng dẫn mã hoáPhải khớp với Mục đích câu hỏi (thêm vào

những mô tả chung mà câu hỏi có ý định đánh giá)

Phải có một mô tả chính xác– Mô tả – của mỗi loại mã hoá

Phải nhằm mục đích bao quát TẤT CẢ các loại câu trả lời

Phải bao gồm ví dụ về câu trả lời của học sinh – Câu trả lời ví dụ – cho tất cả các loại

SESDP

Hướng dẫn mã hoá:Yêu cầu một câu trả lời hoặc một lập luận ngược lại. Hỗ trợ câu trả lời bằng các phép toán.Trong các câu hỏi Toán học PISA người ta yêu cầu học sinh “Đưa ra lời giải thích của bạn” và viết vài dòng về điều đó.Cố gắng căn cứ vào hướng dẫn mã hoá và đánh dấu vào các ví dụ trong câu trả lời của học sinh – từ phỏng vấn hoặc thử nghiệm


SESDP Chấm thi và đánh giá

Chú trọng đánh giá năng lực vận dụng

kiến thức, kĩ năng để xử lí những tình huống thực tiễn.

PISA sử dụng thuật ngữ coding (mã hóa). Mã của câu trả lời được quy ra điểm số theo yêu cầu của câu hỏi.

Mã đơn và bội: Mã bội gồm 4 người thực hiện và nhập dữ liệu độc lập, không thống nhất điểm

85

SESDP

Mã 1 chữ số: 0, 1, 2, 9, 7 Mã 2 chữ số: 00, 01,…;11, 12,…;21, 22,…;99, 97 * Chữ số thứ nhất cho biết mức độ trả lời. * Chữ số thứ hai: đặc tính hay xu hướng của câu trả lời. * Mã hóa 2 chữ số có hai ưu điểm chính: - Thu được nhiều thông tin hơn việc hiểu và nhận thức

chưa đúng, các lỗi thường gặp và các cách tiếp cận khác nhau của học sinh.

- Biểu diễn mã có cấu trúc hơn, xác định rõ mức độ phân biệt của các nhóm mã

Mỗi mã thường có 2 phần chính: - Mô tả các yêu cầu đối với câu trả lời để đạt được Mã - Đưa ra những ví dụ về câu trả lời đạt được Mã. Sau đó các Mã sẽ được chuyển sang điểm (Score) theo

khung và thang đánh giá PISA của OECDBáo cáo số 1 - Quy tắc và Kỹ thuật Mã hóa 86

Các Mã trong PISA

SESDPSàng lọc và rà soát lại các câu hỏi

Phối hợp và rà soát giúp lựa chọn được các câu hỏi có chất lương cao hơn.

Các câu hỏi được xây dựng tốt sẽ cho ra dữ liệu tốt hơn rất nhiều trong việc đánh giá kỹ năng và kiến thức của học sinh.

Việc rà soát có thể bao gồm: Rà soát cán bộ xây dựng câu hỏi: Một số ít học sinh được tiếp xúc với những câu hỏi này,. Có

thể sử dụng phương pháp “Phát ngôn thầm”. Thử nghiệm: thử nghiệm bộ câu hỏi với số lượng học sinh

đủ lớn trong các trường để ước chừng câu hỏi khó, và giúp cho việc xây dựng hướng dẫn mã hoá.

Rà soát bên ngoài: các bên liên quan và các chuyên gia

Cách xây dựng báo cáo năng lực PISA

Juliette Mendelovits

Australian Council for Educational ResearchAugust 2012

SESDP

Mô hình Rasch

Các item được đặt vào một thang đo độ khó liên quan đến nhau. Độc lập về khả năng làm bài thi của học sinh.

Học sinh được đặt vào một thang đo năng lực tương đương với độ khó của câu hỏi. Không phụ thuộc vào độ khó của các item trong

bài thi.Câu hỏi và học sinh được đặt vào một thang

đo tương ứng. Cho phép xây dựng thang đo như mô tả.

SESDPCâu hỏi và HS đặt vào 1 thang đo

| | X| | X| 2 XX| XX|7 XX| XXX|34 XXX|19 XXXX|23 1 XXXXXX|12 XXXXXX| XXXXX|11 22 XXXXXX|26 27 33 XXXXXXX|10 14 30 32 XXXXXXX|2 5 20 0 XXXXXXXX|1 4 6 21 29 XXXXXXXXXX|8 16 XXXXXXX|9 31 XXXXXXXXX|3 XXXXXXXX|18 25 XXXXXXXX|13 -1 XXXXXXX|15 XXXXXXXX| XXXXXX| XXXXXXX| XXXX|24 XXXX| -2 XXXXX| XXX|28 XX|17 XX| XX| X| -3 X| X| X| |

Năng lực thấpCâu hỏi dễ

Câu hỏi khóNăng lực cao

SESDP

SESDPXD 1 thang đo trình độ được mô tả

| | X| | X| 2 XX| XX|7 XX| XXX|34 XXX|19 XXXX|23 1 XXXXXX|12 XXXXXX| XXXXX|11 22 XXXXXX|26 27 33 XXXXXXX|10 14 30 32 XXXXXXX|2 5 20 0 XXXXXXXX|1 4 6 21 29 XXXXXXXXXX|8 16 XXXXXXX|9 31 XXXXXXXXX|3 XXXXXXXX|18 25 XXXXXXXX|13 -1 XXXXXXX|15 XXXXXXXX| XXXXXX| XXXXXXX| XXXX|24 XXXX| -2 XXXXX| XXX|28 XX|17 XX| XX| X| -3 X| X| X| |

Mức 5

Mức 4

Mức 3

Mức 2

Mức 1

Description of itemDescription of item

Description of itemDescription of item

Dưới Mức 1

Mô tả mức 4Trình độ học sinh ở mức 4 có thể xxx và xxx và xxxx và xxx . xxx và xxx và xxxx và xxx ... xxx và xxx và xxxx và xxx ... xxx và xxx và xxxx và xxx ... xxx và xxx và xxxx và xxx ... ..

SESDPThang đo năng lực Toán học 2003

Tổng quan về mục tiêu học tập và các thành tựu đạt được

Australian Council for Educational ResearchAugust 2012

SESDPMục tiêu tập huấn Hiểu về tầm quan trọng của khung đánh giá

đối với xây dựng đề thi và báo cáoHọc tập về cách lựa chọn phần dẫn tốtHiểu biết về các dạng câu hỏi khác nhau, sử

dụng chúng khi nào và tại sao.Thực hành viết và lọc những câu hỏi trong

những hình thức khác nhau.Học tập về quy trình xây dựng đề thi.Học tập về cách xây dựng thang đo năng lực

được mô tả.

SESDPPhản hồi về Toán học

• Thách thức quan trọng nhất bắt đầu ngay từ việc phần dẫn phải mang tính xác thực và phải làm sao cho nó có khả năng đánh giá, đủ đơn giản để học sinh có thể đọc và diễn giải (và để kiểm tra tư duy toán học tốt).

• Câu hỏi cần phải có cấu trúc tốt với hướng dẫn rõ ràng, không mập mờ.

• Nếu đó là một câu trả lời số, cố gắng đơn giản hoá để mã hoá dễ dàng.

• Hãy cẩn thận với các câu hỏi rộng và sẽ khó để mã hoá.

SESDP

Hãy suy nghĩ về tư duy toán học mà bạn đang đánh giá và câu trả lời mà bạn đang tìm kiếm. Không trộn lẫn quá nhiều khái niệm và quy trình.

Việc soạn mục đích câu hỏi là rất quan trọng – vừa để đưa ra mục đích câu hỏi, vừa phục vụ cho việc mã hoá.

Hãy chắc chắn là bạn đã lường trước được lối tư duy, câu trả lời khác nhau của học sinh.

Rất khó để viết được những câu hỏi trắc nghiệm khách quan tốt – vì vậy hãy suy nghĩ cẩn thận về cách để tạo ra những phương án nhiễu tốt.

Phản hồi về Toán học

Documents

BỘ GIÁO DỤC ĐÀO TẠO