Kiểm tra đánh giá trong giáo dục 5 thí sinh có năng lực > 1 4.3.3. Biểu đồ hình hộp – râu Biến ngoại lai Max = 1.58 75% Phần tư trên = -0.32 Số trung vị = -0.79 Phần tư dưới = -1.11 25% Min = -2.08 4.3.4. Biểu đồ Histogram Số mode Giá trị trung bình Phương sai Tần suất Cỡ mẫu Đa số HS có năng lực khoảng -1 Năng lực Học viên: Lê Thị Ngọc Anh Trang 50
Kiểm tra đánh giá trong giáo dục 4.3.5. Mối tương quan giữa 2 biến < 0.05 → có ý nghĩa thống kê - Pearson Correlation: hệ số tương quan → có giá trị từ -1 đến 1 → hệ số tương quan càng lớn thì tương quan càng chặt + Có giá trị âm: tương quan nghịch: đại lượng x tăng thì y giảm và ngược lại + Bằng 0: 2 biến độc lập với nhau, không có mối liên hệ gì + Có giá trị dương: tương quan thuận: đại lượng x tăng thì y tăng và ngược lại Vd: Biến Nangluc và biến Diem có hệ số tương quan là 0.992 → Tương quan thuận → Điểm thí sinh càng cao thí năng lực của thí sinh càng cao →Kết quả thi thể hiện đúng năng lực thật sự của thí sinh Học viên: Lê Thị Ngọc Anh Trang 51
Kiểm tra đánh giá trong giáo dục 4.3.6. Đồ thị biểu diễn mối tương quan giữa hai biến Bình phương hệ số tương quan → Hệ số tương quan r = 0.996 → Tương quan thuận mạnh 5. Thực hiện phân tích kết quả bằng phần mềm Vitesta 5.1. Viết chương trình điều khiển 5.1.1. File dữ liệu *.dat - Sử dụng file Nhom1.dat đã tạo từ phần mềm SPSS - Thay các chữ cái A,B,C,D bằng số 1,2,3,4 tương ứng: Edit → Replace → “A” tại ô Find What → 1 tại ô Replace with → Replace all → Tương tự với B,C,D → Ctrl + S Học viên: Lê Thị Ngọc Anh Trang 52
Kiểm tra đánh giá trong giáo dục 1 2 3 4 5 - Tạo 1 file Nhom1.key chứa đáp án của các câu hỏi: Mở Notepad → Copy đáp án và thay thế đáp án A, B, C, D bằng 1, 2, 3, 4 tương tự các bước như trên Lưu ý: Trong file Nhom1.dat 4 kí tự đầu tiên là ID của thí sinh, câu trả lời bắt đầu từ kí tự thứ 5 nên trong file Nhom1.key thì đáp án câu đầu tiên bắt đầu từ kí tự thứ 5 4 kí tự 7 8 6 Học viên: Lê Thị Ngọc Anh Trang 53
Kiểm tra đánh giá trong giáo dục 5.1.2. File điều khiển *.ctl Số kí tự ID Tệp kết quả - Tệp thông tin đề thi - Tệp thống kê theo phương pháp cổ điển - Tệp câu hỏi ước lượng theo IRT - Tệp thí sinh ước lượng theo IRT 5.2. Các bước thực hiện - Bước 1: Mở phần mềm Vitesta → Tệp điều khiển → Mở tệp số sẵn → Chọn tệp → Open → Kiểm tra lại dữ đầu vào → Định cỡ 1 2 3 4 Học viên: Lê Thị Ngọc Anh Trang 54
Kiểm tra đánh giá trong giáo dục 5: Kiểm tra dữ liệu 6 - Bước 2: Mở các file kết quả Trang 55 7 5.3. Đọc kết quả 5.3.1. Tham số câu hỏi Học viên: Lê Thị Ngọc Anh
Kiểm tra đánh giá trong giáo dục → Ý nghĩa của các giá trị tương ứng với file *.ita của phần mềm QUEST - Độ phân biệt: là tương quan giữa điểm trả lời đúng của thí sinh đối với câu hỏi so với tổng điểm thô của thí sinh. Những câu hỏi có độ phân biệt âm là những câu hỏi có chất lượng kém (những thí sinh giỏi không làm được nhưng những thí sinh kém lại làm được nhiều hơn). - Tương quan điểm nhị phân của từng phương án: là tương quan giữa việc chọn phương án của từng thí sinh so với tổng điểm thô của thí sinh. Phương án có độ tương quan điểm nhị phân cao nhất (thường lớn hơn 0) là phương án có khả năng là đáp đúng cao nhất. Nếu điều này không xảy ra, có khả năng câu hỏi có sự nhầm lần về đáp án. - Giá trị p: Đánh giá độ chính xác hay ý nghĩa (signifficance) của đáp án. Thông thường đối với dữ liệu tốt p<0.05. 5.3.2. Tham số câu hỏi IRT - Giá trị MSE cho phép đánh giá độ chính xác của phép đo đối với câu hỏi hiện tại. - a: Độ phân biệt - b: Độ khó - c: Khả năng đoán mò (Độ phỏng đoán) Học viên: Lê Thị Ngọc Anh Trang 56
Kiểm tra đánh giá trong giáo dục Độ phỏng Độ chính xác đoán Độ khó Độ phân biệt 5.3.3. Năng lực thí sinh 5.3.4. Hàm thông tin và đường cong đặc trưng của các các câu hỏi Học viên: Lê Thị Ngọc Anh Trang 57
Kiểm tra đánh giá trong giáo dục Các tham số của từng câu hỏi trắc nghiệm biểu diễn bằng đồ thị đường cong đặc trưng và hàm thông tin. Khi xem xét 2 loại đồ thị này, giáo viên có thể nhanh chóng xác định các câu hỏi có vấn đề bằng trực quan. Những câu hỏi bất thường sẽ thể hiện ở đường cong đặc trưng có độ dốc bé, tức là có tham số a bé (độ phân biệt IRT thấp) và có độ khó quá cao hoặc quá thấp (câu quá dễ hoặc quá khó), đồng thời hàm thông tin ở dạng nằm ngang chứng tỏ câu hỏi trắc nghiệm không để đo được dải năng lực cần xem xét của thí sinh. Hàm thông tin bị ảnh hưởng bởi tham số độ phân biệt và độ đoán mò của câu hỏi. VD: Câu 1 và câu 52 có cùng độ khó b là 1.55 và có cùng độ đoán mò c là 0, tuy nhiên biên độ của hàm thông tin câu 1 lớn hơn do có độ phân biệt nhỉn hơn (������1 = 0.36, ������52 = 0.21) Mặt khác, tham số đoán mò c có giá trị càng lớn thì thông tin để đánh giá năng lực càng giảm Học viên: Lê Thị Ngọc Anh Trang 58
Kiểm tra đánh giá trong giáo dục VD: Câu 4 và câu 65 có độ phân biệt xấp xỉ nhau nhưng độ đoán mò có chênh lệch cụ thể ������4 = 0.11, ������65 = 0.01 là nên biên độ hàm thông tin ở câu 65 nhỉnh hơn câu 4 Dựa vào đường cong đặc trưng ta thấy các câu sau không đảm bảo chất lượng, cần xem xét chỉnh sửa hoặc loại bỏ (độ dốc của đường cong bé → không phân biệt được mức học sinh tham gia câu hỏi này) Học viên: Lê Thị Ngọc Anh Trang 59
Kiểm tra đánh giá trong giáo dục 5.3.5. Phân bố độ khó – năng lực Tập trung nhiều thí sinh Không phù hợp nhất nhưng có ít câu hỏi Nhiều thí sinh nhưng chỉ có 1 câu hỏi Đồ thị trên thể hiện mức độ phù hợp của đề thi trắc nghiệm với năng lực của thí sinh. Năng lực và độ khó được đặt trên cùng 1 thang đo. Trên đồ thị, năng lực trung bình được quy ước bằng giá trị 0, độ khó trung bình của tất cả các câu hỏi trắc nghiệm (thể hiện bằng đường màu xanh đứt đoạn) có giá trị là 1,431. Như vậy, đề thi trắc nghiệm tương đối khó so với năng lực của thí sinh. Các cột màu đỏ ở phía dưới thể hiện dai năng lực của từng thí sinh cụ thể, các cột màu xanh ở phía trên biểu diễn độ khó của từng câu hỏi. Qua đồ thị trên có thể thấy rằng, đề thi trắc nghiệm chưa phù hợp để đánh giá toàn bộ dải năng lực của thí sinh, cụ thể là các dải năng lực từ -2 đến -1 chưa có câu hỏi phù hợp để đánh giá, từ -1 đến 0 có ít câu hỏi phù Học viên: Lê Thị Ngọc Anh Trang 60
Kiểm tra đánh giá trong giáo dục hợp để đánh giá. Đồ thị cũng thể hiện câu hỏi trắc nghiệm số 51 và 11 không phù hợp với mô hình do nằm ngoài dải năng lực của thí sinh 5.3.6. Đồ thị phân bố điểm Để phân tích sự phù hợp của đề thi trắc nghiệm với mô hình IRT, có thể quan sát đồ thị đường cong điểm thực ở trên. Đồ thị thể hiện sự phân bố điểm thực của thí sinh trên dải năng lực, trong đó mỗi điểm màu xanh là một hoặc nhóm các TS có cùng điểm và mức năng lực thu được quá trình ước lượng. Đồ thị trên biểu diễn quan hệ hàm số giữa điểm thực và thang năng lực của học sinh và có dạng một hàm đồng biến. Tiệm cận phải khi năng lực → +∞ có giá Học viên: Lê Thị Ngọc Anh Trang 61
Kiểm tra đánh giá trong giáo dục trị bằng tổng số câu hỏi trắc nghiệm (N), tiệm cận trái khi năng lực → −∞ có giá trị bằng tổng giá trị các tham số đoán mò. Dựa vào điểm cắt của đồ thị với trung tung ta thấy đề thi tương đối khó so với năng lực thí sinh 5.3.7. Hàm thông tin đề thi – đường cong sai số chuẩn Nhấn giữ chuột để đọc tọa độ - Đường màu đỏ: Đường cong thông tin đề thi → Đo chính xác nhất ở trong khoảng năng lực cao hơn mức trung mình (0.23) vì đỉnh đường cong nằm ở mức trên trung bình và trong khoảng năng lực từ -1 đến 1 có sai số nhỏ nhất - Đường đen mảnh: đường cong sai số chuẩn Học viên: Lê Thị Ngọc Anh Trang 62
Kiểm tra đánh giá trong giáo dục C. XÂY DỰNG NGÂN HÀNG ĐỀ THI I. Các bước xây dựng ngân hàng đề thi Xây dựng ma trận đề thi và bảng đặc tả đề thi Soạn câu hỏi thô (đề xuất ý tưởng) Rà soát, chọn lọc, biên tập và thẩm định câu hỏi thi (thẩm định nội dung, kỹ thuật và ngôn ngữ) Thử nghiệm, phân tích, đánh giá câu hỏi thi Chỉnh sửa các câu hỏi sau thử nghiệm Xây dựng đề thi, thử nghiệm, phân tích, đánh giá các đề thi Chỉnh sửa sau khi thử nghiệm đề thi Xây dựng đề thi, thử nghiệm, phân tích, đánh giá các đề thi Chỉnh sửa sau khi thử nghiệm đề thi Rà soát, lựa chọn vào ngân hàng câu hỏi thi Học viên: Lê Thị Ngọc Anh Trang 63
Kiểm tra đánh giá trong giáo dục II. Quy trình phân tích dữ liệu của các đề thi - Bước 1: Phân tích dữ liệu đề thi số 1 bằng phần mềm Quest, đồng thời tạo file chứa các câu hỏi neo và độ khó tương ứng - Bước 2: Chọn ra 20 câu hỏi có chất lượng tốt: câu 2, 4, 6, 8, 10, 11, 12, 25, 26, 35, 36, 38, 42, 51, 55, 60, 61, 67, 78, 80. - Bước 3: Xây dựng đề thi số 2 (có sử dụng lại 20 câu hỏi đã được chọn ra từ đề thi số 1) và xác định vị trí xuất hiện các câu hỏi này trong đề thi số 2 - Bước 4: Tạo mới 1 file câu hỏi neo, chỉ giữ lại thông tin các câu hỏi chung xuất điện ở đề thi số 2 (số thứ tự câu hỏi chung xuất hiện trong đề thi số 2 và độ khó câu hỏi) - Bước 5: Phân tích dữ liệu đề thi số 2 và sử dụng file chứa câu hỏi neo vừa tạo ở bước 4 III. Các bước thực hiện 3.1. Phân thức đề thi số 1 - Các câu lệnh tương tự như đã hướng dẫn ở mục 2.1. phần B Header PHAN TICH DE THI SO 1 set width =132 ! page set logon >- deso1.log data_file deso1.dat codes ABCD format V1 1-4 items (t5,80a1) key CDBABDAACBDCADDDCDDCBBCBCCBCACAAABDDDA- CBABDDDDCCBBBADACABABCDBCBBBAADBACDCCCAAAD ! score=1 scale 1-80 !deso1 estimate ! iter=100;scale=deso1 show ! scale=deso1 >- deso1.map show cases!scale=deso1; form=export; delimiter=tab >-deso1.cas show cases!scale=deso1 >-deso1a.cas show items!scale=deso1 >-deso1a.itm show items!scale=deso1; form=anchor >-cauhoineo1.anc itanal ! scale=deso1 >- deso1.ita quit Câu lệnh tạo file Cauhoineo.anc Nội dung file gồm 2 cột: câu hỏi và độ khó của câu hỏi Học viên: Lê Thị Ngọc Anh Trang 64
Kiểm tra đánh giá trong giáo dục 3.2. Tạo file câu hỏi chung ở thư mục đề số 2 - Copy file cauhoineo từ thư mục đề số 1 sang thư mục đề số 2 → Để lại các câu hỏi chung giữa hai đề và xóa các câu hỏi còn lại * PHAN TICH DE THI SO 1 *-------------------------------------------------------------- *Item Estimates (Category Deltas) 20/ 8/21 15:43 *all on deso1 (N = 344 L = 80 Probability Level= .50) *-------------------------------------------------------------- 2 .326 Độ khó câu hỏi tương ứng 4 .470 (Độ khó lấy ở đề thi số 1) 6 .094 8 .024 10 -.178 11 .195 12 -.183 25 -.818 26 -.054 35 -.156 36 -.384 38 -.396 Số thứ tự câu hỏi chung 42 -.979 xuất hiện trong đề thi số 2 51 .323 55 .218 60 .474 61 .166 67 .300 78 .009 80 -.038 3.2. Phân tích đề thi số 2 và sử dụng file chứa câu hỏi neo Trang 65 Header PHAN TICH DE THI SO 2 set width =132 ! page set logon >- deso2.log data_file deso2.dat codes ABCD format V1 1-4 items (t5,80a1) Học viên: Lê Thị Ngọc Anh
Kiểm tra đánh giá trong giáo dục key BDCDCAAAAACCBDCCCBBABCBADDADBBCBBBBADDADAC- DCDACDCCCDABCABDAAABBADBBDCBADCDCDBCAD ! score=1 scale 1-80 !deso2 Câu lệnh đọc giá trị độ khí từ anchor!items <<cauhoichung.anc file câu hỏi neo để phân tích 2 estimate ! iter=100;scale=deso2 đề thi trên cùng 1 thang đo show ! scale=deso2 >- deso2.map show cases!scale=deso2; form=export; delimiter=tab >-deso2.cas show cases!scale=deso2 >-deso2a.cas show items!scale=deso2 >-deso2a.itm itanal ! scale=deso2 >- deso2.ita quit 3.3. Trích xuất dữ liệu từ kết quả phân tích bằng phần mềm Quest - Trích xuất dữ liệu từ kết quả phân tích bằng phần Quest cho vào file quản lí ngân hàng câu hỏi bằng Excel. Ví dụ trong bài tập này có 140 câu hỏi gồm có 80 câu hỏi ở đề thi số 1 và 60 câu hỏi ở đề thi số 2 (đã loại bỏ 20 câu hỏi chung). - Các dữ liệu cần trích xuất: Mã CH (STT), Nội dung tóm tắt câu hỏi (Vị trí chương, bài của câu hỏi), Độ khó CTT (Độ khó cổ điển – có thể có hoặc không), Độ khó IRT (giá trị Thresholds trong file *ita), Độ phân biệt IRT (giá trị Disc trong file *ita), chất lượng câu hỏi (tốt khi có độ phân biệt IRT nằm trong khoảng 0.25 đến 0.75) Học viên: Lê Thị Ngọc Anh Trang 66
Kiểm tra đánh giá trong giáo dục 3.4. Tạo đề thi từ ngân hàng câo hỏi Lựa chọn các câu hỏi từ ngân hàng đề thi đảm bảo các yêu cầu sau: + Tổng độ khó các câu hỏi theo IRT = 0 (hoặc gần bằng 0) + Các câu hỏi rải đề các chương (bài) trong chương trình học + Các câu hỏi phân bố hợp lý theo thang Bloom 6 mức hoặc 4 mức (Nhận biết, hiểu, vận dụng thấp, vận dụng cao)… + Nếu có nhiều phương án án lựa chọn thì ưu tiên lựa chọn câu hỏi chất lượng rất tốt, tốt, trung bình Tổng độ khó IRT Học viên: Lê Thị Ngọc Anh Độ khó trung bình Phải = 0 hoặc gần = 0 Trang 67
Kiểm tra đánh giá trong giáo dục D. PHÂN TÍCH ĐỀ THI TỰ LUẬN BẰNG PHẦN MỀM QUEST/CONQUEST I. Tạo file dữ liệu - Nhập dữ liệu bằng phần mềm excel - Hàng 1: Mã HS và mã câu hỏi + Ý 1 câu hỏi 1a + Ý 2 câu hỏi 1a +… - Hàng 2: Điểm tối đa của từng câu hỏi - Hàng 3 trở xuống: điểm thí sinh đạt được trong từng câu hỏi - Tìm giá trị điểm min khác 0 trong bảng điểm - Câu lệnh: =Min(if(range>0,range)) → nhấn Shift + Ctrl + Enter - Ý nghĩa câu lệnh: tìm giá nhỏ nhất lớn hơn 0 trong bảng <range> Học viên: Lê Thị Ngọc Anh Trang 68
Kiểm tra đánh giá trong giáo dục - Tạo 1 sheet mới để chuyển các điểm trên về giá trị nguyên → Giúp phần mềm Quest và Conquest đọc được - Câu lệnh: =’Du lieu goc’!B2/0.25 - Ý nghĩa câu lệnh: Lấy ô giá trị của ô B2 ở shet “Du lieu goc” (sheet nhập điểm vừa tạo ở trên) chia cho giá trị điểm min > 0 vừa tìm được ở bước trên - Tạo file dữ liệu *.dat bằng phần mềm SPSS như đã hướng dẫn ở mục 1 Phần B II. Phân tích đề thi tự luận bằng phần mềm Quest 2.1. File điều khiển *.ctl Header BAI TAP NHOM 1 (4) set width =132 ! page set logon >- nhom1.log data_file nhom1.dat codes 012 (1) format V1 1-3 items (t4,23a1) (2) recode (012) (010) ! 3,13,18,20,22,23 (3) recode (012) (012) ! 1,2,4,5,6,7,8,9,10,11,12,14,15,16,17,19,21 scale 1-23 !nhom1 estimate ! iter=100;scale=nhom1 show ! scale=nhom1 >- nhom1.map show cases!scale=nhom1; form=export; delimiter=tab >- nhom1.cas show cases!scale=nhom1 >- nhom1a.cas show items!scale=nhom1 >-nhom1a.itm itanal ! scale=nhom1 >- nhom1.ita kidmap 1 ! scale=nhom1 >- nhom1.kid quit Học viên: Lê Thị Ngọc Anh Trang 69
Kiểm tra đánh giá trong giáo dục - (1): các mức điểm HS có thể đạt được trong từng câu hỏi - (2): cột 1 đến cột 3 là ID của thí sinh, từ cột 4 trở đi là điểm các câu trả lời tương ứng với 23 câu hỏi - (3): Các câu hỏi có mức điểm tối đa là 1 điểm - (4): Các câu hỏi có mức điểm tổi đa là 2 điểm + Giả sử với đề có các mức điểm HS có thể đạt được trong từng câu hỏi là 0, 1, 2, 3, 4, 5 thì viết lệnh như sau: codes 012345 format V1 1-3 items (t4,23a1) recode (012345) (010000) ! 3,13,18,20,22,23 recode (012345) (012000) ! 1,2,4,5,6 recode (012345) (012300) ! 7,8,9,10,11,12 recode (012345) (012340) ! 14,15,16 recode (012345) (012345) ! 17,19,21 - Các câu lệnh dưới tương tự mục 2.1 phần B - Chạy file điều khiển *.ctl bằng phần mềm Quest như đã hướng dẫn ở mục 2.1. phần B 2.2. Đọc kết quả Đọc kết quả các file được tạo ra từ phần mềm Quest tương tự mục 2.2 phần B. Bổ sung 1 số kết quả khác 2.2.1. File *.map ---------------------------------------------------------------------- 5.0 | | | 8.2 Các câu hỏi | 4.0 | 8, 11, 21, 7, | 11.2 16, … ở mức | 3.0 | 21.2 2 điểm | 7.2 16.2 | (điểm tối đa) | 6.2 | 17.2 | 5.2 9.2 XX | 2.0 | 15.2 XXX | | 2.2 19.2 Học viên: Lê Thị Ngọc Anh Trang 70
Kiểm tra đánh giá trong giáo dục XXXXXXXX | 4.2 XXXXXXXXXXXXXXXXX | XXXXXXXXXXXXXXXXXXXX | 1.0 | XXXXXXXXXXXXXXXXX | 12.2 14.2 XXXXXXXX | XXXXXXX | X| 10.2 XXXXX | Các câu hỏi 13, 23, .0 | 1.2 … chỉ có mức 1 điểm |3 XXX | 18 (điểm tối đa) XXX | | | XXXX | 10.1 13 23 -1.0 | 21.1 | 1.1 7.1 8.1 | 9.1 16.1 | 11.1 20 22 | -2.0 Các câu hỏi 5, 15, | | 17, 6, 14, … ở mức 1 | 5.1 15.1 17.1 điểm (không phải | 6.1 | điểm tối đa) | 14.1 | -3.0 | 19.1 | | 2.1 | | -4.0 | ---------------------------------------------------------------------- Each X represents 2 students ====================================================================== Ta thấy ở mục 2.2. phần B cột 2 của chỉ có các Item câu hỏi, sự khác nhau ở đây là ở cột 2 có xuất hiện các mức điểm mà HS đạt được. 2.2.2. File *.ita Độ phân biệt (mối tương quan giữa điểm Item 22 Ngưỡng năng lực để TS vượt qua câu hỏi người trả lời với tổng điểm toàn bài) > 0.4 ------- item:22 (22) Cases for this item 188 Discrimination 0.35 Sự phù hợp với mô hình < 1 Item Threshold(s): -1.54 Weighted MNSQ 0.97 Item Delta(s): -1.54 ---------------------------------------------------------------------- Label Score Count % of tot Pt Bis t (p) PV1Avg:1 PV1 SD:1 ---------------------------------------------------------------------- 0 0.00 16 8.51 -0.35 -5.04(.000) 0.51 0.47 1 1.00 172 91.49 0.35 5.04(.000) 0.95 0.50 =========================================================================== Item 8 ------ Độ khó câu hỏi item:8 (8) Học viên: Lê Thị Ngọc Anh Trang 71
Kiểm tra đánh giá trong giáo dục Cases for this item 188 Discrimination 0.23 Item Threshold(s): -1.20 4.32 Weighted MNSQ 1.00 Item Delta(s): -1.20 4.32 ---------------------------------------------------------------------- Label Score Count % of tot Pt Bis t (p) PV1Avg:1 PV1 SD:1 ---------------------------------------------------------------------- 0 0.00 21 11.17 -0.16 -2.26(.025) 0.78 0.63 1 1.00 161 85.64 0.05 0.71(.476) 0.91 0.49 2 2.00 6 3.19 0.19 2.61(.010) 1.25 0.55 =========================================================================== Các mức Số HS đạt Tỉ lệ % trả Hệ số tương quan biểm Biserial → Cần loại điểm HS đạt được mức lời cho bỏ những câu hỏi có mối tương quan thấp được điểm tương từng mức hoặc dưới 0 sẽ làm tăng độ tin cậy bài kiểm ứng điểm tra, tốt nhất ∈ (0.25 ; 0.75) - Câu hỏi số 22: + Độ khó: - 1,54: câu hỏi quá dễ + Độ phân biệt: Discrimination: 0.35 < 0.4. Đây là câu hỏi có thể phân biệt được năng lực của HS, không thể hiện được mối tương quan giữa điểm của HS trả lời với tổng điểm toàn bài + Weighted MNSQ = 0.97 < 1: Phù hợp với mô hình → Câu hỏi 22 cần được chỉnh sửa lại để đánh giá được năng lực các thí sinh lớn hơn 0 (có 172/188 thí sinh đạt điểm tối đa câu hỏi này) → không thể đánh giá, phân loại năng lực học sinh - Câu hỏi số 8 + Độ khó: Mức 1 điểm: -1.20 (tương đối dễ), mức 2 điểm: 4.32 (quá khó) + Độ phân biệt: Discrimination: 0.23 < 0.4. Đây là câu hỏi không thể phân biệt được năng lực của HS, không thể hiện được mối tương quan giữa điểm của HS trả lời với tổng điểm toàn bài + Weighted MNSQ = 1.00 < 1: Phù hợp với mô hình → Câu hỏi 8 cần được chỉnh sửa lại để đánh giá được năng lực các thí sinh có năng lực từ 0 đến 1 (có đến 161/188 thí sinh có điểm câu hỏi này nhưng chỉ có 6/188 thí sinh đạt điểm tối đa câu hỏi này) → không thể đánh giá, phân loại nhóm học sinh có năng lực trung bình và tương đối cao Học viên: Lê Thị Ngọc Anh Trang 72
Kiểm tra đánh giá trong giáo dục Item 15 ------- item:15 (15) Cases for this item 188 Discrimination 0.53 Item Threshold(s): -2.17 1.98 Weighted MNSQ 0.95 Item Delta(s): -2.16 1.97 --------------------------------------------------------------------------- Label Score Count % of tot Pt Bis t (p) PV1Avg:1 PV1 SD:1 --------------------------------------------------------------------------- 0 0.00 7 3.72 -0.59 -9.85(.000) -0.26 0.38 1 1.00 132 70.21 -0.10 -1.31(.192) 0.90 0.47 2 2.00 49 26.06 0.35 5.13(.000) 1.10 0.40 =========================================================================== + Độ khó: Mức 1 điểm: -2.16 (rất dễ), mức 2 điểm: 1.97 (trung bình) + Độ phân biệt: Discrimination: 0.53 > 0.4. Đây là câu hỏi có thể phân biệt được năng lực của HS, thể hiện được mối tương quan giữa điểm của HS trả lời với tổng điểm toàn bài + Weighted MNSQ = 0.95 < 1: Phù hợp với mô hình → Với kết quả phân tích như trên, ta thấy câu 15 có đến 132/188 học sinh có điểm câu này và 49/188 học sinh đạt điểm tối ra → đây là câu hỏi có chất lượng tốt, có khả năng đánh giá cũng như phân loại được năng lực của các HS III. Phân tích đề thi tự luận bằng phần mềm Conquest 3.1. File điều khiển *.cqc Title Nhom1; Datafile Nhom1.dat; format ID 1-3 responses 4-26; codes 0,1,2; recode (0,1,2) (0,1,0) ! items(3,13,18,20,22,23); recode (0,1,2) (0,1,2) ! items(1,2,4,5,6,7,8,9,10,11,12,14,15,16,17,19,21); model item + item*step; Các câu lệnh khác tương tự như phân tích đề thi set warnings=no, update=yes; trắc nghiệm Estimate; - Đề thi trắc nghiệm: model item; Show ! estimates=latent>> Nhom1.shw; - Đề thi tự luận: model item + item*step; Itanal >> Nhom1.itn; plot icc ! legend=yes; Học viên: Lê Thị Ngọc Anh Trang 73
Kiểm tra đánh giá trong giáo dục 3.2. Đọc kết quả Đọc kết quả các file được tạo ra từ phần mềm Quest tương tự mục 3.3 phần B. Bổ sung 1 số kết quả khác - đọc kết quả bằng đồ thị + Theo hình trên ta thấy câu 22 có đỉnh của đường cong đặc trưng thông tin tương ứng với mức năng lực -1,54 và không cho thông tin ở mức năng lực cao (> 2) + Theo hình trên ta thấy đường cong đặc trưng theo mức điểm của câu hỏi 22 có điểm uốn hướng lên, 80% học sinh có năng lực trên trung bình và gần như 100% học sinh có năng lực tương đối cao (> 1) đều đạt được điểm tối đa của câu hỏi này Học viên: Lê Thị Ngọc Anh Trang 74
Kiểm tra đánh giá trong giáo dục + Theo hình trên ta thấy câu 8 có đỉnh của đường cong đặc trưng thông tin tương ứng với mức năng lực -1,2 và 4.32 → Chỉ đánh giá được HS thuộc nhóm năng lực yếu và nhóm năng lực cao + Theo hình trên ta thấy đường cong đặc trưng theo mức điểm 1 của câu hỏi 8 có điểm uốn hướng lên, trên 80% học sinh có năng lực trung bình và trên trung bình đạt được mức điểm 1 của câu hỏi 8; đường cong đặc trưng theo mức điểm 2 của câu hỏi 8 có điểm uốn hướng xuống, dưới 10% học sinh có năng lực cao (>2) đạt được điểm tối đa câu hỏi 8 (cụ thể là chỉ có 3.19% học sinh đạt được điểm tối ta) Học viên: Lê Thị Ngọc Anh Trang 75
Kiểm tra đánh giá trong giáo dục + Theo hình trên ta thấy câu 15 có đỉnh của đường cong đặc trưng thông tin tương ứng với mức năng lực -2,16 và 1,97 + Theo hình trên ta thấy đường cong đặc trưng theo mức điểm 1 của câu hỏi 15 có điểm uốn hướng lên, trên 60% học sinh có năng lực trung bình và trên trung bình đạt được mức điểm 1 của câu hỏi 15; đường cong đặc trưng theo mức điểm 2 của câu hỏi 8 có điểm uốn hướng xuống, trên 20% học sinh có năng lực trên mức trung bình (>1) đạt được điểm tối đa câu hỏi 15 Học viên: Lê Thị Ngọc Anh Trang 76
Kiểm tra đánh giá trong giáo dục E. PHÂN TÍCH PHIẾU KHẢO SÁT BẰNG PHẦN MỀM SPSS I. Phân loại dữ liệu, mã hóa, nhập liệu và một số xử lý trên biến 1.1. Phân loại dữ liệu Dữ liệu nghiên cứu có thể phân chia thành 2 loại chính là dữ liệu định tính và dữ liệu định lượng. Các dữ liệu này được thu thập bằng 4 thang đo cơ bản được thể hiện như sau Dữ liệu Dữ liệu định tính Dữ liệu định lượng Thang đo Thang đo Thang đo Thang đo danh nghĩa thứ bậc khoảng cách tỉ lệ - Dữ liệu định tính: loại dữ liệu này phản ánh tính chất, sự hơn kém, ta không tính được trị trung bình của dữ liệu dạng định tính. Có nhiều cách thể hiện các dữ liệu định tính, ví dụ như giới tính của người được phỏng vấn là nam hay nữ, kết quả học tập của sinh viên là giỏi, khá, trung bình hay yếu - Dữ liệu định lượng: loại dữ liệu này phản ánh mức độ, mức độ hơn kém, tính được trị trung bình. Nó thể hiện bằng con số thu thập được ngay trong quá trình điều tra khảo sát, các con số này có thể ở dạng biến thiên liên tục hay rời rạc. Nếu thu thập thông tin về nhiệt độ của từng giờ trong ngày ta có thể có một tập dữ liệu về nhiệt độ ở dạng biến thiến liên tục. Ngược lại, tìm hiểu thông tin về số lượng trẻ em dưới 10 tuổi của từng hộ gia đình trong một khu vực thị trường, kết quả thu được phải là dữ liệu định lượng dạng biến rời rạc Học viên: Lê Thị Ngọc Anh Trang 77
Kiểm tra đánh giá trong giáo dục 1.2 Các loại thang đo 1.2.1. Thang đo danh nghĩa – nominal scale Trong thang đo này các con số chỉ dùng để phân loại các đối tượng, chúng không mang ý ngĩa nào khác. Về thực chất thang đo danh nghĩa là sự phân loại và đặt tên cho các biểu hiện và ấn định cho chúng một ký tự số tương ứng. Ví dụ: “Vui lòng cho biết trình trạng hôn nhân của bạn hiện nay?” Độc thân (1) Đang có gia đình (2) Ở góa (3) Ly thân hoặc ly dị (4) Những con số này mang tính định danh vì ta không thể cộng chúng lại hoặc tính ra giá trị trung bình của “tình trạng hôn nhân”. Những phép toán thống kê có thể sử dụng được cho dạng thang đo danh nghĩa là: đếm, tính tần suất của một biểu hiện nào đó, xác định giá trị mode, thực hiện một số phép kiểm định 1.2.2. Thang đo thứ bậc – ordinal scale Các con số ở thang đo danh nghĩa được sắp xếp theo một quy ước nào đó về thức bậc hay sự hơn kém, nhưng ta không biết được khoảng cách giữa chúng. Điều này có nghĩa là bất cứ thang đo thứ bậc nào cũng là thang danh nghĩa nhưng rõ ràng không thể suy ngược lại rằng thang danh nghĩa cũng là thang thứ bậc VD: Đo lường người được phỏng vấn theo mức độ hài lòng với mùi sản phẩm. Hãy đặt hài lòng = 3, bình thường = 2, không hài lòng = 1. Tuy nhiên chúng ta không biệt được là người đó hài lòng gấp 2 lần hay gấp 5 lần hoặc chỉ hài lòng hơn những người ở mức 1 hoặc 2 một chút mà thôi Đối với thang đo thứ bậc, khuynh hướng trung tâm có thể xem xét bằng số trung vị và số mode, còn độ phân tán chỉ đo được bằng khoảng và khoảng tứ trung vị 1.2.3. Thang đo khoảng – interval scale Là 1 dạng đặc biệt của thang đo thứ bậc vì nó cho biết khoảng cách giữa các thứ bậc. Thông thường thang đo khoảng có dạng là một dãy các chữ số liên tục và đều đặn từ 1 đến 5, từ 1 đến 7 hay từ 1 đến 10. Học viên: Lê Thị Ngọc Anh Trang 78
Kiểm tra đánh giá trong giáo dục Những phép toán thống kê có thể sử dụng thêm cho loại thang đo này so với 2 loại thang đo trước là: tính khoảng biến thiên, số trung bình, độ lệch chuẩn… Cần chú ý là thang đo khoảng tự nó không có điểm 0 tuyệt đối, do đó chỉ có thể thực hiện được tính phép cộng trừ chứ nếu dùng phép chia thì kết quả không có ý nghĩa 1.2.4. Thang đo tỉ lệ - ratio scale Thang đo tỉ lệ có tất cả các đặc tính khoảng cách và thứ tự của thang đo khoảng, ngoài ra điểm 0 trong thang đo là một trị số “thật” nên ta có thể thực hiện được phép toán chia để tính tỉ lệ nhằm mục đích so sánh VD: “Bạn bao nhiêu tuổi?” 1.3. Nguyên tắc mã hóa và nhập liệu Nguyên tắc mã hóa và nhập liệu được mô tả tóm tắt như sau: Học viên: Lê Thị Ngọc Anh Trang 79
Kiểm tra đánh giá trong giáo dục - Các dữ liệu được nhập không phải kí tự như “nữ” hay “nam” cần phải được tạo một con số mã hóa. Ví dụ: “nữ” = 1; “nam” = 2; “giới tính khác” = . 1.4. Cửa sổ làm việc của SPSS Cửa sổ dữ liệu của SPSS có 2 loại kiểu nhìn - Data View: kiểu nhìn dùng để nhập liệu và xem dữ liệu đã nhập - Variable View: kiểu nhìn dùng để khai báo biến Để thay đổi giữa 2 kiểu nhìn này, ta nhấp chuột chọn tên cửa sổ Data View hay Variable View hoặc bấm Ctrl + T. - File: khởi tạo file mới, mở các file sẵn có, lưu file, in ấn, thoát…. - Edit: gồm các lựa chọn undu, cắt/ dán, tìm kiếm/ thay thế, xác lập các mặc định - View: cho hiện dòng trạng thái, thanh công cụ, chọn font chữ, cho hiện giá trị nhập vào (value) hay nhãn ý nghĩa của các giá trị nhập - Data: bao gồm các lựa chọn phục vụ công tác về dữ liệu như chèn thêm biến, tìm nhanh một quan sát trong 1 tập hợp dữ liệu có nhiều quan sát, xếp thứ tự các quan sát, ghép file, chia file, … - Transform: gồm các lệnh giúp chuyển đổi dữ liệu, tính toán, mã hóa lại các biến,… - Analyze: thực hiện các thủ tục thống kê: tóm tắt dữ liệu, lập bảng tổng hợp, tính trung bình, phương sai, tương quan, hồi qui… - Graphs: tạo các biểu đồ và đồ thị - Utilities: tìm hiểu thông tin về các biến, file… - Window: sắp xếp các cửa sổ làm việc trong SPSS, di chuyển giữa các cửa sổ làm việc 1.5. Tạo tập tin dữ liệu trong SPSS 1.5.1. Khai báo biến Sau khi khởi động cửa sổ dữ liệu của SPSS, nhấp chuột vào Variable view để chuyển sang màn hình khai báo biến. Màn hình khai báo biến hiện ra như sau: Học viên: Lê Thị Ngọc Anh Trang 80
Kiểm tra đánh giá trong giáo dục Mỗi dòng để tạo 1 biến - Name: (tên biến) không quá 8 kí tự hay kí số, không có kí tự đặt biệt, không bắt đầu bằng một kí số, không có dấu - Type: (kiểu biến) - Width: độ rộng của biến là số ký số hay ký tự tối đa có thể nhập - Decimals: số lẻ sau dấy phẩy - Label: đặt nhãn cho biến - Values: gán nhãn cho tất cả các lựa chọn của biến - Missing: khai báo các loại giá trị khuyết - Columns: khai báo độ rộng của cột biến khi ta nhập liệu - Align: vị trí dữ liệu được nhập trong cột - Measura: chọn loại thang đo Type Mặc định là Numeric - Numeric: Kiểu số. Các giá trị được nhập vào và hiển thị ở dạng chữ số, có hoặc không có dẫu ngăn cách hàng thập phân. - Comma: Kiểu này chỉ rõ những giá trị số với những dấu phẩy (,) được chèn vào giữa những nhóm ba chữ số để thuận tiện phân biệt chữ số hàng chục, trăm, nghìn… Vd: 1000,555555 = 1,000.555555 - Dot: Giống như kiểu Comma, nhưng ở đâu dấu ngăn cách giữa những nhóm ba chữ số là dấu chấm (.) và dấu phẩy được dùng cho chữ số hàng thập phân. Ví dụ 1000000,555555 = 1.000.000,555555 - Scientific Notation: Biến số mà dùng ký tự E để hiển thị chữ số mũ. Ví dụ số 2,014 được viết như 2.014E3, chẳng hạn số 0.0005 được việt như 5E-4 - Date: Một biến có thể bao gồm năm, tháng, ngày, giờ, phút, giây. - Dollar: các lựa chọn định dạng có sẵn xuất hiện trong danh sách bên phải của hộp thoại. - Custom Currency: Năm định dạng tùy chỉnh cho tiền tệ được đặt tên CCA, CCB, CCC, CCD - String: Định dạng kiểu ký tự không phải số. - Restricted Numeric (integer with leading zeros): Giống định dạng kiểu Numeric tuy nhiên số chữ số được hiển thị trên SPSS là bằng nhau Học viên: Lê Thị Ngọc Anh Trang 81
Kiểm tra đánh giá trong giáo dục Mã hóa các thang đo định tính Nhãn giải thích ý nghĩa của mã số Value II. Các bước phân tích phiếu khảo sát bằng phần mềm SPSS 2.1. Nhập dữ liệu từ phiếu khảo sát thu được vào phần mềm SPSS - Ghi chú cho các tiêu chí bằng tên biến - Khai báo các biến Trang 82 Học viên: Lê Thị Ngọc Anh
Kiểm tra đánh giá trong giáo dục - Nhập mức độ đánh giá từ các phiếu khảo sát vào phần mềm SPSS 2.2. Đánh giá độ tin cậy - Analyze → Scale → Reliability Analysis… - Chọn tất cả cả biến trả lời c1.1; c1.2; …. Đưa vào ô Items → Statistics → Scale if item deleted (ở ô Descriptives for) và Correlations (ở ô Inter – Item) → Continue → OK Học viên: Lê Thị Ngọc Anh Trang 83
Kiểm tra đánh giá trong giáo dục 4 3 12 6 5 - Kết quả thu được Độ tin cậy Cronbach’s Alpha > 0.6 Tổng số biến quan sát Học viên: Lê Thị Ngọc Anh Trang 84
Kiểm tra đánh giá trong giáo dục Cronbach’s Alpha nếu loại một câu hỏi Phải < Cronbach’s Alpha Tương quan của từng câu hỏi với phiếu (biến tổng) Phải > 0.3 2.3. Đánh giá độ hiệu lực – Phân tích nhân tố khám phá - Analyze → Dimension Redution → Factor… - Chọn tất cả cả biến trả lời c1.1; c1.2; …. Đưa vào ô Variables → Descriptives → Initial solution (ở ô Statistics) → KMO and Bartlett’s test of sphericity (ở ô Correlation Matrix) → Continue → Rotation → Varimax (ở ô Method) → Rotated solution (ở ô Display) → Continue → Options → Exclude cases listwise (ở ô Missing Values) → Suppress small coefficients (ở ô Coefficient Display Format) → Chọn .5 ở ô Absolute value below → Continue → OK Học viên: Lê Thị Ngọc Anh Trang 85
Kiểm tra đánh giá trong giáo dục 1 2 3 6 45 10 7 14 8 19 9 15 11 16 12 18 17 13 Trang 86 - Kết quả thu được Học viên: Lê Thị Ngọc Anh
Kiểm tra đánh giá trong giáo dục - Hệ số KMO là 0.885 (Phải ������, ������ ≤ ������������������ ≤ ������) - Kết quả kiểm định Barlett's 4100.847 - Mức ý nghĩa sig=0.000 + sig < 0.05 bác bỏ giả thuyết ������0 + sig > 0.05 chấp nhận giả thuyết ������0 Phương sai trích. > 50% Học viên: Lê Thị Ngọc Anh Trang 87
Kiểm tra đánh giá trong giáo dục - Các con số trong bảng Rotated Component Matrix thể hiện các trọng số nhân tố hay hệ số tải nhân tố (factor loading) của mỗi biến quan sát. - Chỉ giữ lại các biến quan sát có trọng số nhân tố có giá trị >0.3, tuy nhiên tốt nhất >0.5 2.4. Thống kê mô tả với từng biến quan sát - Thao tác thống kê mô tả được hướng dẫn cụ thể ở mục 4.1 phần B - Hướng dẫn đọc bảng thống kê mô tả được hướng dẫn cụ thể ở mục 4.3.1 phần B 2.5. Tạo bảng chéo - Tạo cột Phamchat = Tổng các cột từ c1.1 đến c1.7 (Tương tự tạo cột Giaoduc = Tổng các cột từ c2.1 đến c2.17 và cột Giaotiep = Tổng các cột từ c3.1 đến c3.8) Học viên: Lê Thị Ngọc Anh Trang 88
Kiểm tra đánh giá trong giáo dục + Transform → Compute Variable → “Phamchat” (tại ô Target Variable) → Chọn c1.1 đưa vào ô Numgric Expression → “+” → Chọn c1.1 đưa vào ô Numgric Expression → “+” → … → Type & Label → “Phẩm chất” tại ô Label → Continue → OK - Đặt biến mới Phamchat_muc để đánh giá Trang 89 Học viên: Lê Thị Ngọc Anh
Kiểm tra đánh giá trong giáo dục + Transform → Recode into Different Variables → Chuyển biến PhamChat vào ô Numeric Variable -> Output Variable → Ở ô Output Variable ghi tên biến mới và dán nhãn cho biến mới → Change →Old and New Values → Chọn chế độ Range ở ô Old Value → điền kí số tương ứng vào Value (ở ô New Value) → Add → Continue → OK → Mở cửa sổ variable view → ở cột Value hàng PhamChat_Muc → mã hóa các giá trị như hình vẽ dưới → OK 1 2 3 4 5 Trang 90 10 Học viên: Lê Thị Ngọc Anh
Kiểm tra đánh giá trong giáo dục 7 6 8 9 11 - Tạo bảng chéo Học viên: Lê Thị Ngọc Anh Trang 91
Kiểm tra đánh giá trong giáo dục 2.6. Thống kê Anova - Analyze → Compare Means → One-way ANOVA → đưa các biến tương ứng vào Dependent List và Factor → Options → Chọn Descriptive; Homogeneity of variance test; Welch → Continue → OK Học viên: Lê Thị Ngọc Anh Trang 92
Kiểm tra đánh giá trong giáo dục Học viên: Lê Thị Ngọc Anh Trang 93
Search
