2. BA Modul Penilaian-2021

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) beberapa kriteria penyusunan soal pada panduan penyusunan yang dikeluarkan dari Puspendik (2016). a) Kaidah penulisan soal pilihan ganda Aspek Materi - Soal harus sesuai dengan indikator. - Pilihan jawaban harus homogen dan logis ditinjau dari segi materi. - Setiap soal harus mempunyai satu jawaban yang benar atau yang paling benar. Aspek Konstruksi - Pokok soal harus dirumuskan secara jelas dan tegas. - Rumusan pokok soal dan pilihan jawaban harus merupakan pernyataan yang diperlukan saja. - Pokok soal jangan memberi petunjuk ke arah jawaban benar. - Pokok soal jangan mengandung pernyataan yang bersifat negatif ganda. - Panjang rumusan pilihan jawaban harus relatif sama. - Pilihan jawaban jangan mengandung pernyataan, “Semua pilihan jawaban di atas salah” atau “Semua pilihan jawaban di atas benar”. - Pilihan jawaban yang berbentuk angka atau waktu harus disusun berdasarkan urutan besar kecilnya nilai angka tersebut atau kronologisnya. - Gambar, grafik, tabel, diagram, dan sejenisnya yang terdapat pada soal harus jelas dan berfungsi. - Butir soal jangan bergantung pada jawaban soal sebelumnya. Aspek Bahasa - Setiap soal harus menggunakan bahasa yang sesuai dengan kaidah bahasa Indonesia - Jangan menggunakan bahasa yang berlaku setempat jika soal akan digunakan untuk daerah lain atau nasional - Setiap soal harus menggunakan bahasa yang komunikatif - Setiap pilihan jawaban jangan mengulang kata atau frase yang bukan merupakan satu kesatuan pengertian. 91

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA b) Kaidah penulisan soal uraian Aspek Materi - Soal harus sesuai dengan indikator. - Batasan pertanyaan dan jawaban yang diharapkan (ruang lingkup) harus jelas. - Isi materi sesuai dengan tujuan pengukuran. - Isi materi yang ditanyakan sudah sesuai dengan jenjang, jenis sekolah, atau tingkat kelas. Aspek Konstruksi - Rumusan kalimat soal atau pertanyaan harus menggunakan kata-kata tanya atau perintah yang menuntut jawaban terurai, seperti: mengapa, uraikan, jelaskan, bandingkan, hubungkan, tafsirkan, buktikan, hitunglah. Jangan menggunakan kata tanya yang tidak menuntut jawaban uraian, misalnya: siapa, di mana, kapan. Demikian juga kata-kata tanya yang hanya menuntut jawaban ya atau tidak. - Petunjuk jelas tentang cara mengerjakan soal. - Pedoman penskoran setelah soalnya ditulis dengan cara menguraikan komponen yang akan dinilai atau kriteria penskorannya, besar skor bagi setiap komponen, atau rentang skor yang dapat diperoleh untuk setiap kriteria dalam soal yang bersangkutan. - Tabel, gambar, grafik, peta, atau yang sejenisnya disajikan dengan jelas, berfungsi, dan terbaca, sehingga tidak menimbulkan penafsiran yang berbeda dan juga harus bermakna. Aspek Bahasa - Rumusan butir soal menggunakan bahasa (kalimat dan kata-kata) yang sederhana dan komunikatif sehingga mudah dipahami oleh peserta didik. - Rumusan soal tidak mengandung kata-kata yang dapat menyinggung perasaan peserta didik atau kelompok tertentu. - Rumusan soal tidak menggunakan kata-kata/kalimat yang menimbulkan penafsiran ganda atau salah pengertian. - Butir soal menggunakan Bahasa Indonesia yang baik dan benar. 92

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) - Rumusan soal sudah mempertimbangkan segi bahasa dan budaya. - Jangan menggunakan bahasa yang berlaku setempat. Berbagai kriteria tersebut di atas digunakan sebagai pegangan dalam penyusunan soal keterampilan berpikir tingkat tinggi. Untuk kriteria soal keterampilan berpikir tingkat tinggi, dapat ditambahkan ciri-ciri soal keterampilan berpikir tingkat tinggi apakah sudah terdapat pada soal yang disusun atau belum. Misalkan, soal keterampilan berpikir tingkat tinggi, memenuhi salah satu atau lebih kriteria: 1) transfer satu konsep ke konsep lainnya, 2) memproses dan menerapkan informasi, 3) tidak rutin, non algoritmatik, 4) mencari kaitan dari berbagai informasi atau konsep yang berbeda-beda, 5) menggunakan beragam informasi atau konsep untuk menyelesaikan masalah, dan 6) menelaah ide dan informasi secara kritis. Atau guru dapat menetapkan kriteria lain yang sesuai. f. Menyusun pedoman penskoran Dalam penulisan soal keterampilan berpikir tingkat tinggi, selain menulis butir soalnya, perlu disusun juga pedoman penskorannya. Pedoman penskoran adalah pedoman yang digunakan untuk menentukan skor hasil penyelesaian pekerjaan peserta didik. Kesulitan yang dihadapi adalah menetapkan skor dengan tepat. Di sinilah pentingnya pedoman penskoran. Dengan pedoman penskoran, guru lebih mudah menentukan skor peserta didik. Pedoman penskoran diperlukan baik untuk tes bentuk pilihan maupun uraian. Untuk soal keterampilan berpikir tingkat tinggi berbentuk pilihan pedoman penyekorannya sama dengan penyekoran soal pilihan ganda yang tidak keterampilan berpikir tingkat tinggi. Hal yang perlu diperhatikan lebih seksama adalah dalam penyusunan pedoman penskoran untuk soal keterampilan berpikir tingkat tinggi yang berbentuk uraian. Perlu diingat kembali bahwa ada dua pedoman penskoran soal uraian, yaitu pedoman penskoran analitik dan pedoman penskoran holistik (Mardapi, 2008). a) Menggunakan penskoran analitik Penskoran analitik digunakan untuk permasalahan yang batas jawabannya sudah jelas dan terbatas. Biasanya teknik penskoran ini digunakan pada tes uraian objektif yang mana jawaban peserta didik diuraikan dengan urutan tertentu. Jika peserta didik telah menulis rumus yang benar diberi skor, 93

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA memasukkan angka ke dalam formula dengan benar diberi skor, menghasilkan perhitungan yang benar diberi skor, dan kesimpulan yang benar juga diberi skor. Jadi, skor suatu butir merupakan penjumlahan dari sejumlah skor dari setiap respon pada soal tersebut. b) Menggunakan penskoran global (holistik) Teknik ini cocok untuk penilaian tes uraian non objektif. Caranya adalah dengan membaca jawaban secara keseluruhan tiap butir kemudian meletakkan dalam kategori-kategori mulai dari yang baik sampai kurang baik, bisa tiga sampai lima. Jadi tiap jawaban peserta didik dimasukkan dalam salah satu kategori, dan selanjutnya tiap jawaban tiap kategori diberi skor sesuai dengan kualitas jawabannya. Kualitas jawaban ditentukan oleh penilai secara terbuka, misalnya harus ada data atau fakta, ada unsur analisis, dan ada kesimpulan. Berdasarkan uraian di atas, untuk soal yang dibuat berbentuk uraian objektif, maka pedoman analitik cocok digunakan. Penyusunan pedoman penskoran untuk soal bentuk uraian objektif dapat mengikuti langkah-langkah pada buku panduan penyusunan dari Puspendik (2016) berikut: - Tuliskan semua kemungkinan jawaban benar atau kata kunci jawaban dengan jelas untuk setiap nomor soal. - Setiap kata kunci diberi skor 1 (satu). Apabila suatu pertanyaan mempunyai beberapa subpertanyaan, rincilah kata kunci dari jawaban soal tersebut menjadi beberapa kata kunci subjawaban. Kata-kata kunci ini dibuatkan skornya (masing-masing 1). - Jumlahkan skor dari semua kata kunci yang telah ditetapkan pada soal. Jumlah skor ini disebut skor maksimum dari satu soal. Contoh pedoman penskoran analitik Butir Soal: Sebuah bak mandi berbentuk balok berukuran panjang 150 cm, lebar 80 cm, dan tinggi 75 cm. Berapa literkah isi volum bak mandi tersebut? (Mardapi, 2008). 94

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) Pedoman penskoran Langkah Kunci Jawaban Skor 1 1 2 Isi Balok = panjang × lebar × tinggi 1 3 = 150 cm × 80 cm × 75 cm 1 = 900.000 cm3 44 Isi bak mandi dalam liter : 1 5 = 900.000 liter 1 5 1000 = 900 liter Skor Maksimum Apabila soal yang dibuat berbentuk uraian non objektif, maka pedoman holistik lebih tepat digunakan. Penyusunan pedoman penskoran untuk soal bentuk uraian nonobjektif dapat mengikuti langkah-langkah pada buku panduan penyusunan dari Puspendik (2016) berikut: - Tuliskan garis-garis besar jawaban sebagai kriteria jawaban untuk dijadikan pedoman atau dasar dalam memberi skor. Kriteria jawaban disusun sedemikian rupa sehingga pendapat/pandangan pribadi peserta didik yang berbeda dapat diskor menurut mutu uraian jawabannya. - Tetapkan rentang skor untuk tiap garis besar jawaban. Besarnya rentang skor terendah 0 (nol), sedangkan rentang skor tertinggi ditentukan berdasarkan keadaan jawaban yang dituntut oleh soal itu sendiri. Semakin kompleks jawaban, rentang skor semakin besar. Untuk memudahkan penskoran, setiap rentang skor diberi rincian berdasarkan kualitas jawaban, misalnya untuk rentang skor 0 - 3: jawaban tidak baik 0, agak baik 1, baik 2, sangat baik 3. Kriteria kualitas jawaban (baik tidaknya jawaban) ditetapkan oleh penulis soal. - Jumlahkan skor tertinggi dari tiap-tiap rentang skor yang telah ditetapkan. Jumlah skor dari beberapa kriteria ini disebut skor maksimum dari satu soal. 95

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA Contoh pedoman penskoran holistik Butir soal Suatu segienam beraturan dan segitiga samasisi memiliki keliling yang sama. Berapa perbandingan luas segienam beraturan dan segitiga samasisi tersebut! Pedoman penskoran SKOR 0,5 KRITERIA 1 Menemukan suatu cara menentukan perbandingan luas kedua bangun, tetapi cara penyelesaian tersebut tidak benar 2,5 Menemukan suatu cara menentukan perbandingan luas kedua bangun, 3 cara penyelesaian tersebut benar dapat digunakan menentukan perbandingan luas kedua bangun, tetapi tidak berhasil menyelesaikannya sampai ditemukan jawaban yang tepat Menemukan suatu cara menentukan perbandingan luas kedua bangun, cara penyelesaian tersebut benar dapat digunakan menentukan perbandingan luas kedua bangun, serta berhasil menyelesaikannya sampai ditemukan jawaban yang tepat, tetapi jawaban yang dituliskan kurang jelas dan kurang komunikatif Menemukan suatu cara menentukan perbandingan luas kedua bangun, cara penyelesaian tersebut benar dapat digunakan menentukan perbandingan luas kedua bangun, berhasil menyelesaikannya sampai ditemukan jawaban yang tepat, dan jawabannya ditulis dengan jelas dan komunikatif Agar dapat diperoleh hasil penskoran yang objektif, penentuan skor perlu dilakukan dengan hati-hati melalui prosedur yang jelas dan terukur. Penentuan skor dapat mengikuti prosedur penskoran dari Puspendik (2016) berikut: - Pemberian skor jawaban uraian sebaiknya dilakukan per nomor soal yang sama untuk semua jawaban peserta didik agar konsistensi penskor terjaga dan skor yang dihasilkan adil untuk peserta didik. - Untuk uraian objektif: periksalah jawaban peserta didik dengan mencocokkan jawaban dengan pedoman penskoran. Setiap jawaban peserta didik yang sesuai dengan kunci dinyatakan “Benar” dan diberi skor 1, sedangkan jawaban peserta didik yang tidak sesuai dengan kunci dianggap “Salah” dan diberi skor 0. Tidak dibenarkan memberi skor selain 0 dan 1. Apabila ada jawaban peserta didik yang kurang sempurna, kurang memuaskan, atau kurang lengkap, pemeriksa harus dapat menilai seberapa jauh hal itu terjadi. Dengan demikian dapat diputuskan akan diberi skor 0 atau 1 untuk jawaban tersebut. 96

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) - Untuk uraian non objektif: periksalah jawaban peserta didik dengan mencocokkan jawaban dengan pedoman penskoran. Pemberian skor disesuaikan antara kualitas jawaban peserta didik dan kriteria jawaban. Di dalam pedoman penskoran sudah ditetapkan skor yang diberikan untuk setiap tingkatan kualitas jawaban. - Baik soal uraian objektif maupun soal nonobjektif, bila tiap butir soal sudah selesai diskor, hitunglah jumlah skor perolehan peserta didik pada setiap nomor butir soal. Apabila dalam satu tes terdapat lebih dari satu nomor soal uraian, setiap nomor soal uraian diberi bobot. Pemberian bobot dilakukan dengan membandingkan semua soal yang ada dilihat dari kedalaman materi, kerumitan/kompleksitas jawaban, dan tingkat kognitif yang diukur. Selain beberapa langkah penulisan soal di atas, untuk menghasilkan soal keterampilan berpikir tingkat tinggi yang berkualitas guru dapat melakukan beberapa langkah tambahan. Setelah soal tersusun, agar soal lebih berkualitas perlu dilakukan beberapa langkah lagi, antara lain: menelaah tes, melakukan ujicoba tes, menganalisis butir tes, memperbaiki tas, merakit tes. g. Menelaah tes Telaah atau analisis soal dilakukan untuk mengetahui baik-tidaknya sebuah soal. Analisis pada umumnya dilakukan melalui dua cara, yaitu analisis kualitatif dan analisis kuantitatif. Analisis kualitatif atau validitas teoritis dilakukan sebelum soal digunakan/diujicobakan, sedangkan analisis kuantitatif dilakukan setelah soal digunakan/diujicobakan. Hasil telaah digunakan sebagai masukan perbaikan Telaah instrumen tes secara teoritis atau kualitatif dilakukan untuk melihat kebenaran instrumen dari segi materi, konstruksi, dan bahasa. Ini sekaligus menjadi langkah untuk menentukan validitas tes. Untuk soal uraian, telaah dilakukan juga terhadap kunci jawaban dan pedoman penskoran. Telaah instrumen secara teoritis dapat dilakukan dengan cara meminta bantuan ahli/pakar, teman sejawat, maupun dapat dilakukan telaah sendiri. Setelah melakukan telaah ini kemudian dapat diketahui apakah secara teoritis instrumen layak atau tidak. 97

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA Berikut contoh kartu untuk telaah soal keterampilan berpikir tingkat tinggi 1) Kartu telaah soal pilihan ganda INSTRUMEN TELAAH SOAL KETERAMPILAN BERPIKIR TINGKAT TINGGI BENTUK TES PILIHAN GANDA Nama pengembang soal : Mata pelajaran : Kelas : No Kriteria Nomor butir* 12345 A. Materi 1. Soal sesuai dengan indikator 2. Hanya ada satu kunci jawaban yang tepat 3. Isi materi sesuai dengan tujuan pengukuran 4. Isi materi sesuai dengan jenjang, jenis sekolah dan tingkat sekolah 5. Soal keterampilan berpikir tingkat tinggi, memenuhi satu atau lebih kriteria berikut. - Tidak rutin, non algoritmatik - Transfer satu konsep ke konsep lainnya - Menganalisis, mengevaluasi, atau mencipta - Mencari kaitan dari berbagai informasi atau konsep yang berbeda- beda - Menggunakan beragam informasi atau konsep untuk menyelesaikan masalah - Menelaah ide dan informasi secara kritis B. Konstruksi 1. Pilihan jawaban harus homogen dan logis 2. Pokok soal dirumuskan dengan singkat, jelas, dan tegas 3. Rumusan pokok soal dan pilihan jawaban harus merupakan pernyataan-pernyataan yang diperlukan 4. Pokok soal tidak memberi petunjuk ke kunci jawaban 5. Pokok soal tidak merupakan pernyataan negatif ganda 6. Bila menggunakan kata negatif, kata “negatif” harus diberi garis bawah atau dicetak miring 7. Alternatif jawaban tidak memuat “semua jawaban di atas salah” atau “semua jawaban di atas benar” 8. Gambar, grafik, tabel, diagram harus benar- benar berfungsi 9. Butir soal tidak bergantung pada butir soal sebelumnya 98

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) 10. Panjang rumusan relatif sama Alternatif jawaban yang berbentuk angka 11. harus diurutkan dari besar ke kecil atau dari kecil ke besar C. Bahasa/Budaya 1. Menggunakan bahasa yang sesuai dengan kaidah bahasa Indonesia 2. Menggunakan bahasa yang komunikatif 3. Pilihan jawaban tidak mengulang 4. Rumusan kalimat tidak menimbulkan penafsiran ganda *Berilah tanda ceklist (√) apabila kriteria terpenuhi, dan tanda silang (X) apabila kriteria tidak terpenuhi 2) Kartu telaah soal uraian INSTRUMEN TELAAH SOAL KETERAMPILAN BERPIKIR TINGKAT TINGGI BENTUK TES URAIAN Nama pengembang soal : Mata pelajaran : Kelas : No Kriteria Nomor butir* 12345 A. Materi 1. Soal harus sesuai dengan indikator. 2. Batasan pertanyaan dan jawaban yang diharapkan (ruang lingkup) harus jelas. 3. Isi materi sesuai dengan tujuan pengukuran. 4. Isi materi yang ditanyakan sudah sesuai dengan jenjang, jenis sekolah, atau tingkat kelas 5. Soal keterampilan berpikir tingkat tinggi , memenuhi satu atau lebih kriteria berikut. - Tidak rutin, non algoritmatik - Transfer satu konsep ke konsep lainnya - Menganalisis, mengevaluasi, atau mencipta - Mencari kaitan dari berbagai informasi atau konsep yang berbeda- beda - Menggunakan beragam informasi atau konsep untuk menyelesaikan masalah - Menelaah ide dan informasi secara kritis B. Konstruksi 1. Rumusan kalimat soal atau pertanyaan menggunakan kata-kata tanya atau perintah yang menuntut jawaban terurai, seperti: 99

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA mengapa, uraikan, jelaskan, bandingkan, 2. hubungkan, tafsirkan, buktikan, hitunglah Petunjuk yang jelas tentang cara 3. mengerjakan soal. Pedoman penskoran tersedia, jelas, sesuai 4. untuk soal yang disusun Gambar, grafik, peta, atau yang sejenisnya disajikan dengan jelas, berfungsi, terbaca, dan bermakna. C. Bahasa/Budaya 1. Rumusan butir soal menggunakan bahasa (kalimat dan kata-kata) sederhana dan komunikatif. 2. Rumusan soal tidak mengandung kata-kata yang dapat menyinggung perasaan peserta didik atau kelompok tertentu. 3. Rumusan soal tidak menggunakan kata- kata/kalimat yang menimbulkan penafsiran ganda atau salah pengertian. 4. Butir soal menggunakan Bahasa Indonesia yang baik dan benar. 5. Rumusan soal sudah mempertimbangkan segi bahasa dan budaya. 6. Tidak menggunakan bahasa yang berlaku setempat *Berilah tanda ceklist (√) apabila kriteria terpenuhi, dan tanda silang (X) apabila kriteria tidak terpenuhi Berdasarkan temuan hasil telaah penyusun soal memperbaiki soal yang telah disusun sebelumnya. Setelah soal direvisi, langkah berikutnya guru dapat melakukan ujicoba soal untuk memperoleh gambaran kualitas soal berdasarkan data empirik. h. Melakukan ujicoba tes Sebelum soal keterampilan berpikir tingkat tinggi yang disusun guru digunakan untuk penilaian di kelas sebaiknya dilakukan terlebih dahulu uji coba tes. Langkah ini diperlukan untuk memperoleh data empiris terhadap kualitas tes yang telah disusun. Ujicoba ini untuk memperoleh data yang digunakan sebagai dasar analisis tentang kualitas soal yang disusun. Jika perangkat tes yang disusun belum memenuhi kualitas yang diharapkan, berdasarkan hasil ujicoba tersebut maka kemudian dilakukan revisi instrumen tes. Dalam praktek pengembangan soal untuk kepentingan penilaian kelas seringkali ujicoba tidak bisa dilaksanakan. Soal yang disusun guru biasanya langsung digunakan untuk melakukan penilaian. Resiko yang mungkin timbul apabila soal langsung 100

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) digunakan adalah adanya kemungkinan soal yang disusun belum memenuhi kaidah- kaidah penulisan soal yang baik. Dampak lebih lanjut tentu hasil penilaian yang dilakukan tidak akurat. Hal ini tentu harus dihindari karena penilaian hasil belajar peserta didik memang memerlukan instrumen penilaian yang baik. Tetapi memang kendala teknis di lapangan tidak bisa dikesampingkan begitu saja dan perlu dicarikan solusinya. Untuk menyiasati kesulitan ujicoba, guru dapat melakukan ujicoba terpakai. Ujicoba terpakai adalah kegiatan ujicoba yang dilaksanakan sekaligus pelaksanaan tes. Maksudnya, tes langsung dilakukan tanpa dilakukan ujicoba terlebih dahulu, tetapi hasil tes tersebut tidak langsung digunakan sebagai dasar penentuan nilai akhir peserta didik, tetapi digunakan terlebih dahulu untuk menganalisis soal. Apabila dari hasil analisis ternyata ada butir soal yang tidak layak, maka penentuan nilai akhir peserta didik dilakukan tanpa menyertakan butir yang tidak layak tersebut. Kelemahan ujicoba terpakai ini adalah apabila dari hasil analisis terdapat soal yang tidak layak harus disingkirkan dari analisis, sedangkan soal lain yang masuk kategori layak tidak ada yang dapat mewakili target penilaian butir yang tidak layak, maka akan menyebabkan kurang optimalnya penilaian. Atau, apabila dari analisis ternyata ada butir yang harus direvisi terlebih dahulu tidak bisa dilakukan karena tes sudah dilaksanakan. Namun begitu, walaupun memuat beberapa kelemahan, ujicoba terpakai tetap dapat menjadi alternatif tentu dengan kehati-hatian guru. Dalam hal ujicoba memang tidak bisa dilakukan, untuk meminimalkan kesalahan soal, penyusun soal sebaiknya memanfaatkan dengan sebaik-baiknya tahap telaah soal secara kualitatif. Apabila dalam telaah soal memungkinkan dapat melibatkan para ahli tentu sangat baik, akan tetapi apabila kesulitan menemukan ahli maka guru dapat memanfaatkan teman sejawat yang dipandang memiliki kemampuan untuk memberikan review dan masukan perbaikan terhadap soal yang telah disusun. Telaah teman sejawat ini diharapkan dapat meminimalkan error penulisan soal, sehingga soal yang disusun telah memenuhi kriteria kualitatif soal yang baik. Setelah masukan hasil telaah diperoleh, penyusun soal dapat melakukan revisi soal sesuai masukan yang diberikan. Setelahnya soal mungkin bisa langsung dirangkai menjadi set soal yang siap digunakan sebagai instrumen penilaian di kelas. Setelah soal digunakan, dan diperoleh hasil penyelesaian soal oleh peserta didik, maka selain guru menentukan skor capaian peserta didik, guru dapat memanfaatkan 101

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA perolehan jawaban peserta didik tersebut sebagai bahan telaah empirik terhadap soal. Jawaban dari peserta didik digunakan sebagai data untuk melakukan telaah soal berbasis empirik. Hasil analisis digunakan sebagai dasar penyempurnaan soal yang telah dibuat. Yang selanjutnya secara siklik soal bisa digunakan lagi tahun depan, diperbaiki lagi, digunakan lagi, dan seterusnya. Tentu tidak bisa setiap tahun guru menggunakan soal yang sama, perlu dipadu dengan soal-soal baru, sehingga pada akhirnya nanti guru dapat memiliki bank soal. i. Menganalisis butir tes Analisis butir tes ini dilakukan pascaujicoba. Data hasil ujicoba digunakan untuk menentukan tingkat kesukaran, daya beda, dan keberfungsian distraktor (pilihan ganda). Hasil analisis ini kemudian digunakan sebagai bahan memperbaiki soal yang disusun. Apabila guru tidak mengujicobakan soal yang dibuat tetapi langsung digunakan, analisis butir ini bisa dilakukan terhadap hasil penyelesaian peserta didik. Tentu jika demikian, hasil revisi berdasarkan data hasil penyelesaian peserta didik tidak bisa digunakan saat itu juga, tetapi mungkin tahun depan atau tahun setelahnya ketika guru melakukan penilaian tentang materi / kompetensi serupa. Aspek yang perlu diperhatikan dalam analisis butir soal secara klasik adalah setiap butir soal ditelaah dari segi: tingkat kesukaran butir, daya pembeda butir, dan penyebaran pilihan jawaban (untuk soal bentuk obyektif). 1) Tingkat kesukaran butir Tingkat kesukaran butir merujuk pada proporsi peserta tes menjawab benar dibanding dengan jumlah benar keseluruhan (Crocker & Aigina: 2008: 90). Dengan demikian, indeks kesukaran butir dihitung dengan membagi banyak peserta ujian yang menjawab item dengan benar dengan jumlah total peserta ujian yang menjawab. Tingkat kesukaran butir dapat dibedakan dalam kategori, yaitu: sukar, sedang dan mudah, seperti tersaji pada tabel berikut. 102

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) Tabel 16. Kategori Tingkat Kesukaran Butir Indeks tingkat kesukaran (p) Kategori p < 0,30 Sukar Sedang 0,31 ≤ p ≤ 0,70 Mudah p > 0,7 (Bichi, 2016: 29) Untuk menentukan tingkat kesukaran terdapat cukup banyak pilihan aplikasi yang dapat digunakan, misalkan dengan ITEMAN, Excel, Analtes, dan lain-lain. Jika data tidak terlalu banyak dapat pula dilakukan secara manual. Secara manual, untuk soal pilihan ganda tingkat kesukaran butir dihitung dengan formula: Tingkat Kesukaran = Jumlah siswa yang menjawab benar Jumlah siswa yang mengikuti tes Sedangkan untuk soal uraian tingkat kesukaran butir dihitung dengan formula: Tingkat Kesukaran = Mean ; Skor Maksimum dengan Mean = Jumlah skor siswa Jumlah peserta tes Hasil perhitungan dengan menggunakan rumus di atas kemudian dikonfirmasikan dengan tabel kategorisasi tingkat kesukaran. 2) Daya pembeda Daya pembeda butir merujuk pada kemampuan butir membedakan peserta tes yang memiliki kemampuan tinggi dan kemampuan rendah (Champlain, 2010: 111). Penentuan data pembeda butir salah satunya dapat dilakukan dengan membagi peserta tes dalam dua kelompok, yaitu kelompok atas dan kelompok bawah. Ada beberapa variasi pengelompokan, antara lain: 50% kelompok atas dan 50% kelompok bawah, 30% kelompok atas dan 30% k3lompok bawah, atau 27% kelompok atas dan 27% kelompok bawah (Crocker & Aigina: 2008: 314). Setelah kelompok atas dan bawah telah diidentifikasi, indeks diskriminasi (D) dihitung sebagai D = pu – pi, di mana pu adalah proporsi kelompok atas yang 103

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA menjawab benar dan pi adalah proporsi kelompok bawah yang menjawab benar (Bichi, 2016: 29). Cara lain menentukan daya pembeda butir adalah menggunakan koefisien korelasi point biserial. Hal ini dinyatakan oleh Crocker dan Aigina (2008: 317) bahwa koerelasi point biserial dapat digunakan untuk menentukan daya butir soal pada suatu proses pengembangan soal. Korelasi point biserial (������������������������������) ditentukan dengan ������������������������������ = (������+−������������) √������⁄������, dengan ������+ rata–rata skor ������������ peserta tes menjawab benar, ������������) rata–rata skor seluruh kelompok, ������������ standar deviasi mereka, p kesulitan item, dan q adalah (1 – p). Nilai ������������������������������ menunjukkan indeks daya pembeda butir. Nilai daya pembeda butir (D) berkisar antara –1 sampai 1. Nilai positif D menunjukkan bahwa item tersebut mendukung kelompok atas; nilai negatif menunjukkan bahwa item tersebut adalah diskriminator terbalik, lebih menyukai kelompok yang memiliki skor lebih rendah (Crocker & Aigina: 2008: 314). Penafsiran daya pembeda butir dapat dilakukan berdasarkan pendapat dari Bichi (2016: 29) yang tersaji pada tabel berikut. Tabel 17. Kriteria Penafsiran Daya Pembeda Butir Indeks daya beda (D) Penafsiran D ≥ 0,40 Soal berfungsi dengan memuaskan Soal baik, sedikit atau tidak perlu direvisi 0,30 ≤ D < 0,40 Soal kurang baik, perlu direvisi 0,20 ≤ D < 0,30 Soal jelek, dibuang atau sepenuhnya direvisi D < 0,20 (Bichi, 2016: 29) Untuk menentukan daya pembeda terdapat cukup banyak pilihan aplikasi yang dapat digunakan, misalkan dengan ITEMAN, Excel, Analtes, dan lain-lain. Jika data tidak terlalu banyak dapat pula dilakukan secara manual. Secara manual, untuk menentukan daya pembeda soal bentuk pilihan ganda dapat digunakan rumus berikut DB = ������������−������������ 21������ 104

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) Dengan: DB : Daya pembeda soal BA : Jumlah jawaban benar pada kelompok atas BB : Jumlah jawaban benar pada kelompok bawah N : Jumlah peserta tes Untuk mengetahui daya pembeda soal bentuk uraian adalah dengan menggunakan rumus berikut ini DB = ������������������������ ������������������������������������������������ ������������������������−������������������������ ������������������������������������������������ ������������������������ℎ ������������������������ ������������������������������������������������ Hasil perhitungan dengan menggunakan rumus di atas kemudian dikonfirmasikan dengan tabel kategorisasi daya pembeda. 3) Keberfungsian pengecoh Analisis keberfungsian pengecoh (distraktor) dimaksudkan untuk mengetahui berfungsi tidaknya jawaban yang tersedia. Suatu pilihan jawaban (pengecoh) dapat dikatakan berfungsi apabila pengecoh paling tidak dipilih oleh 5% peserta tes/peserta didik dan lebih banyak dipilih oleh kelompok peserta didik yang belum paham materi. Sebagian ahli juga berpendapat bahwa distraktor dikatakan berfungsi manakala paling tidak dipilih oleh seorang peserta tes dari kelompok rendah. Pemilih dari kelompok rendah harus lebih banyak daripada kelompok atas. Distraktor juga dapat dikatakan berfungsi manakala peserta tes (peserta didik) dari kelompok atas dapat membedakan antara distraktor dan kunci jawaban sehingga yang memilih kunci jawaban lebih banyak daripada yang memilih distraktor. Dalam menganalisis distribusi jawaban juga perlu memperhatikan kemungkinan salah kunci, yaitu manakala peserta didik dari kelompok atas yang memilih pengecoh lebih banyak daripada yang memilih kunci jawaban. Selain itu, juga perlu dideteksi ada tidaknya unsur tebakan dalam memilih alternatif jawaban. Hal ini dapat dilihat apabila jawaban peserta tes (peserta didik) merata, baik jawaban dari peserta didik kelompok atas maupun kelompok bawah. 105

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA j. Memperbaiki tes Berdasarkan hasil analisis butir soal hasil ujicoba kemudian dilakukan perbaikan. Apabila soal tidak diujicoba, hasil analisis dengan data dari hasil penyelesaian peserta didik, juga bisa sebagai dasar perbaikan soal. Berbagai bagian tes yang masih kurang memenuhi standar kualitas yang diharapkan perlu diperbaiki sehingga diperoleh perangkat tes yang lebih baik. k. Merakit tes Setelah tersusun butir soal yang bagus, kemudian butir soal tersebut disusun kembali untuk menjadi perangkat instrumen tes, sehingga instrumen tes siap digunakan. Perangkat tes yang telah digunakan dapat dimasukkan ke dalam bank soal sehingga suatu saat nanti bisa digunakan lagi. Apabila soal sebelumnya tidak diujicoba tetapi langsung digunakan, maka soal hasil perbaikan dapat dimasukkan ke dalam bank soal yang suatu saat nanti bisa digunakan. l. Melaksanakan tes Setelah perangkat tes siap, selanjutnya perangkat tes tersebut siap digunakan untuk penilaian di kelas. Tentu ini bukan akhir dari perjalanan butir soal tersebut. Apabila dalam pelaksanaan ditemukan data-data yang memerlukan perbaikan dari soal tersebut tentu perbaikan tetap dapat dilakukan. Bahkan data hasil penggunaan perangkat soal tersebut di kelas dapat digunakan sebagai bahan masukan untuk perbaikan butir soal tersebut selanjutnya. m. Menafsirkan hasil tes Setelah tes dilakukan, pada akhirnya tugas guru adalah menafsirkan hasil tes tersebut. Dalam konteks penilaian keterampilan berpikir tingkat tinggi, berdasarkan hasil penyelesaian peserta didik, guru perlu mencermati seberapa tingkat ketercapaian pengembangan keterampilan berpikir tingkat tinggi peserta didik. Hasil penafsiran selanjutnya digunakan guru sebagai bahan laporan tentang ketercapaian hasil belajar peserta didik. Hasil penilaian juga dapat digunakan sebagai bahan refleksi keberhasilannya dalam mengajar, termasuk keberhasilan guru dalam mengembangan keterampilan berpikir tingkat tinggi. 106

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) 2. Contoh Pengembangan Instrumen Penilaian Matematika Berorientasi keterampilan Berpikir Tingkat Tinggi a. Tes pilihan ganda Andaikan akan dibuat suatu butir soal pilihan ganda untuk tes formatif peserta didik kelas XI SMA pada KD 4.8. “Menyelesaikan masalah yang berkaitan dengan turunan fungsi aljabar”. 1) Penentuan KD Kompetensi yang akan diukur melalui butir soal yang akan dibuat adalah KD pada kelas VII semester genap, yaitu KD 4.8. “Menyelesaikan masalah yang berkaitan dengan turunan fungsi aljabar”. 2) Kisi-kisi Nama sekolah : SMA N Matika Mata pelajaran : Matematika Kelas : XI (delapan) Kompetensi Materi Indikator soal Bentuk No. Dasar Soal Soal Turunan Disajikan suatu langkah 4.8. Fungsi penentuan ukuran silinder tanpa Pilihan 3 “Menyelesaik tutup dengan volume tertentu ganda an masalah agar bahan yang diperlukan yang untuk membuatnya minimal, berkaitan siswa dapat menentukan dengan perbandingan panjang diameter turunan dan tinggi silinder yang fungsi meminimalkan bahan aljabar” 3) Menulis tes Sesuai kisi-kisi di atas, dibuat butir soal sebagai berikut: Anton akan membuat silinder tanpa tutup dengan volume 8.000π cm3 dari selembar aluminimun yang dibelinya dari toko aluminium dekat rumahnya. Anton kebingungan menentukan ukuran silinder agar meminimalkan biaya membeli aluminium. Untuk meminimalkan biaya bahan, Anton bermaksud meminimalkan aluminium yang digunakan denan cara menentukan ukuran terbaik silinder yang dapat meminimalkan penggunaan bahan. Perbandingan panjang diameter alas dan tinggi silinder yang meminimalkan banyaknya aluminium yang digunakan adalah …. 107

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA A. panjang diameter alas = tinggi silinder B. panjang diameter alas = 1 1 kali tinggi silinder 2 C. panjang diameter alas = 2 kali tinggi silinder D. panjang diameter alas = 21 tinggi silinder 4 E. panjang diameter alas = 21 kali tinggi silinder 2 Kunci jawaban soal di atas adalah C, yaitu bahwa bahan aluminium yang digunakan untuk pembuatan silinder akan minimal jika panjang diameter 2 kali panjang tinggi silinder. Hal tersebut dapat dilihat dari perhitungan berikut. Jawaban: Misalkan volume silinder = V(r), tinggi silinder = t, jari-jari alas silinder = r, dan luas permukaan silinder = L(r). V(r) = luas alas × tinggi = ������������2 × ������ = 8.000������ Sehingga ������ = 8.000������ = 8.000 (1) ������������2 ������2 (2) ������(������) = ������������������������ ������������������������ + ������������������������ ������������������������������������������������ = ������������2 + 2������������ Substitusikan (1) ke (2) sehingga diperoleh ������(������) = ������������2 + 2������������ 8.000 = ������������2 + 16.000������ ( ������2 ) ������ Nilai stasioner L(r) diperoleh jika nilai L’(r) = 0, sehingga ������’(������) = 0 16.000������ (a) Selembar 2πr − ������2 = 0 aluminium 16.000������ (b) Silinder yang 2πr = ������2 akan dibuat ������3 = 8.000 ������ = 20 (3) Substitusikan (3) ke (1), diperoleh: 8.000 8.000 ������ = ������2 = 400 = 20 Jadi, tinggi silinder t = 20 cm dan jari-jari alas r = 20 cm Dari perhitungan di atas ditemukan bahwa bahan aluminium untuk membuat silinder akan minimal jika tinggi 20 cm dan jari-jari 20 cm. Dengan demikian 108

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) dapat disimpulkan bahwa perbandingan panjang diameter dan tinggi silinder yang meminimalkan bahan adalah panjang diameter 2 kali tinggi silinder. 4) Menelaah soal Setelah soal dibuat, langkah selanjutnya telaah soal. Seperti telah dijelaskan sebelumnya, telaah soal dilakukan untuk memperoleh analisis kualitatif, baik tentang materi, konstruksi, maupun bahasa, berdasarkan kaidah-kaidah penulisan soal yang baik. Telaah ini sekaligus untuk mendapatkan penilaian validitas soal tersebut. Berikut contoh hasil telaah butir soal. No Kriteria Nomor butir* 12345 A. Materi 1. Soal sesuai dengan indikator √ 2. Hanya ada satu kunci jawaban yang tepat √ 3. Isi materi sesuai dengan tujuan pengukuran √ 4. Isi materi sesuai dengan jenjang, jenis sekolah √ dan tingkat sekolah 5. Soal keterampilan berpikir tingkat tinggi, √ memenuhi satu atau lebih kriteria berikut. - Tidak rutin, non algoritmatik - Transfer satu konsep ke konsep lainnya - Mencari kaitan dari berbagai informasi atau konsep yang berbeda- beda - Menggunakan beragam informasi atau konsep untuk menyelesaikan masalah - Menelaah ide dan informasi secara kritis B. Konstruksi 1. Pilihan jawaban harus homogen dan logis √ 2. Pokok soal dirumuskan dengan singkat, jelas, X dan tegas 3. Rumusan pokok soal dan pilihan jawaban √ harus merupakan pernyataan-pernyataan yang diperlukan 4. Pokok soal tidak memberi petunjuk ke kunci √ jawaban 5. Pokok soal tidak merupakan pernyataan √ negatif ganda 6. Bila menggunakan kata negatif, kata “negatif” √ harus diberi garis bawah atau dicetak miring √ 7. Alternatif jawaban tidak memuat “semua jawaban di atas salah” atau “semua jawaban di atas benar” 8. Gambar, grafik, tabel, diagram harus benar- √ benar berfungsi 9. Butir soal tidak bergantung butir soal √ sebelumnya 10. Panjang rumusan relatif sama √ 11. √ 109

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA Alternatif jawaban berbentuk angka diurutkan besar ke kecil atau kecil ke besar C Bahasa/Budaya 1. Menggunakan bahasa yang sesuai dengan X kaidah bahasa Indonesia 2. Menggunakan bahasa yang komunikatif √ 3. Pilihan jawaban tidak mengulang √ 4. Rumusan kalimat tidak menimbulkan √ penafsiran ganda Dari telaah tersebut diketahui bahwa pokok soal belum dirumuskan dengan singkat, jelas, dan tegas; serta belum menggunakan bahasa yang sesuai dengan kaidah bahasa Indonesia. Berdasarkan hasil telaah tersebut soal perlu direvisi. Mencermati rumusan soal, terlihat bahwa kalimat yang disusun belum efisien dan masih bisa disederhanakan lagi. Kata “yang dibelinya dari toko aluminium dekat rumahnya” tidak perlu karena informasi tersebut tidak bermakna dalam soal. Selain itu, ada kesalahan tulis, yaitu kata “denan” seharusnya “dengan”. Dari kartu telaah dapat diketahui juga bahwa aspek-aspek yang lain telah cukup baik. Oleh karena itu, soal perlu direvisi dengan menghilangkan kata “yang dibelinya dari toko aluminium dekat rumahnya” dan mengganti kata “denan” dengan kata “dengan”. Soal hasil revisi: 3. Anton akan membuat silinder tanpa tutup dengan volume 8.000π cm3 dari selembar aluminimun. Anton kebingungan menentukan ukuran silinder agar meminimalkan biaya membeli aluminium. Untuk meminimalkan biaya bahan, Antor bermaksud meminimalkan aluminium yang digunakan dengan cara menentukan ukuran terbaik silinder yang dapat meminimalkan penggunaan bahan. Perbandingan panjang diameter alas dan tinggi silinder yang meminimalkan banyaknya aluminium yang digunakan adalah …. A. panjang diameter alas = tinggi silinder B. panjang diameter alas =1 1 kali tinggi silinder 2 C. panjang diameter alas = 2 kali tinggi silinder D. panjang diameter alas = 21 tinggi silinder 4 E. panjang diameter alas =21 kali tinggi silinder 2 5) Mengujicoba soal Setelah soal tersusun, langkah selanjutnya adalah melakukan ujicoba. Misalkan dari ujicoba diperoleh data sebagai berikut. 110

Peserta B didik 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 V 110101111000111 O 101110011111111 Z 110111111001101 I 010111100111110 AA 1 0 1 1 0 0 0 1 1 1 0 0 1 1 0 L 011111010111001 K 001111011100110 E 011111011111100 H 011000111101110 II 0 1 0 1 1 0 0 0 0 1 1 1 0 1 1 HH 1 0 1 1 0 0 0 1 1 0 1 1 1 0 1 W 011111010000101 B 011101001101111 Y 111000101111101 P 011101111100100 FF 0 0 0 1 0 0 1 0 0 0 1 1 0 1 1 U 110000101110010 M 011100110110101 N 001001010100101 EE 1 1 0 0 0 1 1 0 1 1 0 0 0 1 0 C 000011101111010 111 BB 0 1 1 1 1 0 0 0 1 0 0 1 1 0 1 T 111011101101000

Butir Jum- 5 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 lah 1 0 1 1 1 0 0 1 1 1 1 1 0 1 1 21 0 1 0 0 0 0 1 1 0 1 0 1 1 1 1 20 1 1 0 1 1 0 1 0 1 0 1 1 0 0 1 20 1 0 0 0 1 1 0 1 1 0 1 1 1 0 1 19 0 0 1 1 1 1 1 0 0 1 1 1 1 1 1 19 1 0 0 0 1 0 1 0 1 1 0 1 1 1 0 18 1 1 0 1 1 1 0 1 0 1 0 0 0 1 1 18 1 1 1 1 0 0 0 0 0 0 0 0 1 0 1 17 0 1 1 0 1 1 1 0 1 0 1 0 0 0 1 17 0 0 1 0 1 0 1 1 0 0 1 1 1 1 1 17 0 0 0 0 1 1 0 1 1 1 0 1 1 0 1 17 0 1 1 1 1 0 1 1 0 0 0 1 0 1 1 17 0 0 1 0 0 0 1 1 0 0 1 0 1 1 0 16 1 1 0 0 1 0 0 0 0 1 1 0 1 0 0 16 Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) 1 0 0 0 0 1 1 1 1 0 0 1 1 0 0 16 1 1 0 1 1 0 1 0 1 0 1 1 1 1 0 16 1 1 0 1 1 0 0 0 0 1 0 1 1 1 1 16 1 0 1 0 0 0 0 0 1 0 0 0 1 1 1 15 1 1 1 1 0 0 0 0 1 0 0 0 1 1 1 15 1 0 1 0 0 0 1 1 1 1 0 1 0 0 1 15 1 0 0 1 1 0 0 0 1 1 1 1 0 0 0 15 0 0 0 1 1 1 1 0 0 0 1 0 1 0 1 15 1 0 0 0 1 1 0 0 1 0 0 0 1 0 1 15

112 G 101001110000001 GG 1 0 1 1 1 0 1 0 0 1 0 0 0 0 0 X 000111100000101 Q 010100001101000 JJ 1 1 0 0 1 1 0 0 1 0 1 0 0 0 1 A 100110010111101 CC 0 0 1 0 0 1 0 1 1 1 1 0 0 1 0 D 110101011001110 R 000011001010001 F 001101100101111 DD 1 1 0 1 0 0 0 0 0 1 1 0 0 1 1 S 010100110100000 J 001001011010000 Jumlah Benar 15 21 20 24 16 21 18 19 22 24 17 18 20 16 20 Nilai Maks 36 36 36 36 36 36 36 36 36 36 36 36 36 36 36 Pada butir no 3, distribusi jawaban adalah sebagai berikut: Jawaban Banyak peserta didik yang memiliih A4 B5 C 20 D4 E3

101111000111001 15 Training of Trainer (TOT) 100000101111110 14 Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) 001110001101101 14 dalam Pembelajaran Matematika Berorientasi PISA 111000101111010 14 000110111001100 14 001100000110000 13 100001010100101 13 011000001010000 13 100010101001110 12 001000010001000 12 100100000010010 11 000101001010110 11 000111000010001 10 0 21 12 16 18 21 12 16 13 20 16 19 21 22 17 21 6 36 36 36 36 36 36 36 36 36 36 36 36 36 36 36

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) 6) Analisis butir soal a. Tingkat kesukaran Berdasarkan data hasil ujicoba di atas, butir soal nomor 3 dikerjakan benar oleh 20 peserta didik dari 36 peserta didik. Hal ini berarti bahwa tingkat kesukaran butir no 3 adalah 0.56, termasuk kategori sedang. b. Daya pembeda Pada butir no 3, kelompok atas benar 12 butir, dan kelompok bahwa benar 8 butir. Dengan demikian daya pembeda butir no 3 adalah: 0,22. Berdasarkan kriteria dapat disimpulkan bahwa daya pembeda butir soal no 3 termasuk kategori “soal perlu diperbaiki”. Untuk perbaikan, penyusun soal harus kembali mencermati kembali butir soal tersebut dan mengidentifikasi apa yang masih perlu diperbaiki. Data hasil ujicoba menunjukkan bahwa daya pembeda soal tersebut masih kurang baik, di mana selisih penjawab benar kelompok atas dan kelompok bawah relatif masih kecil. Bahkan dari data diketahui bahwa peserta didik dengan skor tertinggi secara keseluruhan menjawab butir no 3 salah, sedangkan peserta didik dengan jawaban benar total terendah justru menjawab benar. c. Keberfungsian pengecoh Dari data ujicoba diketahui bahwa pada butir no 3, jawaban benar, yaitu memilih sesuai kunci (C) sebanyak 20 orang, jawaban A dipilih 4 orang, jawaban B dipilih 5 orang, jawaban D dipilih 4 orang, dan jawaban E dipilih 3 orang. Hal ini menunjukkan bahwa seluruh pengecoh berfungsi dengan baik. 7) Memperbaiki tes Berdasarkan data hasil ujicoba di atas ditemukan bahwa: Butir soal no 3 dilihat dari daya pembeda perlu diperbaiki. Belum optimalnya daya pembeda salah satunya dapat dipengaruhi oleh kejelasan rumusan soal, di mana soal bisa menimbulkan kesulitan untuk dipahami, atau menimbulkan kesalahan pemahaman. 113

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA Apabila dicermati kembali rumusan soal, terlihat bahwa rumusan soalnya agak berputar-putar tidak fokus pada informasi pokok soal. Hal ini terlihat dari adanya kalimat “Anton kebingungan menentukan ukuran silinder agar meminimalkan biaya membeli aluminium. Akhirnya untuk meminimalkan aluminium yang digunakan Anton memutuskan diameter alas dibuat sama dengan tinggi silinder”. Kalimat tersebut terlalu berbelit-belit dan cukup diinformasikan bahwa Anton menginginkan bahan aluminium yang digunakan minimal. Tidak perlu dituliskan tentang kebingungan Anton, karena informasi tersebut tidak bermakna dalam soal. Justru kalimat tersebut berpotensi membingungkan peserta tes dalam memahami soal. Oleh karena itu, perlu dirumuskan kembali agar potensi salah tafsir tersebut dapat dihindarkan. Salah satu revisi yang mungkin dapat menghindarkan salah tafsir adalah dengan merubah redaksi soal menjadi seperti di bawah ini. Soal hasil revisi menjadi: 3. Anton akan membuat silinder tanpa tutup dengan volume 8.000π cm3 dari selembar aluminimun. Untuk meminimalkan biaya bahan, Anton bermaksud meminimalkan aluminium yang digunakan dengan cara menentukan ukuran terbaik silinder yang dapat meminimalkan penggunaan bahan. Perbandingan panjang diameter alas dan tinggi silinder yang meminimalkan banyaknya aluminium yang digunakan adalah …. A. panjang diameter alas = tinggi silinder B. panjang diameter alas =1 1 kali tinggi silinder 2 C. panjang daimeter alas = 2 kali tinggi silinder D. panjang diameter alas = 21 tinggi silinder 4 E. panjang diameter alas =21 kali tinggi silinder 2 Rumusan soal seperti di atas lebih jelas dipahami karena tidak terjadi konflik antarkalimat penyusun soal dengan alternatif-alternatif jawaban yang tersedia. Setelah seluruh butir soal direvisi berdasarkan hasil ujicoba, langkah berikutnya adalah merakit butir-butir soal menjadi satu set soal jadi. Soal inilah yang kemudian siap digunakan dalam penilaian di kelas. Setelah penilaian, tentu langkah berikutnya adalah menafsirkan hasil tes untuk memperoleh data tentang hasil pengukuran yang dilakukan. 114

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) b. Tes uraian Andaikan akan dibuat suatu item tes uraian yang akan digunakan untuk tes formatif peserta didik kelas VIII pada KD 4.5 “Menyelesaikan masalah yang berkaitan dengan sistem persamaan linear dua variabel”. 1) KD yang akan diukur Kompetensi yang akan diukur melalui butir soal yang akan diukur adalah KD kelas VIII semester genap pada KD 4.5 “Menyelesaikan masalah yang berkaitan dengan sistem persamaan linear dua variabel”. 2) Kisi-kisi Nama sekolah : SMP N 1 Nagara Mata pelajaran : Matematika Kelas : VIII (delapan) Alokasi waktu : 80 menit Kompetensi Dasar Materi Indikator soal Bentuk No. Soal Soal KD 4.5 Persamaan Diberikan 5 linear dua Uraian 5 variabel “Menyelesaikan bilangan masalah yang berurutan dengan berkaitan dengan bilangan pertama, sistem persamaan kedua, dan kelima linear dua variabel telah diketahui dan kelima bilangan tersebut memiliki rata-rata bilangan bulat, peserta didik diminta menentukan bilangan ketiga dan keempatnya 3) Menulis tes Sesuai kisi-kisi di atas, dibuat butir soal sebagai berikut: Diketahui bahwa 5, 5, a, b, 11 adlah 5 bilangan berurutan dari kecil ke besar dan memiliki rata-rata bilangan bulat. Tentukan pasangan nilai (a,b) yang mungkin! KUNCI: ada 11 kemungkinan pasangan, yaitu: (4,5), (4,10), (5,9), (6,8), (7, 13), (7, 7), (7,12), (8,11), (9,10), (11,13), dan (12,12) 115

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA Alternatif cara penyelesaian: Rata-rata= 5+5+������+������+11 dengan 5≤ ������, ������ ≤ 11 5 Agar rata-rata merupakan bilangan bulat, maka 5 + 5 + ������ + ������ + 11 = 21 + ������ + ������ harus bilangan kelipatan 5 Dengan demikian 21 + ������ + ������ = 25 → ������ + ������ = 4 → ������������������������������ ������������������ ������������������������������������������������������������������ ������������������������ ������������������������������������ℎ������ 21 + ������ + ������ = 30 → ������ + ������ = 9 21 + ������ + ������ = 35 → ������ + ������ = 14 21 + ������ + ������ = 40 → ������ + ������ = 19 21 + ������ + ������ = 45 → ������ + ������ = 24 21 + ������ + ������ = 50 → ������ + ������ = 29 → ������������������������������ ������������������ ������������������������������������������������������������������ ������������������������ ������������������������������������ℎ������ Karena 4 ≤ a ≤ b ≤ 13 diperoleh kemungkinan pasangan nilai a dan b yang memenuhi: No a + b a b 1. 9 4 5 2. 14 4 10 3. 14 5 9 4. 14 6 8 5. 14 7 7 6. 19 6 13 7. 19 7 12 8. 19 8 11 9. 19 9 10 10. 24 11 13 11. 24 12 12 Jadi pasangan (a,b) yang mungkin adalah: (4,5), (4,10), (5,9), (6,8), (7, 13), (7, 7), (7,12), (8,11), (9,10), (11,13), dan (12,12) Pedoman Penskoran Kriteria Skor 0.5 Menemukan suatu cara untuk menentukan kemungkinan pasangan nilai a dan b tetapi cara tersebut tidak benar 1 Menemukan suatu cara untuk menentukan kemungkinan pasangan nilai a dan b dan cara tersebut benar tapi kurang jelas, namun dari 11 kemungkinan hanya berhasil menemukan 1 hingga 4 kemungkinan 116

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) Menemukan suatu cara untuk menentukan kemungkinan 1.5 pasangan nilai a dan b dan cara tersebut benar dan jelas, namun 2 dari 11 kemungkinan hanya berhasil menemukan 1 hingga 4 2.5 kemungkinan 3.5 4 Menemukan suatu cara untuk menentukan kemungkinan pasangan nilai a dan b dan cara tersebut benar tapi kurang jelas, namun dari 11 kemungkinan hanya berhasil menemukan 5 hingga 8 kemungkinan Menemukan suatu cara untuk menentukan kemungkinan pasangan nilai a dan b dan cara tersebut benar dan jelas, namun dari 11 kemungkinan hanya berhasil menemukan 5 hingga 8 kemungkinan Menemukan suatu cara untuk menentukan kemungkinan pasangan nilai a dan b dan cara tersebut benar tetapi kurang jelas, dari 11 kemungkinan berhasil menemukan 9 hingga 11 kemungkinan, atau justru menuliskan lebih dari 11 kemungkinan Menemukan suatu cara untuk menentukan kemungkinan pasangan nilai a dan b dan cara tersebut benar dan jelas, dari 11 kemungkinan berhasil menemukan 9 hingga 11 kemungkinan, atau justru menuliskan lebih dari 11 kemungkinan Altenatif jawaban dan pedoman penskoran diperlukan keduanya sebagai pegangan guru dalam menentukan skor atas jawaban siswa. Tentu guru harus berpikir terbuka dengan kemungkinan jawaban berbeda dari peserta didik mengingat soal keterampilan berpikir tingkat tinggi yang bersifat terbuka memungkinkan peserta didik menyelesaikan soal tersebut dengan cara berbeda dengan altenatif jawaban yang disediakan guru. Di sinilah guru perlu memiliki keterbukaan pikiran dan pemahaman terhadap beragam kemungkinan jawaban peserta didik sehingga ketika tidak terjebak hanya pada altenatif jawaban yang telah disiapkan. Guru dapat menggunakan pedoman penskoran secara terbuka dan objektif sehingga tidak merugikan peserta didik. 4) Menelaah tes No Kriteria Nomor butir* 123456 A. Materi 1. Soal harus sesuai dengan indikator. √ 2. Batasan pertanyaan dan jawaban yang diharapkan √ (ruang lingkup) harus jelas. 3. Isi materi sesuai dengan tujuan pengukuran. √ 4. Isi materi yang ditanyakan sudah sesuai dengan √ jenjang, jenis sekolah, atau tingkat kelas 5. Soal keterampilan berpikir tingkat tinggi, √ memenuhi salah satu atau lebih kriteria berikut. - Tidak rutin, non algoritmatik 117

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA - Transfer satu konsep ke konsep lainnya √ - Mencari kaitan dari berbagai informasi atau √ konsep yang berbeda- beda X - Menggunakan beragam informasi atau konsep √ X untuk menyelesaikan masalah - Menelaah ide dan informasi secara kritis √ √ B. Konstruksi X 1. Rumusan kalimat soal atau pertanyaan √ √ menggunakan kata-kata tanya atau perintah yang menuntut jawaban terurai, seperti: mengapa, uraikan, jelaskan, bandingkan, hubungkan, tafsirkan, buktikan, hitunglah 2. Petunjuk yang jelas tentang cara mengerjakan soal. 3. Pedoman penskoran tersedia, jelas, sesuai untuk soal yang disusun 4. Gambar, grafik, peta, atau sejenisnya disajikan jelas, berfungsi, terbaca dan bermakna. C. Bahasa/Budaya 1. Rumusan butir soal menggunakan bahasa (kalimat dan kata-kata) yang sederhana dan komunikatif sehingga mudah dipahami oleh peserta didik. 2. Rumusan soal tidak mengandung kata-kata yang dapat menyinggung perasaan peserta didik atau kelompok tertentu. 3. Rumusan soal tidak menggunakan kata- kata/kalimat yang menimbulkan penafsiran ganda atau salah pengertian. 4. Butir soal menggunakan Bahasa Indonesia yang baik dan benar. 5. Rumusan soal sudah mempertimbangkan segi bahasa dan budaya. 6. Tidak menggunakan bahasa yang berlaku setempat Dari hasil telaah di atas teridentifikasi bahwa pedoman penskoran kurang jelas sehingga perlu revisi redaksi kalimat. Selain itu juga teridentifikasi bahwa rumusan butir soal menggunakan bahasa (kalimat dan kata-kata) yang sederhana dan komunikatif sehingga mudah dipahami oleh peserta didik; serta butir soal menggunakan Bahasa Indonesia yang baik dan benar. Setelah dicermati kembali soal, ada salah tulis “adlah” harusnya “adalah”, kemudian soal tidak jelas berapa banyak pasangan (a,b) yang diminta untuk ditemukan peserta didik. 118

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) Revisi soal: Diketahui bahwa 5,5, a, b, 11 adalah 5 bilangan berurutan dari kecil ke besar dan memiliki rata-rata bilangan bulat. Tentukan semua pasangan nilai (a,b) yang mungkin! Revisi pedoman penskoran Kriteria Skor Tidak berhasil menemukan pasangan (a,b) 0 Menemukan 1 – 4 pasangan (a,b) tetapi cara penyelesaiannya 1 tidak diuraikan dengan jelas Menemukan 1 – 4 pasangan (a,b) dan cara penyelesaiannya 1.5 diuraikan dengan jelas Menemukan 5 – 8 pasangan (a,b) tetapi cara penyelesaiannya 2 tidak diuraikan dengan jelas Menemukan 5 – 8 pasangan (a,b) dan cara penyelesaiannya 2.5 diuraikan dengan jelas Menemukan 9 – 11 pasangan (a,b) tetapi cara penyelesaiannya 3.5 tidak diuraikan dengan jelas Menemukan 9 – 11 pasangan (a,b) dan cara penyelesaiannya 4.0 diuraikan dengan jelas 5) Melakukan ujicoba tes Misalkan dari ujicoba soal diperoleh data sebagai berikut. Peserta Butir 1 Butir 2 Butir 3 Butir 4 Butir 5 Butir 6 Jumlah Nilai didik Skor 3.5 4.0 4.0 4.0 3.5 3.5 22.5 9.4 S 3.5 4.0 4.0 4.0 3.5 3.5 22.5 9.4 X 3.5 4.0 4.0 4.0 3.5 3.5 22.5 9.4 FF 4.0 4.0 3.5 3.5 3.5 3.5 22.0 9.2 J 4.0 3.5 3.5 4.0 3.5 3.5 22.0 9.2 M 4.0 4.0 3.5 3.5 3.5 3.5 22.0 9.2 U 4.0 2.5 4.0 4.0 3.5 3.5 21.5 9.0 CC 3.5 3.5 4.0 4.0 2.5 3.5 21.0 8.8 HH 3.5 3.5 4.0 4.0 3.5 2.5 21.0 8.8 KK 4.0 3.5 4.0 4.0 2.5 2.5 20.5 8.5 G 3.5 3.5 3.5 4.0 3.5 2.5 20.5 8.5 Z 3.5 4.0 4.0 3.5 2.5 2.5 20.0 8.3 Q 3.5 4.0 3.5 2.5 3.5 2.5 19.5 8.1 B 3.5 3.5 4.0 3.5 2.5 2.5 19.5 8.1 D 3.5 4.0 3.5 2.5 3.5 2.0 19.0 7.9 N 3.5 3.5 2.5 3.5 2.5 3.5 19.0 7.9 K 2.5 3.5 3.5 2.5 3.5 3.5 19.0 7.9 W 119

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA Peserta Butir 1 Butir 2 Butir 3 Butir 4 Butir 5 Butir 6 Jumlah Nilai didik Skor 3.5 4.0 4.0 2.5 2.5 2.0 18.5 7.7 JJ 3.5 3.5 2.5 3.5 3.5 2.0 18.5 7.7 O 2.5 2.5 3.5 3.5 2.5 3.5 18.0 7.5 R 3.5 2.5 3.5 3.5 1.0 2.5 16.5 6.9 F 3.5 2.5 2.5 3.5 1.5 2.5 16.0 6.7 AA 2.5 2.5 3.5 3.5 1.5 2.5 16.0 6.7 BB 2.5 2.5 3.5 3.5 2.0 2.0 16.0 6.7 EE 2.5 2.5 3.5 3.5 1.5 2.0 15.5 6.5 L 3.5 3.5 4.0 2.5 1.0 0.2 14.7 6.1 I 2.5 3.5 3.5 4.0 1.0 2.5 17.0 7.1 P 3.5 2.5 2.5 3.5 1.0 1.5 14.5 6.0 DD 2.5 3.5 2.5 2.5 1.5 1.5 14.0 5.8 T 1.5 2.0 2.5 3.5 2.0 2.5 14.0 5.8 E 2.5 2.0 2.0 2.0 1.5 1.5 11.5 4.8 GG 2.0 2.5 2.5 2.0 1.5 1.0 11.5 4.8 C 2.5 1.5 1.5 2.0 1.0 1.0 9.5 4.0 V 2.5 1.5 2.0 2.0 1.0 1.0 10.0 4.2 II 1.5 2.5 2.0 1.5 1.0 1.5 10.0 4.2 H 1.0 1.5 1.0 2.0 1.0 1.5 8.0 3.3 A Jumlah 110.5 111.5 115.5 115.5 84.0 86.7 Skor Skor 144 144 144 144 144 144 Maks 3.1 3.1 3.2 3.2 2.3 2.4 Mean 6) Menganalisis butir tes a. Tingkat kesukaran Tingkat kesukaran butir soal no 5 = ������������������������ = 2.7 = 0.67. ������������������������ ������������������������������������������������ 4 Berdasarkan kriteria, taraf kesukaran 0.67 termasuk kategori sedang b. Daya pembeda Daya pembeda butir soal no 5 = ������������������������ ������������������������������������������������ ������������������������ − ������������������������ ������������������������������������������������ ������������������������ℎ ������������������������ ������������������������������������������������ = 3.2−1.5 4 = 1.75 4 = 0.44 120

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) Berdasarkan kriteria, daya pembeda = 0.44 menunjukkan bahwa butir soal no 5 memiliki daya pembeda yang baik. 7) Memperbaiki tes Berdasarkan hasil ujicoba dapat diketahui bahwa butir soal yang disusun memiliki kualitas yang baik, sehingga butir soal tersebut siap dirakit dengan soal yang lain. Setelah seluruh butir soal direvisi berdasarkan hasil ujicoba, langkah berikutnya adalah merakit butir-butir soal menjadi satu set soal jadi. Soal inilah yang kemudian siap digunakan dalam penilaian di kelas. Setelah penilaian, tentu langkah berikutnya adalah menafsirkan hasil tes untuk memperoleh data tentang hasil pengukuran yang dilakukan. b. Tugas Proyek Andaikan akan dibuat tugas proyek yang akan digunakan untuk menilai penguasaan KD 4.10 “Menyajikan dan menyelesaikan masalah yang berkaitan dengan distribusi data, nilai rata-rata, median, modus, dan sebaran data untuk mengambil kesimpulan, membuat keputusan, dan membuat prediksi”. 1) KD yang akan diukur Kompetensi yang akan diukur melalui tugas proyek yang akan disusun adalah KD 4.10 kelas VIII, yaitu “KD 4.10 “Menyajikan dan menyelesaikan masalah yang berkaitan dengan distribusi data, nilai rata-rata, median, modus, dan sebaran data untuk mengambil kesimpulan, membuat keputusan, dan membuat prediksi”. 2) Kisi-kisi KD Materi Indikator Teknik Penilaian Statistika Proyek KD 4.10 Diberikan suatu tugas “Menyajikan proyek identifikasi penju- dan menye- alan menu kantin, peserta lesaikan masa- didik dapat mengumpulkan lah yang berkai- data jenis-jenis menu yang tan dengan dijual di kantin, menyajikan distribusi data, dalam bentuk tabel dan nilai rata-rata, grafik, menentukan menu median, modus, terbanyak yang paling dan sebaran disukai peserta didik, rata- data untuk rata jumlah peserta didik mengambil yang beli di kantin tiap hari, 121

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA kesimpulan, rata-rata omset penjualan membuat harian, hari paling banyak keputusan, dan dan paling sepi pembeli membuat serta penjelasannya menga- prediksi”. pa hari tersebut paling banyak atau paling sedikit pembeli di kantin 3) Penyusunan tugas proyek Berdasarkan kisi-kisi di atas dibuat tugas proyek sebagai berikut. TUGAS PROYEK Lakukan survei penjualan di kantin sekolah. Ikutilah langkah kegiatan di bawah ini. 1. Coba kamu buat survei jenis-jenis menu apa saja yang dijual di kantin 2. Tentukan apa menu terbanyak yang paling diskai peserta didik, rata-rata jumlah peserta didik yang beli di kantin tiap hari, rata-rata omset penjualan harian, dan keuntungan tiap minggu! 3. Sajikan masing-masing temuan data pada no 2. dalam bentuk tabel dan grafik. 4. Tentukan hari paling banyak dan paling sepi pembeli di kantin, serta jelaskan apa yang menjadi penyebabnya 5. Tentukan berapa rata-rata keuntngan tiap minggu dari kantin tersebut. Waktu penyelesaian 3 minggu terhitung saat tugas diberikan. Tuliskan hasil temuan kamu secara lengkap dan rapi dan ceritakan kepada teman-temanmu di kelas Setelah tugas proyek dibuat, guru merumuskan pedoman penskoran yang nantinya digunakan sebagai pedoman menentukan skor hasil penyelesaian proyek siswa. Misalkan, berikut adalah pedoman penskoran yang dibuat guru. Pedoman penskoran Skor 0.5 Kriteria Kelengkapan data 1.0 Dapat mengumpulkan data satu atau dua dari 4 tugas yang diberikan (menu terbanyak yang paling disukai peserta didik, rata-rata jumlah peserta didik yang beli di kantin tiap hari, rata- rata omset penjualan harian, dan keuntungan tiap minggu) Dapat mengumpulkan data tiga dari 4 tugas yang diberikan (menu terbanyak yang paling disukai peserta didik, rata-rata 122

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) jumlah peserta didik yang beli di kantin tiap hari, rata-rata omset 1.5 penjualan harian, dan keuntungan tiap minggu) Dapat mengumpulkan semua data tugas yang diberikan (menu 0.5 terbanyak yang paling disukai peserta didik, rata-rata jumlah 1.0 peserta didik yang beli di kantin tiap hari, rata-rata omset 1.5 penjualan harian, dan keuntungan tiap minggu) Penyajian data dalam tabel 0.5 1.0 Dibuat 1 atau 2 penyajian data dalam bentuk tabel dari 4 data 1.5 yang ditugaskan Dibuat 3 penyajian data dalam bentuk tabel dari 4 data yang 0.5 ditugaskan 1.0 Dibuat4 data penyajian data dalam bentuk tabel dari 4 data yang 1.5 ditugaskan 2.0 Penyajian data dalam grafik 0.5 Dibuat 1 atau 2 penyajian data dalam bentuk grafik dari 4 data 1.0 yang ditugaskan Dibuat 3 penyajian data dalam bentuk grafik dari 4 data yang 0.5 ditugaskan 1.0 Dibuat4 data penyajian data dalam bentuk grafik dari 4 data yang 1.5 ditugaskan 0.5 Paling banyak/sedikit pembelian 1.0 Dapat menentukan salah satu dari hari penjulan paling banyak atau paling sedikit, tetapi tidak disertai penjelasan Dapat menentukan salah satu dari hari penjulan paling banyak atau paling sedikit, disertai penjelasan Dapat menentukan hari penjulan paling banyak dan paling sedikit, tetapi tidak disertai penjelasan Dapat menentukan hari penjulan paling banyak dan paling sedikit, disertai penjelasan Penentuan keuntungan Dapat menentukan keuntungan mingguan dari kantin, tanpa disertai dukungan data Dapat menentukan keuntungan mingguan dari kantin, tanpa disertai dukungan data Penulisan laporan Laporan ditulis kurang lengkap dan kurang rapi Laporan ditulis lengkap tapi kurang rapi, atau ditulis rapi tetapi kurang lengkap Laporan ditulis lengkap dan rapi Penyajian di kelas Penyajian dikelas kurang jelas Penyajian di kelas dilakukan dengan jelas 123

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA 4) Telaah dan revisi tugas proyek Sebelum proyek tersebut digunakan dalam pembelajaran di kelas, perlu dilakukan terlebih dahulu tugas proyek tersebut. Telaah dapat melibatkan teman sejawat atau pakar pendidikan yang relevan sehingga diperoleh masukan untuk perbaikan tugas proyek tersebut. Andaikan tugas proyek tersebut telah ditelaah oleh teman sejawat (guru), dan diperoleh temuan berikut. No Kriteria Keterpenuhan A. Materi √ 1. Rumusan tugas proyek sesuai dengan indikator. 2. Batasan pertanyaan dan jawaban yang diharapkan jelas. √ 3. Isi materi sesuai dengan tujuan pengukuran. √ 4. Isi materi yang ditanyakan sudah sesuai dengan jenjang, √ jenis sekolah, atau tingkat kelas 5. Tugas memenuhi satu atau lebih kriteria berikut. √ - Tidak rutin, non algoritmatik - Transfer satu konsep ke konsep lainnya Mencari kaitan dari berbagai informasi atau konsep yang berbeda- beda - Menggunakan beragam informasi atau konsep untuk menyelesaikan masalah - Menelaah ide dan informasi secara kritis B. Konstruksi 1. Rumusan kalimat tugas proyek menggunakan kata-kata √ penugasan yang menuntut peserta didik melakukan sesuatu 2. Petunjuk yang jelas tentang cara mengerjakan tugas. √ 3. Pedoman penyekoran tersedia, jelas, sesuai untuk tugas √ yang disusun C. Bahasa/Budaya 1. Rumusan tugas proyek menggunakan bahasa yang baik X dan benar, kalimat dan kata-kata sederhana dan komunikatif. 2. Rumusan tugas proyek tidak mengandung kata-kata yang √ dapat menyinggung perasaan peserta didik atau kelompok tertentu. √ 3. Rumusan tugas proyek tidak menggunakan kata- kata/kalimat yang menimbulkan penafsiran ganda atau salah pengertian. √ 4. Tugas proyek menggunakan Bahasa Indonesia yang baik dan benar. 5. Rumusan tugas proyek sudah mempertimbangkan segi √ bahasa dan budaya. √ 6. Tidak menggunakan bahasa yang berlaku setempat 124

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) Dari hasil telaah diperoleh informasi secara umum proyek telah dirumuskan dengan baik tetapi terdapat beberapa salah penulisan, yaitu: - “jenisjenis”, kurang tanda hubung, seharusnya “jenis-jenis” - “diskai”, kurang huruf u, seharunys “disukai” - “keuntngan”, kurang huruf u, seharunys “keuntungan” Berdasarkan temuan tersebut dilakukan revisi tugas proyek. Berikut hasil revisi tugas proyek. TUGAS PROYEK Lakukan survei penjualan di kantin sekolah. Ikutilah langkah-langkah kegiatan di bawah ini. 1. Coba kamu buat survei jenis-jenis menu apa saja yang dijual di kantin. 2. Tentukan apa menu terbanyak yang paling disukai peserta didik, rata- rata jumlah peserta didik yang beli di kantin tiap hari, rata-rata omset penjualan harian, dan keuntungan tiap minggu. 3. Sajikan masing-masing temuan data pada no 2. dalam bentuk tabel dan grafik. 4. Tentukan hari paling banyak dan paling sepi pembeli di kantin, serta jelaskan apa yang menjadi penyebabnya. 5. Tentukan berapa rata-rata keuntungan tiap minggu dari kantin tersebut. Waktu penyelesaian tugas proyek 3 minggu terhitung saat tugas diberikan. Tuliskan hasil temuan kamu secara lengkap dan rapi dan ceritakan kepada teman-temanmu di kelas. E. Aktivitas Pembelajaran LK 3 Penyusunan soal keterampilan berpikir tingkat tinggi 1. Buatlah 1 soal keterampilan berpikir tingkat tinggi pilihan ganda, 1 soal keterampilan berpikir tingkat tinggi uraian, dan satu tugas proyek. Soal pilihan ganda 125

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA Soal uraian Tugas proyek 2. Mintakan telaah atas soal keterampilan berpikir tingkat tinggi dan tugas proyek yang Anda buat ke salah satu teman sejawat Anda. 3. Lakukan revisi soal dan tugas proyek yang Anda buat berdasarkan hasil telaah 126

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) LK 4. Penyusunan soal keterampilan berpikir tingkat tinggi (lanjutan) 1. Buatlah 2 soal keterampilan berpikir tingkat tinggi untuk mengukur satu atau 2 KD di kelas yang Bapak/Ibu ampu, dengan ketentuan sebagai berikut. - Setiap soal merupakan soal kontekstual, dengan konteks memilih 2 diantara 4 konteks: personal, pekerjaan, masyarakat, atau ilmiah. - Domain kognitif menalar (reasoning) - Setiap soal dapat dibuat dalam lebih dari 1 beberapa pertanyaan. - Bentuk soal berbeda, dipilih dari 5 bentuk soal: pilihan ganda, pilihan ganda kompleks, menjodohkan, isian atau jawaban singkat, atau esai atau uraian. - Sertakan kunci jawaban atau altenatif penyelsaian dari soal yang Anda buat. 2. Carilah teman sejawat Anda, kemudian mintalah untuk mereview soal yang Anda susun menggunakan kriteria review seperti terurai pada modul kegiatan pembelajaran 3. 3. Perbaikilah soal yang Anda susun berdasarkan masukan reviewer. 127

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA F. Rangkuman 1. Secara umum sebenarnya tidak terdapat perbedaan langkah dalam pengembangan instrumen penilaian keterampilan berpikir tingkat tinggi dibandingkan dengan pengembangan instrumen penilaian biasa. Langkah- langkah yang perlu dilakukan dalam pengembangan instrumen penilaian keterampilan berpikir tingkat tinggi relatif sama dengan langkah-langkah pengembangan instrumen penilaian biasa. Perbedaannya hanya pada sasaran penilaian di mana instrumen penilaian keterampilan berpikir tingkat tinggi menyasar domain penilaian pada level berpikir yang lebih tinggi. 2. Ada 5 (lima) langkah yang perlu dilakukan guru dalam mengembangkan suatu tes, yaitu: memeriksa kompetensi dasar dan indikatornya, menetapkan tujuan penilaian, menyusun kisi-kisi, menulis soal berdasarkan kisi-kisi dan kaidah penulisan soal, dan menyusun pedoman penyekoran. Selain beberapa langkah penulisan soal di atas, untuk menghasilkan soal keterampilan berpikir tingkat tinggi yang berkualitas guru dapat melakukan beberapa langkah tambahan. Setelah soal tersusun, agar soal lebih berkualitas perlu dilakukan beberapa langkah lagi, antara lain: menelaah tes, melakukan ujicoba tes, menganalisis butir tes, memperbaiki tas, merakit tes. G. Refleksi dan Umpan Balik 1. Refleksi a. Pengalaman berarti apa yang Anda dapatkan dari kegiatan pembelajaran ini untuk mendukung keberhasilan Anda dalam memahami penilaian keterampilan berpikir tingkat tinggi? b. Pengalaman berarti apa yang Anda dapatkan dari kegiatan pembelajaran ini untuk mendukung keberhasilan Anda dalam meningkatkan keterampilan Anda melakukan penilaian keterampilan berpikir tingkat tinggi? 2. Umpan Balik Perhatikan kembali pemahaman Anda terkait bahan kajian dan kompetensi target pada kegiatan pembelajaran ini. Keberhasilan Anda dalam mempelajari kegiatan pembelajaran ini penting untuk pijakan Anda dalam mempelajari kegiatan berikutnya. 128

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) Untuk mereview pembelajaran pada kegiatan pembelajaran ini, pilihlah salah satu kondisi berikut yang paling sesuai dengan keadaan Anda. No Aspek REVIEW PEMBELAJARAN Kondisi 1. Kompetensi target I Semua sudah dikuasi dengan baik II Sebagian belum dikuasai III Semua belum dikuasi 2. Uraian materi I Semua sudah dipahami dengan baik II Sebagian belum dipahami III Semua belum dipahami 3. Aktivitas pembelajaran I Semua sudah bisa diselesaikan II Sebagian belum bisa diselesaikan III Semua belum bisa diselesaikan Apabila dari ketiga aspek di atas terdapat satu atau lebih kondisi Anda sesuai dengan kondisi II dan III, silakan Anda mempelajari kembali bahan kajian pada kegiatan pembelajaran ini. Dengan mempelajari kembali bahan kajian tersebut diharapkan kompetensi target pada kegiatan pembelajaran ini semua dapat dikuasi dengan baik. Selain itu, semua materi dapat Anda pahami dengan baik, dan semua aktivitas pembelajaran bisa Anda selesaikan. Apabila hal tersebut telah Anda penuhi, selanjutnya Anda dapat mempelajari kegiatan berikutnya. 129

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA BAGIAN III. EVALUASI A. Pilihlah satu satu jawaban yang paling tepat! 1. Penilaian kemampuan matematika siswa melalui soal TIMSS dikelompokkan dalam dua dimensi, yaitu dimensi konten dan dimensi kognitif. Perhatikan soal TIMSS berikut ini. Domain penilaian pada dimensi kognitif yang terkait dengan soal tersebut adalah …. A. Mengetahui fakta dan prosedur (pengetahuan) B. Menggunakan konsep dan memecahkan masalah rutin (penerapan) C. Memecahkan masalah nonrutin (penalaran) D. Menafsirkan, menerapkan dan mengevaluasi hasil dari suatu proses matematika (penafsiran) 2. Komponen penilaian dalam PISA adalah konten, proses dan konteks. Perhatikan soal PISA berikut ini. 130

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) Komponen konteks yang pada soal tersebut adalah …. A. pekerjaan B. sosial C. pribadi/personal D. ilmu pengetahuan 3. Komponen penilaian dalam PISA adalah konten, proses dan konteks. Perhatikan soal PISA berikut ini Kemampuan yang tidak diuji dalam proses menyelesaikan soal tersebut adalah …. A. Mengetahui fakta dan prosedur B. Merumuskan masalah secara matematis C. Menggunakan konsep, fakta, prosedur dan penalaran matematika D. Menafsirkan, menerapkan dan mengevaluasi hasil dari suatu proses matematika 4. Berikut ini yang tidak termasuk konten matematika dalam PISA adalah …. A. Peluang Kejadian (Probability), B. Perubahan dan Hubungan (Change and Relationships), C. Ruang dan Bentuk (Space and shape), D. Ketidakpastian dan Data (Uncertainty and data) 5. Berikut ini domain konten yang tidak diukur pada TIMSS Tingkat VIII adalah …. A. Bilangan B. Pengukuran 131

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA C. Geometri D. Data dan peluang 6. Berikut beberapa miskonsepsi guru tentang penilaian keterampilan berpikir tingkat tinggi, kecuali …. A. Penilaian keterampilan berpikir tingkat tinggi merupakan suatu “tambahan baru” dalam kurikulum pendidikan matematika yang menambah beban guru dalam mengajar B. Penilaian keterampilan berpikir tingkat tinggi tepat diberikan untuk siswa yang memiliki IQ tinggi, sedangkan untuk siswa ber-IQ rendah tidak cocok C. Soal keterampilan berpikir tingkat tinggi dapat dibuat untuk seluruh materi pelajaran matematika dengan tingkat kesukaran dari mudah sampai sulit D. Penilaian HOT tepat diberikan untuk siswa pada jenjang menengah dan tinggi, bukan untuk siswa pada jenjang pendidikan dasar 7. Manakah diantara kemampuan berpikir berikut yang termasuk keterampilan berpikir tingkat tinggi? A. Mengaplikasikan, menganalisis, mengevaluasi, dan mencipta B. Pemikiran non-algoritmik C. Pemahaman konsep dan penerapannya D. Menyelesaikan masalah rutin dalam pembelajaran di kelas dan luar kelas 8. Berikut ini yang tidak termasuk ciri-ciri soal keterampilan berpikir tingkat tinggi adalah …. A. Tidak rutin, non algoritmatik B. Mengaplikasikan teori dalam suatu situasi C. Menggunakan beragam informasi atau konsep untuk menyelesaikan masalah D. Menelaah ide dan informasi secara kritis 9. Berikut beberapa langkah yang dapat dilakukan untuk menyusun soal. (1) menyusun kisi-kisi (2) memeriksa kompetensi dasar dan indikatornya (3) menulis soal berdasarkan kisi-kisi dan kaidah penulisan soal 132

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) (4) menetapkan tujuan penilaian (5) menyusun pedoman penskoran Urutan yang tepat dalam menyusun soal HOT adalah …. A. (1) – (2) – (4) – (3) – (5) B. (2) – (1) – (3) – (4) – (5) C. (2) – (4) – (1) – (3) – (5) D. (4) – (1) – (2) – (3) – (5) 10. Dalam penyusunan soal harus memenuhi kriteria penyusunan soal yang baik sama dengan penyusunan soal biasa, meliputi aspek: materi, konstruksi, dan bahasa. Berikut yang bukan merupakan kriteria penyusunan soal pilihan ganda dilihat dari aspek materi adalah …. A. Soal harus sesuai dengan indikator. B. Pilihan jawaban harus homogen dan logis ditinjau dari segi materi. C. Butir soal jangan bergantung pada jawaban soal sebelumnya D. Setiap soal harus mempunyai satu jawaban yang benar atau yang paling benar 11. Pedoman penskoran holistik tepat digunakan untuk penskoran hasil penyelesaian soal keterampilan berpikir tingkat tinggi. Berikut ini yang merupakan langkah dalam penskoran soal keterampilan berpikir tingkat tinggi, kecuali …. A. Tuliskan garis-garis besar jawaban (alternatif jawaban). B. Tetapkan rentang skor untuk tiap garis besar jawaban. C. Tentukan skor langkah demi langkah penyelesaian jawaban siswa D. Jumlahkan skor tertinggi dari tiap-tiap rentang skor yang telah ditetapkan. 12. Suatu soal yang telah disusun sebaiknya dilakukan ujicoba terlebih dahulu sebelum digunakan dalam penilaian di kelas. Hal ini bermanfaat untuk memperoleh temuan empirik yang dapat digunakan sebagai pijakan dalam menentukan ….. A. Keberfungsian distaktor, tingkat kesulitan soal dan daya beda B. Reliabilitas, validitas isi, dan tingkat kesukaran soal C. Kesesuaian butir soal kriteria, reliabilitas dan validitas D. Tingkat kesukaran soal, distraktor, dan validitas isi 133

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA 13. Analisis keberfungsian pengecoh dimaksudkan untuk mengetahui berfungsi tidaknya jawaban yang tersedia. Berikut pernyataan tepat terkait distraktor, kecuali …. A. Suatu pilihan jawaban (pengecoh) dapat dikatakan berfungsi apabila pengecoh paling tidak dipilih oleh 5% peserta tes dan lebih banyak dipilih oleh kelompok peserta didik yang belum paham materi. B. Distraktor dikatakan berfungsi manakala pemilih dari kelompok rendah harus lebih banyak daripada kelompok atas. C. Distraktor dapat dikatakan berfungsi manakala peserta tes dari kelompok atas dapat membedakan distraktor dan kunci jawaban sehingga yang memilih kunci jawaban lebih banyak daripada yang memilih distraktor. D. Apabila pada suatu soal terdapat distraktor yang tidak berfungsi, maka soal tersebut perlu diganti dengan soal lain yang semua distraktornya dapat berfungsi dengan baik 14. Penilaian keterampilan berpikir tingkat tinggi dilakukan secara terintegrasi dengan penilaian kelas biasa. Perbedaannya adalah pada fokus dari penilaian keterampilan berpikir tingkat tinggi, yaitu bahwa penilaian keterampilan berpikir tingkat tinggi menyasar pada kemampuan berpikir keterampilan berpikir tingkat tinggi siswa. Berikut ini yang tidak termasuk dalam tahapan penilaian keterampilan berpikir tingkat tinggi di kelas adalah …. A. perencanaan penilaian keterampilan berpikir tingkat tinggi B. mengembangkan instrumen penilaian keterampilan berpikir tingkat tinggi C. melaksanakan penilaian keterampilan berpikir tingkat tinggi D. menyajikan hasil penilaian keterampilan berpikir tingkat tinggi 15. Penilaian keterampilan berpikir tingkat tinggi dilaksanakan secara terintegrasi dengan penilaian di kelas. Terintegrasi artinya bahwa …. A. sebagian siswa mendapatkan soal keterampilan berpikir tingkat tinggi dan sebagian siswa lainnya soal biasa B. butir soal keterampilan berpikir tingkat tinggi diberikan satu paket dengan butir soal tidak keterampilan berpikir tingkat tinggi dalam suatu penilaian bersamaan C. pelaksanaan penilaian keterampilan berpikir tingkat tinggi dilakukan segera setelah pelaksanaan penilaian biasa di kelas. 134

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) D. analisis hasil penilaian keterampilan berpikir tingkat tinggi tidak dilakukan apabila analisis hasil penilaian biasa telah dilakukan B. Selesaikan soal berikut dengan benar dan jelas 1. Pilihlah salah satu KD pada mata pelajaran matematika SMP/SMA/SMK sesuai dengan jenjang sekolah di mana Bapak/Ibu bertugas, kemudian buatlah 1 (satu) butir soal pilihan ganda yang berorientasi berpikir tingkat tinggi beserta kunci jawabannya. 2. Buatlah 1 (satu) butir soal uraian berorientasi berpikir tingkat tinggi beserta pedoman penskoran dan salah satu altenatif penyelesaiannya sesuai dengan kisi- kisi AKM. 135

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA BAB IV. PENUTUP Puji syukur kita panjatkan kehadirat Tuhan YME. Sampai di sini Anda telah selesai mempelajari modul ini. Sesuai yang telah dijelaskan sebelumnya bahwa modul ini diharapkan dapat membantu Anda meningkatkan kemampuan dalam menerapkan penilaian keterampilan berpikir tingkat tinggi dalam pembelajaran di kelas. Melalui modul ini Anda telah mempelajari minimal tiga hal, yaitu: 1) pemahaman guru tentang penilaian keterampilan berpikir tingkat tinggi, 2) kemampuan guru dalam mengembangan instrumen penilaian keterampilan berpikir tingkat tinggi, dan 3) kemampuan guru dalam melaksanakan, mengolah, dan menindaklanjuti hasil penilaian keterampilan berpikir tingkat tinggi. Ketiga hal tersebut merupakan bagian penting untuk mendukung penerapan penilaian keterampilan berpikir tingkat tinggi dalam pembelajaran matematika di kelas. Setelah selesai mempelajari modul ini, besar harapan kami bahwa Anda akan terus mendalami lebih lanjut materi terkait dengan penilaian keterampilan berpikir tingkat tinggi secara mandiri dari berbagai referensi. Dengan demikian, diharapkan pemahaman dan kemampuan Anda dalam mengembangkan dan menerapkan penilaian keterampilan berpikir tingkat tinggi dalam pembelajaran matematika akan semakin baik. Semoga Tuhan YME senantiasa memberikan kemudahan dan kekuatan bagi kita semua untuk berbuat yang lebih baik, dan semakin baik. 136

Modul Penilaian Keterampilan Berpikir Tingkat Tinggi (KBTT) DAFTAR PUSTAKA Abosalem, Y. 2016. Assessment Techniques and Students’ Higher-Order Thinking Skills. International Journal of Secondary Education 2016; 4(1): 1-11 Budiman, A. & Jailani. 2014. Pengembangan instrumen asesmen higher order thinking skill (keterampilan berpikir tingkat tinggi) pada mata pelajaran matematika SMP kelas VIII semester 1. Jurnal Riset Pendidikan Matematika, 1(2), hal. 139 – 151 Brookhart. 2010. How to assess higher-order thingking skills in your classroom. Virginia USA: ASCD Alexandria, VA de Lange, J. 1999. Framework for Classroom Assessment in Mathematics. Freudenthal Institute & National Center for Improving Student Learning and Achievement in Mathematics and Science Goethals. P.L. 2013. The Pursuit of Higher-Order Thinking in the Mathematics Classroom: A Review. Review submitted in partial fulfillment of the Master Teacher Program, a 2-year faculty professional development program conducted by the Center for Faculty Excellence, United States Military Academy, West Point, NY, 2013 Hadi, S. & Novaliyosi. (2019). TIMSS Indonesia (Trends In International Mathematics And Science Study. Prosiding Seminar Nasional & Call For Papers Program Studi Magister Pendidikan Matematika Universitas Siliwangi Tasikmalaya, 1 9 Januari 2019 International Association for the Evaluation of Educational Achievement (IEA). 2013. Released mathematics items. Boston: TIMSS & PIRLS International Study Center Iryanti, P. 2004. Penilaian Unjuk Kerja. Paket Pembinaan Penataran PPPPTK Matematika Kementerian Pendidikan dan Kebudayaan. 2016. Peraturan Menteri Pendidikan dan Kebudayaan No. 21 Tahun 2016 tentang Standar Isi Pendidikan Dasar dan Menengah. Jakarta: Kemdikbud 137

Training of Trainer (TOT) Pelatihan Keterampilan Berpikir Tingkat Tinggi (KBTT) dalam Pembelajaran Matematika Berorientasi PISA Kementerian Pendidikan dan Kebudayaan. 2016. Peraturan Menteri Pendidikan dan Kebudayaan No. 22 Tahun 2016, tentang Standar Proses. Jakarta: Kemdikbud Kementerian Pendidikan dan Kebudayaan. 2016. Peraturan Menteri Pendidikan dan Kebudayaan No.23 tahun 2016 tentang standar penilaian. Jakarta: Puspendik Kemdikbud Kementerian Pendidikan dan Kebudayaan. 2016. Peraturan Menteri Pendidikan dan Kebudayaan No. 24. Tahun 2016 tentang Kompetensi inti dan kompetensi dasar pelajaran pada Kurikulum 2013 pada pendidikan dasar dan menengah. Jakarta: Kemdikbud Kementerian Pendidikan dan Kebudayaan. 2016. Buku matematika peserta didik SMP/MTs kelas VII semester 1. Jakarta: Kementerian Pendidikan dan Kebudayaan Kementerian Pendidikan dan Kebudayaan. 2016. Buku matematika peserta didik SMP/MTs kelas VII semester 2. Jakarta: Kementerian Pendidikan dan Kebudayaan Kementerian Pendidikan dan Kebudayaan. 2017. Buku matematika peserta didik SMA/MA kelas X semester 1. Jakarta: Kementerian Pendidikan dan Kebudayaan Kementerian Pendidikan dan Kebudayaan. 2017. Buku matematika peserta didik SMA/MA kelas X semester 2. Jakarta: Kementerian Pendidikan dan Kebudayaan Kementerian Pendidikan dan Kebudayaan. 2017. Buku matematika peserta didik SMA/MA kelas XI semester 1. Jakarta: Kementerian Pendidikan dan Kebudayaan Kementerian Pendidikan dan Kebudayaan. 2017. Buku matematika peserta didik SMA/MA kelas XI semester 2. Jakarta: Kementerian Pendidikan dan Kebudayaan Kementerian Pendidikan dan Kebudayaan. 2017. Panduan penilaian oleh pendidik dan satuan pendidikan untuk sekolah menengah pertama. Jakarta: Direktorat Pendidikan Sekolah Menengah Pertama 138