A.
Asumsi-asumsi
1.
Asumsi Umum
Semua metode standard
setting mengasumsikan bahwa:
a)
Partisifan (judges) yang melakukan judgement adalah
orang yang memang qualified untuk itu.
b) Judgement yang dilakukan memiliki kebermaknaan
paling tidak bagi partisifan yang membuatnya.
c)
Judgement dibuat dengan merujuk pada tujuan
dilakukannya tes (jika tes hendak merefleksikan tingkat minimum dari
keterampilan matematika untuk SMA, maka standard yang dihasilkan
seharusnya tidak merefleksikan tingkat performansi yang diharapkan dari seorang
akuntan publik terakreditasi).
2.
Asumsi Khusus
a)
Untuk metode-metode yang berdasarkan ”Judgements
about Test Questions”
1)
Angoff, Nedelsky, and Ebel Method
kesemuanya mengasumsikan bahwa partisifan mampu menggambarkan dengan teliti
mengenai respon peserta tes terhadap item tertentu.
2) Kesemua metode dalam kelompok ini berasumsi bahwa dapat
ditemukan sekelompok partisifan yang dapat melakukan judgement yang
bermakna diluar pembuat tes.
3) Angoff Method mengasumsikan bahwa partisifan
mampu menentukan peluang dari peserta tes pada borderline seharusnya
menjawab dengan benar.
4) Dalam hal ini perlu untuk hanya mengasumsikan bahwa
partisifan benar terkait dengan rata-ratanya sedangkan terkait dengan item
secara satu-persatu, tidaklah mesti demikian.
5) Sejalan dengan itu, Nedelsky Method
mengasumsikan bahwa partisifan mampu menentukan pilihan jawaban yang seharusnya
dikenal oleh peserta tes pada borderline sebagai pilihan jawaban yang
tidak benar.
6) Ebel Method menggunakan asumsi yang sejalan
dengan Angoff dan Nedelsky Method, hanya dengan cara yang lebih
kompleks.
b) Untuk metode-metode yang berdasarkan “Judgements about
Individual of Test-Takers” diasumsikan bahwa:
1) Judgement mengenai peserta tes didasarkan pada
pengetahuan dan keterampilan yang menjadi sasaran tes yang bersangkutan.
2)
Judgement merefleksikan kemampuan peserta tes
pada saat testing dilakukan.
3)
Judgement merefleksikan opini yang sebenarnya
dari partisifan.
4) Jika digunakan Contrasting Groups Method, asumsi
tambahannya adalah bahwa peserta tes merupakan sampel yang representatif.
c)
Untuk metode-metode yang berdasarkan “Judgements about
Group of Test-Takers”
Diasumsikan
bahwa partisifan mampu membuat judgement yang bermakna mengenai beberapa
kelompok acuan, seperti peserta tes yang skornya telah diketahui. Contohnya:
1) Partisifan diminta menentukan persentase peserta tes
tahun lalu yang memiliki kemampuan terkait dengan pengetahuan dan keterampilan
yang diujikan.
2) Atau partisifan diminta mengidentifikasi kelompok
tertentu dimana rata-rata skor peserta tes dalam kelompok yang bersangkutan
merepresentasikan tingkat terendah dari pengetahuan dan keterampilan yang
diharapkan.
B.
Metode-metode yang Berdasarkan “Judgements about
Test Questions”
1.
The Angoff Method
a.
Overview
1) Metode ini diterapkan terbatas pada bentuk tes pilihan
ganda khususnya dengan skor dikotomus (0 – 1).
2) Pada metode ini partisifan diminta menentukan peluang
peserta pada borderline untuk menjawab setiap item dengan benar.
3) Jika tes di-skor dengan memberikan satu poin pada tiap
item yang dijawab dengan benar, maka peluang peserta tes untuk menjawab item
dengan benar adalah setara dengan skor harapan peserta tes pada item tersebut.
4)
Jika skor harapan dari tiap item dijumlahkan, maka akan
didapat skor harapan untuk seluruh tes.
5) Dengan cara demikian akan bisa didapatkan skor harapan
untuk peserta tes pada borderline jika diketahui peluangnya menjawab
dengan benar pada tiap item.
6) Jumlah dari judgement seorang partisifan
mengenai peluang peserta tes pada borderline menjawab tiap item dengan
benar merupakan estimasinya mengenai cutscore.
7) Cutscores hasil estimasi kelompok didapat dengan
menggunakan ukuran pemusatan data seperti mean, trimmed mean,
maupun median dari cutsores setiap partisifan.
b.
Prosedur
1)
Pilah item menjadi 2 atau 3 bagian.
2) Minta partisifan membuat judgement pendahuluan
terhadap item di awal tes (bagian pertama).
3) Minta seluruh partisifan melaporkan judgement
mereka, catat, dan tampilkan agar dapat dilihat mereka semua.
4)
Berikan feedback ringkas terhadap hasil judgement
tiap item dan secara keseluruhan.
5) Bimbing mereka mendiskusikannya secara singkat, dan
jika hasil judgement sudah serupa, lanjutkan ke pertanyaan selanjutnya
hingga selesai seluruh item bagian pertama ini.
6) Minta partisifan membuat judgement terhadap item
yang ada pada bagian berikutnya, lalu lakukan langkah 3), 4), dan 5). Jika tes dibagi dalam 3 bagian, lakukan lagi
untuk bagian ketiganya.
7)
Kumpulkan dan catat seluruh hasil judgement.
8)
Kalkulasaikan cutscore-nya.
c.
Kelebihan dan Kekurangan
1)
Kelebihan
a)
Sangat umum digunakan.
b)
Paling sering diteliti.
c) Jika ada metode menentukan cutscores yang
dikenal, serasi, dan mapan, itulah Angoff Method.
2)
Kekurangan
a) Masalah utamanya seperti meode-metode yang berdasarkan judgement
adalah menentukan bagaimana performansi semestinya dari peserta tes pada borderline.
b) Akibatnya beberapa peneliti melaporkan bahwa judgement
yang diperlukan melalui Angoff Method sangat sulit dibuat oleh
partisifan. Meskipun demikian peneliti
lain melaporkan bahwa meskipun pada awalnya partisifan mengalami kesulitan, namun
tidak pada akhirnya.
c)
Hal tersebut pada poin a) juga membuat hasil judgement
dapat berbeda dengan realitas yang sesungguhnya, karena metode ini tidak
berdasarkan data performansi peserta tes sesungguhnya.
2.
The Angoff Mean Estimation Method
a.
Overview
1)
Berbeda dengan Angoff Method, Angoff Mean
Estimation Method diterapkan pada bentuk tes essay dan performansi
dengan skor politomus yang tidak mesti berupa bilangan bulat.
2) Namun secara matematis pada dasarnya keduanya sama,
karena ketika partisifan mengestimasi peluang dari peserta tes pada borderline
untuk menjawab suatu butir soal pilihan ganda dengan benar, mereka sebenarnya
juga mengestimasi rerata skor yang sebagian besar seharusnya dicapai oleh
peserta tes pada borderline untuk item yang bersangkutan. Contohnya,
jika diestimasi peluang peserta tes pada borderline untuk menjawab benar
suatu item sebesar 0,5 yang artinya 50% peserta tes dimaksud seharusnya
menjawab dengan benar, dimana setengah dari mereka seharusnya mendapat skor 0
dan setengahnya lagi mendapatkan skor 1.
Jelas dalam hal ini rata-ratanya juga sama yaitu 0,5.
b.
Prosedur
1)
Berikan rubrik penskoran kepada partisifan.
2)
Berikan juga sampel respon pada setiap tingkatan skor
kepada mereka.
3) Lakukan langkah-langkah seperti Angoff Method
dengan satu pengecualian, yang diminta kepada partisifan bukan mengestimasi
kemungkinan jawaban benar dari suatu pertanyaan pilihan ganda, tetapi meminta
kepada partisifan untuk mengestimasi rata-rata skor yang seharusnya dicapai
oleh peserta tes pada borderline dari suatu pertanyaan essay atau
performansi.
c.
Kelebihan dan Kekurangan
1)
Kelebihan
Sama dengan Angoff
Method, hanya saja kelebihannya terkait dengan aplikasinya pada Constructed-Response
Test seperti essay dan performansi tes, berbeda dengan Angoff
Method yang kelebihannya terkait dengan aplikasi pada Selected-Response
Test yang berupa pilihan ganda.
Sehingga jika suatu tes terdiri dari bentuk soal pilihan ganda dan essay,
dan atau performansi, maka cutscore-nya dapat ditentukan dengan
menggunakan kombinasi Angoff Method dan Angoff Mean Estimation Method.
2)
Kekurangan
Sama dengan Angoff
Method.
3.
The Angoff Yes or No Method
a.
Overview
1)
Angoff Method yang popular sekarang ini pertama
sekali dijelaskan dalam catatan kaki yang ringkas dari satu bab yang ditulis
oleh Angoff pada sebuah buku tentang pegukuran pendidikan. Catatan kaki ni merujuk pada satu paragraf di
dalam bab yang bersangkutan.
2)
Pada paragraf tersebut Angoff menyarankan untuk mematok
cutscore dengan cara mengingat peserta tes pada borderline dan
menentukan apakah mereka mampu memberikan jawaban yang benar atau tidak pada
suatu item.
3)
Dampaknya adalah, Yes or No Method semestinya
adalah metode dari Angoff yang paling populer, dengan catatan bahwa peluang
yang dizinkan hanya 0 dan 1.
b.
Prosedur
Lakukan
langkah-langkah seperti Angoff Method dengan satu pengecualian, yang
diminta kepada partisifan adalah memutuskan apakah peserta tes pada borderline
akan menjawab dengan benar. Partisifan
diminta untuk menuliskan “yes” untuk pertanyaan dimana peserta tes pada borderline
seharusnya menjawab benar dan “no” untuk pertanyaan dimana peserta tes
pada borderline seharusnya menjawab tidak dengan benar.
c.
Kelebihan dan Kekurangan
1)
Kelebihan
a)
Adalah lebih mudah bagi partisifan untuk membuat judgement
yes or no dibandingkan dengan memperkirakan peluang menjawab benar
seperti pada Angoff Method.
b)
Karena lebih mudah, maka proses judgement juga
akan berlangsung lebih cepat
2)
Kekurangan
a) Metode ini tidak mengizinkan partisifan untuk membuat
berbagai perbedaan yang semestinya menurut penilaian mereka. Misalkan partisifan memiliki keyakinan kuat
bahwa peserta tes pada borderline memiliki peluang 0,8 untuk menjawab
dengan benar atau 0,4 pada item yang lain, namun karena Yes or No Method
hanya mengizinkan 0 atau 1, maka peluang 0,8
akan menjadi 1 dan 0,4 akan menjadi 0.
b)
Oleh karena itu Yes or No Method dapat menjadi
kurang akurat.
4.
The Nedelsky Method
a.
Overview
1)
Metode ini cocok digunakan untuk selected response
item berbentuk pilihan ganda.
2)
Cara kerjanya adalah dengan meminta partisifan
mengeliminasi pilihan (option) jawaban yang seharusnya diketahui tidak
benar oleh peserta tes pada borderline.
3)
Peluang menjawab benar dari peserta dimaksud adalah 1
dibagi dengan banyaknya sisa pilihan jawaban.
4)
Penjumlahan peluang dari setiap item merupakan estimasi
partisifan terhadap cutscore.
5)
Sedangkan untuk estimasi cutscore secara
keseluruhan didapat dengan menggunakan ukuran pemusatan data seperti mean,
trimmed-mean, maupun median.
b.
Prosedur
1)
Minta partisifan membuat judgement pendahuluan
terhadap suluruh item.
2)
Bimbing mereka melakukan diskusi untuk setiap item.
3)
Minta partisifan untuk me-review keputusan
mereka sebelumnya .
4)
Kumpulkan hasil judgement hasil langkah 3).
5)
Disarankan untuk melakukan langkah-langkah di atas
dalam 2 – 3 putaran, dan diantara putaran, berikan informasi tingkat kesukaran
tiap pertanyaan dan cutscore hasil putaran sebelumnya.
6)
Kalkulasi cutscore akhir.
c.
Kelebihan dan Kekurangan
1)
Kelebihan
Sangat berguna
jika pilihan jawaban yang tersedia memiliki perbedaan yang jelas (tidak
homogen).
2)
Kekurangan
a) Seperti halnya dengan metode berbasiskan judgement
lainnya, hasilnya bisa tidak menggambarkan realita.
b)
Perlu waktu yang lebih lama karena partisifan harus
memutuskan mengenai pilihan-pilihan jawaban yang seharusnya diketahui keliru
oleh peserta tes pada borderline untuk setiap item.
c)
Hanya sedikit perbedaan peluang menjawab benar yang
tersedia, misalkan ada 4 pilihan, jika tidak ada yang dikethui keliru maka
peluangnya 0,25, jika diketahui 1 pilihan keliru maka peluangnya 0,33, jika
diketahui 2 pilihan keliru maka peluangnya adalah 0,5 jika diketahui 3 pilihan
keliru maka peluangnya menjadi 1, tidak memberikan kemungkinn peluang
diantaranya.
d) Reduksi
peluang ini membuat Nedelsky Method sulit untuk men-setting multiple
cutscore pada tes yang sama.
5.
The Ebel Method
a.
Overview
1) Ebel Method merupakan prosedur 2 tahap dimana
partisifan mengelompokkan item berdasarkan kesulitannya (mudah, sedang, sulit)
dan relevansi/kepentingannya (esensial, penting, dapat diterima, dan
dipertanyakan) kemudian mereka diminta membuat judgement untuk setiap
kelompok yang dihasilkan.
2)
Cutscore dari setiap partisifan didapat dengan
cara mengalikan peluang dari setiap kelompok item, yang seharusnya dijawab
dengan benar oleh peserta tes pada borderline, dengan jumlah item di
kelompok tersebut, kemudian dijumlahkan.
3)
Cutscore dari keseluruhan partisifan didapat
dengan menggunakan ukuran pemusatan data berupa mean, trimmed-mean,
maupun median.
b.
Prosedur
1)
Meminta partisifan untuk mengklasifikasikan item
berdasarkan tingkat kesulitan dan tingkat urgensi/relevansinya secara
satu-persatu.
2)
Bimbing mereka untuk mendiskusikan setiap item.
3)
Dorong terjadinya diskusi antar partisifan dan berikan
kesempatan masing-masing partisifan
mengklasifikasikan ulang item yang mereka anggap perlu.
4) Meminta partisifan membuat judgement mengenai
performansi dari peserta tes pada borderline untuk setiap kelompok item
hasil pengklasifikasian.
5)
Bimbing partisifan untuk mendiskusikan hasil judgement
pada tiap kelompok item.
6)
Kumpulkan hasil judgement.
7)
Kalkulasi cutscore-nya.
c.
Kelebihan dan Kekurangan
1)
Kelebihan
a)
Partisifan hanya melakukan judgement maksimum
pada 12 kelompok item, tidak sebanyak jika men-judgement setiap item.
b) Melakukan judgement-nya tentu saja menjadi lebih
mudah dibandingkan harus men-judge setiap item.
2)
Kekurangan
a) Mengelompokkan item berdasarkan relevansi/urgensinya
memerlukan pengetahuan dan keterampilan dari partisifan terkait dengan item
yang bersangkutan.
b) Kelemahan lainnya adalah dapat berbeda dari realitas
sebagaimana kelemahan metode-metode berbasiskan judgement.
c) Multiple judgement yang diperlukan dapat
memboroskan waktu terutama jika dibandingkan dengan Angoff Method.
6.
The Bookmark Method
a.
Overview
1)
Metode ini dikembangkan untuk digunakan pada tes yang
diberi skor dengan menggunakan IRT
2) Penggunanya harus memahami cara melakukan kalibrasi
dengan IRT dan software pendukungnya.
3)
Metode ini paling banyak digunakan sebagaimetode cutscore
untuk penilaian kelas 12.
4)
Partisifan diberi booklet tes khusus yang
disebut Ordered Item Booklet yang menampilkan item secara berurut mulai
dari yang paling mudah sampai yang paling sukar.
5) Partisifan diminta memberi tanda pada bagian yang
memisahkan item mudah, yang seharusnya dijawab dengan benar oleh peserta tes
pada borderline, dan item sulit, yang seharusnya dijawab oleh mereka tidak
dengan benar.
6)
Setelah itu baru ditentukan cutscore harapan
untuk peserta tes pada borderline oleh statistisi.
b.
Prosedur
1)
Urutkan item dari yang mudah ke yang sulit berdasarkan
parameter b hasil kalibrasi IRT dan mulailah pada setiap item di halaman terpisah
dari Item Booklet terurut.
2)
Buat tabel peta item (item map)yang mencakup
nomor urut berdasarkan kesulitan butir, nomor asal item, kunci jawaban, tingkat
kesulitan butir, “content strand”, dan komentar.
3)
Memilih pimpinan meja dari partisifan yang ada, untuk
masing-asing meja.
4)
Tempatkan partisifan dalam kelompok kecil yang duduk di
meja terpisah.
5)
Berikan Item Booklet dan Peta Item kepada
partisifan.
6)
Minta partisifan membaca keseluruhan item booklet
dari item termudah sampai ke item tersulit dan menempatkan suatu “bookmark”
pada titik antara pertanyaan terakhir yang peserta tes pada borderline
kemungkinan menjawab dengan benar dan pertanyaan pertama yang mereka
kemungkinanya tidak mampu menjawab dengan benar.
7) Tetap minta partisifan membaca lebih lanjut item booklet
untuk mencegah mereka memberikan bookmark tanpa melihat item-tem
selanjutnya.
8) Jika lebih dari satu cutscore ditentukan,
katakan pada partisifan untuk melanjutkan hingga akhir item booklet dan
menempatkan bookmark(s) yang lain untuk cutscore(s)
selanjutnya.
9) Disarankan melakukan langkah-langkah di atas dalam tiga
putaran, dimana setelah putaran pertama, berikan masukan kepada mereka tentang bookmark
yang mereka buat dibandingkan dengan yang lain.
Selanjutnya dorong mereka untuk mendiskusikannya antar sesama partisifan
di satu meja (diskusi kelompok).
10) Sampaikan
kepada seluruh partisifan mengenai rentang dari penempatan bookmark di
meja mereka dan di meja-meja yang lain.
Beri kesempatan pimpinan meja menjelaskan diskusi di meja mereka
khususnya pada item yang tidak mereka sepakati, lalu berikan kesempatan
partisifan dari meja lainnya untuk menanggapi (ini bentuk diskusi kelas)
sebelum kembali ke diskusi masing-masing meja.
11) Minta
partisifan menempatkan bookmark untuk putaran yang ketiga.
12) Mengkalkulasi
cutscore berdasarkan median penempatan bookmark.
13) Meminta
partisifan me-review deskriptor tingkat performansi dan memastikannya
kongruen dengan titik potong (cutpoints) yang ditentukan saat pertemuan.
c.
Kelebihan dan Kekurangan
1)
Kelebihan
a)
Efisien untuk men-setting 2 atau lebih cutscore
pada tes yang sama.
b)
Partisifan umumnya mengetahui tugas mereka dalam hal
ini.
c)
Statistisi hanya memasukkan 1 angka dari tiap
partisifan untuk tiap cutscore-nya.
d) Dapat
dugunakan untuk selected response item maupun constructed response
item.
2)
Kekurangan
a)
Memerlukan pekerjaan tambahan untuk membuat Ordered
Item Booklet.
b)
Statistisi harus menyiapkan tabel yang lengkap dari cutscores
yang berhubungan dengan setiap kemungkinan penempatan bookmark.
c) Terkadang partisifan salah mengartikan nomor item
sebelum di-bookmark sebagai cutscore yang berjumlah benar,
sehingga skor mentah dari cutscore yang dihasilkan terkadang cocok
dengan nomor item sebelum di-bookmark.
d) Pratisifan
seringkali ingin tahu tentang IRT dan sulit menjelaskan kepada mereka jika
mereka tidak familiar dengan konsep matematisnya.
7.
The Item Descriptor Matching Method
a.
Overview
1)
Memerlukan tes yang dikalibrasi menggunakan IRT.
2)
Seperti Bookmark Method, juga diperlukan Ordered
Item Booklet.
3) Partisifan menghubungkan setiap item pada Ordered
Item Booklet dengan suatu tingkat performansi tertentu dengan menggunakan
deskriptor tingkat performansi dan mereka sendiri yang menentukan apakah
peserta tes mampu menjawab dengan benar.
4) Partisifan mencocokkan pengetahuan dan keterampilan
yang diperlukan untuk memberikan jawaban pada tiap item dengan pengetahuan dan
keterampilan yang diperlukan untuk berada pada tingkat performansi tertentu.
5) Partisifan menuliskan tingkat performansi awal yang
terpilih seperti: tingkatan dasar (basic), menengah (proficient) ,
atau lanjut (advance).
6) Partisifan menganalisis pola kecocokan untuk menentukan
pengetahuan dan keterampilan yang kiranya berubah dari suatu tingkatan ke
tingkatan performansi di atasnya.
7) Partisifan membuat garis potong diantara dua item
sebagai batas antara tingkat performansi yang lebih rendah dengan tingkat
performansi berikutnya.
8)
Proses ini diulang jika beberapa cutscore harus
dibuat.
9)
Kalkulasi cutscore-nya sama dengan Bookmark
Method.
b.
Prosedur
1)
Membuat Ordered Item Booklet dan Peta Item.
2)
Perlu didiskusikan apakah partisifan perlu ditempatkan
dalam kelomok-kelompok kecil di meja yang berbeda.
3) Meminta partisifan bekerja secara perseorangan untuk
mencocokkan pengetahuan dan keterampilan yang diperlukan untuk memberikan
jawaban pada tiap item dengan pengetahuan dan keterampilan yang dipaparkan pada
deskriptor tingkat performansi.
4)
Meminta partisifan menuliskan tingkat performansi awal
yang terpilih seperti: tingkatan dasar, menengah, atau lanjut.
5) Meminta partisifan menganalisis pola kecocokan untuk
menentukan pengetahuan dan keterampilan yang kiranya berubah dari suatu
tingkatan ke tingkatan performansi di atasnya.
6) Partisifan membuat garis potong diantara dua item
sebagai batas antara tingkat performansi yang lebih rendah dengan tingkat
performansi berikutnya.
7) Diharapkan proses pada langkah 4), 5), dan 6) ini
dilakukan 3 kali (putaran), dimana setelah putaran 1 mintalah partisifan
membandingkan penempatan garis potong mereka dan diskusikan bila terdapat
ketidaksesuaian.
8)
Setelah putaran kedua, mintalah partisifan melihat tes
sebagai suatu keseluruhan dibandingkan memperhatikan item secara satu-persatu
untuk memastikan apakah item-item yang berada di bawah garis potong cocok
dengan deskriptor tingkat performansi yang lebih rendah dan sebaliknya.
9)
Kalkulasikan cutscore sementara dengan cara
seperti Bookmark Method.
10) Sebelum
putaran terakhir dilakukan, berikan gambaran kepada partisfan mengenai berapa
peserta tes yang akan masuk pada tingkat tertentu jika cutscore diterapkan
dan minta mereka mempertimbangkan kembali garis potong yang mereka buat
masing-masing.
11) Setelah
putaran ketiga dilakukan, kalkulasikan cutscore akhirnya.
c.
Kelebihan dan Kekurangan
1)
Kelebihan
a)
Tugas dari partisifan merupakan hal yang sudah biasa
bagi seorang guru.
b)
Mudah untuk dijelaskan kepada mereka.
c)
Kelebihan lain metode ini pada dasarnya sama dengan Bookmark
Method.
2)
Kekurangan
a)
Jarang digunakan.
b)
Hanya sedikit yang menelitinya.
C.
Metode-metode yang Berdasarkan “Judgements about
Individual of Test-Takers”
1.
The Borderline Group Method
a.
Overview
1) Ide dari metode ini adalah bahwa cutscore
seharusnya merupakan skor yang seharusnya merupakan harapan dari peserta tes
yang kemampuannya berada pada borderline dari suatu tingkat performansi,
sehingga metode ini dapat dianggap
sebagai bagian dari kelompok metode yang berdasarkan pada Judgements about Test Questions.
2) Namun berbeda degan metode berdasarkan Judgements about Test Questions, pada metode
ini partisifan diminta untuk mengidentifikasi peserta tes sesungguhnya yang
merupakan borderline dalam hal pengetahuan dan kemampuan yang diujikan.
3)
Cutscore ditentukan berdasarkan median dari
kelompok borderline ini.
b.
Prosedur
1) Tentukan garis batas tingkatan pengetahuan dan
keterampilan yang dujikan pada setiap tingkat performansi.
2) Minta partisifan mengidentifikasi peserta tes pada borderline
untuk setiap tingkat performansi berdasarkan pertimbangan yang bijak.
3)
Tentukan skor tes dari peserta tes pada borderline
untuk tingkat performansi tertentu.
4)
Kalkulasikan cutscore-nya.
c.
Kelebihan dan Kekurangan
1)
Kelebihan
a)
Sederhana.
b)
Mudah digunakan.
c)
Mudah dijelaskan.
2)
Kekurangan
a) Kelompok borderline kemungkinan mencakup peserta
tes yang tak seharusnya ada di situ.
b)
Jika tidak, biasanya kelompok borderline menjadi
kecil jumlahnya, sehingga menyulitkan partisifan untuk mengidentifikasi apakah
mereka memang kelompok borderline atau bukan.
c)
Partisifan kemungkinan mendasarkan judgement-nya
pada sesuatu diluar apa yang hendak diujikan.
d) Kemungkinan
adanya perbedaan standard individual dari partisifan untuk men-judge
peserta tes.
2.
The Contrasting Groups Method
a.
Overview
1) Ide dari metode ini adalah peserta tes pada setiap
tingkatan performansi dapat dikelompok menjadi dua yaitu yang memenuhi
kualifikasi dan yang tidak.
2) Dengan mendapatkan skor dari kedua kelompok maka akan
dapat ditemukan pula skor terbaik yang memisahkan kedua kelompok tersebut.
b.
Prosedur
1) Tentukan tingkat performansi yang dibedakan oleh cutscores
(misalkan: dasar, menengah, lanjut).
2)
Pilih sampel peserta tes yang kemampuannya akan di-judge.
3)
Minta partisifan untuk men-judge tingkat performansi
peserta tes yang terpilih.
4)
Dapatkan skor dari peserta tes dimaksud.
5) Putuskan apakah akan dilakukan analisis untuk data dari
masing-masing partisifan atau kombinasi data dari keseluruhan partisifan.
6) Hitung persentase dari peserta tes pada setiap tingkatan
skor apakah masuk pada tingkatan dasar atau lebih tinggi.
7)
Gunakan metode penghalusan kurva untuk menyesuaikan
persentase yang telah dihitung.
c.
Kelebihan dan Kekurangan
1)
Kelebihan
a)
Judgement-nya berdasarkan person dan produk
sesungguhnya.
b)
Partisifan membuat berbagai judgement yang
mereka mengetahui cara melakukannya.
c)
Dapat memberikan gambaran mengenai efek dari penentuan cutscore
di berbagai lokasi dalam hal mana kesalahan klasifikasi akan dapat dibuat.
2)
Kekurangan
Sulit
mendapatkan evaluasi peserta tes, bukan terhadap hasil tes mereka, yang dapat diperbandingkan untuk wilayah yang
luas seperti suatu negera bagian.
3.
The Up and Down Modification of the Contrasting
Groups Method
a.
Overview
1)
Fokus pada judgement partisifan, dimana mereka
akan melakukan yang terbaik dalam wilayah dari skala skor dimana cutscore
berada.
2)
Masalah yang dapat muncul adalah terkait dengan
besarnya usaha dan biaya yang harus dikeluarkan.
3)
Cara yang cukup efektif untuk mengatasinya adalah
dengan memilih peserta tes yang skornya mendekati cutscore(s).
b.
Prosedur
1)
Pilih peserta tes dengan skor yang berada di daerah
pertengahan distribusi skor.
2)
Minta partisifan men-judge pekerjaan peserta tes
ini tanpa melihat hasil/skornya.
3)
Jika partisifan men-judge hasil kerja peserta
tes pertama pada tingkatan lanjut, pilih peserta tes berikutnya dengan skor
yang lebih rendah untuk di-judge.
Namun bila partisifan men-judge hasil kerja peserta tes tersebut
pada tingkatan dasar, maka pilih peserta tes dengan skor yang lebih tinggi
untuk di-judge olehnya.
4)
Ulangi langkah 3) sampai didapatkan sejumlah judgement
yang diinginkan.
5)
Kalkulasikan cutscore-nya.
c.
Kelebihan dan Kekurangan
1)
Kelebihan
a)
Fokus pada judgement partisifan di dalam wilayah
cutscore.
b)
Kelebihan lainnya sama dengan kelebihan pada The Contrasting
Groups Method.
2)
Kekurangan
a)
Hanya diaplikasikan bila peserta tes dan produk
diketahui dan keduanya dapat digunakan untuk judgement.
b)
Kekurangan lainnya sama dengan kelemahan pada The Contrasting
Groups Method
4.
The Body of Work Method
a.
Overview
1) Metode ini pada dasarnya adalah pendekatan Contrasting
Groups yang difokuskan pada pengkategorian karya dibandingkan dengan siswa
itu sendiri.
2) Metode ini didesain untuk tes dengan constructed-response
item, namun dapat juga digunakan jika sebagian tes memuat selected-response
item asalkan jumlahnya tidak banyak.
3)
Biasanya dilakukan dengan 3 putaran.
4) Cutscore diantara dua tingkat performansi
dipilih dengan cara menemukan titik pada skala skor yang membedakan paling baik
diantara Response Booklets yang ditempatkan di dalam tingkat-tingkat
performansi.
b.
Prosedur
1)
Dapatkan Response Booklets untuk dievaluasi
partisifan.
2)
Siapkan Response Booklets untuk latihan dan
putaran rentang temuan.
3)
Putaran pertama (latihan)
a)
Berikan tiap partisifan 5-8 Response Booklets
yang dipilih sebagi contoh dari beberapa tingkatan performansi.
b)
Minta partisifan mempelajari secara perorangan dengan
cermat untuk menentukan tiap Response Booklets merujuk pada tingkatan
performansi yang mana.
c)
Minta mereka menyampaikan hasil kerjanya dan tampilkan
gabungan hasil mereka untuk dilihat bersama.
d) Dorong
mereka melakukan diskusi atas perbedaan yang terjadi.
e)
Berikan kesempatan mereka untuk merubah penentuan yang
telah mereka lakukan.
f)
Sampaikan kepada mereka skor dari Response Booklets.
4)
Putaran kedua (rentang temuan)
a)
Berikan tiap partisifan 30 Response Booklets
lain yang dipilih agar mencakup contoh dari semua tingkatan performansi.
b)
Minta partisifan mempelajari secara perorangan dengan
cermat untuk menentukan tiap Response Booklets merujuk pada tingkatan
performansi yang mana.
c)
Minta mereka menyampaikan hasil kerjanya dan tampilkan
gabungan hasil mereka untuk dilihat secara bersama-sama.
d) Dorong
mereka melakukan diskusi atas perbedaan yang terjadi.
e)
Berikan kesempatan mereka untuk merubah penentuan yang
telah mereka lakukan.
f)
Tampilkan hasil perubahannya.
g)
Sampaikan kepada mereka skor dari Response Booklets
yang ditempatkan pada setiap tingkat performansi dan berikan kesempatan mereka
melakukan perubahan jika diinginkan.
h)
Gunakan hasil putaran ini untuk penentuan awal dimana cutscore
selayak berada.
5)
Putaran ketiga (pencocokan)
a)
Berikan tiap partisifan 2 Response Booklets lain
untuk masing-masing titik skor yang diperkirakan sebagai rentang cutscore
berdasarkan hasil putaran kedua. Ditambah masing-masing untuk satu titik skor
di bawah dan di atas rentang tersebut.
Acak semua Response Booklets tersebut sebelum dibagikan kepada
partisifan.
b)
Minta partisifan menempatkan tiap Response Booklets
di kategori dasar atau menengah.
c)
Lanjutkan dengan rentang kemungkinan yang lain.
d) Dorong
mereka melakukan diskusi.
e)
Tampilkan hasilnya.
f)
Dorong mereka melakukan diskusi atas perbedaan yang
terjadi.
g)
Beri kesempatan mereka untuk melakukan perubahan.
h)
Tampilkan hasilnya termasuk skor dari Response
Booklets agar dilihat oleh semua.
i)
Jika tersedia data mengenai dampak penentuan cutscore
yang dilakukan, sampaikan kepada mereka dan bila perlu, ulangi putaran ketiga
ini.
6)
Kalkulasikan cutscore-nya
c.
Kelebihan dan Kekurangan
1)
Kelebihan
a)
Cara kerjanya familiar bagi guru.
b)
Partisifan membuat keputusan berdasarkan keseluruhan “body
of work”.
c)
Putaran berganda dapat memfokuskan partisifan terhadap
respon peserta tes.
2)
Kekurangan
a)
Perlu Ordered Item Booklet yang banyak.
b)
Perlu penggandaan yang cepat setelah putaran kedua diselesaikan.
c)
Boros waktu.
d) Melelahkan
partisifan.
5.
The Analytic Judgement Method
a.
Overview
1)
Judgement dibuat berkaitan dengan respon
terhadap item secara individual.
2)
Metode ini dapat dijalankan pada tes dengan constructed
dan selected response item, sepanjang item dapat dikelompokkan ke dalam content
cluster yang bermakna.
3)
Metode ini dimulai dengan meminta partisifan untuk me-review
karya dari sampel peserta tes.
4)
Untuk setiap item atau kelompok item yang berhubungan, cutscore
adalah skor yang paling jelas membedakan antara respon terbaik pada
performansi yang lebih rendah dengan respon terburuk pada performansi di
atasnya.
b.
Prosedur
1)
Sebelum pertemuan, lakukan hal-hal berikut ini:
a)
Bagi tes ke dalam beberapa bagian agar dapat di-review
oleh partisifan secara terpisah.
b)
Pilih respon untuk judgement yang
merepresentasikan keseluruhan rentang performansi pada setiap bagian tes.
c) Putuskan apakah setiap respon diberikan kepada seluruh
partisifan sehingga mereka mendapatkan hal yang sama atau partisifan dibagi
dalam dua kelompok dan diberikan respon dari bagian tes yang berbeda.
2) Berikan 1 set respon (yang pertama) kepada partisifan,
minta mereka menempatkan respon pada suatu tingkatan performansi secara
perorangan untuk selanjutnya mengkategorikannya menjadi kelompok rendah,
sedang, dan tinggi pada masing-masing tingkatan performansi.
3)
Tampilkan hasil kerja dari semua partisifan dan dorong
mereka untuk mendiskusikan dan bila perlu melakukan perubahan.
4)
Ulangai langkah 2) dan 3) sampai semua bagian tes
diselesaikan.
5)
Kalkulasikan cutscore dari setiap bagian tes.
6)
Lakukan hal yang sama pada bagian-bagian tes yang lain.
7) Tunjukkan kepada partisifan hasilnya, termasuk data
yang menunjukkan konsekuensi bila cutscore diterapkan.
8)
Berikan kesempatan mereka melakukan perubahan.
9)
Jika terjadi perubahan, ulangi langkah 5) sampai 8).
c.
Kelebihan dan Kekurangan
1)
Kelebihan
a)
Mudah bagi partisifan untuk memahami dan melaksanakan
tugasnya.
b)
Tugas kognitif sudah
familiar bagi partisifan.
c)
Partisifan cenderung mencapai konsensus.
2)
Kekurangan
a)
Banyaknya jumlah respon yang harus di-judge dan
dikategorisasikan membuat banyak waktu yang diperlukan.
b) Tugas untuk mengkopikan respon bagi para partisifan
dapat menyulitkan dan juga menghabiskan waktu.
D.
Metode-metode yang Berdasarkan “Judgements about
Group of Test-Takers”
1.
Jugements about a Reference Group
a.
Overview
1) Pada metode ini, yang paling mudah sekaligus yang
paling membingungkan adalah memilih cutscore yang seharusnya ditempatkan
pada suatu persentase yang dispesifikasikan dari kelompok acuan ke dalam setiap
tingkat performansi.
2) Judgement persentase dari person kelompok acuan
yang berada dalam setiap tingkat performansi mengarahkan secara langsung kepada
pilihan dari sekelompok cutscores.
3)
Judgement mengenai person dalam kelompok acuan
seharusnya didasarkan pada beberapa jenis informasi selain dari skor tes.
b.
Prosedur
1)
Identifikasi kelompok acuan yang paling tidak berjumlah
100.
2)
Tentukan pengetahuan dan keterampilan yang diperlukan
untuk setiap tingkatan performansi.
3) Kumpulkan hasil judgement dari partisifan
mengenai persentase peserta dari kelompok acuan yang berada pada tiap tingkatan
performansi.
4) Pada tiap tingkatan kemampuan, tampilkan judgement
dari tiap partisifan agar dapat dilihat oleh semua.
5) Jika terjadi perbedaan yang substansial, dorong
terjadinya diskusi dan beri kesempatan mereka untuk melakukan perubahan.
6)
Kalkulasikan cutscore-nya.
c.
Kelebihan dan Kekurangan
1)
Kelebihan
a)
Sesuai dengan realitas dari performansi peserta tes.
b) Disarankan sebagai metode untuk memeriksa metode-metode
yang berdasarkan pada Judgement about Test Questions.
2)
Kekurangan
Sulit untuk
menemukan partisifan yang memenuhi kualifikasi untuk melakukan judgement
mengenai berapa persen dari peserta tes dalam kelompok acuan harus berada pada
setiap tingkatan performansi.
2.
Judgements about Two Reference Groups
a.
Overview
1)
Metode ini tidak memerlukan judgement mengenai
individu peserta tes.
2)
Metode ini terlepas dari asumsi bahwa person dalam
kelompok acuan adalah seperti orang yang mengikuti tes sesungguhnya.
b.
Prosedur
1) Identifikasi kelompok rujukan yang sedapat mungkin
menggambarkan peserta tes yang sesungguhnya. Untuk setiap tingkatan performansi
diperlukan kelompok yang memenuhi kualifikasi dan yang tidak. Untuk kelompok yang tak memenuhi kualifikasi
dapat digunakan peserta kursus yang mendapatkan hasil kurang memadai.
2)
Pilih sampel peserta dari tiap kelompok (paling tidak
berjumlah 50) dan berikan mereka tes.
3) Untuk menentukan cutscore, hitung median dari
tiap kelompok lalu tentukan titik tengah antar dua median sebagai cutscore-nya.
c.
Kelebihan dan Kekurangan
1)
Kelebihan
a)
Berdasarkan pada performansi aktual.
b) Sangat efisien untuk membuat judgement mengenai
suatu kelompok dari peserta tes sebagai suatu keseluruhan dibandingkan sebagai
peserta tes individual.
2)
Kekurangan
a)
Hanya semata-mata mengidentifikasi suatu kelompok sebagai
mampu dan yang lainnya tidak, namun tidak persis benar. Kelompok mampu ada yang jauh di atas borderline
namun ada pula yang dekat, begitu pula dengan kelompok yang tidak mampu. Perbedaan ini dapat membuat perbedaan yang
besar dalam penempatan cutscore dan lokasi dari cutscore menjadi
sulit dispesifikasikan secara tepat.
b) Tidak selalu menghasilkan hasil yang sama sebagaimana Contrasting
Groups yang berdasarkan judgement mengenai peserta tes secara
individual.
E.
Rangkuman dan Perbandingan
Tiga kelompok
metode sebagaimana yang telah dipaparkan sebelum ini, yaitu metode-metode yang
berdasarkan pada: Judgements about Test Questions, Judgements about
Individual of Test-Takers, dan Judgements about Group of Test-Takers,
sebenarnya merupakan pecahan dari dua kelompok besar yaitu:
1.
Metode-metode yang berdasarkan pada Test Questions
2.
Metode-metode yang berdasarkan pada Test Takers.
Beberapa
metode dipaparkan untuk mewakili masing-masing kelompok termasuk variasinya,
misalkan Angoff Method dilengkapi dengan dua variasinya yaitu Angoff
Mean Estimation dan Angoff Yes or No Method. Meskipun demikian masih ada beberapa metode
yang tidak ikut dipaparkan, misalnya pada kelompok Judgements about Test
Questions tidak dipaparkan mengenai Jaeger’s Method dan pada
kelompok Judgements about Group of Test-Takers tidak dipaparkan mengenai
Berk’s Method. Ada pula Direct Consensus Method dan Judgmental
Policy Capturing Method, Standard Setting Using Cluster Analysis,
dll.
Selain itu ada
pengelompokkan lain seperti:
1.
Metode-metode yang Berdasarkan “Profiles of Scores”
a.
The Performance Profile Method.
b.
The Dominant Profile Method.
2. Metode-metode yang Berdasarkan “Compromises between
Absolute and Normative Judgements”
a.
The Beuk Method.
b.
The Hofstee Method.
dan Vertically-Moderated
Standard Setting (VMSS).
Berdasarkan uraian
yang telah dipaparkan, maka untuk dapat dibuatkan tabel perbandingannya berikut ini.
Download file ini dalam bentuk PDF (versi Bahasa Indonesia) di link berikut ini:
0 komentar:
Posting Komentar