Myspace Extended Network Banners
Myspace Network Banners

Myspace Icons

Pages

Myspace Extended Network Banners
Myspace Network Banners

Myspace Icons

Selasa, 10 April 2012

MENETAPKAN STANDARD PERFORMANSI - Setting Performance Standard


A.    Asumsi-asumsi
1.      Asumsi Umum
Semua metode standard setting mengasumsikan bahwa:
a)      Partisifan (judges) yang melakukan judgement adalah orang yang memang qualified untuk itu.
b)     Judgement yang dilakukan memiliki kebermaknaan paling tidak bagi partisifan yang membuatnya.
c)      Judgement dibuat dengan merujuk pada tujuan dilakukannya tes (jika tes hendak merefleksikan tingkat minimum dari keterampilan matematika untuk SMA, maka standard yang dihasilkan seharusnya tidak merefleksikan tingkat performansi yang diharapkan dari seorang akuntan publik terakreditasi).

2.      Asumsi Khusus
a)      Untuk metode-metode yang berdasarkan ”Judgements about Test Questions
1)      Angoff, Nedelsky, and Ebel Method kesemuanya mengasumsikan bahwa partisifan mampu menggambarkan dengan teliti mengenai respon peserta tes terhadap item tertentu.
2)  Kesemua metode dalam kelompok ini berasumsi bahwa dapat ditemukan sekelompok partisifan yang dapat melakukan judgement yang bermakna diluar pembuat tes.
3)     Angoff Method mengasumsikan bahwa partisifan mampu menentukan peluang dari peserta tes pada borderline seharusnya menjawab dengan benar.
4)  Dalam hal ini perlu untuk hanya mengasumsikan bahwa partisifan benar terkait dengan rata-ratanya sedangkan terkait dengan item secara satu-persatu, tidaklah mesti demikian.
5)     Sejalan dengan itu, Nedelsky Method mengasumsikan bahwa partisifan mampu menentukan pilihan jawaban yang seharusnya dikenal oleh peserta tes pada borderline sebagai pilihan jawaban yang tidak benar.
6)   Ebel Method menggunakan asumsi yang sejalan dengan Angoff dan Nedelsky Method, hanya dengan cara yang lebih kompleks.

b)  Untuk metode-metode yang berdasarkan “Judgements about Individual of Test-Takers” diasumsikan bahwa:
1)  Judgement mengenai peserta tes didasarkan pada pengetahuan dan keterampilan yang menjadi sasaran tes yang bersangkutan.
2)      Judgement merefleksikan kemampuan peserta tes pada saat testing dilakukan.
3)      Judgement merefleksikan opini yang sebenarnya dari partisifan.
4)    Jika digunakan Contrasting Groups Method, asumsi tambahannya adalah bahwa peserta tes merupakan sampel yang representatif.

c)      Untuk metode-metode yang berdasarkan “Judgements about Group of Test-Takers
Diasumsikan bahwa partisifan mampu membuat judgement yang bermakna mengenai beberapa kelompok acuan, seperti peserta tes yang skornya telah diketahui. Contohnya:
1)   Partisifan diminta menentukan persentase peserta tes tahun lalu yang memiliki kemampuan terkait dengan pengetahuan dan keterampilan yang diujikan.
2)     Atau partisifan diminta mengidentifikasi kelompok tertentu dimana rata-rata skor peserta tes dalam kelompok yang bersangkutan merepresentasikan tingkat terendah dari pengetahuan dan keterampilan yang diharapkan.

B.     Metode-metode yang Berdasarkan “Judgements about Test Questions
1.      The Angoff Method
a.       Overview
1)  Metode ini diterapkan terbatas pada bentuk tes pilihan ganda khususnya dengan skor dikotomus (0 – 1).
2)  Pada metode ini partisifan diminta menentukan peluang peserta pada borderline untuk menjawab setiap item dengan benar.
3)   Jika tes di-skor dengan memberikan satu poin pada tiap item yang dijawab dengan benar, maka peluang peserta tes untuk menjawab item dengan benar adalah setara dengan skor harapan peserta tes pada item tersebut.
4)      Jika skor harapan dari tiap item dijumlahkan, maka akan didapat skor harapan untuk seluruh tes.
5)    Dengan cara demikian akan bisa didapatkan skor harapan untuk peserta tes pada borderline jika diketahui peluangnya menjawab dengan benar pada tiap item.
6)  Jumlah dari judgement seorang partisifan mengenai peluang peserta tes pada borderline menjawab tiap item dengan benar merupakan estimasinya mengenai cutscore.
7)   Cutscores hasil estimasi kelompok didapat dengan menggunakan ukuran pemusatan data seperti mean, trimmed mean, maupun median dari cutsores setiap partisifan.

b.      Prosedur
1)      Pilah item menjadi 2 atau 3 bagian.
2)  Minta partisifan membuat judgement pendahuluan terhadap item di awal tes (bagian pertama).
3)    Minta seluruh partisifan melaporkan judgement mereka, catat, dan tampilkan agar dapat dilihat mereka semua.
4)      Berikan feedback ringkas terhadap hasil judgement tiap item dan secara keseluruhan.
5)     Bimbing mereka mendiskusikannya secara singkat, dan jika hasil judgement sudah serupa, lanjutkan ke pertanyaan selanjutnya hingga selesai seluruh item bagian pertama ini.
6)   Minta partisifan membuat judgement terhadap item yang ada pada bagian berikutnya, lalu lakukan langkah 3), 4), dan 5).  Jika tes dibagi dalam 3 bagian, lakukan lagi untuk bagian ketiganya.
7)      Kumpulkan dan catat seluruh hasil judgement.
8)      Kalkulasaikan cutscore-nya.

c.       Kelebihan dan Kekurangan
1)      Kelebihan
a)      Sangat umum digunakan.
b)      Paling sering diteliti.
c)    Jika ada metode menentukan cutscores yang dikenal, serasi, dan mapan, itulah Angoff Method.
2)      Kekurangan
a) Masalah utamanya seperti meode-metode yang berdasarkan judgement adalah menentukan bagaimana performansi semestinya dari peserta tes pada borderline.
b)  Akibatnya beberapa peneliti melaporkan bahwa judgement yang diperlukan melalui Angoff Method sangat sulit dibuat oleh partisifan.  Meskipun demikian peneliti lain melaporkan bahwa meskipun pada awalnya partisifan mengalami kesulitan, namun tidak pada akhirnya.
c)      Hal tersebut pada poin a) juga membuat hasil judgement dapat berbeda dengan realitas yang sesungguhnya, karena metode ini tidak berdasarkan data performansi peserta tes sesungguhnya.

2.      The Angoff Mean Estimation Method
a.       Overview
1)  Berbeda dengan Angoff Method, Angoff Mean Estimation Method diterapkan pada bentuk tes essay dan performansi dengan skor politomus yang tidak mesti berupa bilangan bulat.
2) Namun secara matematis pada dasarnya keduanya sama, karena ketika partisifan mengestimasi peluang dari peserta tes pada borderline untuk menjawab suatu butir soal pilihan ganda dengan benar, mereka sebenarnya juga mengestimasi rerata skor yang sebagian besar seharusnya dicapai oleh peserta tes pada borderline untuk item yang bersangkutan. Contohnya, jika diestimasi peluang peserta tes pada borderline untuk menjawab benar suatu item sebesar 0,5 yang artinya 50% peserta tes dimaksud seharusnya menjawab dengan benar, dimana setengah dari mereka seharusnya mendapat skor 0 dan setengahnya lagi mendapatkan skor 1.  Jelas dalam hal ini rata-ratanya juga sama yaitu 0,5.

b.      Prosedur
1)      Berikan rubrik penskoran kepada partisifan.
2)      Berikan juga sampel respon pada setiap tingkatan skor kepada mereka.
3)   Lakukan langkah-langkah seperti Angoff Method dengan satu pengecualian, yang diminta kepada partisifan bukan mengestimasi kemungkinan jawaban benar dari suatu pertanyaan pilihan ganda, tetapi meminta kepada partisifan untuk mengestimasi rata-rata skor yang seharusnya dicapai oleh peserta tes pada borderline dari suatu pertanyaan essay atau performansi.

c.       Kelebihan dan Kekurangan
1)      Kelebihan
Sama dengan Angoff Method, hanya saja kelebihannya terkait dengan aplikasinya pada Constructed-Response Test seperti essay dan performansi tes, berbeda dengan Angoff Method yang kelebihannya terkait dengan aplikasi pada Selected-Response Test yang berupa pilihan ganda.  Sehingga jika suatu tes terdiri dari bentuk soal pilihan ganda dan essay, dan atau performansi, maka cutscore-nya dapat ditentukan dengan menggunakan kombinasi Angoff Method dan Angoff Mean Estimation Method.
2)      Kekurangan
Sama dengan Angoff Method.

3.      The Angoff Yes or No Method
a.       Overview
1)    Angoff Method yang popular sekarang ini pertama sekali dijelaskan dalam catatan kaki yang ringkas dari satu bab yang ditulis oleh Angoff pada sebuah buku tentang pegukuran pendidikan.  Catatan kaki ni merujuk pada satu paragraf di dalam bab yang bersangkutan.
2)   Pada paragraf tersebut Angoff menyarankan untuk mematok cutscore dengan cara mengingat peserta tes pada borderline dan menentukan apakah mereka mampu memberikan jawaban yang benar atau tidak pada suatu item.
3)   Dampaknya adalah, Yes or No Method semestinya adalah metode dari Angoff yang paling populer, dengan catatan bahwa peluang yang dizinkan hanya 0 dan 1.

b.      Prosedur
Lakukan langkah-langkah seperti Angoff Method dengan satu pengecualian, yang diminta kepada partisifan adalah memutuskan apakah peserta tes pada borderline akan menjawab dengan benar.  Partisifan diminta untuk menuliskan “yes” untuk pertanyaan dimana peserta tes pada borderline seharusnya menjawab benar dan “no” untuk pertanyaan dimana peserta tes pada borderline seharusnya menjawab tidak dengan benar.

c.       Kelebihan dan Kekurangan
1)      Kelebihan
a)    Adalah lebih mudah bagi partisifan untuk membuat judgement yes or no dibandingkan dengan memperkirakan peluang menjawab benar seperti pada Angoff Method.
b)      Karena lebih mudah, maka proses judgement juga akan berlangsung lebih cepat
2)      Kekurangan
a)  Metode ini tidak mengizinkan partisifan untuk membuat berbagai perbedaan yang semestinya menurut penilaian mereka.  Misalkan partisifan memiliki keyakinan kuat bahwa peserta tes pada borderline memiliki peluang 0,8 untuk menjawab dengan benar atau 0,4 pada item yang lain, namun karena Yes or No Method hanya mengizinkan 0 atau 1, maka peluang 0,8  akan menjadi 1 dan 0,4 akan menjadi 0.
b)      Oleh karena itu Yes or No Method dapat menjadi kurang akurat.

4.      The Nedelsky Method
a.       Overview
1)      Metode ini cocok digunakan untuk selected response item berbentuk pilihan ganda.
2)    Cara kerjanya adalah dengan meminta partisifan mengeliminasi pilihan (option) jawaban yang seharusnya diketahui tidak benar oleh peserta tes pada borderline.
3)  Peluang menjawab benar dari peserta dimaksud adalah 1 dibagi dengan banyaknya sisa pilihan jawaban.
4)      Penjumlahan peluang dari setiap item merupakan estimasi partisifan terhadap cutscore.
5)     Sedangkan untuk estimasi cutscore secara keseluruhan didapat dengan menggunakan ukuran pemusatan data seperti mean, trimmed-mean, maupun median.

b.      Prosedur
1)      Minta partisifan membuat judgement pendahuluan terhadap suluruh item.
2)      Bimbing mereka melakukan diskusi untuk setiap item.
3)      Minta partisifan untuk me-review keputusan mereka sebelumnya .
4)      Kumpulkan hasil judgement hasil langkah 3).
5)  Disarankan untuk melakukan langkah-langkah di atas dalam 2 – 3 putaran, dan diantara putaran, berikan informasi tingkat kesukaran tiap pertanyaan dan cutscore hasil putaran sebelumnya.
6)      Kalkulasi cutscore akhir.

c.       Kelebihan dan Kekurangan
1)      Kelebihan
Sangat berguna jika pilihan jawaban yang tersedia memiliki perbedaan yang jelas (tidak homogen).
2)      Kekurangan
a)  Seperti halnya dengan metode berbasiskan judgement lainnya, hasilnya bisa tidak menggambarkan realita.
b)     Perlu waktu yang lebih lama karena partisifan harus memutuskan mengenai pilihan-pilihan jawaban yang seharusnya diketahui keliru oleh peserta tes pada borderline untuk setiap item.
c)      Hanya sedikit perbedaan peluang menjawab benar yang tersedia, misalkan ada 4 pilihan, jika tidak ada yang dikethui keliru maka peluangnya 0,25, jika diketahui 1 pilihan keliru maka peluangnya 0,33, jika diketahui 2 pilihan keliru maka peluangnya adalah 0,5 jika diketahui 3 pilihan keliru maka peluangnya menjadi 1, tidak memberikan kemungkinn peluang diantaranya.
d)  Reduksi peluang ini membuat Nedelsky Method sulit untuk men-setting multiple cutscore pada tes yang sama.

5.      The Ebel Method
a.       Overview
1) Ebel Method merupakan prosedur 2 tahap dimana partisifan mengelompokkan item berdasarkan kesulitannya (mudah, sedang, sulit) dan relevansi/kepentingannya (esensial, penting, dapat diterima, dan dipertanyakan) kemudian mereka diminta membuat judgement untuk setiap kelompok yang dihasilkan.
2)    Cutscore dari setiap partisifan didapat dengan cara mengalikan peluang dari setiap kelompok item, yang seharusnya dijawab dengan benar oleh peserta tes pada borderline, dengan jumlah item di kelompok tersebut, kemudian dijumlahkan.
3)   Cutscore dari keseluruhan partisifan didapat dengan menggunakan ukuran pemusatan data berupa mean, trimmed-mean, maupun median.

b.      Prosedur
1)   Meminta partisifan untuk mengklasifikasikan item berdasarkan tingkat kesulitan dan tingkat urgensi/relevansinya secara satu-persatu.
2)      Bimbing mereka untuk mendiskusikan setiap item.
3)     Dorong terjadinya diskusi antar partisifan dan berikan kesempatan masing-masing partisifan  mengklasifikasikan ulang item yang mereka anggap perlu.
4)  Meminta partisifan membuat judgement mengenai performansi dari peserta tes pada borderline untuk setiap kelompok item hasil pengklasifikasian.
5)      Bimbing partisifan untuk mendiskusikan hasil judgement pada tiap kelompok item.
6)      Kumpulkan hasil judgement.
7)      Kalkulasi cutscore-nya.

c.       Kelebihan dan Kekurangan
1)      Kelebihan
a)  Partisifan hanya melakukan judgement maksimum pada 12 kelompok item, tidak sebanyak jika men-judgement setiap item.
b) Melakukan judgement-nya tentu saja menjadi lebih mudah dibandingkan harus men-judge setiap item.
2)      Kekurangan
a)    Mengelompokkan item berdasarkan relevansi/urgensinya memerlukan pengetahuan dan keterampilan dari partisifan terkait dengan item yang bersangkutan.
b)     Kelemahan lainnya adalah dapat berbeda dari realitas sebagaimana kelemahan metode-metode berbasiskan judgement.
c) Multiple judgement yang diperlukan dapat memboroskan waktu terutama jika dibandingkan dengan Angoff Method.

6.      The Bookmark Method
a.       Overview
1)     Metode ini dikembangkan untuk digunakan pada tes yang diberi skor dengan menggunakan IRT
2) Penggunanya harus memahami cara melakukan kalibrasi dengan IRT dan software pendukungnya.
3)      Metode ini paling banyak digunakan sebagaimetode cutscore untuk penilaian kelas 12.
4)     Partisifan diberi booklet tes khusus yang disebut Ordered Item Booklet yang menampilkan item secara berurut mulai dari yang paling mudah sampai yang paling sukar.
5)   Partisifan diminta memberi tanda pada bagian yang memisahkan item mudah, yang seharusnya dijawab dengan benar oleh peserta tes pada borderline, dan item sulit, yang seharusnya dijawab oleh mereka tidak dengan benar.
6)   Setelah itu baru ditentukan cutscore harapan untuk peserta tes pada borderline oleh statistisi.

b.      Prosedur
1)     Urutkan item dari yang mudah ke yang sulit berdasarkan parameter b hasil kalibrasi IRT dan mulailah pada setiap item di halaman terpisah dari Item Booklet terurut.
2)  Buat tabel peta item (item map)yang mencakup nomor urut berdasarkan kesulitan butir, nomor asal item, kunci jawaban, tingkat kesulitan butir, “content strand”, dan komentar.
3)      Memilih pimpinan meja dari partisifan yang ada, untuk masing-asing meja.
4)      Tempatkan partisifan dalam kelompok kecil yang duduk di meja terpisah.
5)      Berikan Item Booklet dan Peta Item kepada partisifan.
6)  Minta partisifan membaca keseluruhan item booklet dari item termudah sampai ke item tersulit dan menempatkan suatu “bookmark” pada titik antara pertanyaan terakhir yang peserta tes pada borderline kemungkinan menjawab dengan benar dan pertanyaan pertama yang mereka kemungkinanya tidak mampu menjawab dengan benar.
7) Tetap minta partisifan membaca lebih lanjut item booklet untuk mencegah mereka memberikan bookmark tanpa melihat item-tem selanjutnya.
8)   Jika lebih dari satu cutscore ditentukan, katakan pada partisifan untuk melanjutkan hingga akhir item booklet dan menempatkan bookmark(s) yang lain untuk cutscore(s) selanjutnya.
9)    Disarankan melakukan langkah-langkah di atas dalam tiga putaran, dimana setelah putaran pertama, berikan masukan kepada mereka tentang bookmark yang mereka buat dibandingkan dengan yang lain.  Selanjutnya dorong mereka untuk mendiskusikannya antar sesama partisifan di satu meja (diskusi kelompok).
10)  Sampaikan kepada seluruh partisifan mengenai rentang dari penempatan bookmark di meja mereka dan di meja-meja yang lain.  Beri kesempatan pimpinan meja menjelaskan diskusi di meja mereka khususnya pada item yang tidak mereka sepakati, lalu berikan kesempatan partisifan dari meja lainnya untuk menanggapi (ini bentuk diskusi kelas) sebelum kembali ke diskusi masing-masing meja.
11)  Minta partisifan menempatkan bookmark untuk putaran yang ketiga.
12)  Mengkalkulasi cutscore berdasarkan median penempatan bookmark.
13)  Meminta partisifan me-review deskriptor tingkat performansi dan memastikannya kongruen dengan titik potong (cutpoints) yang ditentukan saat pertemuan.

c.       Kelebihan dan Kekurangan
1)      Kelebihan
a)      Efisien untuk men-setting 2 atau lebih cutscore pada tes yang sama.
b)      Partisifan umumnya mengetahui tugas mereka dalam hal ini.
c)      Statistisi hanya memasukkan 1 angka dari tiap partisifan untuk tiap cutscore-nya.
d)     Dapat dugunakan untuk selected response item maupun constructed response item.
2)      Kekurangan
a)      Memerlukan pekerjaan tambahan untuk membuat Ordered Item Booklet.
b)      Statistisi harus menyiapkan tabel yang lengkap dari cutscores yang berhubungan dengan setiap kemungkinan penempatan bookmark.
c) Terkadang partisifan salah mengartikan nomor item sebelum di-bookmark sebagai cutscore yang berjumlah benar, sehingga skor mentah dari cutscore yang dihasilkan terkadang cocok dengan nomor item sebelum di-bookmark.
d)  Pratisifan seringkali ingin tahu tentang IRT dan sulit menjelaskan kepada mereka jika mereka tidak familiar dengan konsep matematisnya.

7.      The Item Descriptor Matching Method
a.       Overview
1)      Memerlukan tes yang dikalibrasi menggunakan IRT.
2)      Seperti Bookmark Method, juga diperlukan Ordered Item Booklet.
3)  Partisifan menghubungkan setiap item pada Ordered Item Booklet dengan suatu tingkat performansi tertentu dengan menggunakan deskriptor tingkat performansi dan mereka sendiri yang menentukan apakah peserta tes mampu menjawab dengan benar.
4)    Partisifan mencocokkan pengetahuan dan keterampilan yang diperlukan untuk memberikan jawaban pada tiap item dengan pengetahuan dan keterampilan yang diperlukan untuk berada pada tingkat performansi tertentu.
5)    Partisifan menuliskan tingkat performansi awal yang terpilih seperti: tingkatan dasar (basic), menengah (proficient) , atau lanjut (advance).
6)  Partisifan menganalisis pola kecocokan untuk menentukan pengetahuan dan keterampilan yang kiranya berubah dari suatu tingkatan ke tingkatan performansi di atasnya.
7)    Partisifan membuat garis potong diantara dua item sebagai batas antara tingkat performansi yang lebih rendah dengan tingkat performansi berikutnya.
8)      Proses ini diulang jika beberapa cutscore harus dibuat.
9)      Kalkulasi cutscore-nya sama dengan Bookmark Method.

b.      Prosedur
1)      Membuat Ordered Item Booklet dan Peta Item.
2)   Perlu didiskusikan apakah partisifan perlu ditempatkan dalam kelomok-kelompok kecil di meja yang berbeda.
3)  Meminta partisifan bekerja secara perseorangan untuk mencocokkan pengetahuan dan keterampilan yang diperlukan untuk memberikan jawaban pada tiap item dengan pengetahuan dan keterampilan yang dipaparkan pada deskriptor tingkat performansi.
4)      Meminta partisifan menuliskan tingkat performansi awal yang terpilih seperti: tingkatan dasar, menengah, atau lanjut.
5) Meminta partisifan menganalisis pola kecocokan untuk menentukan pengetahuan dan keterampilan yang kiranya berubah dari suatu tingkatan ke tingkatan performansi di atasnya.
6)   Partisifan membuat garis potong diantara dua item sebagai batas antara tingkat performansi yang lebih rendah dengan tingkat performansi berikutnya.
7)     Diharapkan proses pada langkah 4), 5), dan 6) ini dilakukan 3 kali (putaran), dimana setelah putaran 1 mintalah partisifan membandingkan penempatan garis potong mereka dan diskusikan bila terdapat ketidaksesuaian.
8)    Setelah putaran kedua, mintalah partisifan melihat tes sebagai suatu keseluruhan dibandingkan memperhatikan item secara satu-persatu untuk memastikan apakah item-item yang berada di bawah garis potong cocok dengan deskriptor tingkat performansi yang lebih rendah dan sebaliknya.
9)      Kalkulasikan cutscore sementara dengan cara seperti Bookmark Method.
10)  Sebelum putaran terakhir dilakukan, berikan gambaran kepada partisfan mengenai berapa peserta tes yang akan masuk pada tingkat tertentu jika cutscore diterapkan dan minta mereka mempertimbangkan kembali garis potong yang mereka buat masing-masing.
11)  Setelah putaran ketiga dilakukan, kalkulasikan cutscore akhirnya.

c.       Kelebihan dan Kekurangan
1)      Kelebihan
a)      Tugas dari partisifan merupakan hal yang sudah biasa bagi seorang guru.
b)      Mudah untuk dijelaskan kepada mereka.
c)      Kelebihan lain metode ini pada dasarnya sama dengan Bookmark Method.
2)      Kekurangan
a)      Jarang digunakan.
b)      Hanya sedikit yang menelitinya.

C.    Metode-metode yang Berdasarkan “Judgements about Individual of Test-Takers
1.      The Borderline Group Method
a.       Overview
1)  Ide dari metode ini adalah bahwa cutscore seharusnya merupakan skor yang seharusnya merupakan harapan dari peserta tes yang kemampuannya berada pada borderline dari suatu tingkat performansi, sehingga  metode ini dapat dianggap sebagai bagian dari kelompok metode yang berdasarkan pada  Judgements about Test Questions.
2)  Namun berbeda degan metode berdasarkan  Judgements about Test Questions, pada metode ini partisifan diminta untuk mengidentifikasi peserta tes sesungguhnya yang merupakan borderline dalam hal pengetahuan dan kemampuan yang diujikan.
3)      Cutscore ditentukan berdasarkan median dari kelompok borderline ini.

b.      Prosedur
1)  Tentukan garis batas tingkatan pengetahuan dan keterampilan yang dujikan pada setiap tingkat performansi.
2)    Minta partisifan mengidentifikasi peserta tes pada borderline untuk setiap tingkat performansi berdasarkan pertimbangan yang bijak.
3)      Tentukan skor tes dari peserta tes pada borderline untuk tingkat performansi tertentu.
4)      Kalkulasikan cutscore-nya.

c.       Kelebihan dan Kekurangan
1)      Kelebihan
a)      Sederhana.
b)      Mudah digunakan.
c)      Mudah dijelaskan.
2)      Kekurangan
a)    Kelompok borderline kemungkinan mencakup peserta tes yang tak seharusnya ada di situ.
b)     Jika tidak, biasanya kelompok borderline menjadi kecil jumlahnya, sehingga menyulitkan partisifan untuk mengidentifikasi apakah mereka memang kelompok borderline atau bukan.
c)  Partisifan kemungkinan mendasarkan judgement-nya pada sesuatu diluar apa yang hendak diujikan.
d)  Kemungkinan adanya perbedaan standard individual dari partisifan untuk men-judge peserta tes.

2.      The Contrasting Groups Method
a.       Overview
1)    Ide dari metode ini adalah peserta tes pada setiap tingkatan performansi dapat dikelompok menjadi dua yaitu yang memenuhi kualifikasi dan yang tidak.
2)   Dengan mendapatkan skor dari kedua kelompok maka akan dapat ditemukan pula skor terbaik yang memisahkan kedua kelompok tersebut.

b.      Prosedur
1)  Tentukan tingkat performansi yang dibedakan oleh cutscores (misalkan: dasar, menengah, lanjut).
2)      Pilih sampel peserta tes yang kemampuannya akan di-judge.
3)      Minta partisifan untuk men-judge tingkat performansi peserta tes yang terpilih.
4)      Dapatkan skor dari peserta tes dimaksud.
5)  Putuskan apakah akan dilakukan analisis untuk data dari masing-masing partisifan atau kombinasi data dari keseluruhan partisifan.
6)     Hitung persentase dari peserta tes pada setiap tingkatan skor apakah masuk pada tingkatan dasar atau lebih tinggi.
7)      Gunakan metode penghalusan kurva untuk menyesuaikan persentase yang telah dihitung.

c.       Kelebihan dan Kekurangan
1)      Kelebihan
a)      Judgement-nya berdasarkan person dan produk sesungguhnya.
b)      Partisifan membuat berbagai judgement yang mereka mengetahui cara melakukannya.
c)      Dapat memberikan gambaran mengenai efek dari penentuan cutscore di berbagai lokasi dalam hal mana kesalahan klasifikasi akan dapat dibuat.
2)      Kekurangan
Sulit mendapatkan evaluasi peserta tes, bukan terhadap hasil tes mereka,  yang dapat diperbandingkan untuk wilayah yang luas seperti suatu negera bagian.

3.      The Up and Down Modification of the Contrasting Groups Method
a.       Overview
1)  Fokus pada judgement partisifan, dimana mereka akan melakukan yang terbaik dalam wilayah dari skala skor dimana cutscore berada.
2)  Masalah yang dapat muncul adalah terkait dengan besarnya usaha dan biaya yang harus dikeluarkan.
3)     Cara yang cukup efektif untuk mengatasinya adalah dengan memilih peserta tes yang skornya mendekati cutscore(s).

b.      Prosedur
1)      Pilih peserta tes dengan skor yang berada di daerah pertengahan distribusi skor.
2)      Minta partisifan men-judge pekerjaan peserta tes ini tanpa melihat hasil/skornya.
3)      Jika partisifan men-judge hasil kerja peserta tes pertama pada tingkatan lanjut, pilih peserta tes berikutnya dengan skor yang lebih rendah untuk di-judge.  Namun bila partisifan men-judge hasil kerja peserta tes tersebut pada tingkatan dasar, maka pilih peserta tes dengan skor yang lebih tinggi untuk di-judge olehnya.
4)      Ulangi langkah 3) sampai didapatkan sejumlah judgement yang diinginkan.
5)      Kalkulasikan cutscore-nya.

c.       Kelebihan dan Kekurangan
1)      Kelebihan
a)      Fokus pada judgement partisifan di dalam wilayah cutscore.
b)      Kelebihan lainnya sama dengan kelebihan pada The Contrasting Groups Method.
2)      Kekurangan
a)      Hanya diaplikasikan bila peserta tes dan produk diketahui dan keduanya dapat digunakan untuk judgement.
b)      Kekurangan lainnya sama dengan kelemahan pada The Contrasting Groups Method

4.      The Body of Work Method
a.       Overview
1)   Metode ini pada dasarnya adalah pendekatan Contrasting Groups yang difokuskan pada pengkategorian karya dibandingkan dengan siswa itu sendiri.
2) Metode ini didesain untuk tes dengan constructed-response item, namun dapat juga digunakan jika sebagian tes memuat selected-response item asalkan jumlahnya tidak banyak.
3)      Biasanya dilakukan dengan 3 putaran.
4)   Cutscore diantara dua tingkat performansi dipilih dengan cara menemukan titik pada skala skor yang membedakan paling baik diantara Response Booklets yang ditempatkan di dalam tingkat-tingkat performansi.

b.      Prosedur
1)      Dapatkan Response Booklets untuk dievaluasi partisifan.
2)      Siapkan Response Booklets untuk latihan dan putaran rentang temuan.
3)      Putaran pertama (latihan)
a)    Berikan tiap partisifan 5-8 Response Booklets yang dipilih sebagi contoh dari beberapa tingkatan performansi.
b)   Minta partisifan mempelajari secara perorangan dengan cermat untuk menentukan tiap Response Booklets merujuk pada tingkatan performansi yang mana.
c)      Minta mereka menyampaikan hasil kerjanya dan tampilkan gabungan hasil mereka untuk dilihat bersama.
d)     Dorong mereka melakukan diskusi atas perbedaan yang terjadi.
e)      Berikan kesempatan mereka untuk merubah penentuan yang telah mereka lakukan.
f)       Sampaikan kepada mereka skor dari Response Booklets.
4)      Putaran kedua (rentang temuan)
a)    Berikan tiap partisifan 30 Response Booklets lain yang dipilih agar mencakup contoh dari semua tingkatan performansi.
b)   Minta partisifan mempelajari secara perorangan dengan cermat untuk menentukan tiap Response Booklets merujuk pada tingkatan performansi yang mana.
c)      Minta mereka menyampaikan hasil kerjanya dan tampilkan gabungan hasil mereka untuk dilihat secara bersama-sama.
d)     Dorong mereka melakukan diskusi atas perbedaan yang terjadi.
e)      Berikan kesempatan mereka untuk merubah penentuan yang telah mereka lakukan.
f)       Tampilkan hasil perubahannya.
g)      Sampaikan kepada mereka skor dari Response Booklets yang ditempatkan pada setiap tingkat performansi dan berikan kesempatan mereka melakukan perubahan jika diinginkan.
h)      Gunakan hasil putaran ini untuk penentuan awal dimana cutscore selayak berada.
5)      Putaran ketiga (pencocokan)
a)   Berikan tiap partisifan 2 Response Booklets lain untuk masing-masing titik skor yang diperkirakan sebagai rentang cutscore berdasarkan hasil putaran kedua. Ditambah masing-masing untuk satu titik skor di bawah dan di atas rentang tersebut.  Acak semua Response Booklets tersebut sebelum dibagikan kepada partisifan.
b)      Minta partisifan menempatkan tiap Response Booklets di kategori dasar atau menengah.
c)      Lanjutkan dengan rentang kemungkinan yang lain.
d)     Dorong mereka melakukan diskusi.
e)      Tampilkan hasilnya.
f)       Dorong mereka melakukan diskusi atas perbedaan yang terjadi.
g)      Beri kesempatan mereka untuk melakukan perubahan.
h)      Tampilkan hasilnya termasuk skor dari Response Booklets agar dilihat oleh semua.
i)   Jika tersedia data mengenai dampak penentuan cutscore yang dilakukan, sampaikan kepada mereka dan bila perlu, ulangi putaran ketiga ini.
6)      Kalkulasikan cutscore-nya

c.       Kelebihan dan Kekurangan
1)      Kelebihan
a)      Cara kerjanya familiar bagi guru.
b)      Partisifan membuat keputusan berdasarkan keseluruhan “body of work”.
c)      Putaran berganda dapat memfokuskan partisifan terhadap respon peserta tes.
2)      Kekurangan
a)      Perlu Ordered Item Booklet yang banyak.
b)      Perlu penggandaan yang cepat  setelah putaran kedua diselesaikan.
c)      Boros waktu.
d)     Melelahkan partisifan.

5.      The Analytic Judgement Method
a.       Overview
1)      Judgement dibuat berkaitan dengan respon terhadap item secara individual.
2)  Metode ini dapat dijalankan pada tes dengan constructed dan selected response item, sepanjang item dapat dikelompokkan ke dalam content cluster yang bermakna.
3)    Metode ini dimulai dengan meminta partisifan untuk me-review karya dari sampel peserta tes.
4)    Untuk setiap item atau kelompok item yang berhubungan, cutscore adalah skor yang paling jelas membedakan antara respon terbaik pada performansi yang lebih rendah dengan respon terburuk pada performansi di atasnya.

b.      Prosedur
1)      Sebelum pertemuan, lakukan hal-hal berikut ini:
a)      Bagi tes ke dalam beberapa bagian agar dapat di-review oleh partisifan secara terpisah.
b)    Pilih respon untuk judgement yang merepresentasikan keseluruhan rentang performansi pada setiap bagian tes.
c)  Putuskan apakah setiap respon diberikan kepada seluruh partisifan sehingga mereka mendapatkan hal yang sama atau partisifan dibagi dalam dua kelompok dan diberikan respon dari bagian tes yang berbeda.
2)    Berikan 1 set respon (yang pertama) kepada partisifan, minta mereka menempatkan respon pada suatu tingkatan performansi secara perorangan untuk selanjutnya mengkategorikannya menjadi kelompok rendah, sedang, dan tinggi pada masing-masing tingkatan performansi.
3)    Tampilkan hasil kerja dari semua partisifan dan dorong mereka untuk mendiskusikan dan bila perlu melakukan perubahan.
4)      Ulangai langkah 2) dan 3) sampai semua bagian tes diselesaikan.
5)      Kalkulasikan cutscore dari setiap bagian tes.
6)      Lakukan hal yang sama pada bagian-bagian tes yang lain.
7)  Tunjukkan kepada partisifan hasilnya, termasuk data yang menunjukkan konsekuensi bila cutscore diterapkan.
8)      Berikan kesempatan mereka melakukan perubahan.
9)      Jika terjadi perubahan, ulangi langkah 5) sampai 8).

c.       Kelebihan dan Kekurangan
1)      Kelebihan
a)      Mudah bagi partisifan untuk memahami dan melaksanakan tugasnya.
b)      Tugas kognitif  sudah familiar bagi partisifan.
c)      Partisifan cenderung mencapai konsensus.
2)      Kekurangan
a)    Banyaknya jumlah respon yang harus di-judge dan dikategorisasikan membuat banyak waktu yang diperlukan.
b) Tugas untuk mengkopikan respon bagi para partisifan dapat menyulitkan dan juga menghabiskan waktu.

D.    Metode-metode yang Berdasarkan “Judgements about Group of Test-Takers
1.      Jugements about a Reference Group
a.       Overview
1)   Pada metode ini, yang paling mudah sekaligus yang paling membingungkan adalah memilih cutscore yang seharusnya ditempatkan pada suatu persentase yang dispesifikasikan dari kelompok acuan ke dalam setiap tingkat performansi.
2)  Judgement persentase dari person kelompok acuan yang berada dalam setiap tingkat performansi mengarahkan secara langsung kepada pilihan dari sekelompok cutscores.
3)      Judgement mengenai person dalam kelompok acuan seharusnya didasarkan pada beberapa jenis informasi selain dari skor tes.

b.      Prosedur
1)      Identifikasi kelompok acuan yang paling tidak berjumlah 100.
2)      Tentukan pengetahuan dan keterampilan yang diperlukan untuk setiap tingkatan performansi.
3)  Kumpulkan hasil judgement dari partisifan mengenai persentase peserta dari kelompok acuan yang berada pada tiap tingkatan performansi.
4)     Pada tiap tingkatan kemampuan, tampilkan judgement dari tiap partisifan agar dapat dilihat oleh semua.
5)  Jika terjadi perbedaan yang substansial, dorong terjadinya diskusi dan beri kesempatan mereka untuk melakukan perubahan.
6)      Kalkulasikan cutscore-nya.

c.       Kelebihan dan Kekurangan
1)      Kelebihan
a)      Sesuai dengan realitas dari performansi peserta tes.
b)   Disarankan sebagai metode untuk memeriksa metode-metode yang berdasarkan pada Judgement about Test Questions.
2)      Kekurangan
Sulit untuk menemukan partisifan yang memenuhi kualifikasi untuk melakukan judgement mengenai berapa persen dari peserta tes dalam kelompok acuan harus berada pada setiap tingkatan performansi.

2.      Judgements about Two Reference Groups
a.       Overview
1)      Metode ini tidak memerlukan judgement mengenai individu peserta tes.
2)      Metode ini terlepas dari asumsi bahwa person dalam kelompok acuan adalah seperti orang yang mengikuti tes sesungguhnya.

b.      Prosedur
1)  Identifikasi kelompok rujukan yang sedapat mungkin menggambarkan peserta tes yang sesungguhnya. Untuk setiap tingkatan performansi diperlukan kelompok yang memenuhi kualifikasi dan yang tidak.  Untuk kelompok yang tak memenuhi kualifikasi dapat digunakan peserta kursus yang mendapatkan hasil kurang memadai.
2)      Pilih sampel peserta dari tiap kelompok (paling tidak berjumlah 50) dan berikan mereka tes.
3)     Untuk menentukan cutscore, hitung median dari tiap kelompok lalu tentukan titik tengah antar dua median sebagai cutscore-nya.

c.       Kelebihan dan Kekurangan
1)      Kelebihan
a)      Berdasarkan pada performansi aktual.
b)   Sangat efisien untuk membuat judgement mengenai suatu kelompok dari peserta tes sebagai suatu keseluruhan dibandingkan sebagai peserta tes individual.
2)      Kekurangan
a)    Hanya semata-mata mengidentifikasi suatu kelompok sebagai mampu dan yang lainnya tidak, namun tidak persis benar.  Kelompok mampu ada yang jauh di atas borderline namun ada pula yang dekat, begitu pula dengan kelompok yang tidak mampu.  Perbedaan ini dapat membuat perbedaan yang besar dalam penempatan cutscore dan lokasi dari cutscore menjadi sulit dispesifikasikan secara tepat.
b)  Tidak selalu menghasilkan hasil yang sama sebagaimana Contrasting Groups yang berdasarkan judgement mengenai peserta tes secara individual.

E.     Rangkuman dan Perbandingan
Tiga kelompok metode sebagaimana yang telah dipaparkan sebelum ini, yaitu metode-metode yang berdasarkan pada: Judgements about Test Questions, Judgements about Individual of Test-Takers, dan Judgements about Group of Test-Takers, sebenarnya merupakan pecahan dari dua kelompok besar yaitu:
1.      Metode-metode yang berdasarkan pada Test Questions
2.      Metode-metode yang berdasarkan pada Test Takers.
Beberapa metode dipaparkan untuk mewakili masing-masing kelompok termasuk variasinya, misalkan Angoff Method dilengkapi dengan dua variasinya yaitu Angoff Mean Estimation dan Angoff Yes or No Method.  Meskipun demikian masih ada beberapa metode yang tidak ikut dipaparkan, misalnya pada kelompok Judgements about Test Questions tidak dipaparkan mengenai Jaeger’s Method dan pada kelompok Judgements about Group of Test-Takers tidak dipaparkan mengenai Berk’s Method.  Ada pula Direct Consensus Method dan Judgmental Policy Capturing Method, Standard Setting Using Cluster Analysis, dll.

Selain itu ada pengelompokkan lain seperti:
1.      Metode-metode yang Berdasarkan “Profiles of Scores
a.       The Performance Profile Method.
b.      The Dominant Profile Method.
2.     Metode-metode yang Berdasarkan “Compromises between Absolute and Normative Judgements
a.       The Beuk Method.
b.      The Hofstee Method.
dan Vertically-Moderated Standard Setting (VMSS).

Berdasarkan uraian yang telah dipaparkan, maka untuk dapat dibuatkan tabel perbandingannya berikut ini.


Download file ini dalam bentuk PDF (versi Bahasa Indonesia) di link berikut ini:

0 komentar:

Poskan Komentar