DIFFERENTIAL ITEM FUNCTIONING - DIF

A.    PENDAHULUAN

1.      Pengertian

Persoalan bias pada suatu tes menjadi suatu persoalan penting agar tes dapat berfungsi dengan baik pada semua kelompok yang setara. Bias tidak dihasilkan dari random error suatu pengukuran, tetapi ia bersifat sistematik.

Fungsi pada kelompok yang setara sebagaimana dimaksudkan di atas merujuk pada prima facie bukti dari daya pembeda.  Dengan demikian adverse impact atau perbedaan mean antar kelompok tidak selalu merupakan bukti adanya bias.  Sehingga bias suatu tes (test bias) dapat diartikan sebagai ketakvalidan (invalidity) atau kekeliruan sistematik (systematic error) dalam hal mana suatu tes mengukur anggota-anggota dari suatu kelompok yang diteliti.  Bias adalah sistematik dari sudut pandang bahwa ia menghasilkan distorsi pada hasil tes bagi anggota-anggota kelompok sebagaimana dimaksud.  Hal ini analog dengan kondisi dimana variasi pada within group bersifat akurat, tetapi tidak pada perbandingan between the best setiap kelompok dan perbandingan rata-rata between group yang bersifat tersarang (error confounding measurement).

Ada 2 pendekatan dasar statistika untuk mendeteksi bias pada suatu tes, yaitu:

a.       Pendekatan Eksternal

Pendekatan eksternal ini menggunakan suatu kriteria diluar dari tes yang digunakan.  Kriteria ini diasumsikan tak bias dan dijadikan standard eksternal untuk mengevaluasi tes. Pendekatan ini juga dikenal dengan “Model Validitas Prediktif” untuk mendeteksi bias suatu tes yang berbasiskan metode regresi.

b.      Pendekatan Internal

Pendekatan internal ini didasarkan pada differential item functioning (DIF) dari butir-butir tes itu sendiri yang secara keseluruhannya tentu akan menggambarkan bias suatu tes secara utuh.  Hanya saja DIF sangat sensitif/mengindikasikan kemultidimensionalan suatu tes, sehingga hasil uji statistiknya yang signifikan tidak selalu dapat diartikan bahwa butir yang diteliti mengandung bias.  Ini adalah perbedaan mendasar antara bias butir dan DIF.

Pendekatan ini mengacu pada “Model Validitas Konstruk” yang digunakan untuk mendeteksi bias baik berdasarkan teori klasik maupun teori respon butir yang akan dijabarkan di bawah ini.

Kedua pendekatan ini memiliki batasannya masing-masing sehingga memberikan peluang untuk dikerjakan bersama-sama untuk saling melengkapi.

2.      Jenis-jenis Metode Pendeteksian DIF

Pendeteksian DIF dapat dibedakan berdasarkan teori tes yang digunakan.  Ada dua teori dalam hal ini, yaitu Teori Klasik dan Teori Respon Butir sebagaimana yang akan dipaparkan berikut ini.

a.      Berdasarkan Teori Klasik

Ada beberapa metode statistik yang dapat digunakan yang dapat diklasifikasikan sebagai berikut:

1)      Metode Awal

Metode awal yang dimaksudkan disini adalah metode yang digunakan pada periode awal pendeteksian DIF.  Metode ini merupakan kelompok statistika parametrik yang antara lain mencakup teknik:

b)      Analisis Variansi (ANAVA)

Teknik ini tidak disarankan untuk digunakan lagi, mengingat bahwa analisis variansi seharusnya menggunakan data yang memiliki derajat pengukuran (level of measurement) skala (scale) baik interval maupun rasio bagi variabel terikatnya.  Namun dalam pendeteksian DIF, variabel terikatnya adalah jawaban peserta tes yang berupa data kategorik ordinal (benar – salah).  Akibatnya, yang dihasilkan bersifat artifact.

c)      Korelasi

Untuk mengatasi persoalan derajat pengukuran pada variabel terikat, maka kemudian digunakan korelasi poin biserial.  Namun teknik statistika ini cenderung menghasilkan koefisien yang sangat bagus apabila tingkat kesulitan termasuk kategori medium atau mendekati 0,5.  Sedangkan bila indeks kesulitannya menjauh dari 0,5 maka akan terjadi perbedaan besar dalam koefisiennya dan karena itu teknik ini juga tidak disarankan lagi.

d)     Regresi

Untuk mengatasi persoalan derajat pengukuran pada variabel terikat sekaligus sensitivitas terhadap indeks kesulitan, maka kemudian digunakan regresi logistik.

Teknik ini disarankan, namun sebagai statistika parametrik ada beberapa asumsi yang harus dipenuhi diantaranya:

-          Residual berdistribusi normal

-          Residual bersifat homogen dan

-          Mengikuti model linier dalam artian parameter.

1)      Metode Terkini

Karena ada kesulitan dalam memenuhi asumsi-asumsi sebagaimana tersebut di atas, maka sekarang ini lebih popular digunakan metode yang berbasiskan statistika non-parametrik yang tidak memerlukan pemenuhan asumsi-asumsi tertentu.  Metode ini berbasiskan Tabel Kontingensi dengan menggunakan teknik analisis statistika antara lain:

a)   Model Log Liner, yang setara dengan regresi logistik

b)   Mantel-Haenszel.

Hanya saja teknik-teknik ini, sebagaimana teknik statistika non-parametrik lainnya, mempunyai kekuatan uji (power) yang lebih rendah dibandingkan dengan teknik statistika parametrik.

b.      Berdasarkan Teori Respon Butir

Ada dua metode yang digunakan untuk mendeteksi DIF berdasarkan teori respon butir, yaitu Metode Sampel Terpisah dan Metode Tes Jangkar.  Kedua metode akan diurakan berikut ini.

1)      Metode Sampel Terpisah (Separated Sample)

Metode sampel terpisah adalah suatu metode khusus dimana estimasi parameter butir dilakukan secara terpisah pada tiap kelompok.  Karena diestimasi secara terpisah, maka perlu dilakukan penyetaraan atau ditempatkan pada satu skala yang berlaku umum.

Metode ini mencakup teknik-teknik sebagai berikut:

a)   Kai Kuadrat dari Lord

b)      Metode Luasan dari Raju.

1)      Metode Tes Jangkar (Anchor Test)

Metode tes jangkar adalah penaksiran parameter butir untuk kelompok fokus dan kelompok referensi secara simultan dalam kerangka kerja yang komprehensif. 

Dalam metode ini butir-butir tes dibagi menjadi dua bagian yaitu butir yang diteliti (studied item) dan butir jangkar (anchor item).  Butir yang diteliti setiap kalinya hanya satu butir saja, sedangkan butir sisanya menjadi butir jangkarnya.

Metode tes jangkar ini menyingkirkan kesalahan dalam penyetaraan yang potensial terjadi pada metode sampel terpisah.

Metode ini mencakup teknik-teknik sebagai berikut:

a)      Kurve Karakteristik Butir (ICC)

b)      Uji Rasio Kebolehjadian (Likelihood Ratio Test).

B.     REGRESI LOGISTIK

Regresi logistik merupakan pendekatan umum non-IRT untuk mendeteksi DIF.  Teknik pendeteksian DIF dengan regresi logistik ini digunakan pertama kali oleh Swaminathan-Rogers (1990) yang pada dasarnya ekuivalen dengan model loglinear dari Mellenbergh (1982).

Bentuk persamaannya adalah:

yang merupakan full model, atau Model I

Dalam model regresi logistik,   adalah kombinasi rasio log odds yang setara dengan .

Pada suatu situasi dimana Uniform DIF tidak memerlukan komponen interaksi, maka model I dapat direduksi menjadi model sederhana (Model II) sebagai berikut:

Akhirnya jika hanya diperlukan komponen abilitas, maka model yang paling sederhana (Model III) dapat dinyatakan sebagai berikut:

 

Ketiga model di atas menjadi dasar bagi pengujian hipotesis dengan langkah-langkah sebagai berikut:

1.      Model I (Augmented Model) diuji melawan Model II (Compact Model) ini dilakukan untuk melihat apakah penambahan komponen interaksi yang mengindikasikan bias (non-uniform DIF) signifikan atau tidak.

2.  Jika efek interaksi tidak signifikan, maka Model II (sekarang menjadi Augmented Model) diuji melawan Model III (sebagai Compact Model).  Hal ini dilakukan untuk melihat apakah keberadaan komponen kelompok yang mengindikasikan uniform DIF, signifikan atau tidak.

C.    MANTEL-HAENSZEL

Teknik dari Maentel-Haenszel yang dikembangkan oleh Holland & Thayer ini menggunakan  tabel kontingensi 2x2 dimana untuk baris menggunakan data berkategori dua yaitu kelompok fokus dan kelompok referensi, sedangkan untuk kolom juga menggunakan data berklasifikasi dua yaitu jawaban terhadap butir yang bersangkutan yang terdiri dari jawaban yang benar dan yang salah.

Indeks Mantel-Haenszel didapat dengan menggunakan rumus:

dimana   a diambil dari frekuensi bari ke-1 kolom ke-1

               b diambil dari frekuensi bari ke-1 kolom ke-2

               c diambil dari frekuensi bari ke-2 kolom ke-1

               d diambil dari frekuensi bari ke-2 kolom ke-2.

Adapun prosedur Maentel-Haenszel untuk menaksir rasio odds bersama antar kategori-kategori yang bersesuaian adalah:

yang pada dasarnya merupakan suatu rata-rata terbobot.

Hipotesis yang diuji dalam hal ini adalah:

Sedangakn statistik uji yang digunakan:

dimana   

            

Jika   maka terbukti secara signifikan adanya DIF.

D.    KAI KUADRAT DARI LORD (LORD'S CHI-SQUARE)

Apabila parameter dari dua fungsi karakteristik butir identik, maka fungsi itu akan identik pada semua titik dan probabilitas jawaban benar akan menjadi sama.  Dalam hal seperti ini dapat digunakan teknik pendeteksian DIF dari Lord.

Langkah-langkah dari teknik ini adalah:

1.   Mengestimasi parameter a, b, c butir dengan menggunakan program BILOG dan menghitung nilai variansi-kovariansi untuk kelompok fokus dan referensi secara terpisah.

2.      Menentukan konstanta penyetaraan kelompok fokus dan referensi.

3.      Menghitung nilai Kai Kuadrat dengan rumus:

 

dimana

          

          

             Dengan

                       

Perhitungan ini dapat dilakukan dengan menggunakan program IRTDIF, kemudian membandingkan hasilnya dengan harga kritik Kai Kuadrat dengan tertentu dan derajat kebebasan = 3 (karena menggunakan 3 parameter).

4.   Membuat keputusan uji, dimana jika Kai Kuadrat Hitung > Kai Kuadrat Tabel dapat disimpulkan bahwa keberadaan DIF terbukti secara signifikan.

E.     TEKNIK LUASAN DARI RAJU

Teknik dikerjakan dengan cara membandingkan Fungsi Karakteristik Butir (IRF) dengan parameternya.  Jika parameter sudah diskalakan dan identik dengan kurva dari parameternya, maka luasan yang terbentuk = 0.  Apabila luasan dimaksud 0 maka dapat disimpulkan adanya DIF.

Langkah-langkah dari teknik ini adalah:

1.  Mengistemasi parameter butir untuk kelompok fokus dan referensi secara tersendiri diantaranya dengan menggunakan program BILOG.

2.  Menentukan konstanta penyetaraan parameter untuk memposisikan parameter fokus dan referensi pada suatu metrik yang bersifat umum diantaranya dengan menggunakan program EQUATE.

3.      Menghitung luasan diantara dua kurva menurut Raju untuk:

a.       Luasan Bertanda Pasti (Exact Signed Area) dengan menggunakan rumus,

     

dengan

dan

.

b.      Luasan Tidak Bertanda Pasti (Exact Unsigned Area) dengan menggunakan rumus,

     

dimana

dengan

dan

dimana  

                        

dengan

 

 

Karena perhitungannya cukup rumit, maka dapat digunakan program IRTDIF untuk mendeteksi DIF dengan cara membandingkan hasil perhitungannya dengan nilai dari tabel Kai Kuadrat.

4.    Membuat keputusan uji, dimana jika hasil perhitungan > Kai Kuadrat Tabel dapat disimpulkan bahwa keberadaan DIF terbukti secara signifikan.

F.     KURVE KARAKTERISTIK BUTIR (ICC)

Teknik ICC mendeteksi DIF dengan cara membandingkan ICC dari dua kelompok yang diteliti.  ICC dimaksud bentuknya ditentukan oleh parameter daya pembeda butir (a), indeks kesulitan butir (b), dan tebakan semu (c).

Dalam konteks DIF berdasarkan pada ICC ini, DIF dapat dikelompokkan menjadi dua, yaitu:

1. DIF Konsisten (Uniform DIF)

Hal ini terjadi jika kurva karakteristik butir berbeda dan tak saling berpotongan akibat adanya kesamaan pada parameter a.

2. DIF tak Konsisten (Non-Uniform DIF)

Hal ini terjadi jika kurva karakteristik butir berbeda dan saling berpotongan (signifikannya efek interaksi pada pengujian berbasiskan regresi logistik) akibat adanya perbedaan pada parameter a.

Langkah-langkah mendeteksi DIF dengan teknik ICC adalah:

1.      Menaksir parameter a, b, dan c dari N butir soal suatu tes dan memperoleh statistik kecocokan yang mendekati distribusi Kai Kuadrat, G(1) misalnya dengan menggunakan program BILOG.

2.      Menentukan butir yang akan dideteksi keberadaan DIF-nya.

3.      Menganalisis butir tersebut khusus untuk kelompok F saja dan untuk R saja.

4.      Menaksir ulang parameter butir-butir soal sehingga diperoleh harga Kai Kuadrat Transformasi Rasio Kebolehjadian, G(2), untuk N+1 butir.

5.      Menghitung selisih nilai Kai Kuadrat dengan rumus:

 

dan membandingkan hasilnya dengan harga kritik Kai Kuadrat dengan tertentu dan derajat kebebasan = 3.

6.   Membuat keputusan uji, dimana jika Kai Kuadrat Hitung > Kai Kuadrat Tabel dapat disimpulkan bahwa keberadaan DIF terbukti secara signifikan.

G.    UJI RASIO KEBOLEHJADIAN

Teknik Uji Rasio Kebolehjadian (Likelihood Ratio Test) dalah teknik yang digunakan untuk membandingkan dua model yang relatif cocok dengan data yaitu model pertama yang disebut juga model kecil (compact model) yang memiliki peluang kebolehjadian lebih besar dari model besar (augmented model) yang memiliki semua parameter di model kecil ditambah parameter lainnya.

Langkah-langkah dari teknik ini adalah:

1.  Mengistemasi parameter butir dengan menggunakan program MULTILOG dan menentukan nilai -2log L^* untuk model kecil, G(C), dengan menggabungkan data kelompok fokus dan referensi.

2.      Mengistemasi parameter butir dan menentukan nilai -2log L^* untuk model besar, G(A), bagi masing-masing butir sehingga didapatkan nilai -2log L^* sebanyak n.

3.      Menghitung nilai Kai Kuadrat dengan rumus:

     

dimana M adalah parameter tambahan pada model besar.

dan membandingkan hasilnya dengan harga kritik Kai Kuadrat dengan tertentu dan derajat kebebasan = 3.

4.   Membuat keputusan uji, dimana jika Kai Kuadrat Hitung > Kai Kuadrat Tabel dapat disimpulkan bahwa keberadaan DIF terbukti secara signifikan.

Download File ini dalam bentuk PDF (versi Bahasa Indonesia)di link berikut:
http://www.ziddu.com/download/19178499/DIFFERENTIALITEMFUNCTIONING.pdf.html