Myspace Extended Network Banners
Myspace Network Banners

Myspace Icons

Pages

Myspace Extended Network Banners
Myspace Network Banners

Myspace Icons

Sabtu, 21 April 2012

GENERALISASI VALIDITAS, RESAMPLING, & META-ANALYSIS - Validity Generalization


A.    Konsep Generalisasi Validitas
Bukti yang berasal dari penelitian validitas terdahulu merupakan informasi yang berharga dalam memutuskan apakah suatu tes sesuai untuk digunakan untuk tujuan tertentu.  Konsep ini telah dikenal di berbagai bidang dimana tes digunakan untuk tujuan seleksi, termasuk dalam bidang pendidikan, tenaga kerja, maupun militer.  Secara tradisional di berbagai bidang ini diyakini bahwa validitas suatu instrumen yang digunakan untuk seleksi mungkin situasinya bersifat spesifik.  Konsekuensinya, diyakini pula bahwa suatu tes harus tetap divalidasi dimana pun ia akan digunakan.  Pandangan ini diterima secara luas dalam bidang psikologi personalia, tetapi pandangan yang mengatakan bahwa kita tidak dapat melakukan generalisasi terhadap validitas suatu instrumen ini dibantah oleh beberapa peneliti seperti Guion (1976), yang menyatakan bahwa meskipun sulit untuk membuat inferensi bagi suatu aturan yang bersifat umum dari perilaku, tetapi masih sangat mungkin untuk membuat prediksi yang akan bermanfaat bagi kepentingan praktis.  Pernyataan seperti ini juga disampaikan oleh banyak peneliti lainnya sebagai tantangan bagi para ahli psikologi personalia untuk mengembangkan suatu metode yang dapat digunakan untuk meneliti aturan umum beserta bukti-bukti yang mendukungnya.
Ada dua konsep utama yang diperdebatkan dalam penelitian validitas terkait dengan tes yang bersifat pengakuan.  Dua hal dimaksud adalah “kekhususan situasi” dan “konsistensi antar situasi”.  Kekhususan situasi mengindikasikan bahwa validitas prediktif bervariasi dari satu situasi ke situasi yang lain.  Sedangkan konsistensi antar situasi merujuk pada suatu keyakinan bahwa validitas bersifat konstan antar situasi.  Kedua definisi ini akan dijabarkan lebih lanjut pada uraian-uraian berikut ini.

B.     Pandangan Tradisional terhadap Pengkhususan yang Bersifat Situasional
Ribuan penelitian tentang validitas yang dilakukan setiap tahun memberikan tambahan bukti validitas untuk mempelajari kekhususan situasi.  Ghiselli (1966) mengumpulkan berbagai penelitian tentang validitas Tes Bakat yang digunakan untuk seleksi karyawan.  Ia mendapatkan bahwa koefisien validitas bervariasi pada berbagai penelitian tersebut meski ada kesamaan dalam hal tes maupun pekerjaan yang diteliti.  Beberapa variabel kemungkinan mempengaruhi korelasi antara skor tes dengan skor kriteria.  Variabel-variabel ini diduga bersifat situasional, demikian juga dengan jenis dan derajat pengaruhnya terhadap koefisien korelasi yang tergantung dari situasi yang ada.
Konsep mengenai kekhususan situasi ini mengindikasikan bahwa variabel-variabel lingkungan memiliki pengaruh terhadap koefisien validitas.  Variabel-variabel ini dapat berupa motivasi siswa, lingkungan kelas atau sekolah, karakteristik guru, kepuasan kerja, kondisi kerja, maupun yang lainnya yang memiliki kekhususan yang bersifat situasional, akan mempengaruhi skor kriteria melalui cara yang bersifat sistematik (Peters & O’Connor, 1980).

C.    Faktor-faktor Penyebab Kekhususan Situasional yang Perlu Diamati
Seluruh model generalisasi validitas memandang bahwa koefisien validitas dapat dipartisi dalam dua komponen, yaitu validitas sesungguhnya dan error.  Validitas sesungguhnya didefinisikan sebagai korelasi antara skor tes dan skor kriteria untuk keseluruhan populasi yang tak diketahui.  Meskipun demikian, dengan menggunakan penelitian validitas belahan untuk suatu tes tertentu, maka validitas sesungguhnya akan dapat diestimasi.  Besaran error dalam berbagai validitas teramati tergantung pada beberapa faktor yang dapat dikelompokkan dalam dua jenis, yaitu yang bersifat random (random error) dan yang bersifat sistematik (systematic error). 
Contoh dari faktor yang termasuk dalam kelompok random error adalah faktor kesalahan sampling (sampling error).  Sedangkan contoh dari faktor yang termasuk dalam kelompok kesalahan sistematik (systematic error) adalah faktor reliabilitas tes, reliabilitas kriteria, dan pembatasan jangkauan.
Bila error berpeluang untuk muncul pada suatu pengukuran baik pada prediktor, kriteria, maupun keduanya, maka korelasi diantara keduanya akan mengalami penurunan (Pedhazur, 1982).  Ketidakreliabelan prediktor dan kriteria secara parsial merefleksikan besarnya error ini.  Dengan kata lain, jika reliabilitas suatu pengukuran adalah 1,00 (sempurna), maka error yang terkait dengan ketidakreliabelan pengukuran akan 0.  Tetapi dalam kenyataannya reliabilitas pengukuran cenderung kurang < 1,00 sehingga error yang terkait dengan ketidakreliabelan pengukuran akan > 0.  Untuk memperbaiki ketidakreliabelan pengukuran ini, maka diasumsikan panjang tes dan panjang kriteria adalah tak terhingga (Lord & Novick, 1968).  Sebagai tambahan, karena reliabilitas tes dan kriteria cenderung bervariasi dari satu kelompok ke kelompok yang lain, maka variasi dari validitas teramati pun akan dapat diestimasi.  Variasi reliabilitas  tes maupun kriteria dari satu situasi ke situasi yang lain menyebabkan validitas teramatinya akan bervariasi pula meskipun validitas sesungguhnya tetap.  Dengan demikian, perbedaan reliabilitas antar situasi dapat diambil sebagai sesuatu yang menyebabkan kekhususan yang bersifat situasional dalam pendekatan generalisasi validitas.
Suatu koefisien validitas teramati yang diberlakukan untuk tes seleksi tertentu biasanya dihitung dari hanya satu kelompok tertentu yang telah dipilih.  Skor tes pada suatu kelompok yang dipilih cenderung lebih homogen dibandingkan dengan yang berasal dari suatu kelompok yang tidak.  Dalam hal ini, koefsien validitas teramati yang diberlakukan pada suatu kelompok yang dipilih akan menjadi lebih kecil dibandingkan dengan yang berasal dari suatu kelompok yang tidak.  Hal ini merupakan masalah terkait batas interval yang dikenal dengan baik dalam penelitian korelasional.  Karena alasan rasio seleksi, yang diindikasikan dengan persentase pelamar yang diseleksi, yang bervariasi dari satu pengaplikasian tes ke pengaplikasian yang lain,  validitas teramati juga dapat bervariasi meskipun validitas sesungguhnya bersifat konstan sebagaimana yang telah dikemukakan sebelumnya.  Perbedaan dalam derajat dan pembatasan jangkauan antar situasi ini dengan demikian dapat diambil sebagai suatu potensi yang lain dari kekhususan yang bersifat situasional.  Porsi variasi dari validitas teramati ini dapat dijelaskan melalui pembatasan jangkauan efek yang diestimasi dalam kebanyakan pendekatan yang terkait dengan generalisasi validitas.
Sedangkan suatu kesalahan sampling adalah perbedaan antara estimasi suatu sampel (statistik) dengan nilai populasi (parameter).  Contohnya, anggap bahwa korelasi populasi untuk seribu pasang skor adalah sebesar 0,80.  Kemudian, kita pilih 100 pasang dari skor tersebut secara random, menghitung korelasinya dan mendapatkan koefisien sebesar 0,70.  maka perbedaan antara 0,80 dan 0,70 adalah terkait dengan kesalahan sampling. Kesalahan sampling dari suatu penelitian validitas adalah bias dalam korelasi teramati sebagai suatu estimator dari korelasi populasi (Johnson & Kotz, 1970) yang dapat mengindikasikan mengenai variansi.  Kesalahan sampling dalam penelitian generalisasi validitas diestimasi sebagai rata-rata kesalahan sampling antar hasil penelitian.
Dengan asumsi bahwa ada tiga sumber yang disebutkan terdahulu tdak saling berkorelasi, maka total variansi yang berhubungan dengan sumber-sumber ini dapat dihitung sebagai jumlah dari komponen-komponen yang terpisah.  Model-model untuk penelitian generalisasi validitas dibedakan melalui suatu cara tertentu dimana sumber-sumber variasi dari validitas teramati dipartisi sedemikian rupa dan diestimasi.  Beberapa diantaranya merupakan penjumlahan dan beberapa yang lainnya berupa perkalian.  Tujuan utamanya adalah untuk mengestimasi validitas sesungguhnya dari suatu instrumen dan mengestimasi simpangan bakunya.  Suatu kerangka umum dari pendekatan mengenai hal ini akan dipaparkan pada bagian berikut ini.

D.    Pendekatan terhadap Generalisasi Validitas
Penelitian konvensional tentang generalisasi validitas bermula ketika Schmidt & Hunter (1977) meneliti power statistik dari penelitian-penelitian validitas terpilih dan mempertimbangkan suatu prosedur untuk menguji hipotesis mengenai kekhususan yang bersifat situasional.  Prosedur baru yang digunakan adalah teknik meta analisis untuk mengestimasi variansi kesalahan melaui sejumlah hasil penelitian.  Dengan menggunakan kumpulan penelitian terdahulu serta menggunakan teknik meta analisis, temuan bisa didapatkan dengan cara membuatnya memiliki manfaat praktis yang besar (Glass & Smith, 1981).
Tujuan utama dari penelitian generalisasi validitas adalah untuk mengestimasi mean dan variansi validitas sesungguhnya dari tes penyeleksian.  Ini adalah suatu area yang memiliki banyak pengembangan metodologi serta banyaknya argumen dari para pengembang metodologi tersebut tentang bagaimana pengembangan selanjutnya mesti dilakukan.  Argumen-argumen dimaksud harus dikerjakan dengan pendekatan tertentu yang rinci dibandingkan dengan konsep-konsep dasar dan akan dicantumkan hanya dalam tinjauan pustaka.
Pendekatan yang berasal Schmidt & Hunter (1977) memberikan dalil tentang tujuh sumber variansi yang potensial menyebabkan variasi pada koefisien validitas teramati, namun hanya empat yang diestimasi.  Pendekatan ini menggunakan teknik meta analisis dan metode quasi-bayesian untuk mengestimasi mean dan variansi dari distribusi validitas sesungguhnya, serta untuk mendapatkan suatu interval yang dapat dipercaya mengenai validitas sesungguhnya.  Sebagai hasil tambahan dari analisis ini, persentase dari variansi teramati yang dihitung dari sumber-sumber artifisial juga turut diestimasi.
Pendekatan Schmidt & Hunter digambarkan sebagai quasi-bayesian dikarekan ia memerlukan informasi mengenai efek ketidakreliabelan, pembatasan jangkauan, dan faktor-faktor lainnya yang kesemuanya dijelaskan dalam suatu istilah yang disebut dengan distribusi awal atau yang diasumsikan.  Ada tiga distribusi yang diperlukan bagi kebanyakan prosedur yaitu reliabilitas tes, reliabilitas kriteria, dan pembatasan jangkauan antar penelitian validitas yang digunakan.  Distribusi-distribusi ini jarang tersedia dalam laporan-laporan baik yang dipublikasikan maupun tidak, sehingga beberapa distribusi hipotetik kemungkinan tidak sama dengan distribusi yang sesungguhnya dalam dunia nyata dan para pengguna metode generalisasi validitas harus menerima berbagai perbedaan yang ada sebagai sumber bias dalam prosedur yang digunakan.  Ukuran perbedaan ini menentukan akurasi dari berbagai implementasi praktis dari prosedur-prosedur generalisasi validitas.  Tanpa membicarakan secara rinci dari macam-macam metode generalisasi validitas, dapat dikatakan bahwa hasil analisis generalisasi validitas mungkin tergantung pada kebenaran dari distribusi hipotetik yang digunakan, metode khusus yang digunakan (seperti penjumlahan atau perkalian), dan data, dalam bentuk penelitian validitas yang tersedia untuk dianalisis.

1.      Prosedur Dasar Generalisasi Validitas
Prinsip dasar dari model generalisasi validitas adalah pemartisian variansi, yaitu identifikasi dan pemilahan terhadap variansi dari validitas teramati yang bertanggung jawab terhadap error sistematik yang berhubungan dengan artifak statistik dan error dari random sampling.  Secara khusus dalam literatur generalisasi validitas, efek sistematik ini dapat dibaca pada bahasan-bahasan tentang perbedaan antara penelitian-penelitian dalam hal reliabilitas tes, kriteria reliabilitas, hal batasan interval, jumlah dan jenis dari kriteria kontaminasi dan defisiensi, struktur faktor dari tes yang konstruk yang sama, dan perbedaan dalam penelitian-penelitian dalam hal struktur faktor dari kriteria pengukuran (Contohnya: Pearlman, Schmidt, & Hunter, 1980; Linn & Dunber, 1986).  Dengan demikian variansi yang tidak terkait dengan ketujuh faktor ini akan mencerminkan variabilitas dari validitas yang sesungguhnya.
Model dasar untuk generalisasi validitas didasarkan pada suatu struktur persamaan  untuk koefisien korelasi teramati antara prediktor X dan kriteria Y yang dapat dituliskan sebagai berikut:
Dimana R adalah korelasi teramati, adalah korelasi populasi yang dibatasi, dan e adalah peluang error yang berhubungan dengan sampling.  Jika dalam hal ini ukuran sampelnya tak terhingga, maka korelasinya akan sebesar .  Namun dengan ukuran sampel yang aktual (tidak tak terhingga) maka ada perbedaan antar korelasi teramati (R) yang dihitung dari data.  Korelasi yang dibatasi dihitung dari data.  Korelasi yang dibatasi berbeda dari korelasi populasi yang berhubungan dengan ketidakreliabelan prediktor, ketidakreliabelan kriteria, dan pembatasan jangkauan.  Persamaan struktural yang lengkap yang digunakan di hampir keseluruhan penelitian generalisasi validitas dapat ditulis sebagai berikut:
2.      Gugatan terhadap Prosedur Konvensional
Metode meta analisis  telah memberikan dampak yang sangat besar terhadap pengembangan prosedur penelitian generalisasi validitas.  Meskipun demikian, ada beberapa gugatan terhadap pendekatan ini dalam beberapa literatur yang penting untuk difahami bagi keobjektifan evaluasi generalisasi validitas dalam menyediakan bukti yang merujuk pada validitas prediktif  dari tes.  Eysenck (1978) secara umum mengkritik meta analisis pada basis  dari  dari kualitas penelitian yang dikoleksi. Dia berpendapat bahwa seseorang tidak bisa menyaring pengetahuan ilmiah dari suatu rangkaian penelitian  yang sebagian besar memiliki desain yang lemah.
Seluruh peneliti menyadari bahwa setiap prosedur secara umum memiliki kelebihan dan kekurangan masing-masing.  Kelebihan dan kekurangan ini tergantung pada kesesuaian model dimaksud dengan situasi yang dihadapi.  Untuk memperoleh metode yang sesuai bagi suatu penelitian generalisasi validitas, beberapa ahli psikologi  membandingkan metode meta analisis dengan tradisi metode dari review integratif yang bukan kuantitatif. Cook & Laura (1980) mereview beberapa literatur untuk membandingkan metode tradisional ini dengan meta analisis.  Mereka menyimpulkan bahwa meta analisis maupun review kualitatif dapat dilaksanakan dengan menggunakan dampak dari ukuran sampel.  Lebih jauh mereka menyatakan bahwa meta analisis merupakan sekumpulan teknik yang berguna bagi review literatur, khususnya jika ukuran sampel dari penelitian yang digunakan adalah cukup besar.
Cooper dan Rosenthal (1980) juga membandingkan metode statistik yang digunakan dalam meta analisis dengan tradisional atau metode-metode kualitatif dari analisis berbagai penelitian.  Mereka menyimpulkan bahwa para pengguna dari metode statistika mengestimasi besaran pengaruh yang lebih besar dibanding para pereview tradisional, namun secara umum dirasa tetap mendukung apa yang dituangkan dalam literature.  Meskipun metode meta analisis memiliki beberapa kelemahan, namun bagi Cooper & Rosenthal, ia tetaplah merupakan suatu teknik yang berguna dalam menganalisis sekumpulan temuan penelitian.  Hal ini juga dilakukan oleh McDaniel, Whetzel, Schmidt, & Maurer (1994).

3.      Prosedur Generalisasi Validitas
Ada beberapa prosedur generalisasi validitas yang akan dipaparkan di sini, yaitu:
a.       Prosedur Asal dari Schmidt & Hunter (1977)
Ada dua kelompok besar sumber error variansi yaitu:
1)   Random error yang berupa error sampling ()
Sumber error yang pertama ini dalam bentuk transformasi Fisher’s Z dapat ditaksir sebagai:
           
dimana, n adalah ukuran sampeldalam penelitian validitas yang dikaji

2)   Systematic error yang merujuk pada:
a)   Perbedaan dalam reliabilitas kriteria antar penelitian ()
Sumber error variansi yang kedua dalam hal ini dapat diestimasi dengan:
     
dimana, Z adalah nilai harapan dari validitas teramati dalam satuan Z yang hanya mempertimbangkan reliabilitas kriteria
ni adalah ukuran sampel yang berhubungan dengan reliabilitas kriteria dalam penelitian yang ke-i

Schmidt & Hunter menggunakan distribusi hipotetik dari Reliabilitas Kriteria dengan mean sebesar 0,60.
b)      Perbedaan dalam derajad pembatasan jangkauan antar penelitian ()
Seperti dua sumber error variansi di atas, komponen ini juga menggunakan nilai Z, dimana estimasinya adalah:
       
dimana, Z adalah nilai harapan dari validitas teramati dalam satuan Z yang hanya mempertimbangkan pembatasan jangkauan

Berkaitan dengan sumber error variansi di atas, prosedur asal dari Schmidt & Hunter ini berasumsi bahwa:
1)      Efek dari pembatasan jangkauan dan reliabilitas kriteria saling bebas
2)    Tiga sumber error variansi di atas bersifat aditif dan penjumlahannya disebut dengan “Variansi prediktif” ().
Variansi prediktif ini digunakan untuk menaksir variansi dari distribusi validitas sesungguhnya dan dituliskan sebagai:
     
b.      Variasi dari Prosedur Asal
1)      Prosedur Non-interaktif yang Direvisi (Pearlman, Schmidt, & Hunter, 1980)
Variansi prediktif yang digunakan untuk menaksir variansi dari distribusi validitas sesungguhnya pada prosedur ini dapat dituliskan sebagai berikut:
                 
Untuk mendapatkantaksiran dari variansi residualnya digunakan persamaan sebagai berikut:
           

2)      Prosedur Interaktif (Schmidt, Gast-Rosenberg, & Hunter, 1980)
Prosedur ini menginteraksikan komponen-komponen dari error sistematik sehingga estimasi variansi prediktifnya menjadi:
             
Prosedur interaktif ini maupun prosedur non-interaktif di atas menggunakan formula yang sama untuk mengestimasi variansi dari error sampling sebagai berikut:
             
Mean dari kovariansi yang disesuaikan untuk ketakreliabelan kriteria dan pembatasan jangkauan digunakan untuk menaksir mean dari distribusi variansi sesungguhnya dengan formula sebagai berikut:
           
Sedangkan simpangan baku dari distribusi variansi sesungguhnya adalah:
Dengan demikian, prosedur interaktif maupun non-interaktif memerlukan tiga distribusi yaitu: Reliabilitas Tes, Reliabilitas Kriteria, dan Pembatasan Jangkauan.
3)      Prosedur Bare-Bones (Pearlman, dkk., 1980)
Prosedur ini menggunakan formula sebagai berikut:
             
Asumsi yang digunakan pada prosedur ini, meskipun tak selalu benar, adalah:
a)      Nilai harapan dari r s adalah korelasi populasi
b)      Konsekuensinya adalah dan e tidak berkorelasi
Adapun variansi sesungguhnya pada prosedur ini diestimasi dengan
           
Dan variansi residualnya dihitung dengan
           
Prosedur ini menggunakan formula yang sama dengan prosedur interaktif dalam mengestimasi error sampling.
Prosedur ini juga menggunakan formula yang sama dengan prosedur non-interaktif dalam menaksir mean dan variansi dari distribusi variansi sesungguhnya.
4)      Prosedur Multiplikatif (Callender & Osborn, 1980)
Prosedur ini menggunakan korelasi Pearson untuk menaksir parameter dari distribusi variansi sesungguhnya dengan formula:
           
Prosedur mutiplikatif ini dapat dibagimenjadi dua jenis, yaitu:
a)      Prosedur Multiplikatif Independen
Asumsi dari prosedur ini adalah bahwa , a, dan c saling bebas
Asumsi ini memberikan persamaan yang sederhana dalam menkasir variansi yang terkait dengan artifak statistik, yaitu:
     
Mean dan variansi dari variansi sesungguhnya secara berturut-turut adalah sebagai berikut:
     

Untuk mengestimasi variansi sampling (Johnson & Kotz, 1970) digunakan formula sebagai berikut:
     
b)      Prosedur Multiplikatif Dependen
Mean dan variansi dari variansi sesungguhnya pada prosedur multiplikatif dependen dihitung dengan menggunakan formula-formula sebagai berikut:
       
Prosedur ini pada dasarnya menggunakan asumsi yang sama dengan prosedur interaktif dari Schmidt & Hunter.  Tetapi prosedur yang digunakan untuk menaksir parameter dari distribusi variansi sesungguhnya dalam prosedur interaktif lebih mudah dibandingkan dengan prosedur multiplikatif dependen ini.
5)      Prosedur dari Raju & Burke (1983)
Prosedur ini berbasiskan formula psikometrik baku sebagaimana yang digunakan oleh Lord & Novick (1968)
Menggunakan asumsi bahwa tidak berkorelasi dengan e.
6)      Pembatasan Jangkauan Secara Empirik (Linn & koleganya, 1968, 1981, 1982, 1984)
Prosedur ini menggunakan persamaan regresi

4.      Perbandingan Empat Prosedur Generalisasi Validitas
Empat prosedur yang dibandingkan dalam hal ini adalah: Bare-Bones, Interactive Schmidt-Hunter, Independent Multiplicative., dan Empirical Range Restriction.  Sedangkan parameter yang dijadikan dasar perbandingannya adalah: Sampling Error, Variance Range Restriction, Variance Test Related, Variance Criterion Related, Mean Rho, SD Rho, dan True Validity.  Perbandingan keempat prosedur berdasarkan tujuh parameter sebagaimana tersebut di atas, dapat dilihat pada Tabel 1 di bawah ini.

Tabel 1. Perbandingan Prosedur Generalisasi Validitas
Parameter
Prosedur Generalisasi Validitas
Bare-Bones
Interactive Schmidt et. al.
Independent Multiplicative
Empirical Range Restriction
Sampling Error
Weighted
Weighted
Unweighted
Weighted
Variance Range Restriction
-
Simultaneous for range restriction, test related, criterion related, with Pearson-Lawley and dependent assumption
With Pearson-Lawley
Regression based estimate
Variance Test Related
-
-
-
-
Variance Criterion Related
-
-
Adjusted for range restriction
-
Mean Rho
Mean observation R’s Adjusted for criterion related and range restriction
Mean observation R’s Adjusted for criterion related and range restriction
Mean observation R’s Adjusted for criterion related and range restriction
Mean of predictive validity adjusted for criterion related
SD Rho
Residual SD Adjusted for criterion related and range restriction
Residual SD Adjusted for criterion related and range restriction
Residual SD Adjusted for criterion related and range restriction
Residual SD Adjusted for criterion related and range restriction
True Validity
Correlation between true test score and true criterion score
Correlation between true test score and true criterion score
Correlation between observed test score and true criterion score
Correlation between true test score and true criterion score

E.     Ringkasan Beberapa Hal Penting lainnya Mengenai Generalisasi Validitas
1.      Strategi/Pendekatan Generalisasi Validitas
Dalam Pernyataan Kebijakan Resmi dari Masyarakat Psikologi Organisasi dan Industri, Divisi ke-14 dari American Psychological Association (2003), strategi untuk generalisasi validitas adalah:
a.       Transportabilitas
Salah satu strategi/pendekatan untuk menggeneralisasi validitas inferensi dari skor pada suatu prosedur seleksi, mencakup penggunaan dari suatu prosedur seleksi khusus dalam suatu situasi baru berdasarkan hasil-hasil dari suatu penelitian yang mengkaji validitas yang dilakukan dimanapun.  Hal ini merujuk pada sesuatu yang menggambarkan “transportabilitas” dari bukti validitas bagi prosedur seleksi.  Saat mengajukan untuk “membawa” manfaat dari suatu prosedur, suatu review yang berhati-hati dari penelitian validitas asal, digaransikan untuk memastikan akseptabilitas kekokohan teknis dari penelitian dan untuk menentukan relevansinya dengan situasi yang baru. 
b.      Validitas Sintetik/Komponen Pekerjaan
Pendekatan kedua untuk menggeneralisasi validitas inferensi berdasarkan skor-skor dari suatu prosedur seleksi adalah validitas sintetik atau validitas komponen pekerjaan.    Suatu ciri definisi dari validitas sintetik atau validitas komponen pekerjaan adalah justifikasi dari penggunaan suatu prosedur seleksi berdasarkan pada validitas inferensi dari skor-skor pada prosedur seleksi yang diperlihatkan dengan mengacu pada satu atau lebih domain pekerjaan (komponen pekerjaan).  Dengan demikian validitas sintetik atau validitas komponen pekerjaan memerlukan dokumentasi dari hubungan antara prosedur seleksi dengan satu atau lebih domain khusus dari pekerjaan baik untuk pekerjaan tunggal atau antar pekerjaan.  Jika hubungan diantara prosedur seleksi dengan komponen pekerjaan ada, maka validitas dari prosedur seleksi untuk komponen pekerjaan dimaksud memungkinkan untuk digeneralisasi pada situasi yang lain dimana komponen pekerjaan itu sebanding.
c.       Validitas Meta-Analitik
Meta analisis adalah strategi ketiga yang dapat digunakan untuk mementukan derajat apakah hubungan prediktor-kriteria bersifat spesifik berdasarkan situasi dimana data validitas diambil atau dapat digeneralisasikan pada situasi yang lain, sebaik untuk menentukan sumber-sumber dari variabilitas antar situasi (Aguinis & Pierce, 1998).  Meta analisis memerlukan akumulasi temuan dari sejumlah penelitian validitas untuk menentukan estimasi terbaik dari hubungan prediktor-kriteria untuk berbagai jenis domain pekerjaan serta setting yang tercakup dalam penelitian-penelitian dimaksud.

2.      Pendekatan dalam Meta Analisis
Schmidt & Hunter (1996) menyatakan bahwa dalam buku mereka dicantumkan ada sepuluh pendekatan dalam meta analisis yang digunakan untuk mengintegrasikan temuan dari berbagai penelitian.  Pendekatan dimaksud dimulai dari review subjektif-naratif tradisional sampai yang terakhir yaitu metode kuantitatif modern dari meta analisis.  Metode terakhir ini antara lain mencakup analisis:
a.       Metode Meta Analisis Deskriptif (Glassian Meta Analisis)
Sifat-sifatnya adalah:
1)      Lebih menitikberatkan pada efek ukuran sampe dibandingkan tingkat signifikansi
2)      Penerimaan terhadap variansi effect  sizes  (SEs)  padatataran nominal
3)    Pendekatan empiric yang sangat kuat untuk menentukan aspek studi yang mana yang harus dikode dan diuji terkait dengan hasil penelitian yang dimungkinkan.
b.      Metode Meta Analisis yang Fokus pada Kesalahan Sampling
Sifat-sifat utamanya adalah:
1)      Fokus utamanya adalah pada effect  sizes
2)   Setelah menaksir mean dari efek ukuran sampel yang sesungguhnya,  hipotesis bahwa S2s teramati merujuk pada artifak statistik diuji melalui pemecahan variansi yang sesuai dengan artifak dari variansi teramati
3)    Hanya jika hipotesis S2sa- >  0  tidak bisa ditolak selski karakteristik yang bervariasi antar penelitian dikode dan dikorelasikan dengan penelitian tentang effect sizes
4)  Korelasi antara karakteristik penelitian dan effect sizes dikoreksi bagi kesalahan sampling pada skala effect size dengan menggunakan prosedur yang dikembangkan oleh Hunter (1979).
5)  Korelasi antar karakteristik penelitian dihitung dan dikoreksi bagi ketidakreliabelan pada karakteristik penelitian dimaksud
6)      Dengan menggunakan hasil dari matriks korelasi skor sesungguhnya,  regresi dari effect sizes pada on karakteristik penelitian dihitung, yang menghasilkan persamaan regresi skor sesungguhnya
7) Hasil berupa skor R yang sesungguhnya harus dikoreksi bagi penciutannya dengan menggunakan formula penciutan yang bersesuaian  (Cattin,  1980)
8)      Tiga jenis distribusi effect sizes  yang berbeda kemudian dapat diturunkan, yaitu:
a)      M  =  EST,  dengan simpangan baku terkoreksi hanya dari efek   artifak statistika saja.
b)     M  =  EST,  dengan simpangan baku terkoreksi dari efek   artifak statistika dan dari efek karakteristik penelitian dari nilai mean mereka.
c)    Nilai dari  M  =  EST  dan simpangan bakunya dapat ditemukan guna distribusi  dimana karakteristik penelitian bersifat konstan nilainya daripada mean-nya.

3.      Model Utama Meta Analisis
Jennifer L. Kisamore dalam disertasinya (2003) menyatakan bahwa ada dua kelompok besar model dari meta analisis.  Namun jika pada setiap penelitian dapat dikumpulkan data tak terhingga, maka model manapun akan sama saja.  Kedua kelompok besar model dimaksud adalah:
a.       Model-model Efek Tetap
Model-model efek tetap berasumsi bahwa jikapun memungkinkan untuk mengumpulkan sampel dengan ukuran yang tak terhingga dalam setiap penelitian, maka akan tetap ada perbedaan hasil antar tiap penelitian (Shaddish & Haddock, 1994).
b.      Model-model Efek Random
Model-model efek random mengakui kemungkinan distribusi dari ukuran efek sampel yang tak berhingga antar penelitian (variansi efek random adalah lebih besar dari 0).
Pemilihan model efek tetap atau efek random bisa memiliki implikasi yang penting terhadap kesimpulan penelitian (Kisamore & Brannick, 2003; National Research Council, 1992; Overton, 1998).   Jika komponen variansi efek random cukup besar, maka penggunaan analisis efek random akan memberikan appresiasi yang lebih baik bagi ketaktentuan mengenai besaran dari mean validitas sesungguhnya sementara penggunaan analisis efek tetap memberikan konsistensi koefisien validitas yang lebih tinggi dibandingkan yang dapat diberikan oleh data.
Hasil-hasil penelitian mutakhir menunjukkan bahwa asumsi-asumsi model efek random secara umum lebih kokoh jika dibandingkan dengan model-model efek tetap (Hedges & Vevea, 1998; Schmidt & Hunter, 2000; National Research Council, 1992). 

4.      Metode Schmidt-Hunter
Ada banyak metode yang dapat digunakan untuk menguji kekhususan yang bersifat situasional, antara lain dari Schmidt-Hunter yang mencakup:
a.       Aturan 75%
Aturan ini mencakup perhitungan variansi dari koefisien validitas teramati kemudian membagi variansi attributable ke correctable statistical artifacts (seperti: variansi yang berasal dari kesalahan sampling,  ketakreliabelan prediktor/tes, ketidakreliabelan kriteria, dan pembatasan jangkauan) dari variansi yang teramati.  Jika 25% variansi tersisa (atau 75% variansi teramati dapat dijelaskan melalui artifak-artifak yang dapat dibenarkan), maka hipotesis bahwa validitas adalah spesifik secara situasional ditolak. 
b.      Metode Nilai Bawah Kredibilitas
Apabila 90 persen interval tidak mengandung 0, maka trasnportabilitas cukup masuk akal untuk dipertimbangkan karena 90% dari populasi koefisien validitas berada > 0 dan dengan demikian transportasi akan memberikan keuntungan paling tidak 90% dari kasus.  Jika transport validitas masuk akal, rata-rata , bukanlah merupakan batas bawah dari interval kredibilitas, yang merujuk pada estimasi terbaik dari validitas dalam suatu situasi yang baru (Pearlman et al., 1980).

5.      Estimasi Kesalahan Baku dalam Generalisasi Validitas dengan Resampling
Untuk mengestimasi kesalahan baku generalisasi validitas dapat ditempuh dengan cara melakukan resampling, yaitu dengan melakukan sampling terhadap data sampel yang dikoleksi.  Adapun teknik yang dapat digunakan adalah:
a.       Bootstrap
Bootstrap adalah suatu metode yang bersifat umum untuk mengevaluasi seberapa baik statistic tertentu dapat mengestimasi parameter.  Secara khusus  ia merupakan metode resampling yang memungkina peneliti mengestimasi kesalahan baku dari .
b.      Jacknife
    Jacknife adalah teknik resampling yang digunakan terutama apabila terdapat nilai-nilai pencilan pada data. Pada teknik ini nilai pencilan dikeluarkan satu-persatu lalu sampai akhirnya dilakukan resampling pada data yang tidak memiliki pencilan lagi.

6.      Koreksi Koefisien Validitas untuk Artifak
Artifak-artifak seperti kesalahan sampling, pembatasan jangkauan, dan ketakreliabelan kriteria memberikan dampak terhadap besaran persentase variansi dalam distribusi dari koefisien-koefisien validitas.  Karenanya perlu dilakukan koreksi terkait dengan artifak-artifak dimaksud, yaitu dengan cara melakukan:
a.       Koreksi kesalahan sampling
b.  Koreksi pembatasan jangkauan yang salah satunya dapat dilakukan dengan menggunakan Norma-norma yang dipublikasikan
c.       Koreksi ketakreliabelan kriteria maupun kombinasinya.

DOWNLOAD file ini dalam bentuk PDF (versi Bahasa Indonesia) dengan meng-click link berikut:
http://www.ziddu.com/download/19202300/GENERALISASIVALIDITAS.pdf.html
 

2 komentar:

  1. kita juga punya nih jurnal mengenai Validitas silahkan dikunjungi dan dibaca , berikut linknya
    http://repository.gunadarma.ac.id/bitstream/123456789/4237/1/FEK-adam.pdf

    BalasHapus
  2. kita? kita siapa? gunakan kata ganti dengan benar, jangan ikut-ikutan sinetron meyebar virus kesalahan

    BalasHapus