A.
Konsep Generalisasi Validitas
Bukti yang berasal dari penelitian validitas terdahulu merupakan
informasi yang berharga dalam memutuskan apakah suatu tes sesuai untuk
digunakan untuk tujuan tertentu. Konsep
ini telah dikenal di berbagai bidang dimana tes digunakan untuk tujuan seleksi,
termasuk dalam bidang pendidikan, tenaga kerja, maupun militer. Secara tradisional di berbagai bidang ini
diyakini bahwa validitas suatu instrumen yang digunakan untuk seleksi mungkin situasinya
bersifat spesifik. Konsekuensinya,
diyakini pula bahwa suatu tes harus tetap divalidasi dimana pun ia akan
digunakan. Pandangan ini diterima secara
luas dalam bidang psikologi personalia, tetapi pandangan yang mengatakan bahwa
kita tidak dapat melakukan generalisasi terhadap validitas suatu instrumen ini
dibantah oleh beberapa peneliti seperti Guion (1976), yang menyatakan bahwa
meskipun sulit untuk membuat inferensi bagi suatu aturan yang bersifat umum
dari perilaku, tetapi masih sangat mungkin untuk membuat prediksi yang akan
bermanfaat bagi kepentingan praktis.
Pernyataan seperti ini juga disampaikan oleh banyak peneliti lainnya
sebagai tantangan bagi para ahli psikologi personalia untuk mengembangkan suatu
metode yang dapat digunakan untuk meneliti aturan umum beserta bukti-bukti yang
mendukungnya.
Ada dua
konsep utama yang diperdebatkan dalam penelitian validitas terkait dengan tes
yang bersifat pengakuan. Dua hal
dimaksud adalah “kekhususan situasi” dan “konsistensi antar situasi”. Kekhususan situasi mengindikasikan bahwa
validitas prediktif bervariasi dari satu situasi ke situasi yang lain. Sedangkan konsistensi antar situasi merujuk
pada suatu keyakinan bahwa validitas bersifat konstan antar situasi. Kedua definisi ini akan dijabarkan lebih
lanjut pada uraian-uraian berikut ini.
B.
Pandangan Tradisional terhadap Pengkhususan yang
Bersifat Situasional
Ribuan penelitian tentang validitas yang dilakukan setiap tahun
memberikan tambahan bukti validitas untuk mempelajari kekhususan situasi. Ghiselli (1966) mengumpulkan berbagai
penelitian tentang validitas Tes Bakat yang digunakan untuk seleksi
karyawan. Ia mendapatkan bahwa koefisien
validitas bervariasi pada berbagai penelitian tersebut meski ada kesamaan dalam
hal tes maupun pekerjaan yang diteliti.
Beberapa variabel kemungkinan mempengaruhi korelasi antara skor tes
dengan skor kriteria. Variabel-variabel
ini diduga bersifat situasional, demikian juga dengan jenis dan derajat
pengaruhnya terhadap koefisien korelasi yang tergantung dari situasi yang ada.
Konsep mengenai kekhususan situasi ini mengindikasikan bahwa variabel-variabel
lingkungan memiliki pengaruh terhadap koefisien validitas. Variabel-variabel ini dapat berupa motivasi
siswa, lingkungan kelas atau sekolah, karakteristik guru, kepuasan kerja, kondisi
kerja, maupun yang lainnya yang memiliki kekhususan yang bersifat situasional, akan
mempengaruhi skor kriteria melalui cara yang bersifat sistematik (Peters &
O’Connor, 1980).
C.
Faktor-faktor Penyebab Kekhususan Situasional
yang Perlu Diamati
Seluruh model generalisasi validitas memandang bahwa koefisien validitas
dapat dipartisi dalam dua komponen, yaitu validitas sesungguhnya dan error. Validitas sesungguhnya didefinisikan sebagai
korelasi antara skor tes dan skor kriteria untuk keseluruhan populasi yang tak
diketahui. Meskipun demikian, dengan
menggunakan penelitian validitas belahan untuk suatu tes tertentu, maka
validitas sesungguhnya akan dapat diestimasi.
Besaran error dalam berbagai validitas teramati tergantung pada
beberapa faktor yang dapat dikelompokkan dalam dua jenis, yaitu yang bersifat
random (random error) dan yang bersifat sistematik (systematic error).
Contoh dari faktor yang termasuk dalam kelompok random error
adalah faktor kesalahan sampling (sampling error). Sedangkan contoh dari faktor yang termasuk
dalam kelompok kesalahan sistematik (systematic error) adalah faktor
reliabilitas tes, reliabilitas kriteria, dan pembatasan jangkauan.
Bila error berpeluang untuk muncul pada suatu pengukuran baik pada
prediktor, kriteria, maupun keduanya, maka korelasi diantara keduanya akan
mengalami penurunan (Pedhazur, 1982).
Ketidakreliabelan prediktor dan kriteria secara parsial merefleksikan
besarnya error ini. Dengan kata
lain, jika reliabilitas suatu pengukuran adalah 1,00 (sempurna), maka error
yang terkait dengan ketidakreliabelan pengukuran akan 0. Tetapi dalam kenyataannya reliabilitas
pengukuran cenderung kurang < 1,00 sehingga error yang terkait dengan
ketidakreliabelan pengukuran akan > 0.
Untuk memperbaiki ketidakreliabelan pengukuran ini, maka diasumsikan
panjang tes dan panjang kriteria adalah tak terhingga (Lord & Novick,
1968). Sebagai tambahan, karena
reliabilitas tes dan kriteria cenderung bervariasi dari satu kelompok ke kelompok
yang lain, maka variasi dari validitas teramati pun akan dapat diestimasi. Variasi reliabilitas tes maupun kriteria dari satu situasi ke
situasi yang lain menyebabkan validitas teramatinya akan bervariasi pula
meskipun validitas sesungguhnya tetap.
Dengan demikian, perbedaan reliabilitas antar situasi dapat diambil
sebagai sesuatu yang menyebabkan kekhususan yang bersifat situasional dalam
pendekatan generalisasi validitas.
Suatu koefisien validitas teramati yang diberlakukan untuk tes seleksi
tertentu biasanya dihitung dari hanya satu kelompok tertentu yang telah
dipilih. Skor tes pada suatu kelompok
yang dipilih cenderung lebih homogen dibandingkan dengan yang berasal dari
suatu kelompok yang tidak. Dalam hal
ini, koefsien validitas teramati yang diberlakukan pada suatu kelompok yang
dipilih akan menjadi lebih kecil dibandingkan dengan yang berasal dari suatu
kelompok yang tidak. Hal ini merupakan
masalah terkait batas interval yang dikenal dengan baik dalam penelitian
korelasional. Karena alasan rasio
seleksi, yang diindikasikan dengan persentase pelamar yang diseleksi, yang
bervariasi dari satu pengaplikasian tes ke pengaplikasian yang lain, validitas teramati juga dapat bervariasi
meskipun validitas sesungguhnya bersifat konstan sebagaimana yang telah
dikemukakan sebelumnya. Perbedaan dalam
derajat dan pembatasan jangkauan antar situasi ini dengan demikian dapat
diambil sebagai suatu potensi yang lain dari kekhususan yang bersifat
situasional. Porsi variasi dari
validitas teramati ini dapat dijelaskan melalui pembatasan jangkauan efek yang
diestimasi dalam kebanyakan pendekatan yang terkait dengan generalisasi
validitas.
Sedangkan suatu kesalahan sampling adalah perbedaan antara estimasi suatu
sampel (statistik) dengan nilai populasi (parameter). Contohnya, anggap bahwa korelasi populasi
untuk seribu pasang skor adalah sebesar 0,80.
Kemudian, kita pilih 100 pasang dari skor tersebut secara random,
menghitung korelasinya dan mendapatkan koefisien sebesar 0,70. maka perbedaan antara 0,80 dan 0,70 adalah
terkait dengan kesalahan sampling. Kesalahan sampling dari suatu penelitian
validitas adalah bias dalam korelasi teramati sebagai suatu estimator dari
korelasi populasi (Johnson & Kotz, 1970) yang dapat mengindikasikan
mengenai variansi. Kesalahan sampling
dalam penelitian generalisasi validitas diestimasi sebagai rata-rata kesalahan
sampling antar hasil penelitian.
Dengan asumsi bahwa ada tiga sumber yang disebutkan terdahulu tdak saling
berkorelasi, maka total variansi yang berhubungan dengan sumber-sumber ini
dapat dihitung sebagai jumlah dari komponen-komponen yang terpisah. Model-model untuk penelitian generalisasi
validitas dibedakan melalui suatu cara tertentu dimana sumber-sumber variasi
dari validitas teramati dipartisi sedemikian rupa dan diestimasi. Beberapa diantaranya merupakan penjumlahan
dan beberapa yang lainnya berupa perkalian.
Tujuan utamanya adalah untuk mengestimasi validitas sesungguhnya dari
suatu instrumen dan mengestimasi simpangan bakunya. Suatu kerangka umum dari pendekatan mengenai
hal ini akan dipaparkan pada bagian berikut ini.
D.
Pendekatan terhadap Generalisasi Validitas
Penelitian konvensional tentang generalisasi validitas bermula ketika
Schmidt & Hunter (1977) meneliti power statistik dari penelitian-penelitian
validitas terpilih dan mempertimbangkan suatu prosedur untuk menguji hipotesis
mengenai kekhususan yang bersifat situasional.
Prosedur baru yang digunakan adalah teknik meta analisis untuk
mengestimasi variansi kesalahan melaui sejumlah hasil penelitian. Dengan menggunakan kumpulan penelitian terdahulu
serta menggunakan teknik meta analisis, temuan bisa didapatkan dengan cara
membuatnya memiliki manfaat praktis yang besar (Glass & Smith, 1981).
Tujuan utama dari penelitian generalisasi validitas adalah untuk
mengestimasi mean dan variansi validitas sesungguhnya dari tes
penyeleksian. Ini adalah suatu area yang
memiliki banyak pengembangan metodologi serta banyaknya argumen dari para
pengembang metodologi tersebut tentang bagaimana pengembangan selanjutnya mesti
dilakukan. Argumen-argumen dimaksud harus
dikerjakan dengan pendekatan tertentu yang rinci dibandingkan dengan
konsep-konsep dasar dan akan dicantumkan hanya dalam tinjauan pustaka.
Pendekatan yang berasal Schmidt & Hunter (1977) memberikan dalil
tentang tujuh sumber variansi yang potensial menyebabkan variasi pada koefisien
validitas teramati, namun hanya empat yang diestimasi. Pendekatan ini menggunakan teknik meta
analisis dan metode quasi-bayesian untuk mengestimasi mean dan variansi dari
distribusi validitas sesungguhnya, serta untuk mendapatkan suatu interval yang
dapat dipercaya mengenai validitas sesungguhnya. Sebagai hasil tambahan dari analisis ini,
persentase dari variansi teramati yang dihitung dari sumber-sumber artifisial
juga turut diestimasi.
Pendekatan Schmidt & Hunter digambarkan sebagai quasi-bayesian
dikarekan ia memerlukan informasi mengenai efek ketidakreliabelan, pembatasan
jangkauan, dan faktor-faktor lainnya yang kesemuanya dijelaskan dalam suatu istilah
yang disebut dengan distribusi awal atau yang diasumsikan. Ada
tiga distribusi yang diperlukan bagi kebanyakan prosedur yaitu reliabilitas
tes, reliabilitas kriteria, dan pembatasan jangkauan antar penelitian validitas
yang digunakan. Distribusi-distribusi
ini jarang tersedia dalam laporan-laporan baik yang dipublikasikan maupun
tidak, sehingga beberapa distribusi hipotetik kemungkinan tidak sama dengan
distribusi yang sesungguhnya dalam dunia nyata dan para pengguna metode
generalisasi validitas harus menerima berbagai perbedaan yang ada sebagai
sumber bias dalam prosedur yang digunakan.
Ukuran perbedaan ini menentukan akurasi dari berbagai implementasi
praktis dari prosedur-prosedur generalisasi validitas. Tanpa membicarakan secara rinci dari
macam-macam metode generalisasi validitas, dapat dikatakan bahwa hasil analisis
generalisasi validitas mungkin tergantung pada kebenaran dari distribusi
hipotetik yang digunakan, metode khusus yang digunakan (seperti penjumlahan
atau perkalian), dan data, dalam bentuk penelitian validitas yang tersedia
untuk dianalisis.
1.
Prosedur Dasar Generalisasi Validitas
Prinsip dasar dari model generalisasi validitas adalah pemartisian
variansi, yaitu identifikasi dan pemilahan terhadap variansi dari validitas
teramati yang bertanggung jawab terhadap error sistematik yang
berhubungan dengan artifak statistik dan error dari random sampling. Secara khusus dalam literatur generalisasi
validitas, efek sistematik ini dapat dibaca pada bahasan-bahasan tentang
perbedaan antara penelitian-penelitian dalam hal reliabilitas tes, kriteria
reliabilitas, hal batasan interval, jumlah dan jenis dari kriteria kontaminasi
dan defisiensi, struktur faktor dari tes yang konstruk yang sama, dan perbedaan
dalam penelitian-penelitian dalam hal struktur faktor dari kriteria pengukuran
(Contohnya: Pearlman, Schmidt, & Hunter, 1980; Linn & Dunber, 1986). Dengan demikian variansi yang tidak terkait
dengan ketujuh faktor ini akan mencerminkan variabilitas dari validitas yang
sesungguhnya.
Model dasar untuk generalisasi validitas didasarkan pada suatu struktur
persamaan untuk koefisien korelasi
teramati antara prediktor X dan kriteria Y yang dapat dituliskan sebagai
berikut:
Dimana R adalah
korelasi teramati, adalah korelasi
populasi yang dibatasi, dan e adalah peluang error yang
berhubungan dengan sampling. Jika
dalam hal ini ukuran sampelnya tak terhingga, maka korelasinya akan sebesar . Namun dengan ukuran
sampel yang aktual (tidak tak terhingga) maka ada perbedaan antar korelasi teramati
(R) yang dihitung dari data. Korelasi
yang dibatasi dihitung dari data.
Korelasi yang dibatasi berbeda dari korelasi populasi yang berhubungan
dengan ketidakreliabelan prediktor, ketidakreliabelan kriteria, dan pembatasan
jangkauan. Persamaan struktural yang
lengkap yang digunakan di hampir keseluruhan penelitian generalisasi validitas
dapat ditulis sebagai berikut:
2.
Gugatan terhadap Prosedur Konvensional
Metode meta analisis telah
memberikan dampak yang sangat besar terhadap pengembangan prosedur penelitian
generalisasi validitas. Meskipun
demikian, ada beberapa gugatan terhadap pendekatan ini dalam beberapa literatur
yang penting untuk difahami bagi keobjektifan evaluasi generalisasi validitas
dalam menyediakan bukti yang merujuk pada validitas prediktif dari tes.
Eysenck (1978) secara umum mengkritik meta analisis pada basis dari
dari kualitas penelitian yang dikoleksi. Dia berpendapat bahwa seseorang
tidak bisa menyaring pengetahuan ilmiah dari suatu rangkaian penelitian yang sebagian besar memiliki desain yang
lemah.
Seluruh peneliti menyadari bahwa setiap prosedur secara umum memiliki
kelebihan dan kekurangan masing-masing.
Kelebihan dan kekurangan ini tergantung pada kesesuaian model dimaksud
dengan situasi yang dihadapi. Untuk
memperoleh metode yang sesuai bagi suatu penelitian generalisasi validitas,
beberapa ahli psikologi membandingkan
metode meta analisis dengan tradisi metode dari review integratif yang bukan
kuantitatif. Cook & Laura (1980) mereview beberapa literatur untuk
membandingkan metode tradisional ini dengan meta analisis. Mereka menyimpulkan bahwa meta analisis
maupun review kualitatif dapat dilaksanakan dengan menggunakan dampak dari ukuran
sampel. Lebih jauh mereka menyatakan
bahwa meta analisis merupakan sekumpulan teknik yang berguna bagi review
literatur, khususnya jika ukuran sampel dari penelitian yang digunakan adalah cukup
besar.
Cooper dan Rosenthal (1980) juga membandingkan metode statistik yang
digunakan dalam meta analisis dengan tradisional atau metode-metode kualitatif
dari analisis berbagai penelitian.
Mereka menyimpulkan bahwa para pengguna dari metode statistika
mengestimasi besaran pengaruh yang lebih besar dibanding para pereview
tradisional, namun secara umum dirasa tetap mendukung apa yang dituangkan dalam
literature. Meskipun metode meta
analisis memiliki beberapa kelemahan, namun bagi Cooper & Rosenthal, ia
tetaplah merupakan suatu teknik yang berguna dalam menganalisis sekumpulan
temuan penelitian. Hal ini juga
dilakukan oleh McDaniel, Whetzel, Schmidt, & Maurer (1994).
3.
Prosedur Generalisasi Validitas
Ada
beberapa prosedur generalisasi validitas yang akan dipaparkan di sini, yaitu:
a.
Prosedur Asal dari Schmidt & Hunter (1977)
Ada dua
kelompok besar sumber error variansi yaitu:
1) Random
error yang berupa error sampling ()
Sumber error yang pertama ini dalam bentuk transformasi
Fisher’s Z dapat ditaksir sebagai:
dimana, n
adalah ukuran sampeldalam penelitian validitas yang dikaji
2) Systematic
error yang merujuk pada:
a) Perbedaan
dalam reliabilitas kriteria antar penelitian ()
Sumber error variansi yang kedua dalam hal ini dapat diestimasi
dengan:
dimana, Z
adalah nilai harapan dari validitas teramati dalam satuan Z yang hanya
mempertimbangkan reliabilitas kriteria
ni
adalah ukuran sampel yang berhubungan dengan reliabilitas kriteria dalam
penelitian yang ke-i
Schmidt & Hunter menggunakan distribusi hipotetik dari Reliabilitas
Kriteria dengan mean sebesar 0,60.
b)
Perbedaan dalam derajad pembatasan jangkauan antar
penelitian ()
Seperti dua sumber error variansi di atas,
komponen ini juga menggunakan nilai Z, dimana estimasinya adalah:
dimana, Z adalah nilai harapan dari validitas
teramati dalam satuan Z yang hanya mempertimbangkan pembatasan jangkauan
Berkaitan dengan sumber error variansi di atas, prosedur asal dari
Schmidt & Hunter ini berasumsi bahwa:
1)
Efek dari pembatasan jangkauan dan reliabilitas kriteria
saling bebas
2)
Tiga sumber error variansi di atas bersifat
aditif dan penjumlahannya disebut dengan “Variansi prediktif” ().
Variansi prediktif ini digunakan untuk menaksir variansi dari distribusi
validitas sesungguhnya dan dituliskan sebagai:
b.
Variasi dari Prosedur Asal
1)
Prosedur Non-interaktif yang Direvisi (Pearlman,
Schmidt, & Hunter, 1980)
Variansi prediktif yang digunakan untuk menaksir variansi dari distribusi
validitas sesungguhnya pada prosedur ini dapat dituliskan sebagai berikut:
Untuk mendapatkantaksiran dari variansi residualnya digunakan persamaan
sebagai berikut:
2)
Prosedur Interaktif (Schmidt, Gast-Rosenberg, &
Hunter, 1980)
Prosedur ini menginteraksikan komponen-komponen dari error sistematik
sehingga estimasi variansi prediktifnya menjadi:
Prosedur interaktif ini maupun prosedur non-interaktif di atas
menggunakan formula yang sama untuk mengestimasi variansi dari error
sampling sebagai berikut:
Mean dari kovariansi yang disesuaikan untuk ketakreliabelan kriteria dan
pembatasan jangkauan digunakan untuk menaksir mean dari distribusi variansi
sesungguhnya dengan formula sebagai berikut:
Sedangkan simpangan baku
dari distribusi variansi sesungguhnya adalah:
Dengan demikian, prosedur interaktif maupun non-interaktif memerlukan
tiga distribusi yaitu: Reliabilitas Tes, Reliabilitas Kriteria, dan Pembatasan
Jangkauan.
3)
Prosedur Bare-Bones (Pearlman, dkk., 1980)
Prosedur ini menggunakan formula sebagai berikut:
Asumsi yang digunakan pada prosedur ini, meskipun tak selalu benar,
adalah:
a)
Nilai harapan dari r ‘s adalah korelasi
populasi
b)
Konsekuensinya adalah dan e tidak berkorelasi
Adapun variansi sesungguhnya pada prosedur ini diestimasi dengan
Dan variansi residualnya dihitung dengan
Prosedur ini menggunakan formula yang sama dengan prosedur interaktif
dalam mengestimasi error sampling.
Prosedur ini juga menggunakan formula yang sama dengan prosedur
non-interaktif dalam menaksir mean dan variansi dari distribusi variansi
sesungguhnya.
4)
Prosedur Multiplikatif (Callender & Osborn, 1980)
Prosedur ini menggunakan korelasi Pearson untuk menaksir parameter dari
distribusi variansi sesungguhnya dengan formula:
Prosedur mutiplikatif ini dapat dibagimenjadi dua jenis, yaitu:
a)
Prosedur Multiplikatif Independen
Asumsi dari prosedur ini adalah bahwa , a, dan c saling bebas
Asumsi ini memberikan persamaan yang sederhana dalam menkasir variansi
yang terkait dengan artifak statistik, yaitu:
Mean dan variansi dari variansi sesungguhnya secara berturut-turut adalah
sebagai berikut:
Untuk mengestimasi variansi sampling (Johnson & Kotz, 1970) digunakan
formula sebagai berikut:
b)
Prosedur Multiplikatif Dependen
Mean dan variansi dari variansi sesungguhnya pada prosedur multiplikatif
dependen dihitung dengan menggunakan formula-formula sebagai berikut:
Prosedur ini pada dasarnya menggunakan asumsi yang sama dengan prosedur
interaktif dari Schmidt & Hunter.
Tetapi prosedur yang digunakan untuk menaksir parameter dari distribusi
variansi sesungguhnya dalam prosedur interaktif lebih mudah dibandingkan dengan
prosedur multiplikatif dependen ini.
5)
Prosedur dari Raju & Burke (1983)
Prosedur ini berbasiskan formula psikometrik baku sebagaimana yang digunakan oleh Lord
& Novick (1968)
Menggunakan asumsi bahwa tidak berkorelasi
dengan e.
6)
Pembatasan Jangkauan Secara Empirik (Linn &
koleganya, 1968, 1981, 1982, 1984)
Prosedur ini menggunakan persamaan regresi
4.
Perbandingan Empat Prosedur Generalisasi
Validitas
Empat prosedur yang dibandingkan dalam hal ini adalah: Bare-Bones,
Interactive Schmidt-Hunter, Independent Multiplicative., dan
Empirical Range Restriction. Sedangkan parameter yang dijadikan dasar
perbandingannya adalah: Sampling Error, Variance Range Restriction,
Variance Test Related, Variance Criterion Related, Mean Rho,
SD Rho, dan True Validity.
Perbandingan keempat prosedur berdasarkan tujuh parameter sebagaimana
tersebut di atas, dapat dilihat pada Tabel 1 di bawah ini.
Tabel
1. Perbandingan Prosedur Generalisasi Validitas
Parameter
|
Prosedur
Generalisasi Validitas
|
|||
Bare-Bones
|
Interactive
Schmidt et. al.
|
Independent
Multiplicative
|
Empirical
Range Restriction
|
|
Sampling
Error
|
Weighted
|
Weighted
|
Unweighted
|
Weighted
|
Variance Range Restriction
|
-
|
Simultaneous
for range restriction, test related, criterion related, with Pearson-Lawley
and dependent assumption
|
With
Pearson-Lawley
|
Regression
based estimate
|
Variance
Test Related
|
-
|
-
|
-
|
-
|
Variance
Criterion Related
|
-
|
-
|
Adjusted
for range restriction
|
-
|
Mean
Rho
|
Mean
observation R’s Adjusted for criterion related and range restriction
|
Mean
observation R’s Adjusted for criterion related and range restriction
|
Mean
observation R’s Adjusted for criterion related and range restriction
|
Mean
of predictive validity adjusted for criterion related
|
SD
Rho
|
Residual
SD Adjusted for criterion related and range restriction
|
Residual
SD Adjusted for criterion related and range restriction
|
Residual
SD Adjusted for criterion related and range restriction
|
Residual
SD Adjusted for criterion related and range restriction
|
True
Validity
|
Correlation
between true test score and true criterion score
|
Correlation
between true test score and true criterion score
|
Correlation
between observed test score and true criterion score
|
Correlation
between true test score and true criterion score
|
E.
Ringkasan Beberapa Hal Penting lainnya Mengenai
Generalisasi Validitas
1.
Strategi/Pendekatan Generalisasi Validitas
Dalam Pernyataan Kebijakan Resmi dari Masyarakat Psikologi Organisasi dan
Industri, Divisi ke-14 dari American Psychological Association (2003), strategi
untuk generalisasi validitas adalah:
a.
Transportabilitas
Salah satu strategi/pendekatan untuk menggeneralisasi validitas inferensi
dari skor pada suatu prosedur seleksi, mencakup penggunaan dari suatu prosedur
seleksi khusus dalam suatu situasi baru berdasarkan hasil-hasil dari suatu
penelitian yang mengkaji validitas yang dilakukan dimanapun. Hal ini merujuk pada sesuatu yang
menggambarkan “transportabilitas” dari bukti validitas bagi prosedur
seleksi. Saat mengajukan untuk “membawa”
manfaat dari suatu prosedur, suatu review yang berhati-hati dari
penelitian validitas asal, digaransikan untuk memastikan akseptabilitas kekokohan
teknis dari penelitian dan untuk menentukan relevansinya dengan situasi yang
baru.
b.
Validitas Sintetik/Komponen Pekerjaan
Pendekatan kedua untuk menggeneralisasi validitas inferensi berdasarkan
skor-skor dari suatu prosedur seleksi adalah validitas sintetik atau validitas
komponen pekerjaan. Suatu ciri
definisi dari validitas sintetik atau validitas komponen pekerjaan adalah
justifikasi dari penggunaan suatu prosedur seleksi berdasarkan pada validitas
inferensi dari skor-skor pada prosedur seleksi yang diperlihatkan dengan
mengacu pada satu atau lebih domain pekerjaan (komponen pekerjaan). Dengan demikian validitas sintetik atau
validitas komponen pekerjaan memerlukan dokumentasi dari hubungan antara
prosedur seleksi dengan satu atau lebih domain khusus dari pekerjaan baik untuk
pekerjaan tunggal atau antar pekerjaan.
Jika hubungan diantara prosedur seleksi dengan komponen pekerjaan ada,
maka validitas dari prosedur seleksi untuk komponen pekerjaan dimaksud
memungkinkan untuk digeneralisasi pada situasi yang lain dimana komponen
pekerjaan itu sebanding.
c.
Validitas Meta-Analitik
Meta analisis adalah strategi ketiga
yang dapat digunakan untuk mementukan derajat apakah hubungan
prediktor-kriteria bersifat spesifik berdasarkan situasi dimana data validitas
diambil atau dapat digeneralisasikan pada situasi yang lain, sebaik untuk
menentukan sumber-sumber dari variabilitas antar situasi (Aguinis & Pierce,
1998). Meta
analisis memerlukan akumulasi temuan dari sejumlah penelitian validitas untuk
menentukan estimasi terbaik dari hubungan prediktor-kriteria untuk berbagai
jenis domain pekerjaan serta setting yang tercakup dalam penelitian-penelitian
dimaksud.
2.
Pendekatan dalam Meta Analisis
Schmidt & Hunter (1996) menyatakan bahwa dalam buku mereka
dicantumkan ada sepuluh pendekatan dalam meta analisis yang digunakan untuk
mengintegrasikan temuan dari berbagai penelitian. Pendekatan dimaksud dimulai dari review
subjektif-naratif tradisional sampai yang terakhir yaitu metode kuantitatif
modern dari meta analisis. Metode
terakhir ini antara lain mencakup analisis:
a.
Metode Meta Analisis Deskriptif (Glassian Meta Analisis)
Sifat-sifatnya adalah:
1)
Lebih menitikberatkan pada efek ukuran sampe
dibandingkan tingkat signifikansi
2)
Penerimaan terhadap variansi effect sizes
(SEs) padatataran nominal
3)
Pendekatan empiric yang sangat kuat untuk menentukan
aspek studi yang mana yang harus dikode dan diuji terkait dengan hasil
penelitian yang dimungkinkan.
b.
Metode Meta Analisis yang Fokus pada Kesalahan Sampling
Sifat-sifat utamanya adalah:
1)
Fokus utamanya adalah pada effect sizes
2)
Setelah menaksir mean dari efek ukuran sampel yang
sesungguhnya, hipotesis bahwa S2s teramati
merujuk pada artifak statistik diuji melalui pemecahan variansi yang sesuai dengan
artifak dari variansi teramati
3)
Hanya jika hipotesis S2sa- > 0 tidak
bisa ditolak selski karakteristik yang bervariasi antar penelitian dikode dan
dikorelasikan dengan penelitian tentang effect sizes
4)
Korelasi antara karakteristik penelitian dan effect
sizes dikoreksi bagi kesalahan sampling pada skala effect size dengan
menggunakan prosedur yang dikembangkan oleh Hunter (1979).
5)
Korelasi antar karakteristik penelitian dihitung dan
dikoreksi bagi ketidakreliabelan pada karakteristik penelitian dimaksud
6)
Dengan menggunakan hasil dari matriks korelasi skor
sesungguhnya, regresi dari effect sizes pada
on karakteristik penelitian dihitung, yang menghasilkan persamaan regresi skor
sesungguhnya
7)
Hasil berupa skor R yang sesungguhnya harus dikoreksi
bagi penciutannya dengan menggunakan formula penciutan yang bersesuaian (Cattin,
1980)
8)
Tiga jenis distribusi effect sizes yang berbeda kemudian dapat diturunkan,
yaitu:
a)
M = EST, dengan
simpangan baku
terkoreksi hanya dari efek artifak
statistika saja.
b)
M = EST, dengan
simpangan baku
terkoreksi dari efek artifak statistika
dan dari efek karakteristik penelitian dari nilai mean mereka.
c)
Nilai dari M
= EST dan simpangan bakunya dapat ditemukan guna
distribusi dimana
karakteristik penelitian bersifat konstan nilainya daripada mean-nya.
3.
Model Utama Meta Analisis
Jennifer L. Kisamore dalam disertasinya (2003) menyatakan bahwa ada dua
kelompok besar model dari meta analisis.
Namun jika pada setiap penelitian dapat dikumpulkan data tak terhingga,
maka model manapun akan sama saja. Kedua
kelompok besar model dimaksud adalah:
a.
Model-model Efek Tetap
Model-model efek tetap berasumsi bahwa jikapun memungkinkan untuk
mengumpulkan sampel dengan ukuran yang tak terhingga dalam setiap penelitian,
maka akan tetap ada perbedaan hasil antar tiap penelitian (Shaddish &
Haddock, 1994).
b.
Model-model Efek Random
Model-model efek random mengakui kemungkinan distribusi dari ukuran efek
sampel yang tak berhingga antar penelitian (variansi efek random adalah lebih
besar dari 0).
Pemilihan model efek tetap atau efek random bisa memiliki implikasi yang
penting terhadap kesimpulan penelitian (Kisamore & Brannick, 2003; National
Research Council, 1992; Overton, 1998). Jika komponen variansi efek random cukup
besar, maka penggunaan analisis efek random akan memberikan appresiasi yang
lebih baik bagi ketaktentuan mengenai besaran dari mean validitas sesungguhnya
sementara penggunaan analisis efek tetap memberikan konsistensi koefisien
validitas yang lebih tinggi dibandingkan yang dapat diberikan oleh data.
Hasil-hasil penelitian mutakhir menunjukkan bahwa asumsi-asumsi model
efek random secara umum lebih kokoh jika dibandingkan dengan model-model efek
tetap (Hedges & Vevea, 1998; Schmidt & Hunter, 2000; National Research
Council, 1992).
4.
Metode Schmidt-Hunter
Ada
banyak metode yang dapat digunakan untuk menguji kekhususan yang bersifat
situasional, antara lain dari Schmidt-Hunter yang mencakup:
a.
Aturan 75%
Aturan ini mencakup perhitungan variansi dari koefisien validitas
teramati kemudian membagi variansi attributable ke correctable
statistical artifacts (seperti: variansi yang berasal dari kesalahan
sampling, ketakreliabelan prediktor/tes,
ketidakreliabelan kriteria, dan pembatasan jangkauan) dari variansi yang
teramati. Jika 25% variansi tersisa
(atau 75% variansi teramati
dapat dijelaskan melalui artifak-artifak yang dapat dibenarkan), maka hipotesis
bahwa validitas adalah spesifik secara situasional ditolak.
b.
Metode Nilai Bawah Kredibilitas
Apabila 90 persen interval tidak mengandung 0, maka trasnportabilitas
cukup masuk akal untuk dipertimbangkan karena 90% dari populasi koefisien
validitas berada > 0 dan dengan demikian transportasi akan memberikan
keuntungan paling tidak 90% dari kasus.
Jika transport validitas masuk akal, rata-rata , bukanlah merupakan batas bawah dari interval kredibilitas,
yang merujuk pada estimasi terbaik dari validitas dalam suatu situasi yang baru
(Pearlman et al., 1980).
5.
Estimasi Kesalahan Baku dalam Generalisasi Validitas dengan
Resampling
Untuk mengestimasi kesalahan baku
generalisasi validitas dapat ditempuh dengan cara melakukan resampling, yaitu
dengan melakukan sampling terhadap data sampel yang dikoleksi. Adapun teknik yang dapat digunakan adalah:
a.
Bootstrap
Bootstrap adalah suatu metode yang bersifat umum untuk mengevaluasi seberapa
baik statistic tertentu dapat mengestimasi parameter. Secara khusus
ia merupakan metode resampling yang memungkina peneliti mengestimasi
kesalahan baku
dari .
b.
Jacknife
Jacknife adalah teknik resampling yang digunakan terutama apabila terdapat nilai-nilai pencilan pada data. Pada teknik ini nilai pencilan dikeluarkan satu-persatu lalu sampai akhirnya dilakukan resampling pada data yang tidak memiliki pencilan lagi.
Jacknife adalah teknik resampling yang digunakan terutama apabila terdapat nilai-nilai pencilan pada data. Pada teknik ini nilai pencilan dikeluarkan satu-persatu lalu sampai akhirnya dilakukan resampling pada data yang tidak memiliki pencilan lagi.
6.
Koreksi Koefisien Validitas untuk Artifak
Artifak-artifak seperti kesalahan sampling, pembatasan jangkauan, dan
ketakreliabelan kriteria memberikan dampak terhadap besaran persentase variansi
dalam distribusi dari koefisien-koefisien validitas. Karenanya perlu dilakukan koreksi terkait
dengan artifak-artifak dimaksud, yaitu dengan cara melakukan:
a.
Koreksi kesalahan sampling
b. Koreksi pembatasan jangkauan yang salah satunya dapat
dilakukan dengan menggunakan Norma-norma yang dipublikasikan
c.
Koreksi ketakreliabelan kriteria maupun kombinasinya.
DOWNLOAD file ini dalam bentuk PDF (versi Bahasa Indonesia) dengan meng-click link berikut:
http://www.ziddu.com/download/19202300/GENERALISASIVALIDITAS.pdf.html
DOWNLOAD file ini dalam bentuk PDF (versi Bahasa Indonesia) dengan meng-click link berikut:
http://www.ziddu.com/download/19202300/GENERALISASIVALIDITAS.pdf.html
kita juga punya nih jurnal mengenai Validitas silahkan dikunjungi dan dibaca , berikut linknya
BalasHapushttp://repository.gunadarma.ac.id/bitstream/123456789/4237/1/FEK-adam.pdf
kita? kita siapa? gunakan kata ganti dengan benar, jangan ikut-ikutan sinetron meyebar virus kesalahan
BalasHapus