Kalau ada yang bilang bahwa orang yang beragama itu cenderung tidak toleran, sedangkan saintis lebih toleran, sebenarnya tidak juga. Prinsip dasar dalam sains memang tidak ada satu kebenaran yang mutlak, keberanan ini relatif seiring berkembangnya ilmu dan ditemukannya bukti yang baru. Ini mungkin yang membedakan sains dengan agama. Tapi kalau sudah menyangkut individunya, nyatanya banyak juga kok ilmuwan yang suka “mengkafir-kafirkan” keilmuan lain yang bertentangan dengannya.
Di dunia pengukuran hal-hal abstrak (sebut saja Psikometrika) yang banyak digunakan di Psikologi dan Pendidikan, ternyata juga memiliki beragam agama. Ada agama teori tes klasik (CTT) dan agama teori tes modern. Teori tes modern sendiri, meskipun memiliki Tuhan yang sama, ternyata juga terpecah dalam dua agama yang berbeda, Item Response Theory (IRT) dan Rasch model. Ketiga agama ini memiliki keyakinan akan keberannya masing-masing, dan tidak jarang pengukutnya sering memposting di medsos menjelek-jelekkan agama yang lain. Untungnya UU ITE tidak mengcover hal ini. Sama seperti agama sesungguhnya, ketiga agama ini juga pasti memiliki kesamaan yakni mereka bertujuan untuk mengukur hal-hal yang tak kasat mata, seperti kecerdasan, kepribadian, dll. Mereka hanya memiliki cara dan keyakinan yang berbeda dalam beribadah.
Agama CTT mungkin adalah agama yang paling sederhana dalam cara beribadahnya. Mereka membuat segala perhitungan untuk mengukur hal-hal yang abtrak tadi sesederhana mungkin, sehingga mudah diterima oleh orang awam. Perhitungannya sesederhana gini, kalau kamu dites dengan 10 soal, dan kamu menjawab betul 7 soal, maka skormu ya 7, atau level penguasaanmu 70%, ga peduli soal yang kamu kerjakan itu mudah atau sulit. Jadi kalau Ali dan Badu dites kemampuan matematikanya dengan 10 soal yang berbeda, selama 10 soal itu mengukur hal yang sama (kemampuan matematika) dan selama jawaban betulnya sama-sama 7, ya level kemampuan matematika mereka dianggap sama. Kalau mau menghitung tingkat kesulitan soal juga mudah saja, tinggal dilihat aja proporsi penjawab betul soal tersebut. Jadi kalau ada soal dijawab oleh 10 orang, dan hanya 2 orang yang menjawab betul, ya artinya tingkat kesulitan soalnya 0,2. Eh, 0,2 ini artinya soal ini sulit lho ya. Jadi bingung deh, ini tingkat kesulitan atau tingkat kemudahan sih. Tapi ya gitulah.
Pengikut agama teori tes modern ga terima dengan hal itu. Kalau Ali dan Badu ini mendapat soal yang tingkat kesulitannya berbeda, ya ga adil dong mengatakan kemampuan mereka sama. Misal, Badu dapet 10 soal yang sulit dan Ali dapet 10 soal yang mudah, trus keduanya sama-sama betul 7, masak kemampuan Badu disamakan dengan kemampuan Ali. Ga adil lah. Ada tiga keyakinan utama dalam agama Rasch yang membedakannya dengan CTT. Pertama, mereka mengasumsikan konstruk yang diukur ini berdistribusi normal (bukan data yang dianalisis lho ya). Kedua, pengukuran harus “test-free” dan “sample-free”. Artinya gini, tes ini sulit atau mudah, bukan ditentukan oleh siapa yang mengerjakan; begitu juga sebaliknya, orang ini mampu atau tidak, bukan ditentukan oleh seberapa sulit tes yang disajikan. Kan ada tuh, tes yang sama, tapi kalau disajikan ke orang-orang pintar jadi terlihat mudah (proporsi betulnya tinggi), sementara kalau disajikan ke orang-orang bodoh jadi terlihat sulit (proporsi betulnya rendah). Lha kan bingung, ini sebenarnya teh soal mudah atau sulit sih. Atau kayak kasus Ali dan Badu tadi, kan level kemampuan mereka ditentukan dari kesulitan soal yang disajikan yak. Nah, Rasch pakai transformasi logit buat mengatasi masalah ini, jadi datanya memiliki interval yang sama antara tingkat kesulitan butir dan kemampuan individu. Ketiga, Rasch percaya kalau pengukuran objektif bisa dilakukan jika tes unidimensi dan fit dengan model Rasch. Jadi kalau dari perspektif Rasch, tes yang baik itu ya tes yang fit dengan model ideal. Makanya di Rasch proses uji kecocokan model menjadi prosedur yang sangat penting dilakukan. Sebagai informasi, Rasch ini hanya menggunakan satu parameter, yakni tingkat kesulitan butir (parameter b). Sering juga disebut IRT 1PL, meskipun pengikut Rasch ga mau disamakan dengan mereka. Mereka menghendaki daya diskriminasi item (parameter a) diset menjadi 1, dan tebakan semu (parameter c) diset menjadi 0. Kalau ada soal yang punya parameter a dan c jauh dari 1 dan 0, ya artinya dia ga sesuai model Rasch, buang aja, bikin ngga objektif aja.
Sebagian orang yang termakan iklan Rasch banyak yang akhirnya kecewa setelah tahu hasil pengukuran Rasch ternyata ga jauh beda dengan CTT. Mereka mengkorelasikan hasil pengukuran CTT dan Rasch dan menjumpai korelasinya suuaangat tinggi, di atas 0,9. Artinya, ya sami mawooon. Ngapain aku capek-capek murtad dari CTT dan mempelajari agama Rasch, kalau akhirnya sama aja. Nah pengikut agama IRT mulai masuk di sini. Meskipun secara prinsip mereka memiliki banyak kesamaan dengan Rasch, mereka mulai menawarkan ajaran-ajaran mereka yang berbeda dari Rasch dan CTT. Mereka memperkenalkan parameter baru, yakni paremeter a, c, dan bahkan d. Semakin banyak parameter yang dipakai, maka korelasi dengan skor hasil CTT biasanya semakin rendah, bisa di bawah 0,8. Dan mereka akan bilang, “nah kan, beda jauh kan dengan CTT. Ini nih yang benar”. Mereka ga setuju dengan Rasch yang mengatakan item harus memiliki parameter a = 1, dan parameter c = 0. Item harus diberi kebebasan, kita sebagai peneliti hanya memfasilitasi item-item saja. Jadi kalau di Rasch, kalau item ga cocok dengan model, ya jangan dipakai item itu. Kalau di IRT enggak, kalau item ga cocok dengan model, coba cari model lain yang bisa menjelaskan item itu, mau model 2PL, 3PL, atau bahkan 4PL. Makanya banyak yang bilang, Rasch itu model preskriptif, sedangkan IRT model deskriptif.
Nah itulah awal mula perpecahan agama Rasch dan IRT. Mereka memiliki Tuhan yang sama dan satu musuh yang sama (CTT), tapi mereka ternyata ga bisa rukun juga. Rasch berpendapat, kalau daya diskriminasi item diijinkan bervariasi, jadinya pengukuran jadi tidak objektif lagi. Sebaliknya, pengikut IRT berargumen kalau memaksa item memiliki daya diskriminasi yang sama itu mustahil dan tidak patut dilakukan. Mereka lebih setuju untuk membuat model prediktif yang mampu mengakomodasi perbedaan daya diskriminasi item dan mempertimbangkannya dalam mengukur kemampuan individu. Di level komunitas ilmuwan, mereka juga memiliki basis nya masing-masing. Saya pernah mengikuti konferensinya para pengikut Rasch, Pacific Rim Objective Measurement Symposium (PROMS), dan benar, ujaran-ujaran kebencian terhadap CTT dan IRT tak jarang saya dengar di acara itu. Mereka juga mendiskriminasi presenter yang melakukan analisisnya pakai IRT dengan membuat sesi sendiri di hari yang lain (tapi mereka masih baik hati sih mau menerima IRT). Dan ketika saya pindah ke Eropa, mayoritas orang sini lebih familiar dengan IRT, termasuk supervisor saya. Sering juga menjumpai reviewer jurnal atau penguji skripsi/tesis/disertasi yang memaksakan keyakinan mereka atas artikel yang sedang mereka nilai. Inilah kenapa saya pikir di Psikologi, bidang kajian metodologi itu yang paling menantang, karena banyak keyakinan-keyakinan pribadi dari individu (soal metode mana yang paling benar) yang turut berperan di situ.
Saya sih mengidentifikasi diri saya sebagai ateis atau bahkan politeis dalam aliran agama pengukuran ini. Saya hanya pemakai, dan mendukung ketiga agama ini untuk tujuan-tujuan tertentu. Kalau ngajar mahasiswa S1 atau untuk riset yang tidak berkaitan dengan metodologi, ya saya jadi pengikutnya CTT. Kalau untuk riset metodologi ya saya cenderung pakai Rasch, lebih karena alasan praktis aja sih. Tapi kalau di suruh pakai IRT juga oke. Selow aja sih. Tapi yang perlu disadari, intoleransi dalam ber-Psikometri itu nyata, ga hanya dalam beragama saja. Ilmuwan juga bisa bersikap fanatik terhadap kebenaran yang mereka yakini. Kalau di Psikometri solusinya sih ya dipelajari tuh aliran lainnya. Dengan dipelajari kita jadi tahu tuh mengapa pengikut aliran tersebut menganggap itu yang paling benar, jadi ga perlu lah kita “mengkafir-kafirkan” pengikut aliran lain. Kalau intoleransi di agama betulan, solusinya? Yo Ndak Tahu, Kok Tanya Saya.
Note: Kalau mau belajar perbedaan CTT, IRT, dan Rasch yang serius tapi “relatif” ringan, artikel ini sangat recommended: https://doi.org/10.7275/v2gd-4441