Sekilas tentang Computerized Adaptive TestingKarena banyak yang bertanya tentang riset saya, di tulisan ini saya akan bercerita sedikit tentang riset yang sedang saya kerjakan untuk studi doktoral saya. Siapa tahu bisa menambah wawasan atau membuka peluang kerja sama dengan teman-teman semua.
Secara sederhana, riset saya berfokus untuk mengembangkan tes kognitif dengan mode Computerized Adaptive Testing (CAT). Spesifiknya, saya ingin membuat tes non-verbal untuk mengukur fluid reasoning (penalaran fluid). Kalau teman-teman sudah familiar dengan tes Raven’s Standard Progressive Matrices (SPM) atau Culture Fair Intelligence Test (CFIT), tes inteligensi yang bisa disajikan secara klasikal dan dapat digunakan untuk mengetahui kemampuan kognitif individu secara umum, nah project riset saya kurang lebih akan membuat tes serupa, tapi dengan mode CAT.
Kenapa hanya mengukur fluid reasoning? Mengapa tidak membuat tes komprehensif yang bisa mengukur banyak kemampuan?
Pinginnya juga mau buat tes yang bisa melihat banyak kemampuan, tapi bikin tes semacam itu butuh waktu, biaya, dan tenaga yang buuaanyak. Sebagai gambaran, AJT CogTest, tes kemampuan kognitif yang mengukur 8 broad abilities yang dikembangkan oleh UGM bersama YDB, butuh waktu 5 tahun untuk membuatnya. Itupun dikerjakan banyak orang dengan dana ratusan juta. Lha aku lho, cuma mahasiswa PhD yang ga punya duit dengan tim terbatas. Nah berhubung dari berbagai riset diketahui kalau fluid reasoning itu ibaratnya inti dari kemampuan kognitif, makanya kalau dibutuhkan satu tes untuk menggambarkan kemampuan kognitif seseorang, maka tes fluid reasoning adalah yang paling tepat.
Kan udah punya CFIT dan SPM? Kenapa bikin yang baru lagi?
Pertama, emang kita punya izin buat pakai CFIT dan SPM? Emang selama ini kita makainya legal?
Kedua, seandainya iya, emangnya CFIT dan SPM masih valid? Maksud saya, coba deh cari di Google dengan keyword “soal CFIT” atau “soal SPM”, kalau kalian teliti, pasti ketemu deh tuh soalnya. Nah kalau tes ini dipakai buat seleksi pegawai misalnya, yakin hasil tes tersebut benar-benar menggambarkan kemampuan kognitif kandidat?
Ketiga, kedua tes tersebut hanya mengukur satu narrow abilities dari fluid reasoning, yakni induction (penalaran induktif). Padahal ada tiga narrow abilities dari fluid reasoning, yakni induction, general sequential reasoning (penalaran deduktif), dan quantitative reasoning (penalaran kuantitatif). Jadi ya tetap butuh tes baru yang bisa mengukur fluid reasoning secara komprehensif.
Keempat, belum ada tes CAT yang bisa diakses oleh publik. Selama ini yang pakai CAT hanya perusahaan yang punya duit banyak aja, dan tentu saja aksesnya terbatas. Masalahnya, karena tes buat peneliti ini terbatas, makanya penelitian tentang kemampuan kognitif / inteligensi di Indonesia ini juga ga berkembang. Coba deh cek ada berapa artikel yang meneliti kemampuan kognitif / inteligensi dari Indonesia, dikit banget. Oiya, btw CAT di sini beda dengan CAT yang dipakai di CPNS lho ya.
Lho, bedanya CAT ini dengan yang dipakai CPNS apa?
Kalau yang dipakai CPNS itu Computer Assisted Tes, kalau ini Computer Adaptive Test. Yang buat CPNS itu sebenarnya sama aja dengan tes konvensional yang pakai kertas dan pensil, tapi skoringnya bisa langsung dikerjakan computer, jadi lebih efisien. Kalau CAT yang saya buat ini adalah “adaptive test”, jadi ga cuma tes biasa yang dipindah ke computer, tapi juga penyajian soalnya pun beda. Pemilihan soal itu sifatnya adaptif terhadap kemampuan peserta. CAT ini mengaplikasikan teori modern dalam Psikometri, yakni Item Response Theory (IRT), jadi sebelum tes sesungguhnya, item perlu diujicobakan dan dikalibrasi, sehingga tiap item udah punya parameter tingkat kesulitannya. Peserta hanya disajikan soal yang sesuai dengan kemampuannya. Jadi misalnya di soal pertama dia menjawab betul, maka soal berikutnya dikasih soal yang lebih susah. Sebaliknya, kalau menjawab salah, soal berikutnya dikasih yang lebih mudah. Dengan pemilihan soal yang demikian sih katanya bisa meningkatkan motivasi dan menurunkan kecemasan peserta tes (katanya, nanti aku konfirmasi lagi dari hasil risetku). Orang yang jenius, ga bosen mengerjakan soal yang terlalu gampang buat mereka, sebaliknya, orang yang kurang pintar, ga perlu cemas mengerjakan soal yang terlalu sulit buat mereka.
Nah karena di CAT, computer akan memilih item yang sesuai dengan kemampuan peserta, makanya kita butuh item bank yang jumlah itemnya banyak. Dalam riset saya, saya sudah buat 450 item yang siap untuk diujicobakan (mungkin bisa bertambah, tergantung hasil ujicoba nanti). Bikinnya memang susah minta ampun, butuh item yang banyak dan uji coba ke sampel yang banyak pula. Tapi kalau udah jadi, kelebihannya juga banyak. Misal, kalau dengan SPM kita butuh mengerjakan 60 item buat mengetahui kemampuan kita, dengan CAT mungkin dengan item 20 saja sudah mendapatkan hasil dengan presisi yang serupa, karena computer akan memilih item yang relevan saja. Selain itu, kalau dengan tes konvensional pemilik tes perlu waspada terhadap praktek kecurangan (misal mencontek, soal bocor, dll), dengan CAT resiko itu bisa diminimalisir. Pertama, tiap peserta akan mendapat soal yang berbeda, tergantung jawaban dan kemampuan mereka, jadi ga mungkin bisa mencontek. Kedua, kalaupun tes bocor, susah juga buat peserta mengingat-ingat tes yang jumlah itemnya buaanyaak banget, sampai ratusan, dan mereka juga ga tahu item mana yang akan mereka hadapi. Jadi lebih aman lah. Selain itu, tes semacam ini juga sangat cocok kalau dipakai untuk design pengetesan berulang, misal untuk mengukur perkembangan kemampuan penalaran anak. Selama ini masalah peneliti kalau pakai design pengetesan berulang adalah adanya efek belajar. Peserta udah tahu tesnya saat tes pertama, jadi pas tes selanjutnya mereka masih ingat. Kalau pakai CAT antara tes pertama, kedua, dst bisa diatur soalnya beda, tapi tetap mengukur hal yang sama. Jadi intinya, bikin CAT ini memang menderita di awal. Tapi kalau udah jadi, manfaatnya juga lebih banyak.
Bentar, kalau sebegitu penting dan bermanfaatnya tes ini, emangnya belum ada yang kepikiran membuatnya?
Udah, banyak. Di luar negeri udah buuaanyak banget tes serupa. Di Indonesia juga udah banyak, setahu saya PLN dan TNI udah pakai CAT. Tapi masalahnya buat peneliti Indonesia, aksesnya susah sekali, apalagi kalau ga punya duit. Ini juga sih yang bikin saya galau, belum ada dana penelitian, ini bikinnya susah, memakan waktu, tenaga, dan duit yang banyak, tapi susah dipublikasikan di jurnal internasional karena hanya menawarkan sedikit kebaruan. Penelitian ini juga ga bisa dipecah-pecah jadi beberapa artikel, dan estimasi saya sih butuh waktu 3-4 tahun buat menyelesaikannya. Sialnya di kampus saya, sebagai syarat daftar ujian akhir, butuh minimal 3 publikasi sebagai penulis pertama yang topiknya nyambung dengan topik disertasi dan dipublikasikan di jurnal berimpact factor. Apesnya, nyambung dengan topik disertasi ini susah sekali, lha ambil data tes kognitif ini tidak semudah ambil data pakai kuesioner je. Peneliti Indonesia ga banyak yang mau susah-susah ambil data beginian, apalagi tes yang buat ambil data juga ga ada. Sempat terpikir ganti topik yang lebih gampang saja, biar perjalanan PhD saya lebih mulus, tapi kok tanggung, udah nulis 450 item mosok ga dilanjutin. Lagian saya masih berpikir tes ini penting, meskipun “hanya” untuk tingkat nasional. Jadi sementara ini buat memenuhi tuntutan 3 publikasi, saya juga nyambi ngerjain penelitian lain. Kalau teman-teman ada yang topik penelitiannya serupa (tentang kemampuan kognitif, psikometri, atau computerized testing di bidang Psikologi atau Pendidikan), ayoklah bisa kita kolaborasikan.