Hal aneh yang selalu saya jumpai ketika nguji skripsi adalah, pada bagian keterbatasan penelitian, mahasiswa sering menuliskan “pengambilan data dilakukan secara online, sehingga memungkinkan terjadinya bias”. Sayangnya, itu jadi semacam template buat pelengkap bagian diskusi saja. Udah tahu mungkin terjadi bias, tapi ga ada tuh mahasiswa yang melakukan screening, apakah data mereka benar-benar berkualitas untuk dianalisis. Tapi apakah benar, kalau data yang diambil dengan survey online itu kualitasnya lebih jelek? Jawaban diplomatisnya, belum tentu, tapi jawaban singkatnya, iya. Orang berpartisipasi dalam survey online itu alasannya macem-macem, bisa karena membantu teman, karena mengincar hadiahnya, karena disuruh dosen, karena tertarik dengan isu penelitiannya, atau sekedar iseng aja. Secara umum, survey ini kebanyakan anonim, dan tidak berpengaruh pada nasib responden (low-stakes), jadi ya wajar saja kalau responden kehilangan motivasi untuk menyelesaikan survey. Kadang meskipun awalnya udah semangat, tiba-tiba motivasinya turun karena tahu pertanyaannya banyak banget. Bagi partisipan sih ga masalah, tapi bagi peneliti, datanya jadi “kotor” dan validitas hasil penelitiannya jadi diragukan. Trus solusinya apa?
Ya datanya dicek dulu sebelum dianalisis. Metode untuk ngecek ada macem-macem, mulai dari yang sederhana, sampai yang menggunakan analisis statistik kompleks. Yang paling sederhana misalnya dicek, apakah item dijawab konsisten. Kalau semua item dijawab “setuju” semua, tanpa melihat apakah item itu favorable atau unfavorbale, ya udah jelas dia ngerjainnya asal-asalan. Bisa juga pertanyaan survey disisipi “bogus item”, itu lho item yang jawabannya udah jelas. Misal “Saya memakai baju yang sama setiap hari”. Kan ga mungkin dijawan “setuju”. Kalau ada responden menjawab setuju, nah udah pasti ga baca itemnya tuh dia. Kalau mau pakai cara yang lebih sulit, kasih aja pertanyaan di akhir, “apakah Anda mengerjakan survey ini dengan sungguh-sungguh?”, atau bisa juga pakai person-fit statistics punya Rasch kalau mau terlihat lebih keren.
Cara-cara tadi punya kelebihan dan kelemahan masing-masing. Tapi secara umum, cara-cara tadi hanya bisa melihat motivasi partisipan secara global selama sesi survey berlangsung. Padahal motivasi mengisi survey itu kan fluktuatif ya. Ada yang awalnya serius, tapi lama-kelamaan jadi ngasal. Berhubung platform pengambilan data sekarang juga udah canggih, kita bisa pakai indikator “response time” partisipan untuk melihat motivasi mereka dalam mengerjakan survey. Asumsinya gini, partisipan yang menjawab item terlalu cepet (di bawah waktu yang wajar untuk mereka bisa membaca pertanyaan) diidentifikasi sebagai respon yang asal. Google form yang paling populer di kalangan mahasiswa sayangnya belum bisa merekam response time partisipan, dia cuma merekam waktu pengerjaan secara keseluruhan aja. Tapi platform gratisan lain, seperti Psytoolkit bisa kok dipakai untuk merekan response time tiap orang saat menjawab tiap item.
Nah beberapa waktu lalu, saya melakukan data collection studi eksperimental untuk mengetahui pola motivasi kalau orang dikasih tes kognitif dan non-kognitif secara bersamaan. Tes kognitif ini misalnya tes IQ, intinya perlu mikir lah buat ngerjainnya. Sedangkan tes non-kognitif ini ga butuh usaha lebih buat menjawabnya. Saya manipulasi urutan penyajian tes. Partisipan dirandom (oleh Psytoolkit), ada yang dapat tes kognitif dulu, ada yang dapet tes non-kognitif dulu. Banyak partisipan yang gugur di tengah jalan, dan kebanyakan yang gugur adalah yang mengerjakan tes kognitif dulu. Saya bandingkan motivasi mereka di dua kondisi ini. Ternyata motivasi mereka saat menjawab tes kognitif sama saja, tapi motivasi menjawab tes non-kognitifnya berbeda. Orang yang dikasih tes kognitif lebih dulu memiliki motivasi yang lebih rendah dibanding yang dikasih tes non-kognitif dulu. Oiya, ngukur motivasinya ini pakai ukuran yang namanya Response Time Effort (RTE). RTE dihitung berdasar seberapa sering partisipan menjawab “terlalu cepat”. Semakin banyak dia menjawab “terlalu cepat”, semakin rendah skor RTE nya. Dengan RTE ini kita juga bisa lihat tuh pola motivasi tiap partisipan.
Saya lalu coba lihat apakah karakteristik item dan skala berpengaruh terhadap motivasi mereka. Iya, item yang disajikan di awal cenderung dijawab dengan sunggung-sungguh dibanding item yang disajikan di akhir. Item yang terlalu sulit cenderung dijawab asal-asalah dibanding item yang mudah. Item dengan format pilihan ganda juga cenderung dijawab asal-asalan dibanding soal berbentuk isian singkat. Pada tes non-kognitif, semakin panjang skala, semakin orang ngasal juga ngisinya. Jadi, secara praktis, kalau mau orang mengerjakan surveymu dengan sungguh-sungguh, ya pakai item yang ga terlalu sulit dan jangan banyak-banyak. Dan kalau kamu mengadministrasikan dua tes (kognitif dan non-kognitif), sajikan dulu yang non-kognitif. Tentu nanti kalau nulis paper, ga sesederhana ini sih saya nulisnya. Tapi ini menunjukkan kalau tes berbasis computer (online ataupun offline), meskipun banyak yang skeptis, ternyata juga punya fitur yang bermanfaat untuk mendeteksi pola perilaku mereka.
Oiya, response time ini pada tataran yang lebih advance ga cuma bisa mendeteksi motivasi, tapi juga kecurangan. Response time yang “ga wajar” bisa jadi mengindikasikan kecurangan. Selain jadi isu metodologis, response time juga digunakan untuk mengukur karakter seseorang lho. Prinsipnya seperti ngerjain tes Pauli atau Kraeplin gitu, karena dengan response time kita bisa tahu fluktuasi naik-turunnya motivasi seseorang, kita juga bisa tahu kan karakter mereka. Ada orang yang motivasinya stabil dari awal sampai akhir. Ada juga yang awalnya aja semangat, lama-lama jadi asal-asalan ngisinya. Jadi ibaratnya kita bisa mengetahui karakter seseorang hanya dari cara mereka berpartisipasi dalam survey.