Indikator yang tidak relevan dalam pemeringkatan perguruan tinggi

Jumlah alumni yang menang nobel, jumlah makalah yang terbit di nature dan science, jumlah sitasi staf, produktivitas perkapita. yang aneh bukan yang membuat, tapi yang menggunakannya sebagai rujukan kinerja.

Yang di atas ini adalah indikator yang digunakan oleh ARWU untuk membuat peringkat perguruan tinggi sedunia. Mari kita lihat satu-satu apakah relevan atau tidak. Beberapa tulisan oleh penulis asing telah mengkritik sistem dan metode pemeringkatan, berikut ini adalah dua diantaranya (ref 1, ref 2). Silahkan dibaca. Yang saya sampaikan di bawah ini hanya menggunakan logika sederhana.

1. Jumlah alumni yang mendapatkan Nobel: mungkin ada ribuan orang berpartisipasi dalam suatu riset atau kegiatan, tapi yang dinominasikan dan yang dapat hanya 1 orang. Contoh sederhana: ada seseorang menemukan vaksin COVID, lantas suatu saat ybs menang Nobel, apakah ini berarti dia sendiri yang membuat vaksin. Memangnya hanya dia seorang yang melaksanakan eksperimen, menangani pasien, menggotong pasien dari ambulans? Tapi yamg menang Nobel hanya dia seorang. Anda sedemikian lantang protes saat kontribusi anda tidak dianggap, tapi sedemikian kagum juga ke sebuah hadiah inividual atas prestasi komunal. Lantas sebagai kelanjutan, perguruan tinggi yang meluluskan orang itu mendapatkan skor tinggi dalam pemeringkatan ARWU ini.

Yang benar saja …

2. Jumlah makalah yang ditulis staf suatu perguruan tinggi, yang terbit di Nature atau Science: Kalau untuk ini, komentar saya hanya satu, yaitu ini. Apakah jurnal ilmiah hanya dua buah itu? Ini tahun 2020, bukan 1820.

Yang benar saja …

3. Jumlah sitasi: yang dihitung adalah angka (jumlah sitasi) yang berada di luar kendali penulis (kecuali kalau direkayasa). Itupun yang dihitung hanya yang sitasi yang tercatat di Web of Science. Apakah kita sebagai penulis bisa menargetkan jumlah orang yang akan menyitir makalah kita, di saat sekarang ini mungkin ada ribuan makalah terbit setiap harinya. Mungkin ada yang berargumentasi, disitir karena makalahnya bagus. Baiklah, kembali lagi, tidak mungkin hanya ada satu makalah yang bagus dalam subyek yang sama. Lihat saja makalah tentang COVID yang ratusan sejak Januari 2020. Lantas bagaimana bisa kita pastikan paper kita yang disitir orang? Jumlah sitiran dan apapun yang berbasis sitiran tidak semestinya dipakai sebagai ukuran (lihat topik panas kedua).

Saya pernah menyampaikan sebuah analogi proses marketing dalam penjualan mobil. Sebuah produk mobil yang bagus, tidak akan laku tanpa marketing yang handal. Sebaliknya indikator kampanye marketing berhasil adalah peningkatan jumlah penjualan mobil. Ini masuk akal. Kalau sitasi, belum ketemu saya logikanya.

Sekarang kembali ke anda, ya anda. Saya sedang membicarakan anda.

Bagaimana seorang penulis bisa membuat pembaca akan menyitir papernya dan bukan paper orang lain? Mungkin saja perlu marketing juga. Tapi anda lihat sendiri perilaku para penulis setelah menerbitkan makalah. Alih-alih menceritakan isi, mereka hanya menyebut status Q jurnal (termasuk anda tampaknya).

Hal berikutnya, anda pasti sewot saat tetangga yang tidak mengeluarkan uang untuk anda membangun rumah, mengomentari rumah anda tidak cantik.

Yang ini sama persis. Apakah orang-orang yang bekerja di WoS ikut berkontribusi ke riset sejak awal atau pengembangan perguruan tinggi anda, kok kemudian kita ingin sekali mendapat pengakuan dari lembaga itu.

Yang benar saja …

4. Jumlah kinerja akademik per kapita: mungkin ini yang paling masuk akal. Tapi jadi tidak masuk akal ketika sumber datanya sudah punya bias geografis dan bahasa. WoS dan kawannya, Scopus, bukanlah basis data global, karena bias-bias yang mereka punya dan anda sadari, tapi anda memilih untuk menafikannya. Apakah hanya ada satu bahasa di dunia ini? Sementara anda saat menyusun proposal katanya ingin menyelesaikan masalah banjir di Rancaekek. Apakah semua orang Rancaekek, bicara dalam Bahasa Inggris di kesehariannya? Ujungnya, yang bermasalah dengan banjir adalah orang Rancaekek, tapi yang pinter malah orang London.

Yang benar saja …

Di tengah indikator yang tidak relevan itu, para pimpinan perguruan tinggi menjadi resah ketika peringkatnya turun. Kemudian ibu dan bapak rektor memodifikasi program dan kegiatan hanya agar peringkat naik. Lantas mau dikemanakan mahasiswa tingkat sarjana itu atau lulusan SMA yang akan lanjut ke perguruan tinggi. Anda akan hanya fokus ke mahasiswa magister dan doktor, karena menurut pemeringkatan itu, dari merekalah skor tinggi berasal.

Yang benar saja …