Cite Score 2017: posisi jurnal Indonesia, potensi sitasi vs tren keilmuan, dan fosil buaya
Selamat Idul Fitri, mohon maaf lahir dan batin, semoga ibadah shaum kita diterima Allah SWT.
Yth ibu dan bapak,
Mas Eko Didik Widianto dari Undip, Mas M. Tanzil Multazam dari Umsida, Rachmat Hidayat dari Universitas Andalas, dan Saya sempat mengutak-atik data Cite Score 2017 yang dirilis oleh Scopus pada tanggal 30 Mei 2018. Berikut ini beberapa fakta yang kami temukan. (bersambung jadi perlu bersabar)
Proyek kecil ini bersama beberapa proyek kecil lainnya merupakan bagian dari Riset Dikti 2018 yang menelaah berbagai metrik arusutama yang digunakan oleh pemangku kepentingan pendidikan tinggi. Tim utama: Dasapta Erwin Irawan (FITB), Dini Sofiani Permatasari (LPPM) dan Lusia Marliany (FSRD).
Konteks
Post berikut ini merupakan kelanjutan dari beberapa artikel yang telah mengeksplorasi kondisi publikasi di Indonesia:
- Guest post: Publishing in Indonesia — some facts that you might have missed, 14 Juni 2018, oleh: Dasapta Erwin Irawan, media: AuthorAid blog.
- Pre-print server for Indonesian research, 8 Juni 2018, oleh: Salman Hameed, media: personal blog.
- Open Science in Indonesia, 22 Mei 2018, oleh: Lisa Matthias, media: OpenAire blog.
- Indonesian plan to clamp down on foreign scientists draws protest, 22 Mei 2018, oleh Dyna Rochmyaningsih, media: NatureNews.
- Preprint Repositories Gain in Institutional Legitimacy and Recognition, Reduce the Attractiveness of Subscription Journals, 7 Jan.uari 2018, oleh: Paolo Markin, media: Openscience.com blog.
- Indonesian scientists embrace preprint server, 5 Januari 2018, oleh: Ivy Shih, media: NatureNews.
Dalam artikel-artikel tersebut, kondisi yang dieksplorasi adalah jumlah publikasi dan jurnal di Indonesia vs kebijakan pemerintah yang lebih memprioritaskan karya-karya yang dikategorikan “internasional”.
Tentang Cite Score
Cite Score adalah metric jurnal (journal level metric) yang diterbitkan oleh Scopus. Metrik ini diterbitkan tiap tahun untuk menjelaskan posisi jurnal pada tahun sebelumnya, misal: Cite Score 2017 terbit di bulan Mei 2018, Cite Score 2016 terbit di tahun 2017, dan seterusnya. Bahan baku CS masih sama dengan Journal Impact Factor, yakni jumlah sitasi dan jumlah artikel yang terbit pada kurun waktu tertentu. CS memberikan beberapa modifikasi dan menyandingkannya dengan skor SNIP yang diambil dari metrik CWTS Journal Ranking dan SJR (Scimago Journal Ranking). Scopus (baca: Elsevier) mengklaim CS lebih obyektif dan reliable dibanding metrik level jurnal lainnya (FAQ Cite Score). CS bisa diunduh secara gratis (Versi April 2018).
Jurnal Indonesia dalam Cite Score 2017
Berikut ini adalah daftar sembilan jurnal terbitan Indonesia (dari 40) yang masuk ke dalam data Cite Score (CS) 2017:
- Acta medica Indonesiana
- Agrivita
- Al-Jami’ah
- ASEAN Journal of Chemical Engineering
- Atom Indonesia
- Biodiversitas
- Biotropia
- Bulletin of Chemical Reaction Engineering and Catalysis
- Bulletin of Electrical Engineering and Informatics
- Critical Care and Shock
- Electronic Journal of Graph Theory and Applications
- Gadjah Mada International Journal of Business
- HAYATI Journal of Biosciences
- Indonesian Biomedical Journal
- Indonesian Journal of Applied Linguistics
- Indonesian Journal of Chemistry
- Indonesian Journal of Electrical Engineering and Computer Science
- Indonesian Journal of Electrical Engineering and Informatics
- Indonesian Journal of Geography
- Indonesian Journal of Islam and Muslim Societies
- Indonesian Journal on Geoscience
- International Journal of Electrical and Computer Engineering
- International Journal of Power Electronics and Drive Systems
- International Journal of Technology
- International Journal on Advanced Science, Engineering and Information Technology
- International Journal on Electrical Engineering and Informatics
- ITB Journal of Engineering Science
- ITB Journal of Information and Communication Technology
- ITB Journal of Science
- Journal of Engineering and Technological Sciences
- Journal of ICT Research and Applications
- Journal of Indonesian Islam
- Journal of Mathematical and Fundamental Sciences
- Journal of the Indonesian Tropical Animal Agriculture
- Jurnal Pendidikan IPA Indonesia
- Kukila
- Media Peternakan
- Medical Journal of Indonesia
- Studia Islamika
- Telkomnika
List akan kami perbarui disertai, ulasannya pada kesempatan berikutnya via GitHub Repository ini.
Beberapa plot
Berikut ini beberapa plot yang berhasil kami buat.
Boxplot Cite Score 2015-2017 (jurnal dalam negeri)
Plot antara nama institusi (pub_group_short, nama dalam tabelnya) vs skor Cite Score 2017 (X2017cs, X2016cs, X2015cs).
Boxplot SJR 2015–2017 (jurnal dalam negeri)
Plot antara nama institusi (pub_group_short, nama dalam tabelnya) vs skor SJR 2015–2017 (X2015sjr, X2016sjr, X2017sjr).
Boxplot SNIP 2015–2017 (jurnal dalam negeri)
Plot antara nama institusi (pub_group_short, nama dalam tabelnya) vs skor SNIP 2015–2017 (X2015snip, X2016snip, X2017snip).
Scatter plot data Cite Score vs SJR dan SNIP 2017 (jurnal dalam negeri)
Plot antara CS2017 dengan SJR2017 (kiri) dan CS2017 dengan SNIP2017 (kanan).
Scatter plot Cite Score 2015 vs SJR dan SNIP 2015 (data lengkap)
Plot antara CS2015 dengan SJR2015 (kiri) dan CS2015 dengan SNIP2015 (kanan).
Scatter plot Cite Score 2015 vs SJR dan SNIP 2015 (data lengkap, zoom skor 20x20)
Plot antara CS2015 dengan SJR2015 (kiri) dan CS2015 dengan SNIP2015 (kanan). Zoom dilakukan pada skor CS 0–20, skor SJR 0–20, dan skor SNIP 0–20 untuk melihat variasinya.
Scatter plot Cite Score 2016 vs SJR dan SNIP 2016 (data lengkap)
Plot antara CS2016 dengan SJR2016 (kiri) dan CS2016 dengan SNIP2016 (kanan).
Scatter plot Cite Score 2016 vs SJR dan SNIP 2016 (data lengkap, zoom skor 20x20)
Plot antara CS2016 dengan SJR2016 (kiri) dan CS2016 dengan SNIP2016 (kanan). Zoom dilakukan pada skor CS 0–20, skor SJR 0–20, dan skor SNIP 0–20 untuk melihat variasinya.
Scatter plot Cite Score 2017 vs SJR dan SNIP 2017 (data lengkap)
Plot antara CS2017 dengan SJR2017 (kiri) dan CS2017 dengan SNIP2017 (kanan).
Plot antara CS2017 dengan SJR2017 (kiri) dan CS2017 dengan SNIP2017 (kanan). Zoom dilakukan pada skor CS 0–20, skor SJR 0–20, dan skor SNIP 0–20 untuk melihat variasinya.
Scatter plot Cite Score 2017 vs SJR dan SNIP 2017 (data lengkap, zoom skor 20x20)
Korelasi CS, SJR dan SNIP
Di sini kami mencoba memperlihatkan kemiripan ketiga metrik di atas. Apapun persamaan yang digunakan, tapi karena berawal dari jumlah sitasi, maka ketiganya sangat berkorelasi. Yang menarik adalah muncul korelasi yang rendah yaitu pada: SJR tahun 2015 (X2015sjr) dan tahun 2016 (X2016sjr) dengan SNIP tahun 2015 (X2015snip), 2016 (X2016snip), 2017 (X2017snip).
Apa yang menyebabkanya, masih kami cari tahu.
Tapi ada satu pesan yang muncul. Pengelola Cite Score dan induknya, Elsevier, menyatakan bahwa untuk mendapatkan gambaran utuh suatu metrik reputasi, perlu kiranya membandingkan antar metrik (dalam hal ini Cite Score menggunakan SJR dan SNIP sebagai pembanding). Melihat korelasi antar metrik-metrik ini, maka kami tidak setuju dengan klaim tersebut. Paling tidak, membandingkan tiga metrik Cite Score dengan SJR dan SNIP akan mendapatkan hasil yang sama.
Kurang lebih hubungan antara ketiganya seperti ini.
Analisis distribusi artikel dan sitasi berdasarkan tahun (10 jurnal)
Kami memilih 10 jurnal dalam berbagai bidang ilmu:
- ITB Journal of Math and Fundamental Science, disatukan dengan jurnal ITB Journal of Science (berubah nama) (ITB JMFS+ITB JoS)
- Telkomnika
- Media Peternakan
- Journal of Islam and Muslim Societies (IMS)
- Indonesian Journal of Geosciences (IJOG)
- Indonesian Journal of Advanced Science, Engineering, and Information Technology (IJASEIT)
- Indonesian Journal of Geography (IJG)
- Acta Medica Indonesiana (AMI)
- Agrivita
- Hayati
Berikut hasilnya dalam dua grafik: histogram distribusi artikel dan jumlah sitasi.
Plot histogram distribusi artikel per tahun (2005–2018)
Plot histogram jumlah sitasi sd 2018
Hasil sementara
Hasil sementara observasi data sitasi dari lima jurnal (total 10 jurnal), mayoritas sitasi (top 5) berasal dari institusi Indonesia. Kalau kondisi ini konsisten di lima jurnal lainnya, maka bisa jadi hipotesis kami terbukti, yaitu bahwa berikut ini adalah urutan target pasar pembaca paper yang ditulis orang Indonesia dengan obyek telaah tentang Indonesia atau berlokasi di Indonesia:
- Pasar no 1 adalah orang Indonesia sendiri.
- Pasar no 2 adalah sitasi dari penulis/peneliti luar negeri (LN) yang sedang atau akan meneliti suatu kasus atau daerah di Indonesia.
- Pasar no 3 adalah peneliti yang sedang atau akan meneliti suatu kasus atau daerah yang mirip kondisinya dengan Indonesia. Dalam hal ini yang paling mungkin adalah peneliti dari Asia Tenggara atau Asia pada umumnya. Peneliti dari Australia juga mungkin termasuk di sini.
Tapi kondisi di atas mungkin tidak berlaku untuk artikel yang mengupas teori atau konsep.
Dari hasil ini, menurut kami perlu upaya lebih intensif agar pendaftaran jurnal Indonesia ke Scopus (yang diklaim sistem pengelolaannya yang termoderasi, tidak seperti Google Scholar) berdampak kepada peningkatan jumlah sitasi dati penulis LN.
Ada cerita menarik (yang disebarkan oleh akun Twitter AuthorAid, sedang kami cari tautannya. Bahwa ada penulis (dokter) dari Amerika Serikat (AS) yang menulis suatu artikel tentang kesehatan masyarakat Nepal dan mengirimkan artikel ke jurnal Nepal, bukan ke jurnal yang lebih beken. Alasan mereka adalah yang memerlukan info dari kami tentang hasil riset ini adalah warga Nepal. Bukan orang lain. Jadi mengapa kami perlu mengirimkan artikel ke jurnal di luar Nepal? (maaf belum ketemu tautannya).
Pertanyaan berikutnya
Sitasi vs populasi peneliti dan artikel
Nanti akan kami tambah lagi observasinya (supaya tambah menarik). Misal untuk jurnal Indonesian Journal of Geosciences terbitan Badan Geologi.
Jurnal ini memuat artikel tentang geologi/geosains. Nah dalam geologi ada bidang “paleontologi” yang minim ahlinya. Sekarang berapa populasi artikel bidang paleontologi yang ada di IJOG. Kalau ada, berapa yang menyitirnya. Salah satu tujuannya adalah untuk membuktikan bahwa H-indeks akan bergantung pada jumlah sitasi. Jumlah sitasi akan bergantung pula (secara tidak langsung) dengan populasi pakar yang bekerja di bidang tertentu.
Kenapa?
Karena kalau jumlah pakarnya sedikit, maka jumlah artikel sedikit, maka jumlah sitiran akan sedikit pula. Pada akhirnya peluang akan kecil untuk mendapatkan H-index tinggi. Karena itulah H-index tidak bisa dipakai sebagai dasar untuk mengukur kepakaran seseorang atau kualitas hasil kerjanya. Paling bisa untuk mengukur popularitas. :). Nah kalau popularitas yang dikejar, apakah menjadi dosen/peneliti adalah pilihan yang benar.
Sitasi vs tren keilmuan
Pertanyaan berikutnya yang menarik adalah, apakah sitasi akan berhubungan dengan tren keilmuan. Misal, untuk sains komputer, sekarang trend nya adalah machine learning. Bisa jadi artikel sebidang akan banyak dicari pembaca untuk disitir. Tapi apa yang terjadi kalau ada artikel yang membahas pengembangan sistem operasi berbasis command line seperti DOS misalnya. Hasil observasi ini mungkin akan membuktikan hipotesis kami bahwa jumlah sitasi akan terkait dengan trend yang berlaku pada kurun waktu tertentu.
Di sini kami melakukan eksperimen dengan menggunakan data Google Trend. Gambar di bawah ini adalah layar tampilannya. Kalau Anda lihat di bagian bawah ada empat penyaring (filter): lokasi, kurun waktu, kategori, dan basis data Google yang dipakai (opsi: laman (web), gambar (image), video, dll).
Berikut eksperimen kami:
- Kami coba masukkan machine learning (jenis search term),
- filter posisi kami akan bandingkan: worldwide dan beberapa negara. Agar lebih menarik, bagaimana kalau kita pilih negara-negara peserta Piala Dunia 2018,
- kurun waktu (kita maksimumkan) 2004-present,
- all categories,
- web search.
Berikut beberapa hasilnya.
Nah sekarang bandingkan dengan Indonesia dan beberapa negara ini.
Cukup ya.
Tunggu. Kok tren pencarian di AS tidak dicari.
Sudah. Ternyata mirip dengan dunia. Ini grafiknya. Apakah ini pertanda trend di AS mencerminkan tren dunia? Ini pertanyaan lain yang bisa Anda bantu jawab.
Sekarang coba kita lihat kondisinya di Scopus. Kami mengatur periode 2004–2018, sama dengan pencarian Google Trend di atas. Ada 103.543 dokumen, atau rata-rata ada 7395 artikel tentang “machine learning” per tahun.
Nah sekarang bagian sitasinya. Kami klik menu “View cited by”. Tapi Scopus hanya dapat memunculkan daftar sitasi untuk 2000 dokumen teratas (dari total 103.543 dokumen).
Ada 308 artikel yang menyitir 2000 dokumen tersebut yang terjadi pada kurun waktu 2017 (14 sitasi), 2018 (292), 2019 (2). Pasti ada yang bertanya, “kok ada 2019, sekarang kan masih 2018?”. Itu artikel yang lain lagi.
Sitasi terbanyak berasal dari 10 afiliasi teratas berikut ini:
- Central South University China
- Ministry of Education China
- Northeastern State University
- Universidad de Granada
- University of Illinois at Urbana-Champaign
- King Abdulaziz University
- Huaqiao University
- Kyoto University
- Japan Science and Technology Agency
- National University of Defense Technology
Berasal dari 10 negara teratas berikut ini (apa bedanya dengan afiliasi masih kami pelajari ):
- United States
- China
- Germany
- United Kingdom
- Australia
- Italy
- France
- Spain
- Japan
- Netherlands
Ingat kalau analisis sitasi hanya dapat dilakukan secara bebas maksimum untuk 2000 artikel teratas. Kami mencoba cara lain dengan urutan kerja berikut ini.
- Hasil pencarian total “machine learning” = 103.543 dokumen
- Batasi untuk dokumen berstatus open access = 3407 dokumen
- Batas untuk dokumen berjenis article = 3407 dokumen (semua dokumen OA berjenis artikel)
Hasilnya.
Puas mengeksplorasi machine learning, kami akan membandingkannya dengan dua kata kunci lainnya yang berasal dari bidang ilmu yang sangat bergantung dengan lokasi (site specific).
Kenapa?
Ingat di bagian atas, kata kunci machine learning kami pilih karena menurut kami bidang tersebut bersifat umum. Setiap bidang ilmu bisa menggunakannya. Dampaknya jumlah artikel yang ditulispun akan banyak, sehingga otomatis potensi sitasinya juga besar.
Jadi agar kita bisa melihat bagaimana pengaruh tren keilmuan dan bidang ilmu mempengaruhi jumlah sitasi, kita perlu bandingkan dengan kata kunci lain yang mencerminkan bidang ilmu yang sangat spesifik, baik spesifik terhadap lokasi (misal: ilmu kebumian) atau spesifik terhadap bidang ilmu tertentu (misal: astronomi).
Perbandingan kata kunci
Untuk itu kami akan membandingkan kata kunci “machine learning” dengan “black hole” (sebagai representasi bidang ilmu astronomi), “crocodylus fossil” (sebagai representasi bidang ilmu paleontologi, bagian dari geologi/biologi), dan “hydrochemistry” dan “floods” (sebagai representasi bidang ilmu hidrogeologi, bagian dari geologi).
“Crocodylus”
Crocodylus kita kenal juga sebagai buaya (Crocodile). Yang banyak menggunakan kata “crocodylus” adalah para ilmuwan di bidang paleontologi. Menurut dugaan Anda, berapa jumlah komunikasi pakar paleontologi di dunia ini?
Berikut hasilnya di Google Trends.
Pencarian buaya ini mayoritas dilakukan di negara-negara sebagai berikut. Man, what’s with the Australian and crocodiles? Remember “Crocodile Dundee”?
Terlihat tinggi ya. Sekarang bagaimana kalau kita bandingkan dengan “black hole” sebagai representasi tren di bidang astronomi (garis merah). So apparently there were way lots of people talking about black hole than crocodile. Well, obviously. Puncak di tahun 2008 bisa jadi karena ada laporan penampakan lubang hitam di salah satu sudut Galaksi Bimasakti atau film berjudul “Black Hole” yang dirilis Hollywood di tahun yang sama.
Berikut foto lubang hitam tersebut (dari laman National Geographic).
Sekarang bandingkan dengan “floods” (garis kuning). Garis kuning memperlihatkan puncak-puncak yang berulang. Kami menduga ini berkaitan dengan musim atau iklim. Puncak-puncak ekstrim terjadi di saat ada bencana banjir masal di beberapa penjuru dunia, sebagai contoh di tahun 2011 ada banjir besar di Australia dan Thailand.
Sekarang bandingkan kembali dengan “machine learning” (garis hijau).
Penasaran. Kami tambah satu lagi. Kata kunci “obesity” (warna ungu) sebagai wakil dari dunia kesehatan dan kedokteran. Yang menarik, pencarian dengan menggunakan kata kunci “obesity” memiliki perulangan yang konsisten. Apa yang menyebabkannya? Kami belum tahu, silahkan Anda utak-atik ya.
Nah sekarang kita lihat kondisinya di Scopus.
Dalam kesempatan berikutnya kami mencoba menelaah:
- bagaimana hubungan jumlah sitasi dengan periode waktu dan apakah ada bilangan rasionya untuk menyatakan hubungan antara keduanya,
- apakah ada perbedaan jumlah sitasi di media open access (OA) dengan yang tidak,
- dll yang mungkin bisa Anda tambahkan sendiri.
