Kementerian Pendidikan, Kebudayaan, Riset dan Teknologi (Kemdikbudristek) menglasifikasikan publikasi ilmiah menjadi lima klaster yaitu: (1) publikasi internasional bereputasi; (2) publikasi internasional terindeks pada basis data internasional bereputasi; (3) publikasi internasional terindeks pada basis data internasional; (4) publikasi nasional terakreditasi Dikti (SINTA); dan (5) publikasi nasional tidak terakreditasi.
Dari kelima kategori tersebut, hanya kategori (1) sampai (2) yang menggunakan sistem indeksasi, serta terbatas hanya pada publikasi ilmiah yang diindeksasi oleh SCOPUS dan WoS. Lembaga-lembaga pengindeks lainnya seperti Directory of Open Access Journals (DOAJ); International Copernicus Index (ICI); Google Scholar; Sciencedirect; Microsoft Academic Research (MAR); EBSCO; Commonwealth Agricultural Bureaux International (CABI); dll. belum memiliki dan menggunakan sistem indeksasi terhadap publikasi ilmiah yang teregistrasi.
Sistem Indeksasi Publikasi
Sejalan dengan kemajuan teknik metriks sains (scientometrics) dalam pengukuran dan analisis kualitas publikasi ilmiah yang merupakan keluaran riset dan inovasi seperti jurnal, prosiding, buku, dll. ukuran dan variabel yang digunakan pun semakin kompleks. Salah satu diantaranya adalah “indeks” yang dikeluarkan oleh berbagai lembaga pengindeks nasional atau internasional.
Indeks digunakan oleh lembaga pengindeks untuk menggambarkan kualitas sebuah publikasi ilmiah. Ukuran atau parameter yang digunakan oleh setiap lembaga pengindeks berbeda-beda. Tetapi yang umum dan popular digunakan diantaranya adalah: (1) “h-index” untuk mengukur produktivitas dan jumlah sitasi yang diterima dari publikasi lain (CiteScore); (2) “impact factor” (IF) atau Source-Normalized Impact per Paper (SNIP) untuk mengukur dan faktor dampak (impact factor) dari sebuah publikasi ilmiah dalam kurun waktu tertentu. Kedua ukuran/parameter tersebut lebih lanjut digunakan untuk memeringkatkan publikasi-publikasi ilmiah yang diindeks.
Kelompok riset Consejo Superior de Investigaciones Científicas (CSIC) atau yang dikenal sebagai “SCImago” menggunakannya untuk kepentingan penyusunan “SCImago Journal Rank” (SJR) dan Citescore Quartile (Q1—Q4). Hasilnya kemudian dipublikasikan secara berkala di dalam portal https://www.scimagojr.com/journalrank.php. Kelompok Thomson Reuters Web of Science (WoS) menggunakannya untuk kepentingan penyusunan Science Citation Index (SCI) berbasis factor dampak jurnal/Journal Impact Factor (JIF) (WoS Core Q1--Q4, dan Core Non-Q). Hasilnya dipublikasikan secara berkala di dalam portal Journal Citation Reports (JCR). Lembaga indeksasi nasional SINTA juga menggunakannya untuk kepentingan penyusunan ranking akreditasi SINTA (Sinta 1—6) (https://sinta.kemdikbud.go.id/).
Publikasi Bermasalah
Di luar lima kategori tersebut adalah “publikasi bermasalah” (questionable publication). Ada tiga istilah yang dikenal merujuk pada jenis publikasi ini, yaitu: predatory publication; unknown publication, dan discontinued publication.
Predatory publication digunakan oleh Jeffrey Beall untuk publikasi ilmiah (jurnal dan seminar) yang dalam pengelolaannya tidak jujur, tidak transparan, terutama dalam proses editorial/reviunya (cheap and fast publishing), serta mengenakan beban biaya ekstra untuk proses publikasinya. Beall menegaskan bahwa publikasi bermasalah niscaya diterbitkan oleh penerbit bermasalah, dan “all journals published by a predatory publisher are potentially predatory unless stated otherwise” (https://beallslist.net/).
Termasuk dalam kategori jurnal ini adalah jurnal palsu (fake journal) atau jurnal bajakan (hijacked journal) yang membajak (dummy/fake/clone) jurnal asli yang terpercaya dan bereputasi. Jurnal palsu/bajakan ini juga diterbitkan secara online melalui situs-situs palsu (counterfeit website). Beall mencatat sebanyak 1.511 jurnal sebagai jurnal predator. Dalam sejumlah kasus, jurnal yang dibajak umumnya adalah jurnal yang hanya menerbitkan artikel dalam bentuk cetak; tidak memiliki situs; dan banyak diminati atau menjadi target dari banyak dosen/peneliti.
Unknown publication digunakan oleh SINTA (Science and Technology Index), sistem indeksasi yang dikembangkan oleh Kemdikbudristek. Istilah ini seperti halnya “discontinued journals” digunakan untuk publikasi ilmiah (khususnya jurnal) yang tidak lagi terindeks, dibatalkan/dihentikan indeksasinya karena penerbit tidak mengajukan akreditasi ulang setelah masa berlaku pengakuan akreditasinya berakhir. Hasil pelacakan mbah Google menggunakan kata-kata kunci “unknown journal, sinta” sebanyak 751.000 artikel teridentifikasi sebagai artikel yang dilabeli “accred: Unknown” versi SINTA.
“Discontinued publication” digunakan oleh SCOPUS untuk publikasi ilmiah (jurnal, prosiding, buku) yang tidak lagi terindeks, dibatalkan/dihentikan indeksasinya. Sebuah publikasi ilmiah yang sudah dinyatakan “discontinued” baru dilakukan evaluasi ulang setelah lima tahun, terhitung sejak keputusan discontinued ditetapkan (Scopus, 2023).
Data SCOPUS Mei 2023, total publikasi ilmiah yang diindeks berjumlah 44,622 publikasi, terdiri dari 42.115 (94,4 persen) jurnal, 1.934 (4,3 persen) Buku, dan 573 (1,3 persen) prosiding. Tidak termasuk 809 publikasi yang baru diterima Mei 2023 dan belum diindeks.
Dari total jumlah tersebut, 785 publikasi dinyatakan sebagai jurnal “discontinued” atau bertambah 17 publikasi dari data yang direlease Januari 2023 (768 publikasi). Publikasi yang dinyatakan discontinued terdiri dari 746 jurnal; 3 buku; dan 7 prosiding.
Ketiga jenis publikasi bermasalah tersebut merupakan “the dark side of publishing”, sebagai dampak dari eksplosi model publikasi akses terbuka (open-access publishing) dan meningkatnya jurnal dan penerbit yang reputasinya dipertanyakan (Butler, 2013; You dkk., 2022). Eksplosi jurnal-jurnal bermasalah ini mulai terjadi dan berkembang pada periode 2003—2016 (Eykens dkk., 2019).
Mengapa Discontinued?
Kriteria apa dan mengapa sebuah publikasi ilmiah dinyatakan “discontinued” atau tidak, ditetapkan melalui program re-evaluasi secara berkelanjutan oleh Dewan Penasihat dan Seleksi Konten SCOPUS (the Scopus Content Selection and Advisory Board/CSAB). Dewan ini dibentuk 2010 dan terdiri dari sekelompok ilmuwan, peneliti, dan pustakawan internasional yang mewakili berbagai disiplin ilmu utama. Dewan ini pula yang bertanggung jawab untuk meninjau semua judul yang disarankan untuk diindeksasi dan dimasukkan ke dalam basis data SCOPUS.
Dewan menetapkan empat alasan mengapa sebuah publikasi ilmiah dinyatakan “discontinued”, yaitu: metrics, publications concerns, radar, dan continuous curation (https://www.elsevier.com/).
Diantara keempat alasan tersebut, faktor continuous curation yang paling berat dan menyebabkan sebuah jurnal tetap berlanjut indeksasinya dan terklasifikasi sebagai “a journal’s coverage” atau dihentikan indeksasinya serta dikeluarkan dari basis data SCOPUS dan terklasifikasi sebagai “a discontinued journal”.
Data SCOPUS Mei 2023, publikasi yang dinyatakan discontinued untuk masing-masing kriteria sebagai berikut: 167 publikasi discontinued karena aspek metrics; 512 publikasi karena aspek publication concerns; 82 publikasi karena aspek radar; dan 24 publikasi karena aspek continuous curation. Semua jurnal yang dinyatakan discontinued dengan alasan apapun apapun berada pada status “penilaian ulang” (re-evaluation) untuk durasi tertentu sesuai dengan alasan masing-masing.
Metrics. Faktor ini terkait dengan performa jurnal yang dianggap “underperforming” karena sama sekali tidak memenuhi kriteria metriks yang ditetapkan, yaitu jumlah self-sitasi tinggi; rerata jumlah sitasi rendah; dan skor sitasi rendah dibandingkan dengan peer-jurnal dalam rumpun bidang keilmuan yang sama. Penerbit jurnal diberi waktu dua tahun untuk meningkatkan diri. Jika dalam waktu itu masih belum memenuhi kriteria metriks yang ditetapkan, maka jurnal tersebut akan dilakukan re-evaluasi oleh Dewan secara independen.
Publications concerns. Faktor ini terkait dengan masalah standar internal jurnal atau penerbitan seperti kebijakan penerbitan, peer-reviewer, keberagaman penulis dan reviewer, keberkalaan, dll. Evaluasi atas aspek ini dilakukan oleh SCOPUS atau oleh komunitas peneliti. Penerbit jurnal diberi waktu selama setahun untuk dilakukan evaluasi ulang oleh CSAB dan memastikan kembali apakah indikasi masalah standar internal jurnal dan penerbitannya sudah diperbaiki atau tidak.
Radar. Faktor ini didasarkan pada algoritma analisis data yang diciptakan oleh ilmuwan data Elsevier, dan mulai digunakan sejak 2017. Aspek ini menganalisis “perilaku aneh jurnal” (journal outlier behavior) yang terdapat di dalam basis data SCOPUS. Pelacakan pada aspek ini dilakukan oleh SCOPUS setiap tiga bulan sekali.
Diantara keanehan (outlier) perilaku jurnal yang dimaksudkan seperti perubahan yang cepat dan tidak dapat dijelaskan pada ada tidaknya lonjakan “jumlah artikel yang diterbitkan” (number of articles) atau pada “keragaman geografis penulis atau afiliasi” (geographical diversity of authors or affiliations). Juga keanehan pada aspek “tingkat pengutipan sendiri” (self-citation rate); dan masalah kepublikasian (publication concerns).
Continuous curation. Faktor ini sudah digunakan secara ajek sejak 2010 sebagai bagian terpenting dalam keseluruhan proses kurasi konten jurnal versi SCOPUS. Kurasi dilakukan terus-menerus dan berkelanjutan terhadap setiap publikasi yang ada dalam basis data SCOPUS mencakup ketiga aspek sebelumnya.
Setiap penerbit/jurnal harus benar-benar memperhatikan balikan yang diberikan oleh CSAB untuk ditindaklanjuti. Mereka yang kemudian teridentifikasi bermasalah baik karena faktor performa rendah; standar publikasi bermasalah; dan/atau memperlihatkan perilaku aneh dalam publikasinya harus segera memperbaikinya sesuai dengan durasi waktu yang ditetapkan.
Proses kurasi berkelanjutan inilah yang akan menentukan dan memastikan apakah sebuah jurnal masih terindeksasi dan tercoverage dan/atau dihentikan serta dikeluarkan dari basis data SCOPUS. Jurnal-jurnal yang berada pada status “evaluasi ulang” masih akan tetap tercatat di dalam basis data SCOPUS hingga dinyatakan discontinued. Sedangkan jurnal-jurnal yang sudah dinyatakan discontinued hanya akan dan bisa dilakukan evaluasi kembali lima tahun setelahnya.
Civil Effect
Publikasi-publikasi ilmiah yang termasuk cancelled journal dipastikan tidak memiliki civil effect yang membanggakan bagi penulisnya secara akademik. Berdasarkan Pedoman Operasional Penilaian Angka Kredit (PO-PAK), publikasi ilmiah tersebut tetap bisa diajukan dan dinilai untuk memperoleh angka kredit kenaikan jabatan akademik. Tetapi tidak bisa digunakan untuk memenuhi syarat khusus kenaikan jabatan ke Lektor Kepala atau ke Profesor.
Publikasi semacam itu dianggap bukan sebuah prestasi yang memiliki nilai “keluarbiasaan”. Yaitu sebuah prestasi akademik yang memberikan jaminan kredibilitas. dan kualitas dosen pengusul secara akademik untuk menduduki jabatan akademik Lektor Kepala atau Profesor.
Tangsel, 4 Oktober 2022
Ikuti tulisan menarik Mohammad Imam Farisi lainnya di sini.
