Makalah yang menarik untuk dibaca

Saya sedang membaca makalah oleh Klein dkk (2019) (versi OA di Arxiv) berjudul Comparing published scientific journal articles to their pre-print versions. Walaupun versi finalnya terbit pada Desember 2019, tetapi versi pracetaknya telah diunggah pada 18 April 2016.

Berikut adalah abstrak lengkapnya.

Academic publishers claim that they add value to scholarly communications by coordinating reviews and contributing and enhancing text during publication. These contributions come at a considerable cost: US academic libraries paid $1.7 billion for serial subscriptions in 2008 alone. Library budgets, in contrast, are flat and not able to keep pace with serial price inflation. We have investigated the publishers’ value proposition by conducting a comparative study of pre-print papers from two distinct science, technology, and medicine corpora and their final published counterparts. This comparison had two working assumptions: (1) If the publishers’ argument is valid, the text of a pre-print paper should vary measurably from its corresponding final published version, and (2) by applying standard similarity measures, we should be able to detect and quantify such differences. Our analysis revealed that the text contents of the scientific papers generally changed very little from their pre-print to final published versions. These findings contribute empirical indicators to discussions of the added value of commercial publishers and therefore should influence libraries’ economic decisions regarding access to scholarly publications.

Kondisi peninjauan sejawat dunia

Ada banyak survei yang dilaksanakan untuk mengevaluasi kondisi peninjauan sejawat di dunia. Salah satunya dilakukan oleh Publons (ref STM).

Keresahan peneliti tentang peninjauan sejawat

Gambar mengilustrasikan transformasi besar-besaran sebagai hasil dari proses peninjauan sejawat (peer review) (Red pen black pen). Mungkin saja hal ini tidak benar-benar terjadi, atau setidaknya tidak akan sering terjadi, atau bukan mencerminkan proses peninjauan secara umum.

Berikut ini adalah beberapa keresahan yang dirasakan para peneliti di belahan selatan (global south) ketika mengirimkan makalah ke jurnal (dikelola oleh penerbit yang bukan berasal dari negaranya sendiri) yang sarikan dari berbagai sumber daring (makalah ilmiah, artikel blog, dan grup WA, twitter tagar #PeerRevWk19):

• Kemampuan menulis dalam Bahasa Inggris: Bila peninjau tidak memahami bahasa, maka penilaiannya kan cenderung buruk atau bahkan tidak ditinjau sama sekali. Banyak yang bilang (terutama para penulis master di Indonesia) bahwa kemampuan berbahasa Inggris bukan yang utama dalam proses meninjau, sepertinya ini perlu ditinjau kembali. Di bawah ini adalah cuitan Kathryn Goodenough (seorang penyunting) yang menyarankan agar para penulis dari belahan selatan (non-English speaking country) untuk mendapatkan layanan pemeriksaan bahasa. Tapi apakah sudah tahu berapa tarifnya secara umum? Di bawahnya saya tampilkan kutipan tarif layanan bahasa profesional dari Elsevier. Tarifnya bergantung kepada jumlah kata (word count). Maka seorang penulis dari belahan selatan yang minim dana, ia akan berusaha mengurangi jumlah kata yang akan beresiko kepada kelengkapan makalah. Sementara itu, penulis yang sama dapat menjelaskan dengan nyaman risetnya dalam bahasanya sendiri (bukan Bahasa Inggris). Jadi apakah ini diperlukan?
• Lamanya waktu yang dibutuhkan untuk memendapatkan seorang peninjau: Kalau ini sebenarnya adalah kendala dari sisi pengelola jurnal. Tapi bila dikaitkan dengan kendala pertama di atas, mari kita posisikan diri kita jadi calon peninjau. Apakah kita akan menyetujui permohonan untuk meninjau makalah yang penulisannya tidak bagus. Tentunya kondisinya adalah makalah ditulis dalam Bahasa Inggris dan peninjau tidak memiliki akses untuk menghubungi penulis (kecuali peninjau punya kesadaran untuk itu dan meminta info kontak ke penyunting jurnal). Mungkin kita akan segera menolak untuk meninjaunya. Jadi kendala kedua ini sangat berkaitan dengan kendala pertama.
• Orisinalitas: Ini sangat-sangat subyektif. Metode yang dirasakan sudah sangat canggih di belahan selatan mungkin terlihat biasa-biasa saja oleh peninjau dari Eropa. Bila peninjau hidup di negara maju dan tidak punya kesadaran tentang diversitas ilmu, maka nilai orisinalitas akan dinilainya rendah.
• Sistem peninjauan tertutup: Standar peninjauan yang double blind atau single blind bisa jadi salah satu kendala juga (kebetulan saya mempublikasikan makalah ini Tennant dkk 2017). Sistem ini berisiko “menyembunyikan” subyektivitas peninjau.
• Peninjau juga manusia (akan mempengaruhi subyektivitas): “Now, sometimes reviewers say dumb things. Of course they do – they’re human! They may overlook something in your manuscript; they may misunderstand something; they may lack knowledge you’d like to assume all your readers have; they may be wrong about a point of statistics; they may just be tired, or hung over, or having a bad day. We all do all of these things from time to time. (blog Scientist Sees Squirrel)”. Artikel ini lebih menarik lagi. Katanya jangan mengirimkan makalah ke jurnal di Hari Minggu.

Versi final vs versi pracetak tidak berbeda siginifikan

Kembali ke makalah yang sedang saya baca. Di tengah keresahan para peneliti tentang isu pracetak akan mengganggu proses penerbitan, kesulitan menembus peninjauan sejawat sebelum makalah dapat diterbitkan, juga permintaan peninjau yang tidak masuk akal, hasil utamanya malah berlawanan. Di Bab Kesimpulan tertayang ini.

“We have shown that, within the boundaries of our corpus, there are no significant differ-ences in aggregate between pre-prints and their corresponding final published versions”.

Menurut Klein dkk, tidak ada perbedaan signifikan antara versi pracetak dengan versi final usai menjalani proses peninjauan sejawat.

Beberapa kemungkinan yang terjadi

1. Memang makalahnya sudah baik (termasuk bahasa) jadi tidak perlu banyak revisi. Dengan asumsi bahasa menjadi pertimbangan utama dalam proses peninjauan, mungkin sampel makalah yang dianalisis hanya yang ditulis oleh orang penutur Bahasa Inggris.

2. Bidang ilmu terlalu homogen. Jadi yang disampaikan tidak mencerminkan kondisi di bidang ilmu yang lain,

3. Versi pracetak yang diunggah bukanlah versi yang pertama kali dikirimkan ke jurnal yang sangat mungkin mengandung banyak kekurangan,

4. Makalah ini hanya membandingkan kata dan kalimat dengan teknik text mining, jadi mungkin perbaikan-perbaikan hasil peninjauan sejawat adalah yang tidak banyak mengubah teks,

5. Kebetulan proses peninjauan yang terjadi memang tidak menyentuh aspek penyuntingan teks. Biasanya memang ini dilakukan oleh tim penyunting jurnal, bukan peninjau,

6. Kemungkinan terakhir yang diyakini paling tidak mungkin terjadi adalah para peninjau tidak bekerja dengan baik.

7. ??? adakah yang ingin ditambahkan.

Penutup

Walaupun ada banyak kekurangan yang memang telah dinyatakan oleh penulis, tetapi hasil dari eksperimen ini sangat menarik, karena berlawanan dengan persepsi umum yang selalu menyatakan bahwa proses peninjauan mampu mengubah makalah menjadi lebih baik, bahkan sampai ke tingkat penyuntingan teks.

Akan lebih baik bila proses peninjauan diperluas. Yang kini hanya dikendalikan secara eksklusif oleh pengelola jurnal (journal-led peer review), di masa mendatang perlu ditambah dengan proses peninjauan dari komunitas (community-led peer review). Hasil peninjauan bersifat tertulis dan terbuka (bahkan tertayang daring dan berdoi), yang dikirimkan sebagai lampiran saat mengirimkan makalah ke jurnal. Berbagai perangkat telah tersedia untuk melakukan hal ini, seperti Prereview, Publons, Hypothes.is, repositori kampus, dll.

Berikut beberapa kutipan penting.

Now, the research community has the opportunity to help create efficient and socially-responsible systems of peer review. The history, technology, and social justification to do so all exist. Research communities need to embrace the opportunities gifted to them and work together across stakeholder boundaries (e.g., with research funders, libraries and professional communicators) to create an optimal system of peer review aligned with the diverse needs of non-independent research communities. By decoupling peer review, and with it scholarly communication, from commercial entities and journals, it is possible to return it to the core principles upon which it was founded as a community-based process. Through this, knowledge generation and access can become a more democratic process, and academics can fulfil the criteria that have been entrusted to them as creators and guardians of knowledge.

tautan referensi

Catatan: artikel ini akan saya format ulang untuk ditayangkan sebagai naskah editorial di Jurnal Geoaplika.

Salam #terbukatautertinggal

Penulis: Dasapta Erwin Irawan (KK Geologi Terapan, Fakultas Ilmu dan Teknologi Kebumian, Institut Teknologi Bandung)