Diterjemahkan dari artikel dalam Bahasa Perancis yang terbit di The Conversation https://theconversation.com/comment-la-science-ouverte-peut-faire-evoluer-les-methodes-devaluation-de-la-recherche-169071.
Penulis: Olivier Pourret Dosen-peneliti geokimia dan kepala integritas ilmiah dan sains terbuka, UniLaSalle
Ilmu pengetahuan terbuka mempromosikan gagasan bahwa warga negara harus memiliki akses yang sama terhadap informasi seperti peneliti. Shutterstock
Dari pandemi hingga perubahan iklim, termasuk otomatisasi dan big data, tantangan abad ini sangat besar dan membutuhkan, untuk meresponsnya dengan baik, bahwa sains terbuka untuk semua. Tampaknya penting bahwa warga negara memiliki akses yang sama ke informasi sebagai peneliti, dan bahwa para ilmuwan memiliki akses ke repositori pengetahuan yang saling berhubungan dan berkualitas tinggi untuk memajukan pemahaman kita tentang dunia dan mendemokratisasi pengetahuan.
Bagaimanapun, beberapa hal di atas adalah pedoman prinsip gerakan sains terbuka, yang percaya bahwa keberlanjutan dan inklusi sangat penting untuk mencapainya dan bahwa hal-hal tersebut dapat dipupuk oleh praktik, infrastruktur, dan model pendanaan bersama, yang menjamin partisipasi yang adil dari para ilmuwan dari lembaga dan negara yang kurang beruntung dalam mengejar pengetahuan dan kemajuan.
Kita harus memastikan bahwa manfaat sains dibagi antara ilmuwan dan masyarakat umum, tanpa batasan. Tapi bagaimana Anda sampai di sana? Sebagian dari jawabannya terletak pada pembangunan sistem sains nasional yang mampu membagikan dan meningkatkan keragaman pengetahuan.
Dominasi artikel ilmiah dalam Bahasa Inggris serta masih terlalu rendahnya jumlah publikasi akses terbuka mungkin karena bobot evaluasi yang lebih besar diberikan kepada publikasi makalah.
Oleh karena itu, relevansi penelitian yang dilaporkan dalam publikasi ini bagi masyarakat lokal perlu dipertanyakan, karena kendala bahasa. Berikut adalah beberapa praktik sains terbuka untuk mengubah peraturan evaluasi yang berlaku saat ini agar lebih sesuai dengan kinerja dan dampak penelitian.
Sebagai pengingat, di Prancis terdapat lembaga High Council for the Evaluation of Research and Higher Education (HCERES) bertugas mengevaluasi produk penelitian dan kegiatan penelitian.
Jangkau audiensi yang tepat
Langkah pertama untuk memastikan bahwa karya kita menjangkau audiens yang tepat adalah dengan membuatnya dapat diakses secara luas, seperti melalui akses terbuka ke publikasi. Tetapi aksesibilitas belum berarti audiensi target kami akan “melihat” pekerjaan kami. Ada ribuan jurnal yang tersedia dan tidak ada yang punya waktu atau sumber daya untuk membaca setiap publikasi.
Langkah kedua adalah membuat komunitas dan melibatkan masyarakat umum. Metode komunikasi online (misalnya, Twitter, Reddit, Facebook, blogging) sering kali memiliki reputasi buruk di kalangan ilmiah dan umumnya tidak dianggap ilmiah.
Namun, platform ini akan menjadi alat yang sangat efektif untuk transmisi penelitian. Ini bisa berupa sesuatu yang sederhana seperti menulis posting blog (seperti di Echosciences), untuk The Conversation, berpartisipasi dalam podcast komunikasi sains, mencuitkan temuan terbaru, atau sekadar menggambar buku komik atau sketsa ilmiah.
Penting bahwa pengetahuan yang kita hasilkan dapat dengan cepat menjangkau orang-orang yang relevan dengannya. Inilah sebabnya mengapa peneliti yang berkomitmen sering terlihat di depan umum daripada kalangan akademisi secara umum: mereka sering diundang ke media massa arus utama, seperti surat kabar, radio, dan televisi, dan dengan senang hati memberikan presentasi, akademisi populer kepada masyarakat umum (non-spesialis).
Misalnya, bersama enam peneliti dari enam negara (Afrika Selatan, Cina, Prancis, Amerika Serikat, Inggris Raya, dan Indonesia), baru-baru ini kami menulis artikel tentang praktik akses terbuka terhadap publikasi dalam ilmu kebumian. Kami menyampaikan pekerjaan kami dengan artikel blog dalam Bahasa Indonesia, yang kedua dalam Bahasa Inggris, menyalin hasil utamanya di Wikipedia dalam bahasa Prancis, diteruskan di jejaring sosial di Cina melalui Sina Weibo dan di Asia secara lebih luas melalui WeChat dan secara internasional melalui Facebook, Twitter, dan Reddit.
Yang paling penting adalah bahwa pengetahuan kita tersebar dan tiba di tempat yang dapat dipahami dan digunakan.
Ubah kriteria evaluasi
Perkembangan sains terbuka juga menimbulkan pertanyaan tentang evaluasi penelitian dan peneliti. Implementasinya membutuhkan mempertimbangkan semua proses dan kegiatan penelitian dalam evaluasi dan tidak hanya artikel yang diterbitkan dalam jurnal peer-review internasional.
Tetapi berhati-hatilah agar tidak jatuh ke dalam perangkap evaluasi seperti yang kami tunjukkan bersama beberapa rekan. Bagaimana kita dapat mengharapkan manfaat dari evaluasi penelitian berdasarkan jumlah artikel dan pada kutipan ke artikel tersebut jika yang mengutip pekerjaan kita adalah hanya artikel ilmiah? dan bukan dampak langsung dari penelitian, terutama yang berhubungan dengan masyarakat umum?
Deklarasi San Francisco tentang Evaluasi Penelitian (DORA) yang dipublikasikan pada tahun 2012 dan Manifesto Leiden yang diterbitkan pada tahun 2015 bertujuan untuk meningkatkan praktik evaluasi, khususnya dengan memperingatkan penyalahgunaan indikator bibliometrik tertentu dalam konteks rekrutmen, promosi, atau evaluasi para peneliti.
Hingga saat ini, lebih dari 2.300 organisasi dari lebih dari 90 negara telah menandatangani deklarasi tersebut, termasuk 57 di Prancis dan lebih dari 18.000 peneliti, termasuk lebih dari 1.200, di Prancis.
Faktor dampak surat kabar, indikator yang bias
Kedua teks dekralasi (manifesto) tersebut secara khusus menunjukkan bahwa para pemangku kepentingan dalam sistem penelitian menggunakan dua indikator, yang bagaimanapun banyak dikritik oleh komunitas ilmiah.
Deklarasi San Francisco memberikan penekanan khusus pada penyalahgunaan faktor dampak jurnal ilmiah (rata-rata jumlah kutipan artikel dalam jurnal-jurnal ini yang diterbitkan selama dua tahun sebelumnya). Metode penghitungan indikator ini, yang digunakan untuk mengukur visibilitas suatu jurnal secara tidak langsung, menimbulkan bias terhadap jurnal tertentu dan juga dapat dimanipulasi.
Selain itu, para pemangku kepentingan tidak memperhitungkan keragaman praktik antar disiplin ilmu, yang dapat menimbulkan bias dalam perbandingan antar ilmuwan.
Terlalu banyak kepentingan yang diberikan pada jumlah kutipan
Kritik Manifesto Leiden terkait dengan Indeks-H, kriteria yang diusulkan pada tahun 2005 oleh fisikawan Jorge Hirsch dan telah berkembang pesat penggunaannya.
Ambisi dari penggunaan indikator komposit ini adalah untuk melaporkan jumlah publikasi oleh seorang peneliti dan dampak ilmiahnya secara bersamaan, dengan menghitung jumlah kutipan artikel yang diterbitkan.
Pada kenyataannya, definisi indeks ini, yang menarik karena kesederhanaannya, menjadikan jumlah publikasi sebagai variabel yang dominan dan tidak mengatasi kesulitan mengukur dua variabel (jumlah artikel dan jumlah kutipan) menggunakan satu indikator saja.
Indeks-H menyamakan seorang peneliti dengan sedikit publikasi, tetapi semuanya banyak dikutip, dengan seorang peneliti yang sangat produktif tetapi rendah jumlah kutipannya. Misalnya, seorang peneliti dengan lima publikasi yang semuanya dikutip lebih dari 50 kali akan memiliki Indeks-H 5. Demikian pula, seorang peneliti dengan 50 publikasi yang dikutip setidaknya 5 kali akan memiliki Indeks-H 5.
Indeks-H juga bergantung kepada basis data yang menjadi dasar perhitungannya seperti yang kami sebutkan baru-baru ini, karena hanya publikasi yang ada dalam basis data tertentu yang diperhitungkan.
Dalam konteks sains terbuka dan publikasi hasil riset untuk masyarakat umum, artikel di jurnal lokal (dalam bahasa nasional suatu negara) tidak akan dipertimbangkan, dan oleh karena itu kutipan kepada karya-karya tersebut tidak ikut dihitung dalam indikator ini, sehingga menciptakan ketidaksetaraan dalam evaluasi peneliti yang telah melakukan diseminasi pada jalur ini.
Indikator lain yang lebih relevan?
Deklarasi San Francisco dan Leiden Manifesto tidak hanya mengkritisi kedua indikator tersebut: mereka juga mengajukan rekomendasi penggunaan indikator scientometric, khususnya dalam hal evaluasi.
Rekomendasi ini berkisar pada sejumlah topik: (1) kebutuhan untuk mengakhiri penggunaan indikator berbasis tinjauan, seperti Faktor Dampak (Journal Impact Factor), dalam pendanaan, penugasan dan promosi kenaikan jabatan akademik; (2) bahwa mengevaluasi penelitian pada nilai intrinsiknya lebih penting dibandingkan dengan melihat di jurnal mana makalahnya diterbitkan; (3) dan memanfaatkan kemungkinan yang ditawarkan oleh publikasi daring non-makalah (seperti tidak adanya pembatasan yang tidak perlu pada jumlah kata, gambar, dan referensi dalam artikel serta eksplorasi indikator baru yang penting dan berdampak).
Meskipun evaluasi selalu dikaitkan dengan penelitian ilmiah, hiruk-pikuk kriteria yang dominan, seperti publikasi yang berlebihan di jurnal-jurnal bereputasi, dapat dihadapkan pada transfer pengetahuan kepada masyarakat. Akhirnya, transparansi yang lebih besar harus dikaitkan dengan penerapan serangkaian ukuran/kriteria yang lebih beragam untuk mengevaluasi peneliti.