Perayaan ulang tahun ke-10 Declaration on Research Assessment (DORA) memberikan kesempatan untuk merenungkan perjalanan luar biasa, dampaknya pada praktik penilaian penelitian, dan relevansinya yang berkelanjutan dalam membentuk masa depan evaluasi penelitian. Sebagai bagian dari perayaan DORA ke-10, sesi Pleno Asia-Pasifik didedikasikan untuk mengukur kemajuan dan peta jalan penilaian penelitian yang bertanggung jawab di Asia-Pasifik. Acara ini dimulai dengan sambutan dari Ginny Barbour, Wakil Ketua DORA dan Direktur Open Access Australasia, Australia, dan salah satu Editor Pendiri PLoS Medicine. Sambutan pembuka diikuti dengan presentasi utama dari Mai Har Sham, Wakil Rektor/Wakil Presiden (Penelitian) dan Profesor Biomedis di The Chinese University of Hong Kong. Acara diakhiri dengan diskusi panel dengan Dasapta Erwin Irawan, Institut Teknologi Bandung, Indonesia; Moumita Koley, Indian Institute of Science, India; Spencer Lilley, Victoria University of Wellington, Selandia Baru; dan Yu Sasaki, Kyoto University Research Administration Center, Jepang.

Opening remarks: Looking back and looking forward

Ginny Barbour membahas evolusi DORA dari awal hingga visi masa depannya. Barbour mulai dengan menceritakan ketika dia menyadari keterbatasan metrik penilaian jurnal, seperti Journal Impact Factor (JIF) saat bekerja di PLoS Medicine. Artikel editorial mereka “The Impact Factor Game” memberikan penjelasan tentang ketidakpuasan terkait ketidakcukupan JIF dalam menangkap semua usaha yang dilakukan untuk membawa karya penting di bidang tersebut. Ketidakpuasan mereka beresonansi dengan komunitas ilmiah lebih luas. Jadi, dengan tujuan bersama untuk memitigasi dampak negatif metrik penilaian yang cacat dan tidak sesuai pada ekosistem akademik, penerbit, peneliti, dan anggota masyarakat belajar berkumpul dan memikirkan DORA dalam konferensi ASCB 2012 di San Francisco dan secara resmi meluncurkan DORA tahun berikutnya (2013). Dengan dukungan dari banyak pendana internasional dan lembaga individual, dan kolaborasi dengan inisiatif global di berbagai proyek seperti Narrative CV, Project TARA, dll. DORA berkembang menjadi inisiatif global yang lengkap memfasilitasi dialog terbuka, membangun alat dan sumber daya, dan membimbing dan mendukung komunitas ilmiah dengan cara praktis untuk mereformasi sistem penilaian penelitian. Barbour menyoroti bagaimana selama bertahun-tahun, DORA melakukan upaya sadar untuk meningkatkan inklusivitasnya sendiri dan saat ini juga memiliki representasi internasional dan multidisiplin dalam tata kelolanya sendiri. Rincian tentang tonggak sejarah dan aktivitas penting yang telah membentuk kemajuan DORA dapat ditemukan di blog retrospektif terbaru.

Keynote session: Research Assessment from 2013-2032

Mai Har Sham meninjau lanskap penilaian penelitian di wilayah Asia-Pasifik dan mengeksplorasi tantangan dan kemungkinan di bagian dunia ini. Sham menyoroti hambatan yang dihadapi dalam mengimplementasikan DORA dan memungkinkan reformasi dalam penilaian penelitian meskipun jumlah penandatangan yang semakin meningkat.

Ekosistem penelitian adalah jaringan kompleks yang saling terhubung dan bergantung pada hubungan intra-institusional maupun inter-organisasi untuk pendanaan, kolaborasi lintas-disiplin, kemitraan akademik-industri, dan lain sebagainya. Hubungan profesional ini bergantung pada penilaian penelitian baik pada tingkat individu maupun institusional. Oleh karena itu, sangat penting untuk memilih indikator kinerja yang sesuai untuk individu (yang mempengaruhi kenaikan jabatan, masa jabatan, hibah, dan penghargaan) dan untuk institusi (yang memengaruhi reputasi, alokasi pendanaan, kemitraan dan strategi penelitian).

Secara khusus, untuk universitas dan institusi penelitian, indikator kinerja mencakup berbagai komponen, termasuk output penelitian (publikasi, dampak sitasi, paten, dll.), pendapatan penelitian (hibah, kolaborasi industri, perusahaan spin-off, dan lisensi paten), penghargaan yang diterima oleh profesor dan mahasiswa, reputasi (dampak penelitian, hasil mahasiswa dan peserta pelatihan, dll.), dan peringkat dunia mereka. Meskipun ada banyak atribut yang dapat diambil untuk menilai kinerja institusi, tetapi ada bias yang jelas yang menguntungkan hasil tertentu dan kurangnya penilaian sistematis dari semua komponen. Pada tahun 2010 dan 2014, latihan penilaian penelitian besar-besaran seperti Excellence in Research for Australia (ERA), dan Hong Kong Research Assessment Exercise (RAE), yang dilakukan oleh badan pendanaan, Australian Research Council (ARC) dan Research Grants Council (RGC) masing-masing, diluncurkan. Awalnya, fokus utama mereka adalah pada metrik berbasis publikasi untuk menilai output penelitian. Namun, ada pergeseran bertahap dalam pandangan tentang penilaian penelitian, didorong oleh advokasi aktif melalui DORA, the Leiden Manifesto, dan the Hong Kong Principles. Latihan penilaian besar-besaran sekarang memperluas kriteria evaluasi mereka untuk mencakup dampak dan lingkungan penelitian bersama dengan output penelitian, memberikan tingkat kepentingan yang bervariasi pada faktor-faktor ini. Meskipun Prinsip Hong Kong dan yang lainnya menyarankan untuk mengevaluasi seluruh proses penelitian, mulai dari perencanaan, desain, dan prosedur hingga penyebaran dan dampak, pada kenyataannya masih jauh dari terealisasi dalam latihan penilaian besar-besaran.

Skenario yang berkembang, meskipun lambat, memberikan harapan untuk masa depan. Sham menjelaskan bahwa pergeseran tersebut tidak akan terjadi secara radikal, terutama karena akan diperlukan untuk mengatasi beberapa hambatan yang unik bagi wilayah ini sebelum mencapai gerakan skala yang lebih besar. Sementara penting untuk melibatkan institusi, lembaga pendanaan, dan pemerintah untuk memainkan peran penting dalam menentukan kriteria penilaian, menyelaraskan insentif dan menyediakan sumber daya untuk perubahan sistemik, melibatkan peneliti, mempertimbangkan perspektif mereka, dan membangun kepercayaan dalam proses penilaian alternatif, juga akan menjadi kunci. Namun, perlawanan dari individu dan institusi telah mempersulit masalah. Selain itu, Sham menggarisbawahi beberapa tantangan khusus dalam konteks Asia-Pasifik: 1) tingkat kesadaran yang rendah, 2) tidak adanya pemimpin yang tegas untuk mendorong perubahan dan membangun kebijakan dan infrastruktur, 3) kurangnya tersedia model kerja, panduan, dan alternatif untuk mengakui kontribusi penelitian yang lebih luas, 4) tantangan implementasi teknis, 5) dukungan yang terbatas untuk beasiswa terbuka, dan yang terakhir tetapi paling penting 6) masalah terkait keragaman dan inklusivitas regional, seperti perbedaan dalam lembaga pendanaan, kebijakan, dan faktor budaya. Oleh karena itu, penting untuk mengakui dan menangani konteks dan kesulitan regional ini.

Menutup presentasi, Sham mencatat bahwa wilayah Asia-Pasifik telah membuat kemajuan tetapi upaya terus diperlukan untuk meningkatkan praktik penilaian penelitian dan mempromosikan kepercayaan dalam pendekatan baru. Selama sesi tanya jawab, Sham membahas topik yang berkisar dari transparansi dalam Peringkat Universitas, prosedur penelitian, dan tinjauan sejawat, terutama menekankan pentingnya tinjauan sejawat yang transparan dan bebas akses dalam meningkatkan penilaian penelitian. Selain itu, dia juga mencatat perlunya menghilangkan bias dalam proses tinjauan di wilayah ini dan memberikan pelatihan dan dukungan yang adil, memadai, dan mudah diakses untuk tinjauan yang bertanggung jawab dan transparan.

Panel discussion: On the present and future of responsible research assessment

Penilaian penelitian di negara-negara yang berbeda memiliki karakteristik dan tantangan unik masing-masing. Setelah pidato utama, panelis Spencer Lilley (Universitas Victoria di Wellington, Selandia Baru), Yu Sasaki (Pusat Administrasi Penelitian Universitas Kyoto, Jepang), Dasapta Erwin Irawan (Institut Teknologi Bandung, Indonesia), dan Moumita Koley (Institut Sains India) memberikan gambaran pengalaman dan pandangan mereka tentang penilaian penelitian. Mereka juga membahas para aktor utama, hambatan, dan arah masa depan dalam adopsi DORA untuk menerapkan reformasi penilaian penelitian di negara masing-masing. Secara keseluruhan, semua negara di gambar memiliki tingkat ketergantungan yang berbeda pada metrik berbasis publikasi kuantitatif untuk alokasi pendanaan, reputasi institusional, dll dan sedang berusaha untuk melakukan perubahan.

Lilley memberi tahu kami tentang sistem Performance-Based Research Fund (PBRF) yang telah berlangsung selama lebih dari 20 tahun di Aotearoa Selandia Baru. Penilaian PBRF didasarkan pada kinerja individu, sehingga sangat penting bagi para peneliti untuk berusaha untuk “meraih” dengan baik guna menopang dan memaksimalkan pendanaan penelitian institusional mereka. Namun, ke depannya, putaran penilaian di Selandia Baru akan memberi prioritas pada identifikasi keunggulan penelitian di luar sekadar mengandalkan faktor dampak. Secara khusus, akan ada upaya untuk menjadi lebih inklusif terhadap orang Māori dan Pasifik lainnya yang bertujuan untuk mendukung orang asli di angkatan kerja penelitian dan pada generasi pengetahuan yang relevan dengan masyarakat asli. Lilley mengidentifikasi kesenjangan dalam pemahaman kompleksitas budaya dan relevansi dalam proses peer review sebagai salah satu hambatan yang harus diatasi sehingga menekankan pada perlunya kesadaran dan pelatihan di antara dewan editorial dan peer reviewer untuk memahami penelitian asli secara efektif. Selain itu, Open Science juga semakin penting, dengan para pendana eksternal yang menuntut penelitian yang didanai dapat diakses secara terbuka. Di tingkat nasional, aktor utama di balik pergeseran ke arah budaya penelitian yang lebih baik, melalui perubahan penilaian penelitian dan akses terbuka, adalah agensi pendanaan nasional, yang baru-baru ini mempercepat penggabungan Narrative CV, dll. Namun, masih ada ruang untuk memudahkan proses bagi peneliti yang terpinggirkan dan asli.

Di Jepang, seperti yang diungkapkan oleh Sasaki, metrik kuantitatif memainkan peran dominan, sering digunakan untuk peringkat universitas dan tujuan manajemen strategis. Meskipun ada beberapa kesadaran tentang inisiatif penilaian penelitian yang bertanggung jawab seperti DORA, masih terfokus pada indikator bibliometrik untuk evaluasi kinerja. Sasaki juga mencatat bahwa tingkat kesadaran yang rendah tentang DORA di kalangan staf administratif menunjukkan perlunya keterlibatan yang lebih baik. Upaya yang didukung oleh proyek DORA Community Engagement Grant difokuskan pada pengembangan peta isu untuk memahami tantangan dalam mereformasi penilaian penelitian di Jepang. Namun, peta ini membutuhkan keterlibatan yang berkelanjutan, dan peta itu sendiri diharapkan menjadi platform umum untuk mengumpulkan peneliti, administrator penelitian, dan pendana untuk membuka dialog tentang kebutuhan untuk memupuk penilaian penelitian yang bertanggung jawab.

Menurut Irawan, meskipun penilaian riset di Indonesia sangat bergantung pada metrik kuantitatif seperti sitasi dan faktor dampak jurnal, namun dengan semakin gencarnya promosi Open Science, kesadaran para peneliti tentang pentingnya berbagi konten dan materi penelitian secara luas semakin meningkat. Meskipun arahan DORA telah jelas mempengaruhi memperluas perspektif pada tingkat dasar, lambatnya perubahan dari pihak pendana pemerintah menjadi hambatan besar bagi reformasi penilaian riset yang efektif di tingkat nasional.

Koley, yang adalah juga penerima hibah Keterlibatan Komunitas DORA, menjelaskan tentang temuan proyek mereka bahwa penilaian riset di India melibatkan campuran metrik kualitatif dan kuantitatif. Meskipun sebagian besar lembaga di India sangat mengandalkan metrik kuantitatif seperti faktor dampak dan hitungan sitasi, hanya beberapa institusi yang memprioritaskan evaluasi kualitatif. Kerangka peringkat nasional mencakup parameter bibliometrik yang berfokus secara eksklusif pada jurnal yang terindeks Web of Science dan Scopus, tetapi upaya sedang dilakukan untuk membuat kerangka penilaian lebih bertanggung jawab dan transparan. Kesadaran tentang keterbatasan mengandalkan metrik kuantitatif semakin meningkat. Keterlibatan pemangku kepentingan yang beragam, termasuk peneliti, fakultas, dan lembaga pembiayaan, telah menjadi sangat penting dalam meningkatkan kesadaran tentang penilaian riset yang bertanggung jawab dan mempromosikan diskusi untuk perbaikan. Di India, pemimpin sains senior dan peneliti memainkan peran kunci dalam menetapkan budaya riset, di mana konteks disiplin berkontribusi secara signifikan.

Di masa depan, sementara Lilley ingin lebih banyak advokasi untuk transparansi yang lebih besar, berkurangnya persaingan (yang tidak sehat), dan peningkatan kolaborasi dalam penelitian, dengan penekanan pada komunitas ilmiah yang menghargai dan mendukung penelitian yang bernilai lokal, Sasaki menyatakan kebutuhan mendesak untuk pemberi dana dan para pembuat kebijakan sebagai agen perubahan terhadap rintangan yang ditimbulkan oleh dampak yang berkelanjutan dari JIF dan pemeringkatan universitas. Irawan berharap untuk mendorong penghapusan topeng “prestise” dan fokus pada kualitas dan konten karya riset daripada metrik berbasis jurnal, dan Koley membayangkan suatu kerangka penilaian penelitian yang komprehensif dan kuat yang seimbang antara metrik kualitatif dan kuantitatif, mempromosikan keragaman dan inklusivitas, dan membawa dampak sosial.

• “greater transparency, reduced competition, and increased collaboration in research, with an emphasis on the scientific community valuing and supporting indigenous research” – Spencer Lilley

Kesimpulan

Acara ini, sambil merayakan perjalanan dan dampak DORA selama 10 tahun terakhir, juga menyoroti pentingnya melibatkan semua pemangku kepentingan dalam komunitas ilmiah, dari berbagai belahan dunia dengan perspektif dan kebutuhan yang berbeda, untuk berhasil menghasilkan tujuan reformasi penilaian penelitian global dalam beberapa tahun mendatang.

Daftar bacaan

Berikut ini adalah beberapa referensi non-DORA yang dibagikan saat acara:

1. The PLoS Medicine Editors (2006). The Impact Factor Game. https://doi.org/10.1371/journal.pmed.0030291
2. Hicks D, Wouters P, Waltman L, Rijcke S. de, Rafols I (2015). Bibliometrics: The Leiden Manifesto for research metrics. https://doi.org/10.1038/520429a
3. Moher D, Bouter L, Kleinert S, Glasziou P, Sham MH, Barbour V, Coriat AM, Foeger N, Dirnagl U (2020). The Hong Kong Principles for assessing researchers: Fostering research integrity. https://doi.org/10.1371/journal.pbio.3000737
4. Research Excellence Framework: https://www.ukri.org/about-us/research-england/research-excellence/research-excellence-framework/
5. Hong Kong Research Assessment Exercise: https://www.ugc.edu.hk/eng/ugc/activity/research/rae/rae2020.html
6. Excellence in Research for Australia: https://www.arc.gov.au/evaluating-research/excellence-research-australia
7. Nosek, Brian A et al. (2023). Transparency and Openness Promotion (TOP) Guidelines. https://osf.io/9f6gx/?view_only=
8. Guidance for research organisations on how to implement responsible and fair approaches for research assessment: https://wellcome.org/grant-funding/guidance/open-access-guidance/research-organisations-how-implement-responsible-and-fair-approaches-research