Penulis: Dasapta Erwin Irawan – ITB, Juneman Abraham – Binus, Jonathan P. Tennant – IGDORE (alm), dan Olivier Pourret – Unilasalle Beauvais

Tautan makalah: https://s.id/ese-perspectives

Abstrak

Latar Belakang:

• Ilmu kebumian merupakan salah satu bidang ilmu yang sensitif yang sangat dibutuhkan untuk memecahkan masalah lokal dalam setting fisik dan sosial lokal.
• Peneliti bumi menemukan topik mutakhir dalam ilmu bumi dengan menggunakan basis data ilmiah, melakukan penelitian tentang topik tersebut, dan menulis tentang topik tersebut.
• Namun, aksesibilitas, keterbacaan, dan kegunaan artikel-artikel tersebut untuk masyarakat lokal merupakan masalah utama dalam mengukur dampak penelitian, meskipun mungkin tercakup oleh database ilmiah internasional yang terkenal.

Tujuan:

• Untuk memastikan secara empiris apakah ada perbedaan dalam distribusi dokumen, dalam proporsi dokumen yang dapat diakses secara terbuka, dan dalam cakupan geografis topik ilmu kebumian sebagaimana terungkap melalui analisis dokumen yang diambil dari database ilmiah dan
• untuk mengusulkan langkah-langkah baru untuk menilai dampak dari penelitian ilmu kebumian berdasarkan perbedaan tersebut.

Metode: Dokumen yang relevan diambil menggunakan ‘ilmu bumi’ sebagai istilah pencarian dalam bahasa Inggris dan bahasa lain dari sepuluh database publikasi ilmiah. Hasil penelusuran tersebut dianalisis menggunakan analisis frekuensi dan desain deskriptif kuantitatif.

Hasil:

1. Jumlah artikel dalam bahasa Inggris dari database internasional melebihi jumlah artikel dalam bahasa asli dari database tingkat nasional.
2. Jumlah artikel open-access (OA) di database nasional lebih banyak daripada di database lain.
3. Cakupan geografis makalah ilmu bumi tidak merata antar negara ketika jumlah dokumen yang diambil dari database komersial akses tertutup dibandingkan dengan yang dari database lain.
4. Peraturan di Indonesia terkait promosi dosen memberikan bobot yang lebih besar pada publikasi yang terindeks Scopus dan Web of Science (WoS) dan publikasi pada jurnal dengan impact factor diberi bobot yang lebih tinggi.

Kesimpulan:

• Dominasi artikel ilmiah dalam bahasa Inggris serta kurangnya publikasi OA yang diindeks dalam database internasional (dibandingkan dengan yang ada di database nasional atau regional) mungkin disebabkan oleh bobot yang lebih besar yang diberikan untuk publikasi tersebut.
• Akibatnya, relevansi penelitian yang dilaporkan dalam publikasi tersebut terhadap masyarakat lokal dipertanyakan.
• Artikel ini menyarankan beberapa praktik sains terbuka untuk mengubah peraturan saat ini terkait promosi menjadi pengukuran kinerja dan dampak penelitian yang lebih bertanggung jawab.

Pendahuluan

Penelitian dalam ilmu kebumian, sebagaimana bidang ilmu lainnya, berupaya untuk memecahkan masalah masyarakat lokal yang berkaitan dengan bumi. Cara tercepat untuk mengkomunikasikan hasil penelitian tersebut adalah dengan menggunakan infrastruktur dan bahasa lokal. Sebagai contoh, di Indonesia, banyak Program Desa Siaga Bencana telah dikembangkan berdasarkan kajian ilmiah menggunakan Bahasa Indonesia1 dan disebarluaskan melalui INA-Rxiv. Dibandingkan dengan rekan-rekan mereka yang berbahasa Inggris, para ilmuwan bumi dari negara-negara yang kurang terwakili atau yang tidak berbahasa Inggris memikul beban yang lebih berat karena mereka memiliki tanggung jawab ganda:

1. mereka harus mempublikasikan dalam jurnal yang ditinjau sejawat dan bereputasi menggunakan standar bahasa Inggris yang tinggi untuk memenuhi metrik akademik konvensional seperti jumlah kutipan, indeks-h, faktor dampak jurnal, dan Peringkat Jurnal SCImago — metrik yang didukung oleh peraturan nasional yang relevan untuk mengukur kinerja akademisi untuk promosi (ket: kenaikan jabatan fungsional) dan
2. mereka juga harus ditujukan pada komunitas penjangkauan dan pelibatan menggunakan bahasa lokal untuk melaksanakan tanggung jawab mereka kepada masyarakat (walaupun ini jarang menjadi prioritas mereka mengingat jam kerja mereka yang terbatas).

Sayangnya, dengan secara aktif berpartisipasi dalam permainan peringkat dunia dan berusaha untuk dianggap sebagai universitas kelas dunia, universitas sangat mendorong staf mereka untuk menerbitkan dalam bahasa Inggris, karena kriteria yang dipertimbangkan untuk penilaian dan peringkat biasanya dirancang oleh, dan bermanfaat bagi, yang disebut negara-negara WEIRD (kependekan dari Western, Educated, Industrialized, Rich, and Democracy).2 Di Indonesia, bias ini dapat menyebabkan penerapan hasil penelitian yang tidak memadai untuk memenuhi kebutuhan publik dan, pada akhirnya, membuang-buang uang dan sumber daya dibelanjakan oleh negara untuk penelitian tersebut.3 Tanggung jawab penelitian untuk berkontribusi kepada masyarakat juga baru-baru ini ditekankan oleh presiden Indonesia dan Menteri Pendidikan dan Kebudayaan Indonesia dan sekarang ditampilkan dalam rancangan kebijakan – untuk diterapkan dalam waktu dekat – terkait terhadap karir dosen dan kinerja perguruan tinggi.4

Pertanyaan penelitian utama yang dibahas dalam penelitian ini adalah: Apakah kita memerlukan perspektif baru dalam mengukur dampak penelitian? Ukuran konvensional dari dampak tersebut berlaku pada tiga tingkat, yaitu pada tingkat jurnal (faktor dampak atau SCImago Journal Rank, misalnya), pada tingkat artikel (berapa kali artikel dikutip, misalnya ), dan pada tingkat penulis (indeks-h, misalnya). Metrik ini membentuk dasar kriteria yang digunakan secara luas untuk mengukur reputasi institusi serta penulis dan kelompok penelitian.

Orang Indonesia cenderung membaca dan mengutip banyak artikel Indonesia; oleh karena itu, makalah yang ditulis dalam bahasa Inggris mengumpulkan lebih sedikit kutipan.5 Kedua, meskipun kutipan kumulatif dari artikel yang diterbitkan dalam jurnal meningkatkan faktor dampaknya, jumlah kutipan yang dimenangkan oleh masing-masing artikel mungkin tidak sesuai dengan faktor dampak jurnal yang menerbitkan artikel tersebut; Oleh karena itu, tidak tepat untuk mengukur kualitas sebuah artikel berdasarkan faktor dampak jurnal.

Banyak peneliti Indonesia tidak menyadari gerakan kutipan terbuka sedang diperjuangkan di tingkat global 6 dan bahkan mungkin dengan sengaja mengabaikan fakta bahwa database komersial, yang dipromosikan oleh aspirasi untuk menjadi universitas kelas dunia, menerapkan sistem kutipan tertutup dengan efek yang tidak menguntungkan pada pengetahuan yang tersedia untuk umum.7 Bagaimana kita dapat mengharapkan manfaat dari evaluasi penelitian berbasis kutipan jika karakteristik kutipan dan analisis kutipan – kriteria utama untuk evaluasi – tidak tercermin dengan baik oleh komunitas akademik, apalagi masyarakat umum?

Saat ini, ada empat inisiatif gerakan global lintas pemangku kepentingan untuk memastikan bahwa nilai beasiswa dalam masyarakat dinilai secara bertanggung jawab dan tepat. Keempat inisiatif tersebut adalah Leiden Manifesto, San Francisco Declaration on Research Assessment (DORA), Gerakan Demokratisasi Pengetahuan, dan Proposal untuk menggantikan faktor dampak Jurnal. Hingga saat ini, lebih dari 2.200 organisasi dari lebih dari 90 negara telah menandatangani DORA.8 Penilaian lainnya, yaitu TOP Guidelines (singkatan dari Transparency and Openness Promotion),9 juga telah diperkenalkan untuk mengecek kelengkapan prinsip-prinsip open-science di jurnal tersebut. tingkat. Terlepas dari kampanye yang kuat oleh para pendukung ilmu pengetahuan terbuka, kami percaya bahwa akan sulit untuk memantau lembaga-lembaga yang telah mendukung inisiatif ini dengan mendaftar karena Manifesto Leiden dan DORA didasarkan pada penilaian sendiri. Khususnya di beberapa negara yang kurang terwakili, jalan menuju penilaian penelitian tingkat nasional telah menjadi bahan perdebatan tingkat tinggi.

Kami mulai membahas perdebatan tersebut dengan memeriksa bibliometrik yang relevan di tingkat global dan kemudian mempertimbangkan implikasinya bagi Indonesia di tingkat nasional dan bagi komunitas ilmu bumi global di tingkat internasional.

Penelitian ini bertujuan untuk memastikan apakah basis data ilmiah yang berbeda memberikan hasil yang berbeda untuk subset publikasi yang berbeda seperti semua dokumen, hanya dokumen ilmu kebumian, hanya dokumen ilmu kebumian akses terbuka (OA), dan hanya dokumen bahasa Inggris tetapi dibatasi oleh konteks geografis. Hipotesisnya adalah sebagai berikut: Jika himpunan bagiannya berbeda secara signifikan, maka mengukur dampak suatu penelitian terutama berdasarkan perbedaan tersebut, atau peringkat, seperti yang ditunjukkan oleh database dan seperti yang dipraktikkan oleh banyak negara (termasuk Indonesia), akan menjadi tidak valid secara ilmiah dan diskriminatif secara sosial.

Metode

Basis data

Kumpulan data lengkap yang digunakan untuk semua analisis dalam penelitian ini tersedia secara online.11 Kumpulan data dibangun dengan mencari database berikut: Dimensions, Garuda, Google Scholar (GS), Korean Citation Index (KCI), Lens, Russian Science Citation Index (RSCI), Scientific Electronic Library Online (SciELO), Scopus (diambil melalui Institut Teknologi Bandung, Indonesia), dan Web of Science (WoS; diambil melalui UniLaSalle, Prancis) (Tabel Tambahan 1).

Strategi pencarian

Di setiap database, kami mencari dokumen-dokumen yang terkait dengan ilmu kebumian. Karena database memiliki filter dan menu pencarian yang berbeda, maka strategi pencarian disesuaikan (Tabel Tambahan 2). Untuk Dimensions, KCI, Lens, RSCI, Scopus, dan WoS, kami menggunakan filter dan bidang ilmu yang tersedia untuk mencari dokumen yang berkaitan dengan ilmu kebumian. Di GS dan Garuda tidak mungkin menyaring dokumen berdasarkan bidang ilmunya; oleh karena itu, kami mengetikkan kata kunci yang relevan. Karena GS mengindeks sebagian besar dokumen online tanpa memandang bahasa dan karena Garuda hanya mengindeks jurnal Indonesia, kami memutuskan untuk menggunakan bahasa lokal sebagai kata kunci di GS dan Garuda untuk mengambil semua dokumen relevan yang diterbitkan dalam bahasa selain bahasa Inggris.

Menggunakan semua database, kami mengekstrak item informasi berikut.

• Jumlah total catatan: total dokumen dan dokumen akses terbuka, menurut tahun
• Jenis dokumen: artikel, prosiding konferensi, dan bab buku
• Judul sumber: judul jurnal (tanpa filter)
• Area penelitian: area penelitian ilmu bumi menggunakan filter yang sesuai di database
• Negara: negara tempat tinggal semua penulis, tanpa penyaringan apapun
• Sumber pendanaan: tanpa penyaringan apapun
• Bahasa: Inggris dan bahasa selain bahasa Inggris (tergantung ketersediaan filter bahasa)

Analisis statistik

Kami menggunakan statistik deskriptif untuk menggambarkan karakteristik dokumen di setiap database untuk menghasilkan tabel dan kemudian menghasilkan grafik yang sesuai menggunakan Datawrapper.de, sebuah platform online.

Hasil

Jumlah total dokumen dan distribusinya

Di tingkat internasional, penelusuran kami menemukan (Tabel 1) hampir 4,5 juta dokumen ilmu bumi dari Scopus dan WoS, lebih dari 4,6 juta dari GS, hampir 2 juta dari Dimensions, dan hampir setengah juta dari Lens. Di tingkat nasional atau regional, jurnal yang diindeks SciELO mengambil lebih dari 46.000 dokumen, hanya di bawah setengah total dari database Prancis HAL (lebih dari 95.000 di hal.archives-ouvertes.fr/browse/domain). Indeks Kutipan Sains Rusia menemukan 39.581 dokumen; Indeks Kutipan Korea (KCI) diperoleh 17.156; dan Garuda (pengindeks nasional Indonesia) diperoleh 4.027.

Jumlah artikel yang diterbitkan dalam bahasa Inggris (gabungan artikel OA dan paywalled) yang diambil dari database internasional (Scopus dan WoS) – total lebih dari 1 juta dokumen – jauh melebihi jumlah yang diambil dari database nasional atau regional: KCI, RSCI , dan SciELO bersama-sama hanya menghasilkan sekitar 25.000 dokumen dalam bahasa Inggris, menunjukkan bahwa dokumen dalam bahasa Korea dan Rusia serta dalam bahasa daerah lainnya mendominasi ketiga database tersebut (Tabel 1).
Proporsi makalah OA terhadap total bervariasi menurut platform: proporsi dokumen ilmu bumi OA di database nasional dan regional (Garuda dan SciELO) (Mean = 100%) jauh lebih besar daripada di database lain (Mean = 24 %) (Tabel 1). Di antara database internasional, Dimensions (32,7%) dan Lens (31,7%) memiliki proporsi artikel OA yang lebih besar daripada Scopus (26,4%) (Tabel 1).

Seiring waktu, jumlah dokumen OA dan ilmu bumi berbayar terus meningkat, meskipun sangat lambat, sepanjang 2010–2019 di semua database (Gambar 1, diekstraksi pada 23 Maret 2020; tautan ke plot dan kumpulan data: https://datawrapper.dwcdn.net/CgpLO/1/) dan SciELO mencatat peningkatan tajam sejak 2019.

Cakupan geografis database atau layanan pengindeksan

Kami mengurutkan jumlah total dokumen ilmu bumi dari masing-masing dari empat database (Lens, Dimensi, SciELO, dan Scopus; Tabel 2) berdasarkan negara menggunakan afiliasi penulis dan rekan penulis dan kemudian memberi peringkat negara-negara dalam urutan menurun dari total output untuk memastikan sembilan negara teratas di setiap database. Cakupan geografis bervariasi dengan database: misalnya, AS menduduki peringkat pertama di Scopus dan Lens, tetapi tidak di Dimensions dan SciELO; Cina ditampilkan di semua database; dan Rusia hanya ditampilkan di Scopus dan Lens.

Diskusi

Rata-rata dari sembilan database, dari hampir 50 juta dokumen yang diindeks oleh database tersebut hanya sekitar 1,6% yang terkait dengan ilmu bumi (Tabel 1). Proporsinya, meskipun sangat rendah, relatif stabil dari tahun 2010 hingga 2019 (Gambar 1) tetapi menunjukkan beberapa perubahan yang mencolok sejak tahun 2019 di semua basis data.

Dari total makalah yang berkaitan dengan ilmu kebumian, hampir semua yang ada di Garuda dan SciELO adalah OA; di empat database internasional (Scopus, WoS, Dimensions, dan Lens), sekitar 30% adalah OA; dan proporsi makalah OA di dua basis data yang tersisa (KCI dan RSCI) masing-masing kira-kira 15%.

Proporsi dokumen berbahasa Inggris di database regional atau nasional (KCI, RSCI, SciELO) adalah sekitar 26%, sedangkan hampir semua dokumen (98%) di Scopus dan WoS dalam bahasa Inggris.

Jadi bias bahasa dalam database internasional yang terkenal, dan sebagian besar komersial, jelas (Tabel 1).

Basis data ini juga menunjukkan bias geografis yang jelas. Misalnya, proporsi yang lebih kecil dari dokumen ilmu bumi OA (Tabel 1) dalam database internasional menunjukkan bahwa database ini belum secara serius mengejar kesetaraan atau demokratisasi dalam akses ke pengetahuan. Sebaliknya, hampir semua makalah yang diindeks oleh database nasional atau regional dari negara-negara Amerika Latin (SciELO) dan Indonesia (Garuda) adalah OA (Tabel 1).

Bahkan jika kita mempertimbangkan proporsi dokumen ilmu bumi – apakah OA atau paywalled – dalam dua database komersial, yaitu Scopus dan WoS, kita melihat distribusi geografis yang miring (Tabel 2): ​​kedua database mencantumkan makalah hanya jika jurnal yang bersangkutan terdaftar pada mereka, dan merupakan tanggung jawab jurnal untuk mendaftarkannya. Oleh karena itu, cakupan tergantung pada persepsi manajer jurnal tentang reputasi Scopus dan WoS sebagai layanan pengindeksan (manajer jurnal dapat mendaftarkan jurnal mereka di salah satu atau kedua database). Namun, dalam Dimensi dan Lensa, data diperoleh dari DOI (pengidentifikasi objek digital) terdaftar dari CrossRef dan bukan berdasarkan pendaftaran. Empat database lainnya, yaitu SciELO, KCI, RSCI, dan Garuda, cakupannya menunjukkan fokus geografis yang jelas, yang hanya diharapkan mengingat tujuan eksplisitnya.

Bias bahasa dan geografis ini menunjukkan bahwa database internasional, dengan komite pemilihan kontennya sendiri, belum sepenuhnya menghargai keragaman hasil ilmiah. Cakupan Scopus dan WoS mungkin selektif secara geografis — bias kritis yang memengaruhi hampir semua analisis bibliometrik menggunakan platform tersebut. Sayangnya, database internasional tersebut mendominasi kriteria penilaian penelitian maupun peneliti di Indonesia dan juga di negara-negara lain yang kurang terwakili, yang mengandalkan ukuran kuantitatif. Semua bias itu berarti insentif yang lebih rendah bagi para sarjana Indonesia serta rendahnya visibilitas dokumen yang ditulis oleh mereka dalam bahasa selain bahasa Inggris, yang pada gilirannya akan mengurangi kontribusi mereka kepada masyarakat lokal atau negara mereka sendiri. Dengan kata lain, kebijakan saat ini yang diadopsi di Indonesia untuk menilai penelitian secara aktif mendiskriminasi peneliti Indonesia dan karya tulis mereka dalam bahasa apa pun selain bahasa Inggris.12

Ada juga persepsi yang terdistorsi oleh beberapa elemen pemerintah Indonesia bahwa dampak penelitian seringkali tentang kekayaan intelektual (termasuk paten).13 Kita perlu mencegah paradigma satu ukuran untuk semua ini diterapkan pada dunia penelitian dan penelitian. publikasi, dan kita perlu menjunjung tinggi kebebasan akademik setiap lembaga, program, atau disiplin untuk memilih sendiri ukuran kegunaan penelitian berdasarkan penilaian mereka dan sesuai dengan lingkungannya. Misalnya, banyak negara sebenarnya harus mendorong penerbitan temuan penelitian dalam bahasa lokal dengan menghargai upaya tersebut.

Terlepas dari indikator kutipan sederhana, Moravcsik et al. telah mengusulkan inisiatif Kutipan Aktif sebagai cara untuk memberikan lebih banyak konteks pada kutipan;14 Namun, proposal tersebut belum menemukan banyak peminat. Kutipan aktif adalah metode pengutipan yang menekankan pada transparansi dan akuntabilitas kutipan dengan mengharuskan setiap kutipan disertai dengan narasi atau penjelasan tentang bagaimana sumber kutipan menginspirasi penulis untuk mengungkapkan pemikiran tertentu. Dengan terobosan teknologi text mining yang dapat menggunakan kutipan aktif, kemauan penulis internasional untuk membaca dan mengutip artikel lokal yang ditulis dalam bahasa Inggris atau bahasa lokal harus diperkuat. Bahasa seharusnya tidak menjadi penghalang utama, 15 terutama ketika kami telah membuat metode seperti Google Terjemahan berdasarkan pemrosesan bahasa alami. Sangat disayangkan Purnell (2019) membahas situasi penerbitan di Indonesia16 hanya mengutip artikel-artikel yang terdaftar di WoS atau Scopus dan mengabaikan artikel relevan lainnya yang diterbitkan di jurnal lokal oleh para peneliti Indonesia.

Inisiatif lain adalah menggabungkan metrik utama seperti jumlah kutipan dan indeks-h dengan kriteria terkait media sosial seperti jumlah unduhan, tampilan total, skor Altmetric, dan skor ImpactStory yang berasal dari ukuran media sosial17 Ide di balik saran ini adalah untuk menghindari penggunaan metrik arus utama kuantitatif yang berlebihan, terutama jika metrik tersebut bukan metrik tingkat artikel . Ide ini, menurut kami, mungkin dapat dilaksanakan dengan hati-hati bahwa alih-alih membidik skor agregat, kita harus menggunakan bagan multi-sumbu untuk menyajikan posisi relatif setiap artikel di sepanjang sumbu yang beragam (masing-masing mewakili satu kriteria) sebanyak mungkin.

Selain itu, kami merekomendasikan agar dampak penelitian diukur lebih bermakna daripada hanya menggunakan perbandingan angka. Kita harus terus-menerus menyadari bahwa tidak hanya bias faktor dampak tetapi juga bias basis data telah mempengaruhi sistem evaluasi penelitian kita begitu lama sehingga sistem tersebut kehilangan koneksinya dengan masyarakat luas. Di bidang ilmu bumi, kami menyarankan bahwa indikator bibliometrik kuantitatif, termasuk kutipan, tidak dapat menggantikan peer review kualitatif dalam menilai dampak ilmiah, seperti yang disarankan oleh Royal Netherlands Academy of Arts and Sciences.18 Banyak aspek penelitian tidak dapat diukur secara kuantitatif, terutama dampak sosial budayanya.19 Interaksi tersebut paling baik diwakili oleh tinjauan sejawat terbuka yang memberikan kesempatan bagi rekan sejawat untuk melakukan tinjauan kuantitatif untuk melengkapi tinjauan kualitatif utama, baik pra-cetak, maupun pasca-cetak, seperti yang dipraktikkan di ScienceOpen. com.

Platform penilaian alternatif yang menghargai keragaman dan transparansi di tingkat artikel, seperti Redalyc.org, CurateScience. org, TOPFactor.org, dan ReplicationIndex.com, harus dimulai sebagai upaya percontohan dengan mengundang beberapa universitas yang didanai publik dan swasta untuk berpartisipasi. Beberapa organisasi pendanaan nirlaba, termasuk Sloan Foundation (Sloan.org) dan Chan Zuckerberg Initiative, kemungkinan akan mendanai inisiatif semacam ini.

Pada prinsipnya, kita tidak boleh secara kaku membedakan kualitas akademik dan manfaat sosial: konsekuensi negatif dari ‘dualisme Kantian’ antara keduanya tercermin dalam kegagalan komunikasi ilmiah selama pandemi COVID-19, kegagalan karena pemutusan hubungan antara pemerintah Indonesia. dan civitas akademika negara.21 Dampak penelitian harus mencerminkan bagaimana penelitian dapat berkontribusi pada perumusan kebijakan dan kehidupan sebagian besar masyarakat Indonesia. Kontribusi penelitian dalam kehidupan sehari-hari dapat terlihat lebih jelas jika penelitian disebarluaskan di luar batas-batas publikasi ilmiah, misalnya melalui Jadi Gini (Jadi Begini), sebuah akun Instagram Indonesia yang memaparkan hasil penelitian dalam beberapa slide ( https: // www.instagram.com/_jadigini/), dan The Conversation Indonesia (https://theconversation.com/id) sebagai saluran bagi para ilmuwan untuk menjelaskan karya mereka dengan cara yang lebih mudah diakses. Penggunaan tempat akademik yang kurang formal untuk menjelaskan sains yang rumit dalam potongan-potongan kecil juga akan meningkatkan reputasi peneliti di masyarakat luas. Seperti yang disorot baru-baru ini oleh Pourret et al. di Geokimia, meskipun karya kita diterbitkan, tugas berbagi ilmu kita belum selesai sampai kita mengkomunikasikannya kepada masyarakat luas.

Kami ingin menekankan bahwa kami tentu saja tidak menentang publikasi ilmiah. Meskipun kita berbicara tentang dekolonisasi karya ilmiah kita dari penerbit dan database komersial internasional, kita tidak ingin mundur dari kehidupan ilmiah. Dapat dimengerti bahwa beberapa ilmuwan – mungkin karena mereka bosan dengan permainan kolonisasi yang dimainkan di dunia penelitian dan publikasi ilmiah internasional23 – ingin mengambil langkah radikal dengan meninggalkan proses publikasi ilmiah sama sekali atau menganggapnya kurang sebagai 24 Namun, instantisme, kebenaran politik, dan kesalahan informasi tentang bidang ilmiah tidak dapat dibenarkan, karena mereka tidak hanya dapat membahayakan kesehatan sastra ilmiah tetapi juga membahayakan kehidupan manusia itu sendiri.

Untuk mengukur dampak penelitian secara lebih efektif, kami ingin menganjurkan beberapa perspektif sains terbuka. Pertama, pada tingkat ekosistem penelitian dan publikasi, keragaman keluaran dan hasil penelitian serta keterlibatan publik perlu mendapat perhatian yang lebih besar. Inisiatif seperti Jadi Gini dan The Conversation Indonesia, seperti yang telah dibahas, memenuhi kebutuhan ini sampai batas tertentu. Selain itu, dengan menggunakan inisiatif seperti CurateScience, artikel ilmiah dapat disesuaikan dan digunakan secara fleksibel. Kedua, di tingkat jurnal, OA untuk output ilmiah dan proses ilmiah sangat dibutuhkan. Dalam hal pengungkapan publikasi ilmiah, kami merekomendasikan agar praktik yang dianjurkan di Redalyc dan ScienceOpen diterapkan sebagai panduan dalam menerapkan sistem lain yang sejajar dengan inisiatif tersebut.

Dalam hal keterbukaan proses ilmiah yang mempromosikan integritas, akuntabilitas, dan reproduktifitas, kami merekomendasikan agar inisiatif seperti TOP Factor dan Indeks Replikasi digunakan sebagai panduan. Ketiga, pada level artikel, berbagai inisiatif, seperti Active/Annotated Citation, Contextual Citation (Scite.ai), dan natural language processing perlu diterapkan untuk memastikan interpretasi yang akurat dari konten artikel. Secara keseluruhan, jika indikator kinerja penelitian dan publikasi perlu dikuantifikasi, kami merekomendasikan bahwa beberapa koordinat (berdasarkan beberapa sumbu yang diturunkan dari inisiatif yang disebutkan sebelumnya) digunakan sebagai parameter daripada skor agregat tunggal dalam menentukan masa jabatan akademik, pendanaan penelitian, dan hal-hal terkait.

Keterbatasan penelitian ini adalah bahwa dalam beberapa strategi pencarian (Tabel Tambahan 2), kami tidak dapat memasukkan operator Boolean OR dalam pencarian kami karena keterbatasan beberapa database. Selain itu, kami tidak dapat menjelaskan secara pasti mengapa KCI dan RSCI menunjukkan jumlah artikel terindeks paling rendah. Keterbatasan lainnya adalah bahwa kami tidak memeriksa kemungkinan duplikat dalam hasil pencarian, meskipun kemungkinan seperti itu harus diingat dalam melakukan penelitian lebih lanjut.

Studi ini menyimpulkan bahwa, saat ini, lebih banyak perhatian diberikan pada makalah ilmiah yang ditulis dalam bahasa Inggris daripada bahasa lain, terlepas dari relevansi dan kontekstual audiens yang ditargetkan, dan, sayangnya, kebijakan nasional Indonesia mempromosikan bias ini. Sebagian besar dana telah digunakan untuk mendapatkan pengakuan internasional dengan menerbitkan lebih banyak artikel di jurnal berindeks internasional, mengabaikan komponen yang lebih hulu seperti memperkuat infrastruktur untuk penelitian dan publikasi.

Kami percaya bahwa setiap penelitian berusaha memecahkan masalah teknis dan sosial untuk memperbaiki banyak orang sebagai makhluk sosial. Oleh karena itu, untuk mengukur kinerja ilmiah, kita memerlukan kombinasi pengukuran kuantitatif dan kualitatif25 untuk memunculkan ke permukaan apa yang terkubur di bawah permukaan. Studi ini sangat membutuhkan seperangkat perspektif baru untuk mengukur dampak penelitian.

Ucapan terima kasih

Kami ingin mengucapkan terima kasih kepada komunitas komunitas Indonesia Open Science atas umpan balik pada draf pertama dan pengulas anonim yang meluangkan waktu mereka yang berharga untuk mengevaluasi draf dan berbagi wawasan mereka. Kami juga ingin menyebutkan beberapa orang yang telah membantu kami merumuskan masalah secara sistematis dalam publikasi ilmiah dan penelitian dan pengembangan di Indonesia: Surya Darma Hamonangan Dalimunthe dari Universitas Islam Negeri Sumatera Utara, Dr Hendro Subagyo dan dedikasi tim dari Lembaga Ilmu Pengetahuan Indonesia (LIPI) untuk menjadi tuan rumah RINarxiv, Stefaniia Ivashchenko dari Open Science TV dan Björn Brembs dari Universität Regensburg untuk kampanye kuat mereka melawan komersialisasi hasil akademik, dan Peter Murray-Rust dari University of Cambridge untuk menunjuk pentingnya text mining.

Pendanaan

Telaah ini didukung oleh Program PPMI Institut Teknologi Bandung 2019 dan oleh Kantor Ristek Universitas Bina Nusantara, sebagai bagian dari Hibah Penelitian Internasional Universitas Bina Nusantara (PIB; Kontrak No. 026 / VR.RTT / IV / 2020 6 April 2020) di mana penelitian ini berfokus pada pencegahan korupsi akademik dengan meningkatkan kesadaran akan metode yang lebih tepat untuk mengukur dampak penelitian.

Konflik kepentingan

Para penulis menyatakan bahwa mereka tidak memiliki kepentingan yang bersaing.

Pernyataan kontribusi

• DEI: pencetus ide awal, penyusunan konsep, pengambilan data, analisis, penulisan manuskrip
• JA: penyusunan konsep, pengambilan data, analisis, penulisan manuskrip
• JPT: penyusunan konsep, pengambilan data, analisis, penulisan manuskrip
• OP: penyusunan konsep, pengambilan data, analisis, penulisan manuskrip

Daftar pustaka

1. Wardhono H, Budiyono B, Hartati FK. Desa wisma siaga bencana di Desa Bungurasih Sidoarjo. Journal Community Development and Society. Dr. Soetomo University; 2020;2(1):56–72. Available from: https://doi.org/10.25139/cds.v2i1.2512
2. Gadd E. Mis-measuring our universities: how global university rankings don’t add up. SocArXiv; 2021 Mar. Available from: https://doi.org/10.31235/osf.io/gxbn5
3. Komisi Pemberantasan Korupsi. Kajian tata kelola dana penelitian. Direktur Penelitian dan Pengembangan KPK; 28 Dec. 2018. Available from: https://www.kpk.go.id/images/pdf/LHKA-Dana-Penelitian-2018.pdf
4. CokroTV. Nadiem habisi tiga dosa di dunia pendidikan. Youtube; 17 Aug. 2020. Available from: https://www.youtube.com/watch?v=c-tqIgULIlU&feature=youtu.be. Accessed 19 Aug. 2020.
5. Irawan DE. Visualisasi posisi riset beberapa perguruan tinggi di Indonesia. GitHub; 7 Sept. 2020. Available from: https://github.com/dasaptaerwin/pemeringkatanpt2020/blob/master/REKAPITULASI/PPT-VOS-CITATION.pdf
6. Abraham J, Irawan DE, Dalimunthe S. Jalan evolusi bibliometrik Indonesia. The Conversation; 8 Jan. 2019. Available from: https://theconversation.com/jalan-evolusi-bibliometrik-indonesia-104781
7. Peroni S, Shotton D. OpenCitations, an infrastructure organization for open scholarship. Quantitative Science Studies. MIT Press – Journals; 2020;1(1):428–44. Available from: https://doi.org/10.1162/qss_a_00023
8. DORA. To date, 19,612 individuals and organizations in 145 countries have signed DORA. DORA; 17 May 2021. Available from: https://sfdora.org/signers/ 9 Center for Open Science. New measure rates quality of research journals’ policies to promote transparency and reproducibility. COS; 10 Feb. 2020. Available from: https://www.cos.io/about/news/new-measure-rates-quality-research-journals-policies-promote-transparency-and-reproducibility
9. Irawan DE, Abraham J, Zein RA, Ridlo IA, Aribowo EK. Open access in Indonesia. Development and Change. Wiley; 2021;52(3):651–60. Available from: https://onlinelibrary.wiley.com/doi/epdf/10.1111/dech.12637
10. Irawan DE, Abraham J, Tennant J, Pourret O. Global flow of Earth science scientific articles based on several databases. Zenodo; 20 Nov. 2020. Available from: https://zenodo.org/record/4283016
11. Rochmyaningsih D. The developing world needs more than numbers. Nature. Springer Science and Business Media LLC; 2017;542(7639):7-7. Available from: https://doi.org/10.1038/542007a
12. Suryandari S. Belum ada pendataan dampak ekonomi dari hasil riset. Media Indonesia; June 2019. Available from: https://mediaindonesia.com/read/ detail/243326-belum-ada-pendataan-dampak-ekonomi-dari-hasil-riset
13. Moravcsik A. Example of an active citation. Princeton University; June 2014. Available from: https://www.princeton.edu/~amoravcs/library/Stevens-ExampleActiveCitation.pdf
14. Lazarev VS. Manipulation of bibliometric data by editors of scientific journals. European Science Editing. 2019;45(4):92-93. Available from: https://doi. org/10.20316/ESE.2019.45.19011
15. Purnell PJ. The effect of the Indonesian higher education evaluation system on conference proceedings publications. ArXiv; 26 Oct. 2019. Available from: https://arxiv.org/abs/1910.12018
16. Lewis DW. Proposal for a standard article metrics dashboard to replace the Journal Impact Factor. ScholarWorks; July 2019. Available from: https:// scholarworks.iupui.edu/handle/1805/19850
17. Royal Netherlands Academy of Arts and Sciences. Quality indicators for research in the Humanities. Koninklijke Nederlandse Akademie van Wetenschappen; May 2011. Available from: https://www.knaw.nl/shared/resources/actueel/publicaties/pdf/quality-indicators-for-research-in-the-humanities
18. An1mage Jurnal Studi Kultural. About the Journal. 2021. Available from: https://web.archive.org/web/20210224204217/https://journals.an1mage.net/index. php/ajsk
19. Chan Zuckerberg Initiative. Open science. CZI; 2020. Available from: https://chanzuckerberg.com/science/programs-resources/open-science/
20. Sadikin RA. Penanganan COVID-19, ilmuwan Indonesia merasa tak dilibatkan pemerintah. Suara; 19 May 2020. Available from: https://www.suara.com/news/2020/05/19/130434/penanganan-covid-19-ilmuwan-indonesia-merasa-tak-dilibatkan-pemerintah?page=all
21. Pourret O, Suzuki K, Takahashi Y. Our Study is published, but the journey is not finished! Elements. Mineralogical Society of America; 2020 Aug 1;16(4):229–30. Available from: https://doi.org/10.2138/gselements.16.4.229
22. Nasih M. Inovasi atau terjajah kembali. Jawa Pos; 17 Aug. 2020. Available from: https://www.jawapos.com/opini/17/08/2020/inovasi-atau-terjajah-kembali/ 24 Dinata RYW. Obat Covid-19 Unair tidak diprioritaskan publikasi internasional. AyoSurabaya; 18 Aug. 2020. Available from: https://www.ayosurabaya.com/read/2020/08/18/2653/obat-covid-19-unair-tidak-diprioritaskan-publikasi-internasional
23. Irawan DE, Abraham J. Set them free: A manifesto toward moving beyond academic imperialism. Commonplace; Mar 2021. Available from: https://doi. org/10.21428/6ffd8432.5ee70f55

Material pendukung