Tentang pemeringkatan universitas (1)

Artikel yang ini mestinya muncul pertama, sebelum artikel yang dua hari lalu saya unggah. Memang terbalik-balik, karena pikiran kita tidak selalu linear.

1. Tentang pemeringkatan

1.1 Apa saja

Pemeringkatan yang paling banyak digunakan ada empat, khususnya mengagregasi indikator terkait pendidikan, penelitian, dan hubungan dengan pihak eksternal:

Ada pendatang (baru) dengan indikator yang sangat berbeda, yakni kinerja terkait lingkungan

Selain pemeringkatan di atas, di Indonesia juga popular pemeringkatan yang berbasis keterbacaan daring (online visibility) seperti Webometric dan 4ICU (baca: four I see you). Kedua indicator daring ini akan dibahas pada bab yang berbeda. Lihat Gambar 1 untuk melihat berbagai pemeringkatan yang banyak dipakai di Indonesia.

1.2 Pemeringkatan dengan indikator konvensional

Keempatnya mengukur indikator-indikator terkait pengajaran (teaching), penelitian (research), dan hubungan eksternal (external relationship) yang masing-masing dihubungkan dengan reputasi internasional.

Gambar 1 Pembagian pemeringkatan menurut indikatornya

1.2.1 ARWU

Dalam laman resminya, ARWU menyampaikan keunikan pemeringkatan sbb. Kalau dilihat sebenarnya tidak ada yang unik dengan basis pemeringkatannya, yang masih mengutamakan pencapaian individual.

“One unique feature in the methodology of Shanghai Ranking’s ARWU and subject rankings is the use of Award indicator, such as counting the universities’ staff winning Nobel Prize in Physics, Chemistry, Physiology/Medicine, Economics and Fields Medals in Mathematics.”

Agar dapat masuk ke pemeringkatan ARWU, kriteria seleksi awalnya adalah jumlah minimum publikasi yang terdata di Web of Science. Batasan jumlah minimum publikasi akan berbeda-beda untuk setiap bidang ilmu. Setelah memenuhi persyaratan untuk masuk ke dalam daftar perguruan tinggi yang dinilai, kemudian digunakan beberapa indikator di bawah ini (Tabel 1). Daftar-daftar terkait yang diakui dan digunakan dalam pemeringkatan ada di sini.

Tabel 1 Indikator-indikator ARWU sebagaimana disalin dari laman resminya. Penulis memberikan ringkasan.

Indicators Definition Weight (in %) Ringkasan
PUB PUB is the number of papers authored by an institution in an Academic Subject during the period of 2013-2017. Only papers of ‘Article’ type are considered. Data are collected from Web of Science and InCites.   PUB = jumlah makalah dalam suatu bidang ilmu yang ditulis oleh staf lembaga pada periode tertentu. Data dari WoS dan InCites.
CNCI Category Normalized Citation Impact (CNCI) is the ratio of citation of papers published by an institution in an Academic Subject during the period of 2013-2017 to the average citations of papers in the same category, of the same year and same type. A CNCI value of 1 represents world-average performance while a value above 1 represents performance above the world average. Only papers of ‘Article’ type are considered. Data are collected from InCites database.   CNCI = jumlah sitasi dari makalah dalam suatu bidang ilmu yang ditulis oleh staf lembaga pada periode tertentu. Data dari InCites.
IC International collaboration (IC) is the number of publications that have been found with at least two different countries in addresses of the authors divided by the total number of publications in an Academic Subject for an institution during the period of 2013-2017. Only papers of ‘Article’ type are considered. Data are collected from InCites database.   IC = (jumlah makalah pada bidang ilmu tertentu yang ditulis oleh staf lembaga dan penulis dari negara lain) / (jumlah publikasi pada bidang ilmu dari suatu lembaga pada periode tertentu). Data dair InCites.
TOP TOP is the number of papers published in Top Journals in an Academic Subject for an institution during the period of 2013-2017. Top Journals are identified through Shanghai Ranking’s Academic Excellence Survey or by Journal Impact Factor. In 2019, 134 top journals selected by the Survey are used in rankings of 45 Academic Subjects. In Computer Science & Engineering, 17 selected top conferences are also taken into account this year. The list of the top journals and conferences can be found here. For Academic Subjects that do not have journals identified by the Survey, the JCR top 20% journals are used. Top 20% journals are defined as their Journal Impact Factors in the top 20% of each Web of Science category according to Journal Citation Report (JCR) 2017, and then aggregated into different Academic Subjects. Only papers of ‘Article’ type are considered for this indicator. But in the subject of Pharmacy & Pharmaceutical Sciences, both “Article” and “Review” are counted because only one journal in this subject was selected as Top journal and it mainly publishes reviews.   TOP = jumlah makalah yang ditulis oleh staf lembaga dan terbit di jurnal top pada bidang ilmu tertentu. Daftar jurnal top didapatkan dari survey responden. Untuk bidang ilmu yang jurnalnya tidak ada dalam daftar hasil survey, maka data diambil dari JCR (JIF) dari WoS.
AWARD AWARD refers to the total number of the staff of an institution wining a significant award in an Academic Subject since 1981. Staff is defined as those who work full-time at an institution at the time of winning the prize. If a researcher retired at the time of winning the award, we count the institution where the researcher’s last full-time academic position was at. The significant awards in each subject are identified through Shanghai Ranking’s Academic Excellence Survey. The list of the significant awards in each subject can be viewed here. If a winner is affiliated with more than one institution at the time of winning the award, each institution is assigned the reciprocal of the number of institutions. If the award is awarded to more than one winner in one year, weights are set for winners according to their proportion of the prize. Different weights are set according to the periods of winning the prizes. The weight is 100% for winners in 2011-2017, 75% for winners in 2001-2010, 50% for winners in 1991-2000, and 25% for winners in 1981-1990. Nobel Prize in Physiology or Medicine is selected for Biological Sciences, Human Biological Sciences, Clinical Medicine and Pharmacy & Pharmaceutical Sciences. Winners of this award are assigned to one or more subjects according to the topics of their recognized contributions. If a contribution belongs to more than one subject, the winner will be counted once for each relevant subject.     AWARD = jumlah penghargaan yang diterima staf berdasarkan hasil survei. Penghargaan Nobel diutamakan.

1.2.2 THES

Agar bisa masuk ke dalam lingkungan survey THES, berikut syaratnya:

  • Publish a sufficient number of academic papers over a five-year period – this threshold is currently set at 1,000 papers: syarat ini kecuali untuk negara-negara Amerika Latin yang hanya perlu menerbitkan 200 makalah (“Institutions are eligible for inclusion in the Latin America table if they have published 200 papers in the past five years.”).
  • Teach undergraduates: perguruan tinggi harus mengajar program sarjana.
  • Work across a range of subjects: bekerja dalam beberapa lingkungan bidang ilmu.

THES menggunakan beberapa indikator ini (Tabel 2).

Tabel 2 Indikator-indikator THES sebagaimana disalin dari laman resminya.

Indicators Detail indicators Weight (in %) Penjelasan
Teaching   30 the learning environment
  Reputation survey: 15% 15 berdasarkan responden terpilih, kriteria belum diketahui dengan pasti.
  Staff-to-student ratio: 4.5% 4.5  
  Doctorate-to-bachelor’s ratio: 2.25% 2.25  
  Doctorates-awarded-to-academic-staff ratio: 6% 6  
  Institutional income: 2.25% 2.25  
Research   30 volume, income and reputation
  Reputation survey 18 berdasarkan responden terpilih, kriteria belum diketahui dengan pasti
  Research income 6  
  Research productivity 6  
Citations     30 research influence berdasarkan data Scopus
International outlook   7.5 staff, students, research
  Proportion of international students 2.5 Proporsi mahasiswa internasional dibandingkan jumlah mahasiswa total
  Proportion of international staff 2.5 Proporsi staf internasional dibadingkan jumlah staf total
  International collaboration 2.5 Jumlah kolaborasi riset dengan lembaga internasional
Industry income   2.5 knowledge transfer

1.2.3 QS

QS tidak menampilkan kriteria inkluasi di depan. Perguruan tinggi yang berminat hanya diminta untuk menghubungi QS. QS menggunakan beberapa indikator ini.

Tabel 3 Indikator-indikator QS sebagaimana disalin dari laman resminya.

Indicators Detail indicators Weight (in %) Penjelasan
Academic Reputation   40 the learning environment
Employer Reputation   10  
Faculty/Student Ratio   20  
Citations per faculty   20  
International Faculty Ratio   5  
International Student Ratio   5  
       

1.2.4 Leiden

Pemeringkatan Leiden sepenuhnya bersandar kepada data publikasi dengan mamanfaatkan basis data WoS dan turunan-turunannya. Jadi makalah yang diperhitungkan harus masuk ke dalam pengindeks itu, juga jumlah sitasinya. Selain itu Leiden yang mensyaratkan bahwa publikasi (hanya yang berjenis artikel/peer reviewed article dan ulasan/peer reviewed review) harus ditulis dalam Bahasa Inggris dan telah masuk ke dalam basis data inti WoS, serta mengeluarkan makalah anonim dan makalah yang telah ditarik (retracted). Agar dapat masuk dalam basis data jurnal ini, sebuah jurnal harus memiliki kriteria: memiliki daftar makalah dengan penulis yang berasal dari berbagai negara dan memiliki kaitan sitasi ke jurnal lain yang telah masuk ke dalam daftar inti. Pemeringkatan ini tidak memperhitungkan

Walaupun indikator yang digunakan oleh Pemeringkatan Leiden bertujuan untuk memperlihatkan produktivitas, kolaborasi, interaksi dengan industri, keterbukaan dan keseimbangan gender, tetapi yang digunakan adalah makalah ilmiah dengan memperhatikan:

  • jumlah publikasi di tiap perguruan tinggi: makin banyak, makin bagus;
  • jumlah publikasi yang berstatus akses terbuka (open access): makin banyak, makin bagus.
  • jumlah publikasi menurut bidang ilmu: makin banyak, makin bagus;
  • jumlah publikasi menurut jumlah penulis yang berasal dari organisasi yang berbeda: makin bervariasi, makin bagus;
  • jumlah publikasi dari penulis perempuan: makin banyak, makin bagus;
  • jumlah publikasi dengan penulis yang berasal dari sektor industri: makin banyak, makin bagus. Ini menunjukkan tingkat interaksi antara universitas dengan sektor industri;
  • jumlah publikasi dengan penulis yang berasal dari negara yang berbeda dan seberapa jauh jaraknya: makin banyak, makin bagus dan makin jauh jarak antar negara, makin bagus. Ini memperlihatkan tingkat internasionalisasi universitas.

1.3 Pemeringkatan dengan indikator non-konvensional

1.3.1 UI Green Metric

Untuk UI Green Metric yang diukur adalah indikator terkait Kampus Hijau, yakni berbagai upaya kampus untuk mengurangi jejak karbon dan resiko pemanasan global. Indikator-indikator yang digunakan sangat terkait dengan tata kelola lingkungan, dengan rincian sebagai berikut:

  • Pengaturan lahan dan infrastruktur (SI) = bobot 15% Berbagai pengaturan gedung dan lingkungan universitas dalam menuju lingkungan hijau. Informasi mengenai pengaturan lahan dan infrastruktur universitas akan memberikan informasi dasar mengenai pertimbangan universitas menuju lingkungan hijau. Indikator ini juga menunjukkan apakah suatu Universitas layak disebut sebagai kampus hijau. Tujuan dari indikator ini adalah agar universitas menyediakan ruang lebih untuk penghijauan dan keamanan lingkungan.
  • Energi dan perubahan iklim (EC) = bobot 21% Perhatian universitas terhadap penggunaan energi, alternatif energi dan masalah perubahan iklim. Perhatian universitas terhadap masalah penggunaan energi dan perubahan iklim adalah indikator yang diberi persentase tinggi. Indikator ini memperhatikan penggunaan energi yang efisien, penggunaan listrik, program konservasi energi, dan lain-lain. Dengan indikator seperti ini diharapkan universitas bisa lebih efisien dalam menggunakan energi dan lebih peduli terhadap sumber energi alami.
  • Sampah (WS) = bobot 18% Perlakuan dan daur ulang sampah dan limbah yang ada di universitas. Aktivitas pengolahan limbah dan daur ulang sampah memiliki faktor yang besar dalam lingkungan yang hijau. Indikator ini fokus terhadap program universitas dalam mengelola limbah yang dihasilkan, seperti daur ulang, pengolahan air organik, sistem pembuangan kotoran, dan aturan dalam penggunaan kertas dan plastik di universitas.
  • Air (WR) = bobot 10% Program universitas untuk menghemat penggunaan air. Indikator penggunaan air di universitas bertujuan agar universitas bisa mengurangi penggunaan air, menambahkan program konservasi air, dan lain-lain.
  • Transportasi (TR) = bobot 18% Program universitas untuk transportasi ramah lingkungan. Sistem transportasi memiliki peranan penting terkait emisi karbon dan polusi di universitas. Indikator transportasi menilai tentang peraturan universitas yang berkaitan dengan transportasi, seperti pembatasan kendaraan bermotor, penggunaan bus dan sepeda di universitas untuk mendorong lingkungan yang lebih sehat.
  • Edukasi (ED) = bobot 8% Peranan Universitas dalam membina generasi hijau, dengan pendidikan, penelitian, dan aktivitas penunjang. Indikator ini lebih memfokuskan pada berbagai upaya universitas dalam menciptakan generasi baru yang lebih peduli terhadap keberlanjutan lingkungan hidup.

1.3.2 THES Dampak SDG

THES SDG mengukur peran kampus dalam meningkatkan komponen SDG:

  • SDG 3 Good health and well being
  • SDG 4 Quality education
  • SDG 5 Gender equality
  • SDG 8 Decent work and economic growth
  • SDG 9 Industri innovations and infrastructure
  • SDG 10 Reduced inequalities
  • SDG 11 Sustainable cities and communities
  • SDG 12 Responsible consumption and production
  • SDG 13 Climate action
  • SDG 16 Peace, justice strong institutions

About the author

My current focus is how to provide the hydrostratigraphy of volcanic aquifers in Bandung area. The research is based on environmental isotope measurement in groundwater and morphometry. My work consists of hydrochemical measurements. I am using multivariate statistical methods to provides more quantitative foundation for the analysis and more insight into the groundwater behavior, especially its interaction with surface water. I use open source apps like R and Python to do the job. In my spare time, I also have a side project to promote open science in Indonesia's research workflow. One of my current focus is promoting INARxiv, as the first preprint server of Indonesia (osf.io/preprints/inarxiv) and serving as ORCID and OSF (osf.io) ambassador. Research interest: Hydrochemistry, multivariate analysis, and R programming. Blog: dasaptaerwin.net, derwinirawan.wordpress.com. (https://orcid.org/0000-0002-1526-0863)