Saya menerima banyak sekali informasi setiap hari, salah satunya dari kawan Surya Darma. Topik yang diangkatnya kali ini adalah tentang pemeringkatan. Berikut ini adalah beberapa saja diantara banyak tautan informasi yang dibagikannya. Versi terbuka dari catatan ini tersedia di tautan Github ini, silahkan memberikan tambahan dan/atau komentar.

Pixabay, CC-0

The problem with university rankings

Artikel ini menyoroti beberapa hal yang tidak relevan saat pemilihan sekolah didasarkan kepada pemeringkatan utama yang saat ini banyak digunakan. Beberapa peringkat yang dibahasnya dan jumlah indikatornya adalah sbb: THES 13 indikator, QS 6 metrik (bukan indikator, sesuai istilah mereka), dan ARWU 6 indikator. Alasannya: kebanyakan pemeringkatan tersebut tersegmentasi hanya fokus ke komponen penelitian, sedikit yang secara langsung menggambarkan komponen pendidikan.

Beberapa kutipan:

Furthermore, an institution’s reputation is often determined through surveys, which can be highly subjective, and an institutions previous rankings also influence their ‘new ranking’ making it easier for ‘top’ universities to stay high up the list and difficult for upcoming universities to challenge their ‘supremacy’.

So if these rankings have little to do with the daily experiences of life as an undergraduate, and can easily be swayed by institutions competing for prestige and profitability, what information can help high school graduates with this imperative decision?

Criticism for popular rankings

I understand the attraction of university rankings – they provide a way of defining what a university should be and how it performs. But the fact that the underlying data is problematic does not seem to be seen as important (Bjorn Hammarfelt)

Artikel yang tayang di media Swedia, Curie, menyampaikan pendapat dari beberapa narasumber, Bjorn Hammarfelt dari University of Boras dan CWTS, Ton van Raan dari Leiden University, Ellen Hazelkorn dari Dublin Institute of Technology.

Comparing Harvard, which has budget akin to that of a small state, with a nationally-based university in Sweden is like comparing a sports car with a small family car and deciding which is best. That type of ranking tells us very little (Ton van Raan).

Penggunaan pemeringkatan telah salah arah. Indikator yang digunakan umumnya memenangkan kondisi perguruan tinggi elit yang minoritas.

…the rankings are misleading, because they purport to provide statistically-correct information about the quality of education but use indicators that favour elite universities with only a small fraction of the student population. They also have a distorting effect as they mainly use research-related measurements and largely disregard education and learning (Ellen Hazelkorn)

Dalam uraiannya, yang dapat disimpulkan dari uraian ketiga narasumber ini adalah bahwa pemeringkatan perlu dilihat sesuai konteksnya. Phil Baty, penyunting Peringkat THES sendiri menyatakan bahwa pemeringkatan mestinya tidak digunakan secara berlebihan (abused) dan sebagai satu-satunya perangkat dalam pengambilan keputusan. Tapi pernyataannya di bawah ini juga membingungkan.

…The rankings can provide information that is useful for decision-making but are not intended to drive decisions (Phil Baty).

Namun setidaknya ia menekankan bahwa cara terbaik untuk menganalisis peringkat adalah dengan memecahkan indikator dan melihat indikator yang relevan dengan kebutuhan.

‘Global university rankings data are flawed’ – HEPI

Bahram Bekhradnia, the author of the report and HEPI president, said the evidence shows that international rankings are one-dimensional, measuring research activity to the exclusion of almost everything else.

Masalah dimensi pengukuran memang sering menjadi pertanyaan. Para kritikus menyatakan bahwa kebanyakan ukuran yang digunakan adalah satu dimensi saja dari banyak dimensi yang berkaitan dalam operasional perguruan tinggi. Kalaupun tidak demikian, para penggiat sains terbuka sering menyoroti bahwa ukuran-ukuran peringkat dibangun berdasarkan ukuran-ukuran yang telah ada sebelumnya, misal jumlah sitasi untuk mengukur dampak. Kritik-kritik ini terus muncul, walaupun para pengelola peringkat secara terus-menerus menekankan bahwa indikator yang mereka gunakan adalah multidimensi.

Questionable Science Behind Academic Rankings

Artikel ini menyoroti kasus yang dicurigai pembengkakan metrik dari perguruan tinggi agar masuk ke daftar peringkat. Di sini ditekankan agar perlu lebih bijak saat menggunakan peringkat untuk menentukan arah kebijakan lembaganya bagi pimpinan perguruan tinggi dan untuk memilih perguruan tinggi bagi calon mahasiswa.

Which are the best world university rankings in the world?

Artikel oleh Stephen Curry, penggiat sains terbuka dunia ini, menyoroti bahwa lembaga pemeringkatan telah berkembang menjadi industri, yang bisa jadi dapat mempengaruhi hasilnya.

Such ranking exercises are a big and growing industry. This year the Times Higher has assessed 800 institutions, double the number considered last year. And their ranking is now only one of at least ten different schemes for grading the world’s universities. No institution wishing to compete globally – or even nationally – can afford to ignore them.

Stephen Curry juga menyarankan agar lembaga pemeringkat perlu menyampaikan berbagai faktor ketidakpastian (uncertanties) yang mungkin masuk dalam hitungan, juga agar tabel peringkat yang mereka rilis diformat ulang dengan menonjolkan klaster (cluster) grup lembaga, bukan peringkat individual.

Global science, national research, and the question of university rankings

Di sini Elen Hazelkorn dan Andrew Gibson menekankan bahwa pemeringkatan yang sering dipersepsikan sebagai kendaraan untuk disebut sebagai WCU (world class university) telah “mengganggu” posisi perguruan tinggi sebagai tersebut sebagai agen pembangunan di wilayahnya masing-masing. Kenapa ini terjadi? Karena mayoritas indikator yang diperhitungkan hanya mengangkat nilai-nilai yang berasal dan mungkin juga relevan untuk perguruan tinggi yang berasal dari benua tertentu.

Arah kebijakan perguruan tinggi atau lembaga penelitian yang mestinya lebih banyak diarahkan untuk membangun daerah/wilayah, bisa saja terdistorsi dengan keinginan untuk terekam pada daftar WCU, berdasarkan pemeringkatan tertentu. Beberapa indikasinya mungkin bisa disimpulkan dari beberapa berita daring yang terekam dalam hasil pencarian Google dengan kata kunci “mengejar pemeringkatan”.

This is why India started its own university ranking system

… India could not ignore international rankings, but institutions also could not be diverted from the mandates given in the country.

Terlepas dari pendapat bahwa “negara yang tidak mampu berkompetisi akan membuat peringkat sendiri”, di sini jelas bahwa India sudah melihat adanya kekurangan bila seluruh perguruan tinggi/lembaga riset yang ada hanya fokus kepada peringkat dunia. Di sini India, melalui National Institutional Ranking Framework dan National Accreditation Board. Prakarsa sejenis ini sudah terlihat di Indonesia dengan adanya BAN-PT dan Klaster Perguruan Tinggi Indonesia. Prakarsa yang sangat baik dan patut didukung, apalagi bila menonjolkan kriteria yang selaras dengan misi untuk menguak ilmu pengetahuan dari bumi Indonesia.

Catatan sementara

Beberapa catatan ini mungkin perlu didalami oleh para ahlinya:

pemeringkatan (global) dan perbedaannya dengan misi nasional,
pemeringkatan (global) dan hubungannya dengan sumber daya perguruan tinggi,
pemeringkatan (global) dan hubungannya dengan status sosial,
pemeringkatan (global) dan dimensi indikator yang digunakannya,
pemeringkatan (global) dan integritas riset,
dll (silahkan memberikan masukan)

Beberapa artikel yang layak untuk dibaca (akan saya ulas pada kesempatan lain):

dasaptaerwin.net

pemeringkatan dan serba-serbinya