Berikut ini adalah ringkasan makalah yang terbit di Nature News (oleh: Richard Van Noorden) dengan tambahan beberapa catatan saya.

Temuan utama dari makalah ini adalah bahwa faktor dampak bukanlah prediktor yang baik untuk kecermatan dan kebermanfaatan dari suatu ulasan. Para peneliti yang dipimpin oleh Anna Severin dari University of Bern, menggunakan pembelajaran mesin (machine learning) untuk menganalisis kualitas ribuan laporan para peninjau (reviewer) dan menemukan bahwa memungkinkan untuk menilai kecermatan dan kebermanfaatan dari suatu ulasan secara sistematis dan dapat ditingkatkan. Namun, teknik ini memiliki keterbatasan, dan pembelajaran mesin dapat saja keliru menandai arti dan konteks dari kalimat yang dibacanya. Selain itu, para peneliti tidak dapat mengecek apakah klaim yang dibuat dalam tinjauan yang mereka kodekan benar-benar benar adanya, misal: kalau seorang peninjau bilang bahwa makalah yang dibacanya belum mengandung analisis yang cukup, maka penyunting yang membaca tinjauan tersebut belum dapat memastikan apakah klaim peninjau itu benar.

Kontribusi utama makalah ini adalah memberikan contoh penggunaan pembelajaran mesin untuk menganalisis kualitas laporan tinjauan sejawat. Para peneliti menemukan bahwa faktor dampak (Impact Factor) dari sebuah jurnal (yang memberikan tugas meninjau) bukanlah prediktor yang baik untuk kecermatan dan kebermanfaatan dari sebuah hasil tinjauan sejawat. Mereka juga mengidentifikasi keterbatasan teknik tersebut, seperti kemungkinan penafsiran kalimat yang salah dan ketidakmampuan untuk memverifikasi keakuratan klaim yang dibuat dalam tinjauan. Secara keseluruhan, makalah ini memberikan wawasan tentang potensi penggunaan pembelajaran mesin untuk meningkatkan proses tinjauan sejawat.

Makalah ini menyarankan beberapa arah penelitian di masa depan, antara lain:

• Mengeksplorasi hubungan antara kualitas tinjauan dan dampak akhir dari makalah yang mereka tinjau, misalnya: membandingkan antara dokumen versi sebelum dan sesudah peninjauan sejawat untuk melihat apakah dokumen final memang benar-benar telah mengikuti hasil peninjauan (sebagian atau seluruhnya).
• Menyelidiki dampak pelatihan peninjau pada kualitas tinjauan. Saat ini banyak pelatihan menjadi peninjau telah diadakan, baik yang berbayar maupun yang gratis. Tapi hasilnya belum pernah diukur.
• Menguji dampak format tinjauan yang berbeda pada kualitas tinjauan. Jurnal seringkali memberikan format peninjauan. Jurnal yang berbeda dapat memberikan format yang berlainan.
• Mengembangkan model pembelajaran mesin yang lebih canggih untuk meningkatkan akurasi penilaian kualitas tinjauan.
• Menyelidiki dampak insentif yang berbeda pada kualitas tinjauan. Ini seringkali menjadi motivasi akhir, yaitu pemberian insentif.