ChatGPT lulus ujian medis Pemeriksaan Lisensi Medis Amerika Serikat (USMLE). Program kecerdasan buatan (AI) lainnya, Claude lulus ujian hukum.
“Claude lulus ujian tingkat universitas di bidang hukum dan ekonomi,” kata Alex Tabarrok, seorang profesor di Universitas George Mason di Virginia, dikutip Business Insider pekan lalu (19/1).
Program kecerdasan buatan dirancang oleh penelitian berbasis AI dan firma keamanan Anthropic.
Anthropic menerima pendanaan Seri B sebesar US$580 juta dari pendiri FTX Sam Bankman-Fried, mantan direktur teknis FTX Nishad Singh, dan mantan CEO Riset Alameda Caroline Ellison.
Sam Bankman-Fried sekarang dituduh melakukan penipuan atas kebangkrutan ratusan perusahaan crypto. Hal yang sama berlaku untuk Caroline.
Alex Tabarrok menguji Claude untuk menjawab pertanyaan tentang ujian hukum dan ekonomi. Dia menyatakan bahwa ada beberapa kelemahan dalam jawaban tersebut.
“Sebagian besar jawaban Claude berupa opini,” kata Tabarrok. Namun, “itu masih merupakan jawaban yang dapat diandalkan dan lebih baik daripada jawaban manusia.”
Ujian Medis ChatGPT Lulus
Para peneliti di penyedia layanan kesehatan Ansible Health yang berbasis di California sedang bereksperimen dengan ChatGPT. Mereka menggunakan AI yang dibuat oleh OpenAI untuk melakukan pekerjaan sehari-hari.
Hasilnya, ChatGPT dapat menyusun notifikasi pembayaran dan menyederhanakan laporan radiologi yang biasanya sarat dengan istilah medis. Juga, dapat bertukar pikiran tentang kasus kesehatan yang menantang secara diagnostik.
“Secara keseluruhan, dokter kami melaporkan bahwa ChatGPT mengurangi waktu yang diperlukan untuk menyelesaikan dokumentasi dan tugas perawatan pasien tidak langsung sebesar 33%,” tulis para peneliti.
Mereka kemudian menguji ChatGPT untuk mengikuti ujian medis USMLE. USMLE terdiri dari tiga ujian:
Untuk mahasiswa kedokteran tahun kedua Untuk mahasiswa tahun keempat Untuk dokter setelah satu tahun pendidikan pascasarjana
Sebagian besar pelamar biasanya membutuhkan lebih dari satu tahun untuk mempersiapkan diri mengikuti ujian USMLE.
Mahasiswa kedokteran biasanya mengikuti tes satu dan dua poin sehari. Sedangkan tes mata ketiga yang untuk dokter biasanya memakan waktu dua hari.
Peneliti mengirimkan pertanyaan dari ujian USMLE ke ChatGPT, yang terdiri dari jawaban tertulis pilihan ganda dan terbuka.
Tanggapan ChatGPT dievaluasi secara independen oleh dua juri yang merupakan dokter. Juri memeriksa apakah jawabannya ada dalam kumpulan data yang dapat diakses oleh AI.
Hasilnya, ChatGPT lulus ujian medis. Lebih dari 50% jawaban benar atau mendekati ambang kelulusan USMLE sekitar 60%.
Phillip Dawson, seorang peneliti integritas akademik di Universitas Deakin, tidak dapat menilai penelitian tersebut secara pribadi. “Jika penulis benar-benar melakukan apa yang mereka katakan, maka itu adalah hal yang menakutkan,” katanya.
Sementara itu, Kepala Pelanggaran Akademik di Universitas Macquarie Kane Murdoch tidak heran ChatGPT lulus ujian USMLE. “Ini adalah tes yang cukup serius dan kompleks,” katanya.
Menurutnya, ChatGPT seperti kalkulator saat pertama kali muncul. Oleh karena itu, ia menilai pelarangan penggunaan ChatGPT tidak akan menghalangi mahasiswa untuk menggunakannya.