Saat manusia menulis, mereka meninggalkan tanda tangan halus yang mengisyaratkan asal usul prosa yang cerdas. Pilihan kata dan frase mereka lebih bervariasi daripada yang dipilih oleh mesin yang menulis. Penulis manusia juga mengambil dari ingatan jangka pendek dan jangka panjang yang mengingat berbagai pengalaman hidup dan menginformasikan gaya penulisan pribadi. Dan tidak seperti mesin, orang rentan untuk memasukkan kesalahan ketik kecil, seperti koma yang salah tempat atau kata yang salah eja. Atribut seperti itu mengkhianati kemanusiaan teks.
Untuk alasan ini, alat pendeteksi penulisan AI sering dirancang untuk “mencari” tanda tangan manusia yang bersembunyi di prosa. Tapi perburuan tanda tangan menghadirkan teka-teki bagi detektif yang mencoba membedakan antara prosa yang ditulis manusia dan yang ditulis mesin.
“Jika saya adalah AI yang sangat cerdas dan saya ingin melewati deteksi Anda, saya dapat dengan sengaja memasukkan kesalahan ketik ke dalam tulisan saya,” kata Diyi Yang, asisten profesor ilmu komputer di Stanford University.
Dalam permainan kucing-dan-tikus ini, beberapa ilmuwan komputer berupaya membuat penulis AI lebih mirip manusia, sementara yang lain berupaya menyempurnakan alat pendeteksi. Bidang akademik membuat kemajuan dengan cara ini. Tetapi beberapa orang di panggung kecerdasan buatan global mengatakan hasil game ini adalah kesimpulan sebelumnya.
“Dalam jangka panjang, hampir pasti bahwa kita akan memiliki sistem AI yang akan menghasilkan teks yang hampir tidak dapat dibedakan dari teks tulisan manusia,” Yoshua Bengio, “ayah baptis AI” dan penerima Penghargaan Turing, sering disebut sebagai Nobel ilmu komputer, diceritakan Inside Higher Ed dalam pertukaran email. Bengio adalah profesor ilmu komputer di University of Montreal.
Meskipun demikian, komunitas ilmiah dan perguruan tinggi belum mengabaikan upaya pendeteksian tulisan AI—dan Bengio menganggap upaya tersebut bermanfaat. Beberapa termotivasi untuk menemukan ketidakjujuran dalam pengejaran akademis. Yang lain berusaha melindungi wacana publik dari penggunaan generator teks yang berbahaya yang dapat merusak demokrasi. (CEO perusahaan teknologi pendidikan mungkin memiliki tanda dolar di mata mereka.) Yang lain lagi didorong oleh pertanyaan filosofis tentang apa yang membuat prosa menjadi manusia. Apapun motivasinya, semua harus bersaing dengan satu fakta:
“Sangat sulit untuk mendeteksi teks buatan mesin atau AI, terutama dengan ChatGPT,” kata Yang.
‘Ledakan’ Prosa Manusia
Selama liburan liburan baru-baru ini, Edward Tian, seorang senior di Universitas Princeton, pergi ke kedai kopi setempat. Di sana, dia mengembangkan GPTZero, sebuah aplikasi yang berupaya mendeteksi apakah sebuah tulisan ditulis oleh manusia atau ChatGPT—bot obrolan bertenaga AI yang berinteraksi dengan pengguna dengan cara percakapan, termasuk dengan menjawab pertanyaan, mengakui kesalahannya, menantang kebohongan dan menolak permintaan yang tidak pantas. Upaya Tian hanya memakan waktu beberapa hari tetapi didasarkan pada penelitian bertahun-tahun.
Aplikasinya mengandalkan dua atribut penulisan: “kebingungan” dan “meledak”. Kebingungan mengukur sejauh mana ChatGPT dibingungkan oleh prosa; skor kebingungan yang tinggi menunjukkan bahwa ChatGPT mungkin tidak menghasilkan kata-kata tersebut. Burstiness adalah indikator gambaran besar yang memplot kebingungan dari waktu ke waktu.
“Bagi seorang manusia, letupan terlihat seperti menyebar ke mana-mana. Itu memiliki lonjakan tiba-tiba dan semburan tiba-tiba, ”kata Tian. “Versi esai komputer atau mesin, grafik itu akan terlihat sangat membosankan, cukup konstan dari waktu ke waktu.”
Tian dan para profesornya berhipotesis bahwa ledakan prosa yang ditulis manusia mungkin merupakan konsekuensi dari kreativitas manusia dan ingatan jangka pendek. Artinya, manusia memiliki ledakan kreativitas yang tiba-tiba, terkadang diikuti jeda. Sementara itu, mesin dengan akses ke informasi internet agak “tahu semua” atau “agak konstan,” kata Tian.
Setelah merilis GPTZero ke publik pada 2 Januari, Tian mengharapkan beberapa lusin orang untuk mengujinya. Tapi aplikasi itu menjadi viral. Sejak dirilis, ratusan ribu orang dari sebagian besar negara bagian AS dan lebih dari 30 negara telah menggunakan aplikasi ini.
“Benar-benar gila,” kata Tian, seraya menambahkan bahwa beberapa pemodal ventura telah menghubungi untuk membahas aplikasinya. “Teknologi Generatif AI dan ChatGPT sangat inovatif. Pada saat yang sama, ini seperti membuka kotak Pandora… Kita harus membuat perlindungan agar teknologi ini diadopsi secara bertanggung jawab.”
Tian tidak ingin guru menggunakan aplikasinya sebagai alat penegakan kejujuran akademik. Sebaliknya, ia didorong oleh keinginan untuk memahami apa yang membuat prosa manusia unik.
“Ada sesuatu yang sangat indah dalam tulisan manusia,” kata Tian, penggemar penulis seperti John McPhee dan Annie Dillard. “Komputer tidak menghasilkan sesuatu yang orisinal. Mereka pada dasarnya menelan sebagian besar internet dan memuntahkan pola.
Detektor Tanpa Penalti
Sama seperti alat peramalan cuaca, alat pendeteksi penulisan AI yang ada memberikan vonis dalam probabilitas. Dengan demikian, skor probabilitas yang tinggi sekalipun mungkin tidak dapat meramalkan apakah seorang penulis itu berakal atau tidak.
“Kekhawatiran terbesar adalah bahwa seorang instruktur akan menggunakan detektor dan kemudian membuat siswa trauma dengan menuduh mereka, dan ternyata positif palsu,” kata Anna Mills, seorang instruktur bahasa Inggris di College of Marin, tentang teknologi yang muncul.
Tetapi profesor dapat memperkenalkan alat pendeteksi penulisan AI kepada siswa mereka untuk alasan selain penegakan kode kehormatan. Misalnya, Nestor Pereira, wakil rektor teknologi akademik dan pembelajaran di Miami Dade College, melihat alat pendeteksi tulisan AI sebagai “batu loncatan untuk percakapan dengan siswa”. Artinya, siswa yang tergoda untuk menggunakan alat tulis AI untuk salah mengartikan atau mengganti tulisannya dapat mempertimbangkan kembali dengan adanya alat tersebut, menurut Pereira.
Oleh karena itu, Miami Dade menggunakan platform perangkat lunak komersial—yang memberikan umpan balik baris demi baris kepada siswa tentang tulisan mereka dan memoderasi diskusi siswa—yang baru-baru ini menyematkan deteksi tulisan AI. Pereira telah mendukung produk tersebut dalam siaran pers dari perusahaan, meskipun dia menegaskan bahwa baik dia maupun institusinya tidak menerima pembayaran atau hadiah untuk pengesahan tersebut. Namun, dia mengakui bahwa dukungannya memiliki batas.
“Kami benar-benar khawatir tentang positif palsu,” kata Pereira kepada Inside Higher Ed. “Saya juga khawatir tentang negatif palsu.”
Di luar diskusi tentang integritas akademik, anggota fakultas berbicara dengan mahasiswa tentang peran alat pendeteksi tulisan AI di masyarakat. Beberapa melihat percakapan seperti itu sebagai kebutuhan, terutama karena alat tulis AI diharapkan tersedia secara luas di banyak pekerjaan pasca perguruan tinggi siswa.
“Alat-alat ini tidak akan sempurna, tapi … jika kita tidak menggunakannya untuk tujuan gotcha, mereka tidak harus sempurna,” kata Mills. “Kita bisa menggunakannya sebagai alat untuk belajar.” Profesor dapat menggunakan teknologi baru untuk mendorong siswa terlibat dalam berbagai aktivitas ChatGPT yang produktif, termasuk berpikir, bertanya, berdebat, mengidentifikasi kekurangan, dan bereksperimen.
Selain itu, pada tingkat masyarakat, alat deteksi dapat membantu upaya melindungi wacana publik dari penggunaan generator teks yang berbahaya, menurut Mills. Misalnya, platform media sosial, yang sudah menggunakan algoritme untuk membuat keputusan tentang konten mana yang akan dipromosikan, dapat menggunakan alat tersebut untuk melindungi dari aktor jahat. Dalam kasus seperti itu, probabilitas dapat bekerja dengan baik.
“Kita harus berjuang untuk melestarikan komunikasi kemanusiaan itu,” kata Mills.
Tantangan Jangka Panjang
Di era sebelumnya, seorang ibu kandung yang secara anonim menempatkan seorang anak dengan orang tua angkat dengan bantuan agen adopsi terkemuka mungkin merasa yakin bahwa orang tuanya tidak akan pernah terungkap. Semua itu berubah ketika pengujian DNA yang cepat dan dapat diakses dari perusahaan seperti 23andMe memberdayakan orang yang diadopsi untuk mengakses informasi tentang warisan genetik mereka.
Meskipun alat pendeteksi penulisan AI saat ini tidak sempurna, penulis mana pun yang berharap untuk meneruskan teks penulis AI sebagai milik mereka dapat dikeluarkan di masa mendatang, ketika alat pendeteksi dapat ditingkatkan.
“Kita harus terbiasa dengan gagasan bahwa, jika Anda menggunakan pembuat teks, Anda tidak boleh merahasiakannya,” kata Mills. “Orang-orang perlu tahu kapan proses mekanis inilah yang mengacu pada semua sumber lain ini dan menggabungkan bias yang benar-benar menyatukan kata-kata yang membentuk pemikiran.”
GPTZero Tian bukanlah aplikasi pertama untuk mendeteksi tulisan AI, juga bukan yang terakhir.
OpenAI—pengembang ChatGPT—menganggap upaya deteksi sebagai “tantangan jangka panjang”. Penelitian mereka yang dilakukan pada teks yang dihasilkan GPT-2 menunjukkan bahwa alat deteksi bekerja sekitar 95 persen dari waktu, yang “akurasinya tidak cukup tinggi untuk deteksi mandiri dan perlu dipasangkan dengan pendekatan berbasis metadata, penilaian manusia, dan pendidikan publik untuk menjadi lebih efektif,” menurut OpenAI. Keakuratan deteksi sangat bergantung pada pelatihan dan pengujian metode pengambilan sampel dan apakah pelatihan mencakup serangkaian teknik pengambilan sampel, menurut penelitian tersebut.
Deteksi setelah fakta hanyalah salah satu pendekatan untuk masalah membedakan antara teks yang ditulis manusia dan komputer. OpenAI sedang mencoba untuk “menandai air” teks ChatGPT. Tanda tangan digital semacam itu dapat menyematkan “sinyal rahasia yang tidak terlihat” yang menunjukkan bahwa teks tersebut dihasilkan oleh ChatGPT. Sinyal seperti itu hanya dapat ditemukan oleh mereka yang memiliki “kunci” ke fungsi kriptografi—sebuah teknik matematis untuk komunikasi yang aman. Pekerjaannya akan datang, tetapi beberapa peneliti dan pakar industri telah menyatakan keraguan tentang potensi watermarking, mengutip kekhawatiran bahwa penyelesaiannya mungkin sepele.
Turnitin telah mengumumkan bahwa ia memiliki alat pendeteksi penulisan AI yang sedang dikembangkan, yang telah dilatihnya tentang “penulisan akademik yang bersumber dari database komprehensif, bukan hanya konten yang tersedia untuk umum.” Tetapi beberapa akademisi mewaspadai produk komersial untuk deteksi AI.
“Saya tidak berpikir [AI-writing detectors] harus berada di balik paywall,” kata Mills.
Pendidikan Tinggi Beradaptasi (Lagi)
“Pikirkan tentang apa yang ingin kita kembangkan,” kata Joseph Helble, presiden Universitas Lehigh. “Di era pra-internet dan pra-generatif-AI, dulunya tentang penguasaan konten. Sekarang, siswa perlu memahami konten, tetapi lebih banyak tentang penguasaan interpretasi dan pemanfaatan konten.”
ChatGPT menyerukan pendidikan yang lebih tinggi untuk memikirkan kembali cara terbaik untuk mendidik siswa, kata Helble. Dia menceritakan kisah seorang profesor teknik yang dia kenal bertahun-tahun lalu yang menilai siswa dengan memberikan ujian lisan. Ujian diskalakan dengan seorang siswa dalam waktu nyata, sehingga setiap siswa dapat mendemonstrasikan sesuatu. Selain itu, sang profesor mengadaptasi pertanyaan-pertanyaan saat melakukan tes, yang menguji batas pengetahuan dan pemahaman siswa. Pada saat itu, Helble menganggap pendekatan tersebut “radikal” dan mengakui bahwa, bahkan sekarang, akan sulit bagi para profesor untuk menerapkannya. “Tapi gagasan itu [a student] akan menunjukkan kemampuan pada berbagai dimensi dengan pergi dan menulis makalah 30 halaman — bagian itu harus kita pikirkan kembali sepenuhnya.
Helble bukan satu-satunya akademisi yang melontarkan ide untuk mengganti beberapa tugas menulis dengan ujian lisan. Kecerdasan buatan ternyata dapat membantu mengatasi kendala waktu potensial dalam penyelenggaraan ujian lisan.
“Sistem pendidikan harus beradaptasi [to ChatGPT’s presence] dengan lebih fokus pada pemahaman dan kreativitas serta menggunakan evaluasi berbasis lisan yang lebih mahal, seperti ujian lisan, atau ujian tanpa izin menggunakan teknologi,” ujar Bengio seraya menambahkan bahwa ujian lisan tidak perlu sering dilakukan. “Saat kita sampai pada titik di mana kita tidak dapat mendeteksi apakah sebuah teks ditulis oleh mesin atau tidak, mesin tersebut juga harus cukup baik untuk menjalankan [oral] ujian itu sendiri, setidaknya untuk evaluasi yang lebih sering dalam jangka waktu sekolah.”