Peguam didenda $5K kerana saksi 'halusinasi' AI dalam kes pembunuhan

Apa yang berlaku

Mahkamah Agung New Mexico telah mengenakan denda sebanyak $5,000 ke atas peguam Stephen Aarons dan mendapatinya bersalah atas penghinaan mahkamah, selepas beliau memasukkan nama saksi rekaan dan testimoni polis palsu — kesemuanya dijana oleh alat kecerdasan buatan (AI) — dalam rayuan sabitan kes bunuh anak guamnya. Menurut laporan Reuters yang dipetik oleh The Verge, mahkamah mendapati Aarons gagal mengesahkan ketepatan fakta dan rujukan undang-undang sebelum mengemukakan dokumen tersebut.

Kes ini menambah senarai panjang insiden di mana peguam menggunakan alat seperti ChatGPT untuk menyediakan dokumen mahkamah tanpa semakan teliti, lalu terjebak dengan apa yang dikenali sebagai "halusinasi AI" — maklumat yang kedengaran meyakinkan tetapi sebenarnya direka sepenuhnya oleh model bahasa.

Mengapa ia penting

Insiden ini menonjolkan risiko sebenar apabila organisasi profesional — terutamanya dalam bidang yang memerlukan ketepatan fakta tinggi seperti undang-undang — menggunakan alat AI generatif tanpa proses pengesahan yang kukuh. Bagi pemimpin yang sedang mengetuai transformasi digital atau penggunaan AI dalam organisasi masing-masing, kejadian ini menjadi peringatan bahawa kecekapan yang ditawarkan AI generatif tidak boleh menggantikan tanggungjawab profesional untuk menyemak output sebelum ia digunakan dalam keputusan bernilai tinggi.

Ia juga memberi isyarat kepada firma guaman, badan kawal selia dan penyedia perkhidmatan profesional lain bahawa governans AI — termasuk polisi semakan manusia (human-in-the-loop) yang jelas — kini menjadi keperluan asas, bukan pilihan tambahan.

Dari sudut pandang Renascence

Cerita ini bukan sekadar tentang satu peguam yang cuai; ia mendedahkan jurang lebih besar antara kemudahan menggunakan AI dan disiplin yang diperlukan untuk mempercayainya secara bertanggungjawab. Dalam konteks reka bentuk perkhidmatan, ini ialah isu kepercayaan (trust) — apabila sesebuah sistem automatik kelihatan yakin dan koheren, manusia cenderung mengurangkan kewaspadaan mereka, satu fenomena yang telah lama dikenali dalam ekonomi tingkah laku sebagai "automation bias."

Kebanyakan organisasi tersilap anggap risiko AI sebagai isu teknikal semata-mata, sedangkan ia sebenarnya isu reka bentuk tingkah laku manusia. Operator yang benar-benar mengutamakan pengalaman pelanggan dan integriti perkhidmatan perlu membina "jeda pengesahan" (verification checkpoint) secara eksplisit ke dalam setiap aliran kerja yang melibatkan AI generatif — bukan sebagai langkah pilihan, tetapi sebagai sebahagian daripada budaya tanggungjawab profesional. Jika tidak, kecekapan yang dijanjikan AI boleh bertukar menjadi liabiliti reputasi dan undang-undang dalam sekelip mata.