AI Anthropic beri tip palsu kepada polis Philadelphia tentang kes pembunuhan

Apa yang berlaku

Model AI daripada Anthropic dilaporkan memberikan maklumat palsu tentang satu kes pembunuhan yang belum selesai kepada talian petunjuk Jabatan Polis Philadelphia (PPD). Laporan awal disiarkan oleh 6abc, dan dalam kenyataan yang dikeluarkan pada hari Jumaat, PPD mengesahkan bahawa tip tersebut dihantar melalui laman PhillyUnsolvedMurders.com pada 18 Julai.

Penyiasat tidak pernah menyemak tip itu. Ringkasan laporan yang tersedia tidak menyatakan sepenuhnya bagaimana tip tersebut ditandakan, tetapi kenyataan PPD jelas menunjukkan bahawa ia tidak sampai kepada peringkat penilaian siasatan. Laporan The Verge turut merujuk kejadian ini sebagai contoh bagaimana keluaran AI boleh memasuki saluran kerja sebenar sebuah agensi awam.

Mengapa ia penting

Kes ini menunjukkan bahawa AI generatif kini berpotensi berinteraksi secara langsung dengan saluran awam, termasuk talian petunjuk yang melibatkan pihak berkuasa. Bagi organisasi sektor awam, persoalan utamanya bukan sekadar sama ada AI boleh digunakan, tetapi bagaimana keluarannya disahkan sebelum ia mempengaruhi keputusan operasi. Pengalaman pengguna dan kepercayaan awam bergantung pada lapisan semakan yang jelas.

Bagi pemimpin dalam transformasi digital, kejadian ini memberi peringatan tentang kerja reka bentuk perkhidmatan. Saluran yang menerima input daripada pengguna luar, sama ada warga, pelanggan atau sistem automatik, perlu mempunyai laluan yang jelas untuk pengesahan, penandaan dan eskalasi.

Perspektif Renascence

Perkara yang sering terlepas pandang dalam perbincangan seperti ini ialah isu kepercayaan institusi, bukan sekadar ketepatan model. Apabila sesuatu tip kelihatan meyakinkan, ia boleh mendapat kedudukan yang tidak sepatutnya dalam aliran kerja tanpa disedari sesiapa.

Bagi kami, kejadian ini bukan semata-mata kegagalan teknologi, tetapi kegagalan reka bentuk perkhidmatan. Prinsip yang mendasarinya ialah setiap input luar perlu dilayan sebagai maklumat yang belum disahkan sehingga terbukti sebaliknya. Pengendali yang berorientasikan pelanggan harus memetakan setiap titik masuk AI dalam perkhidmatan mereka, menetapkan kriteria pengesahan yang jelas, dan melatih pasukan untuk mengenal pasti kandungan yang kelihatan sahih tetapi tidak boleh dipercayai.