FCA Inggris Minta Perusahaan Lapor Kegagalan AI dan Nyaris-Kejadian

Apa yang terjadi

Financial Conduct Authority (FCA), regulator jasa keuangan Inggris, ingin perusahaan jasa keuangan melaporkan kegagalan AI sekaligus close calls, yakni insiden yang hampir menimbulkan dampak tetapi berhasil dicegah. Menurut The Register, usulan ini muncul ketika bank semakin banyak menerapkan agen AI yang bekerja secara otonom.

Fokus usulan tersebut adalah akuntabilitas dan upaya mendeteksi masalah sebelum menimbulkan kerugian yang berkepanjangan. Dengan pendekatan ini, regulator berharap perusahaan dapat melihat pola risiko lebih awal, bukan hanya setelah kerugian terjadi.

Mengapa ini penting

Agen AI otonom tidak hanya membantu staf, tetapi juga dapat mengambil tindakan atas nama nasabah, misalnya memproses permintaan, menyetujui transaksi, atau menjawab pertanyaan secara langsung. Ketika sistem seperti ini gagal, dampaknya langsung dirasakan oleh pelanggan dan dapat terlihat jelas di titik kontak layanan.

Bagi pemimpin transformasi digital, usulan ini menunjukkan bahwa kesiapan operasional tidak cukup diukur dari keberhasilan peluncuran. Organisasi perlu memiliki mekanisme untuk mencatat, menganalisis, dan belajar dari kejadian yang hampir gagal, sehingga tata kelola AI menjadi bagian dari desain layanan itu sendiri.

Perspektif Renascence

Pembahasan tentang AI sering berfokus pada kemampuan model. Sorotan FCA mengarah pada hal yang lebih praktis: bagaimana organisasi mengetahui bahwa sistemnya mulai menyimpang dari yang seharusnya.

Kegagalan yang paling berbahaya bagi pelanggan jarang berupa kejadian besar yang langsung terlihat, melainkan kesalahan kecil yang terus berulang sebelum ada yang memperhatikannya. Prinsip desain layanan yang mendasarinya sederhana: sistem yang baik adalah sistem yang memberi sinyal lebih awal, dan nyaris-kejadian adalah sinyal paling murah yang bisa dimiliki organisasi. Operator yang berorientasi pada pelanggan sebaiknya memperlakukan pencatatan close calls sebagai bagian dari pengalaman pelanggan, bukan sekadar kewajiban kepatuhan. Mulailah dengan menentukan siapa yang menerima laporan tersebut, seberapa cepat tindakan diambil, dan bagaimana pelajarannya kembali ke desain agen AI.