36% pemimpin IT akan sembunyi insiden keselamatan ejen AI

Apa yang berlaku

Satu laporan daripada Workato, yang dilaporkan oleh CIO Dive, mendapati 36% pemimpin IT akan cuba mengendalikan insiden keselamatan yang melibatkan ejen AI secara senyap, tanpa pendedahan kepada pihak berkepentingan. Dapatan ini muncul ketika penggunaan AI bayangan, iaitu alat AI yang digunakan tanpa kelulusan atau pemantauan rasmi, dilaporkan semakin meningkat dalam organisasi.

Ejen AI ialah sistem yang boleh bertindak secara autonomi merentasi aplikasi dan data syarikat. Apabila sistem sebegini terlibat dalam insiden keselamatan, timbul persoalan baharu tentang siapa yang mengesan, melaporkan dan memulihkan keadaan. Liputan ini menonjolkan jurang antara kesediaan teknikal dan tahap ketelusan dalam pengurusan risiko AI.

Mengapa ini penting

Apabila ejen AI berinteraksi dengan sistem pelanggan, seperti data akaun, pembayaran atau rekod perkhidmatan, sebarang insiden keselamatan turut menjejaskan pengalaman pelanggan. Pengendalian senyap bermakna pelanggan mungkin tidak tahu bahawa data mereka terjejas, dan organisasi kehilangan peluang untuk memperbaiki reka bentuk perkhidmatan berdasarkan kejadian sebenar.

Bagi pemimpin dalam bidang pengalaman, AI dan transformasi digital, isu ini menyentuh model operasi. Transformasi yang menggunakan ejen AI memerlukan keterlihatan menyeluruh terhadap apa yang dilakukan oleh setiap ejen, siapa yang meluluskannya dan bagaimana ia dipantau. Tanpa tadbir urus yang jelas, AI bayangan akan terus berkembang di luar pengetahuan pasukan pusat.

Perspektif Renascence

Angka 36% biasanya dibaca sebagai isu tadbir urus keselamatan. Pada hakikatnya ia juga isu reka bentuk perkhidmatan. Organisasi yang menyembunyikan insiden secara tidak langsung melatih kakitangannya untuk menyembunyikan kesilapan, dan pelanggan akhirnya menanggung akibatnya.

Pendedahan ialah gelung maklum balas, dan penyembunyian memadamkan isyarat yang diperlukan untuk memperbaiki ejen AI. Jika insiden tidak dilaporkan, pasukan tidak dapat mengenal pasti corak yang berulang dalam perjalanan pelanggan. Pemimpin yang benar-benar mengutamakan pelanggan perlu memetakan kebenaran ejen AI kepada setiap perjalanan pelanggan, menetapkan ambang pendedahan sebelum penggunaan dimulakan, dan menjadikan pelaporan lebih mudah daripada menyembunyikan insiden.