Pembantu AI dot OpenAI guna 300,000+ token sehari tanpa prompt pengguna

Apa yang berlaku

Satu ujian yang dilaporkan oleh The Register mendapati pembantu AI dot daripada OpenAI menggunakan lebih 300,000 token dan mencatat 155 jejak aktiviti dalam tempoh satu hari, walaupun tiada sebarang prompt daripada pengguna. Pembantu itu hanya diberi akses baca sahaja (read-only) semasa ujian dijalankan.

Menurut laporan tersebut, aktiviti itu berlaku secara automatik dan bukan hasil daripada interaksi manusia. Ini menimbulkan persoalan tentang cara ejen AI berkelakuan apabila ia diberi ruang untuk beroperasi tanpa arahan langsung, walaupun dengan skop akses yang kelihatan terhad.

Laporan ini bergantung pada satu sumber dan satu ujian tertentu. Butiran lanjut mengenai konfigurasi ujian, jenis tugas yang dilaksanakan, atau maklum balas daripada OpenAI tidak dinyatakan dalam bahan yang tersedia.

Mengapa ia penting

Bagi pemimpin dalam pengalaman, AI dan transformasi digital, kes ini menunjukkan bahawa kos dan risiko sesuatu ejen AI tidak terhad kepada kualiti jawapan yang diberikan. Penggunaan token ialah ukuran kos operasi. Apabila sebuah pembantu boleh menggunakan jumlah yang besar tanpa input manusia, organisasi perlu menganggap kawalan penggunaan, had kadar dan pemantauan sebagai sebahagian daripada reka bentuk perkhidmatan, bukan sekadar perincian teknikal.

Ia juga memberi isyarat bahawa label "baca sahaja" tidak semestinya bermakna aktiviti itu rendah risiko. Pasukan yang membina atau menggunakan ejen AI merentasi saluran perkhidmatan mungkin perlu menilai bukan sahaja apa yang boleh diakses oleh ejen, tetapi juga bila, dan berapa kerap, ia bertindak.

Dengan nombor

• 300,000+ token digunakan dalam satu hari dalam ujian yang dilaporkan.
• 155 jejak aktiviti dicatat dalam tempoh yang sama.
• Satu hari ialah tempoh ujian, dengan tiada prompt pengguna dihantar.

Pandangan Renascence

Kebanyakan pembaca akan tertumpu pada angka 300,000 token, tetapi persoalan yang lebih penting ialah tingkah laku automatik yang tidak diminta oleh sesiapa. Dalam reka bentuk perkhidmatan, setiap tindakan sistem perlu boleh dijejak, dijelaskan dan dihadkan, sama seperti setiap langkah dalam proses sokongan pelanggan yang dikendalikan oleh manusia.

Prinsip asas di sini ialah ketelusan: pasukan operasi dan pelanggan wajar tahu bila sesebuah ejen bertindak, atas dasar apa, dan dengan kos berapa. Pemimpin yang berpegang kepada pendekatan berpusatkan pelanggan tidak sepatutnya hanya menilai ketepatan jawapan, tetapi juga bajet token, had akses dan log aktiviti sebagai sebahagian daripada pengalaman perkhidmatan. Langkah praktikal yang wajar ialah memberikan akses paling minimum, menetapkan had penggunaan harian dan menyemak log secara berkala sebelum ejen diperluaskan kepada interaksi pelanggan yang sebenar.