Anthropic klaim Claude 'memimpin' 26 persen tugas R&D AI internalnya

Apa yang terjadi

Anthropic menyatakan bahwa model Claude-nya kini secara mandiri "memimpin" 26 persen dari tugas penelitian dan pengembangan AI internal perusahaan. Angka ini merupakan salah satu dari tiga metrik internal baru yang dirancang untuk melacak tingkat otonomi AI.

Laporan Engadget, yang menjadi satu-satunya sumber dalam materi ini, menyajikan klaim tersebut sebagai bagian dari pengumuman perusahaan. Istilah "memimpin" muncul dalam tanda kutip, yang menandakan bahwa Anthropic menggunakan definisinya sendiri. Materi sumber tidak merinci metodologi di balik pengukuran tersebut, termasuk bagaimana tugas dihitung dan siapa yang memverifikasi hasilnya.

Dua metrik lainnya dalam kerangka ini tidak dijelaskan dalam materi yang tersedia, sehingga analisis di bawah ini dibatasi pada metrik 26 persen.

Mengapa ini penting

Klaim ini menggeser pembicaraan dari apa yang bisa dilakukan AI dalam demonstrasi menuju seberapa banyak pekerjaan internal yang sudah dijalankan dengan sedikit pengarahan langsung. Bagi organisasi, pertanyaan tentang otonomi AI tidak lagi hanya soal kemampuan, melainkan tentang bagaimana pekerjaan dibagi antara manusia dan sistem, dan bagaimana kinerja serta akuntabilitasnya diukur.

Bagi pemimpin transformasi digital, ini juga menunjukkan bahwa AI mulai masuk ke dalam proses pengembangan AI itu sendiri. Karena cakupan dan metodologinya belum terlihat dari sumber yang tersedia, angka ini sebaiknya dibaca sebagai indikator arah, bukan tolok ukur yang bisa langsung dibandingkan antarperusahaan.

Angka utama

• 26 persen tugas penelitian dan pengembangan AI internal Anthropic yang diklaim "dipimpin" oleh model Claude.
• Tiga metrik internal baru yang melacak otonomi AI, dengan metrik 26 persen sebagai salah satunya.

Pandangan Renascence

Yang paling menarik dari berita ini bukan persentasenya, melainkan desain pengukurannya. Persentase tugas yang "dipimpin" tidak memberi tahu kita seberapa baik hasilnya, seberapa sering manusia harus mengoreksi, atau siapa yang menanggung biaya ketika keputusan AI keliru.

Prinsip perilaku yang mendasarinya sederhana: apa yang diukur akan membentuk apa yang dioptimalkan, dan metrik otonomi dapat mendorong organisasi untuk memperbesar cakupan AI sebelum kualitas dan pengawasannya siap. Operator yang berorientasi pada pelanggan sebaiknya tidak mengadopsi angka semacam ini sebagai target, melainkan menetapkan metrik otonomi mereka sendiri yang terhubung langsung dengan hasil pelanggan, seperti tingkat kesalahan, frekuensi eskalasi, pengerjaan ulang, dan upaya yang harus dikeluarkan pelanggan untuk menyelesaikan masalah. Jika otonomi AI tidak diukur dari sisi pengalaman, angka persentase hanya akan menjadi indikator yang tampak mengesankan di atas kertas.