CIO yang berlomba untuk bereksperimen dengan model AI, menguji agen AI, dan menggunakan pengkodean getaran untuk mengembangkan aplikasi mungkin menghadapi bentuk utang teknis baru: utang AI. Tekanan untuk mempercepat pembuktian konsep (POC) ke dalam produksi kemungkinan akan mendorong tim untuk mengambil jalan pintas dan meninggalkan perbaikan yang diketahui sebagai “hal yang harus dilakukan” untuk rilis mendatang.
Namun kecepatan bukanlah satu-satunya faktor yang menyebabkan utang AI. Bahkan dengan tata kelola AI yang kuat, kemajuan dalam model terdepan dan agen AI baru dari platform SaaS berarti bahwa apa yang dilakukan POC dan dipindahkan ke produksi saat ini akan memerlukan perubahan yang tidak terduga pada rilis mendatang.
Pembelajaran dari hutang teknis
Membangun kerangka kerja untuk memahami, menghindari, dan menyelesaikan utang AI harus didasarkan pada praktik-praktik untuk mengurangi utang teknis.
Pertama, tidak semua utang teknis membawa risiko atau prioritas penyelesaian yang sama. Memahami sumber utang teknis dapat membantu menentukan kemungkinan masalah tersebut berdampak pada operasional bisnis dan tingkat keparahannya. Tujuh jenis utang teknis meliputi praktik manajemen data yang membatasi kinerja, ketergantungan sumber terbuka, keterbatasan arsitektur, dan penghambat budaya. Utang data mencakup masalah kualitas data, langkah-langkah manual dalam pipeline data, dan manajemen data yang kurang dapat diamati.
Kedua, memprioritaskan upaya untuk mengatasi hutang teknis mengharuskan CIO untuk berkomunikasi dengan istilah yang dipahami baik oleh para ahli teknologi maupun pemimpin bisnis. Jika tidak ada pemahaman bersama, tekanan bisnis untuk meningkatkan atau memberikan kemampuan baru dapat membatasi upaya yang diperlukan untuk mengatasi kerentanan keamanan, memperbaiki cacat, atau meningkatkan ketahanan operasional.
Utang AI juga dapat dikategorikan berdasarkan sumbernya. Hal ini juga mengharuskan CIO untuk mengkomunikasikan risiko penerapan kemampuan AI sebelum sepenuhnya diuji. Namun, karena kita masih berada di awal era AI, CIO harus memberikan fokus yang signifikan pada cara-cara untuk menghindari berbagai jenis utang AI sebagai bagian dari penetapan tata kelola dan batasan yang berlaku.
Berikut tujuh sumber utang AI yang perlu dipertimbangkan, beserta cara untuk menghindarinya.
Eksperimen AI tanpa hasil yang ditargetkan
Tekanan untuk mendorong lebih banyak karyawan mempelajari AI dan menguji agen AI memang diperlukan, tetapi ada harganya. Selain waktu yang terbuang dan biaya token yang terus meningkat, memprioritaskan pekerjaan tanpa mendefinisikan tujuan dapat meningkatkan “hutang AI” tanpa memberikan pemahaman yang jelas apakah kemampuan AI tersebut memberikan nilai tambah.
“Utang hasil (outcome debt) menumpuk ketika organisasi menerapkan AI tanpa mendefinisikan hasil bisnis spesifik dan terukur yang diharapkan akan dihasilkannya,” kata Rob Scudiere, CTO di Verint. “Ketika tim mengejar eksperimen atau sensasi (hype) alih-alih hasil, mereka mengakumulasi sistem yang secara teknis mengesankan tetapi secara operasional tidak relevan. Mengaitkan setiap inisiatif AI dengan hasil yang jelas dan dapat diverifikasi mencegah utang ini dan memastikan investasi diterjemahkan menjadi dampak yang lebih kuat, lebih cepat, dan terukur.”
Rekomendasi: Hindari eksperimen AI yang kacau dengan membuat proses ideasi sebelum mengalokasikan sumber daya dan dengan melacak inisiatif AI yang aktif. Wajibkan tim untuk mendefinisikan hasil yang ditargetkan dan membuat daftar risiko yang mencakup hal-hal yang tidak diketahui, kekhawatiran, dan perbaikan di masa mendatang terkait implementasi AI mereka.
Memberikan data berkualitas buruk kepada model AI.
Kualitas data yang buruk, sebuah risiko data yang harus diwaspadai oleh CIO, akan semakin parah ketika digunakan dengan model dan agen AI. Salah satu praktik penting adalah menetapkan skor kepercayaan data dan mencegah tim mengizinkan model dan agen AI untuk menggunakan kumpulan data yang berada di bawah ambang batas yang ditargetkan.
“Utang kualitas data adalah salah satu bentuk utang AI yang paling berbahaya karena kesalahan dalam data pelatihan dan input akan berdampak pada model, alur kerja, dan keputusan selanjutnya,” kata Abhi Sharma, salah satu pendiri dan CEO di Relyance AI. “Cara terbaik untuk mencegahnya adalah dengan membangun silsilah dan tata kelola data yang berkelanjutan sehingga tim dapat melacak input, memantau transformasi, dan memperbaiki masalah sebelum masalah tersebut menyebar ke perilaku model.”
Praktik kedua adalah memperluas katalog data dan struktur data dengan membangun produk data yang dapat digunakan kembali. Produk data menjadi aset multiguna yang dapat dibagikan dengan siklus rilisnya sendiri, memperlakukan agen AI dan pengguna lain sebagai pelanggan.
“Organisasi sering kali tidak menyadari masalah kualitas data sampai agen AI bertindak berdasarkan data yang cacat, memperbesar kesalahan dengan cepat dan tanpa penilaian manusia,” kata Mayank Mahajan, associate director bidang teknik di Xebia. “Tidak seperti manusia, agen tidak dapat mempertanyakan inkonsistensi atau mengisi celah, sehingga mereka mengeksekusi data apa pun yang tersedia. Kemas data sebagai produk yang terkelola dan terdokumentasi dengan baik, dan terapkan observabilitas sejak dini sehingga masalah seperti pergeseran skema atau data usang dapat terdeteksi sebelum masalah tersebut meluas.”
Rekomendasi: Komunikasikan serangkaian prinsip tata kelola data yang tidak dapat dinegosiasikan yang menetapkan kriteria minimal yang jelas untuk penggunaan data dalam AI, termasuk persyaratan kepatuhan seputar privasi data. Praktik tata kelola data yang kuat membantu mengurangi risiko utang data terkait AI.
Model AI bergeser
Agen AI yang terlalu merasa berhak
Haruskah agen AI memiliki hak akses data yang sama dengan penggunanya? Salah satu bentuk “hutang AI” adalah ketika izin akses dan hak-hak yang mendasarinya untuk agen AI perlu ditinjau ulang dan diaudit. Lebih buruk lagi adalah ketika agen AI yang memiliki izin berlebihan mengekspos data rahasia atau membuat keputusan yang salah saat mengakses data sensitif.
“Perusahaan-perusahaan menerapkan agen AI yang melakukan kueri basis data, memicu alur kerja, dan membuat keputusan dengan kecepatan mesin, namun mereka memberikan agen-agen ini izin yang luas dan statis yang dimodelkan berdasarkan cara manusia mengakses data,” kata Ganesh Kirti, CTO di TrustLogix. “Setiap agen yang berjalan dengan akses yang berlebihan atau tanpa kontrol yang peka terhadap konteks secara diam-diam mengakumulasi risiko keamanan, kepatuhan, dan integritas data yang semakin meningkat seiring waktu.”
Salah satu tantangannya adalah semakin banyak organisasi yang menerapkan agen AI dalam proses bisnis yang sangat penting. Penerapan agen AI dengan cakupan luas dan hak akses data yang besar dapat menyebabkan risiko operasional dan “hutang AI” untuk mengatasinya.
“Anda memasukkan AI ke dalam proses dengan tugas spesifik yang telah ditentukan, bukan sembarang tugas, dan Anda memastikan bahwa inputnya sesuai dengan spesifikasi tugas,” kata Matt Calkins, CEO Appian. “Anda harus memberikan agen AI rentang output yang sempit.”
Rekomendasi: Untuk mengurangi risiko “hutang AI” akibat agen AI yang terlalu diberdayakan, tinjau hasil, keputusan, dan rekomendasi yang akan menjadi tanggung jawab agen AI, dan terapkan tinjauan dari bawah ke atas terhadap hak akses data yang dibutuhkan. “Untuk menghindari hutang ini, organisasi perlu memperlakukan agen AI sebagai identitas non-manusia yang diatur dengan siklus hak aksesnya sendiri, otorisasi berkelanjutan yang didorong oleh kebijakan dan beradaptasi secara real-time, dan bukan pemberian peran sekali pakai yang tidak pernah ditinjau kembali,” saran Kirti.