Back to Blog
Strategy

Strategi Keamanan Siber untuk Pengembangan Agen AI

Panduan mengamankan agen AI melalui peta data, kontrol akses, pengujian tindakan, pengawasan manusia, dan pemantauan perubahan.

Gambar ilustrasi buatan AI: Strategi Keamanan Siber untuk Pengembangan Agen AI

Agen AI dapat membaca dokumen, mengambil data dari sistem lain, lalu menjalankan tindakan melalui integrasi. Karena itu, keamanan perlu dirancang sebelum workflow dipublikasikan. Pertanyaan utamanya sederhana: data apa yang dapat diakses, tindakan apa yang diizinkan, dan kapan manusia harus mengambil alih keputusan.

Strategi keamanan siber untuk pengembangan agen AI adalah proses mengendalikan data, identitas, integrasi, keluaran, serta tindakan agen dari tahap desain sampai pemantauan. Tujuannya menjaga kerahasiaan, integritas, dan ketersediaan data serta sistem, sebagaimana dijelaskan Telkom University dalam pembahasan keamanan siber. Pada agen AI, prinsip tersebut berlaku untuk prompt, basis pengetahuan, API, database, token akses, log, dan tool yang dipanggil agen.

Petakan data, tindakan, dan pemilik keputusan

Langkah pertama adalah membuat peta workflow sebelum memilih platform low-code atau menulis kode. Tim perlu mencatat asal data, proses yang dilakukan agen, sistem tujuan, serta hasil akhir yang diterima pengguna. Peta ini membantu membedakan agen yang hanya memberi jawaban dari agen yang dapat mengubah data atau memicu proses bisnis.

Buat daftar dengan empat kolom sederhana: sumber data, data yang diproses, tindakan yang mungkin dilakukan, dan penanggung jawabnya. Sumber data dapat berupa formulir, email, chat, CRM, atau dokumen internal. Tindakan dapat berupa membaca status, memberi label, membuat tiket, mengirim notifikasi, atau memperbarui catatan. Tindakan yang berdampak pada data sensitif, hak akses, transaksi, penghapusan data, atau komunikasi eksternal perlu memiliki persetujuan manusia.

Sebagai ilustrasi hipotetis, sebuah tim penjualan memakai agen untuk menilai formulir prospek. Agen membaca nama perusahaan, kebutuhan yang ditulis calon pelanggan, lalu memberi kategori prioritas di CRM. Agen boleh membuat notifikasi untuk sales. Agen tidak boleh menghapus kontak, mengubah harga, mengirim kontrak, atau mengakses catatan pembayaran. Sales tetap memeriksa kategori dan memutuskan tindak lanjut. Batas seperti ini membuat peran agen dapat diaudit.

Arah tersebut sejalan dengan Strategi Keamanan Siber Nasional. BSSN menyebut penguatan tata kelola, manajemen risiko, kesiapsiagaan, serta kemampuan penanganan insiden sebagai bagian dari penguatan kapabilitas keamanan siber. Untuk agen AI, prinsip nasional itu diterjemahkan menjadi kontrol kerja sehari-hari, bukan sekadar dokumen kebijakan.

Low-code dan high-code memiliki titik risiko berbeda

Low-code memudahkan tim menyusun workflow dengan konektor dan antarmuka visual. Risiko utamanya sering muncul dari konfigurasi yang terlihat praktis: konektor diberi izin terlalu luas, token dibagikan ke banyak workflow, atau data diteruskan ke layanan yang tidak diperlukan. Workflow yang berhasil berjalan belum tentu memiliki batas akses yang tepat.

High-code memberi tim kendali atas validasi input, logika keputusan, penyimpanan secret, dan cara aplikasi memanggil API. Kendali ini disertai tanggung jawab lebih besar. Kesalahan pada validasi permintaan, pengelolaan token, dependensi perangkat lunak, atau penanganan error dapat membuka akses yang tidak semestinya. Telkom University memasukkan eksploitasi kerentanan, malware, phishing, serta gangguan ketersediaan layanan sebagai ancaman siber yang perlu diperhatikan.

Perbedaan ini sebaiknya diterjemahkan menjadi fokus pemeriksaan yang berbeda. Pada workflow low-code, periksa setiap konektor, akun yang digunakan, cakupan izin, data yang diteruskan, dan siapa yang dapat mengubah workflow. Pada high-code, periksa input dari pengguna, penyimpanan secret, endpoint API, dependensi, log error, serta proses peninjauan kode sebelum rilis.

Misalnya, agen tanya jawab internal dapat dibuat dengan platform low-code yang menghubungkan chat, basis pengetahuan, dan sistem tiket. Risiko awalnya adalah seluruh koleksi dokumen internal terbuka untuk semua pengguna chat. Versi high-code dapat menerapkan pemeriksaan peran sebelum dokumen dicari. Namun, versi high-code tetap tidak aman bila pemeriksaan itu salah diterapkan atau token aksesnya tersimpan terbuka. Platform saja tidak cukup; kontrol dan disiplin operasional tetap perlu diperiksa.

Beri agen akses minimum dan identitas terpisah

Agen AI tidak seharusnya memakai akun administrator pribadi. Gunakan akun layanan terpisah untuk setiap workflow atau fungsi penting. Izin akun tersebut dibatasi sesuai tugas agen. Prinsip akses minimum berarti agen hanya mendapat kemampuan yang benar-benar diperlukan, bukan semua kemampuan yang tersedia pada sistem tujuan.

Pisahkan pula lingkungan pengembangan, pengujian, dan produksi. Prompt baru, konektor baru, atau perubahan aturan tidak sebaiknya langsung diuji pada data dan layanan produksi. Bila data contoh cukup untuk pengujian awal, gunakan data tersebut. Jika pengujian memerlukan data nyata, batasi cakupannya dan tetapkan siapa yang boleh mengaksesnya.

Andaikan agen layanan pelanggan hanya bertugas menjawab status pesanan. Akses baca terhadap nomor pesanan dan status pengiriman mungkin diperlukan. Alamat lengkap, data pembayaran, fungsi pembatalan pesanan, serta perubahan alamat tidak otomatis relevan. Jika agen menerima permintaan di luar tugasnya, workflow harus berhenti atau meneruskan kasus ke petugas yang berwenang.

Uji perilaku agen, bukan hanya jawaban normalnya

Pengujian keamanan perlu memeriksa apa yang dilakukan agen saat menerima instruksi yang ambigu, tidak relevan, atau mencoba melewati otorisasi. Uji juga perubahan konteks, permintaan data dalam jumlah besar, dan instruksi yang mendorong agen memanggil tool secara tidak semestinya. Agen tidak perlu menjawab semua permintaan. Dalam kasus tertentu, respons paling aman adalah menolak, meminta klarifikasi, atau melakukan eskalasi.

Buat kriteria lulus yang dapat diperiksa sebelum workflow digunakan. Contohnya: agen menolak permintaan di luar wewenang, tidak menampilkan dokumen tanpa hak akses, mencatat tool yang dipanggil, dan meminta persetujuan manusia sebelum tindakan sensitif. Simpan hasil uji sebagai catatan perubahan prompt, aturan workflow, izin akun, atau konfigurasi integrasi.

Sebagai contoh hipotetis, seorang pengguna meminta daftar pelanggan dan meminta agen mengirimkannya ke alamat email baru. Agen yang aman tidak langsung mencari lalu mengirim data. Workflow perlu memeriksa identitas pengguna, wewenangnya terhadap data, serta apakah pengiriman ke alamat tersebut diperbolehkan. Bila satu pemeriksaan gagal, agen menghentikan proses dan mengarahkan pengguna ke jalur verifikasi manusia.

Siapkan pengawasan manusia dan respons saat agen salah

Pengawasan manusia perlu dirancang berdasarkan dampak tindakan. Agen dapat menjalankan pekerjaan berisiko rendah seperti memberi label tiket, merangkum dokumen, atau menyusun draf respons. Tindakan dengan dampak lebih besar perlu masuk antrean persetujuan, misalnya perubahan hak akses, penghapusan data, pengiriman komunikasi sensitif, atau proses yang memengaruhi transaksi.

Catatan aktivitas harus membantu tim menjawab lima pertanyaan: siapa yang meminta tindakan, data apa yang dibaca, keputusan apa yang dibuat agen, tool apa yang dipanggil, dan apa hasilnya. Log tidak boleh menjadi tempat penyimpanan bebas untuk data sensitif. Tentukan informasi yang benar-benar dibutuhkan untuk audit, lalu batasi akses terhadap catatan tersebut.

Saat agen memberi keluaran atau menjalankan tindakan yang keliru, tim memerlukan prosedur jelas. Hentikan workflow yang bermasalah, cabut atau batasi kredensial bila diperlukan, periksa catatan aktivitas, dan beri tahu pihak yang bertanggung jawab. Perpres Nomor 47 Tahun 2023 mengatur Strategi Keamanan Siber Nasional dan Manajemen Krisis Siber sebagai acuan bagi instansi penyelenggara negara serta pemangku kepentingan untuk membangun kapabilitas dan stabilitas keamanan siber, menurut basis data peraturan BPK RI.

Audit perubahan sebelum akses agen meluas

Agen AI berubah seiring bertambahnya dokumen, konektor, pengguna, dan kebutuhan bisnis. Setiap perubahan dapat mengubah risiko. Penambahan satu tool baru, misalnya, dapat memberi agen jalur tindakan baru yang sebelumnya tidak ada. Karena itu, perubahan perlu melewati pemeriksaan data yang diproses, izin yang dibutuhkan, tindakan yang dapat dipicu, serta titik persetujuan manusia.

Mulailah dari satu workflow yang sudah digunakan. Daftarkan sumber data, akun layanan, izin aktif, tool yang dipanggil, tindakan otomatis, log yang tersedia, dan tindakan yang masih memerlukan persetujuan. Pilih satu risiko dengan dampak paling jelas, misalnya token dengan izin berlebihan atau workflow tanpa jalur eskalasi. Perbaiki kontrol tersebut, uji ulang, lalu catat keputusan sebelum memperluas kemampuan agen.

Frequently asked questions

Apa yang dimaksud strategi keamanan siber untuk pengembangan agen AI?

Strategi ini mengatur data, identitas, integrasi, pengujian, dan tindakan agen sejak tahap desain hingga penggunaan. Tujuannya membatasi akses tidak sah, mengurangi tindakan otomatis yang berisiko, dan memudahkan audit saat terjadi masalah.

Apakah low-code selalu kurang aman daripada high-code?

Tidak. Low-code dan high-code memiliki titik risiko berbeda. Low-code memerlukan pemeriksaan ketat pada konektor dan izin, sedangkan high-code membutuhkan validasi input, pengelolaan secret, peninjauan kode, dan pengendalian dependensi.

Tindakan apa yang perlu persetujuan manusia?

Persetujuan manusia sebaiknya diperlukan untuk tindakan yang memengaruhi data sensitif, transaksi, penghapusan data, perubahan hak akses, atau komunikasi eksternal yang berisiko. Agen dapat menyiapkan rekomendasi atau draf, sementara manusia memutuskan tindakan akhir.

Mengapa agen AI perlu memakai akun layanan terpisah?

Akun layanan terpisah membatasi izin agen sesuai fungsi workflow. Aktivitas agen juga dapat dibedakan dari aktivitas pengguna atau administrator, sehingga penelusuran insiden dan pencabutan akses menjadi lebih terarah.

Bagaimana cara menguji keamanan workflow agen AI?

Uji input normal, ambigu, permintaan di luar wewenang, dan instruksi yang memicu tindakan sensitif. Periksa apakah agen menolak atau mengeskalasi permintaan berisiko, mencatat aktivitas, serta hanya memanggil tool yang diizinkan.

References

  1. Badan Siber dan Sandi Negara - Strategi Keamanan Siber Nasional · Badan Siber dan Sandi Negara
  2. PERPRES No. 47 Tahun 2023 tentang Strategi Keamanan Siber Nasional dan Manajemen Krisis Siber · BPK RI
  3. Keamanan Siber Tantangan Strategi dan Masa Depan · Telkom University

You do not need to know what to automate.That is our job.

Let us work it out together.