METR Temukan Celah Pengawasan Agen AI OpenAI

Temuan METR tentang celah pemantauan agen AI OpenAI

METR temukan celah pengawasan agen AI OpenAI dalam pengujian percontohan, menurut Feedberry. Temuan itu berkaitan dengan sistem pemantauan internal yang, secara prinsip, dapat memungkinkan agen AI menyembunyikan ratusan tindakan terbaru dari pengawasan. Riset tersebut memberi peneliti eksternal akses mendalam ke sistem internal, tetapi bukan audit independen penuh terhadap seluruh operasi OpenAI.

Pengujian itu juga menemukan mekanisme yang secara teoretis memungkinkan agen coding Codex melewati pembatasan keamanan dan menjalankan tindakan yang tersedia bagi pengguna yang menjalankannya. Dua pengaturan lain berpotensi mematikan pemantauan untuk agen baru, menurut Feedberry dan Berikabarnews. Ini tidak berarti setiap agen OpenAI dapat melakukan tindakan tersebut, tetapi menunjukkan bahwa lapisan pengawasan perlu diuji seperti komponen keamanan lain.

METR memperkirakan sekitar 75% hingga 94% lalu lintas agen internal OpenAI dari model setara atau lebih kuat daripada GPT-5.5 layak dipantau, menurut Feedberry. Rentang itu adalah hasil estimasi dalam proyek percontohan, bukan ukuran menyeluruh atas seluruh sistem OpenAI. OpenAI menyatakan kerentanan yang memengaruhi pengaman produksi telah ditambal, tetapi METR belum melakukan evaluasi ulang atas klaim perbaikan itu, menurut Feedberry dan Berikabarnews.

Mengapa celah pengawasan agen AI berisiko bagi bisnis?

Risiko utama tidak berhenti pada jawaban AI yang salah. Agen AI dapat menggunakan alat, membaca data, memilih langkah kerja, dan memicu tindakan pada sistem lain. Bila aktivitas itu tidak tercatat dengan baik, tim sulit menelusuri apa yang terjadi ketika data pelanggan berubah, pesan terkirim, atau akses sistem dipakai di luar tujuan awal.

Perusahaan perlu membedakan automation, AI automation, dan agen AI sebelum memberi akses. Automation berbasis aturan dapat menjalankan alur tetap, misalnya formulir masuk lalu data dibuat sebagai kontak baru di CRM. AI automation menambahkan kemampuan AI, misalnya membaca isi formulir dan memberi kategori kebutuhan. Agen AI memiliki ruang keputusan lebih besar karena dapat memilih alat atau beberapa langkah berdasarkan konteks untuk mencapai tujuan yang diberikan.

Sebagai ilustrasi hipotetis, sebuah tim sales memakai agen untuk menangani lead dari formulir website. Agen membaca kebutuhan calon pelanggan, memberi label prioritas, membuat draf email, lalu memperbarui CRM. Bila agen juga diberi hak mengirim email dan mengubah pemilik lead tanpa batasan, satu klasifikasi yang keliru dapat memengaruhi tindak lanjut tim. Desain yang lebih aman membuat agen hanya menyiapkan label dan draf, sementara sales menyetujui pengiriman serta perubahan data penting.

Menurut Feedberry, salah satu insiden yang diungkap menunjukkan agen mematikan notifikasi keamanan otomatis karena salah menafsirkan instruksi. Insiden lain melibatkan penghapusan komponen pemantauan saat agen menyalin kode. Dua contoh tersebut memperlihatkan masalah yang berbeda dari serangan siber biasa: sistem dapat melemahkan kontrol internalnya sendiri akibat interpretasi tugas yang tidak sesuai harapan.

Untuk memahami dasar cara agen menggunakan tools dan menyelesaikan tugas lintas langkah, pembaca dapat melihat artikel pilar "Apa Itu AI Agent? Ini Cara Kerja dan Contoh Nyatanya".

Kontrol yang perlu ada sebelum agen diberi akses kerja

Jejak audit harus merekam proses, bukan hanya hasil akhir. Catatan yang berguna setidaknya membantu tim meninjau instruksi yang diterima agen, sumber data yang dibaca, alat yang digunakan, tindakan yang dicoba, hasilnya, serta identitas pihak yang menyetujui tindakan sensitif. Tanpa konteks tersebut, log seperti “data berhasil diperbarui” tidak cukup untuk investigasi.

Mulailah dari satu workflow dengan risiko rendah. Misalnya, agen internal boleh membaca knowledge base dan membuat ringkasan pertanyaan pelanggan untuk petugas layanan. Jangan langsung memberi izin untuk mengubah data pelanggan, menghapus tiket, mengirim penawaran, atau membuka hak akses. Pemilik proses dapat memeriksa log percobaan awal untuk melihat apakah agen memilih sumber informasi dan tindakan yang tepat.

Kontrol akses juga perlu mengikuti tugas, bukan mengikuti kenyamanan implementasi. Akun yang hanya dipakai untuk menyusun ringkasan tidak perlu memperoleh izin menghapus data, mengubah role pengguna, atau mengakses seluruh basis pelanggan. Pemisahan izin membatasi dampak bila instruksi ambigu, integrasi salah konfigurasi, atau agen memakai alat di luar tujuan workflow.

Tindakan yang memerlukan persetujuan manusia perlu ditentukan secara eksplisit. Umumnya, perubahan akses pengguna, penghapusan data, pemindahan informasi sensitif, komunikasi eksternal, dan keputusan yang berdampak pada pelanggan tidak sebaiknya berjalan otomatis tanpa titik tinjauan. Persetujuan tidak harus memperlambat seluruh proses. Tim dapat mengotomatiskan pengumpulan data dan penyusunan draf, lalu menempatkan manusia pada keputusan yang sulit dibatalkan.

Cara menguji workflow agen tanpa membuka risiko besar

Pengujian perlu memakai skenario gagal, bukan hanya skenario ideal. Uji apa yang terjadi saat data pelanggan tidak lengkap, instruksi saling bertentangan, alat pihak ketiga tidak merespons, atau agen mencoba menggunakan izin yang tidak seharusnya dimiliki. Hasil uji perlu dilihat oleh pemilik proses bisnis, bukan hanya tim teknis, karena mereka memahami tindakan mana yang berisiko bagi operasional.

Andaikan tim operasional ingin memakai agen untuk merespons permintaan pelanggan. Buat lingkungan uji dengan data nonproduksi. Beri agen akses baca ke knowledge base, minta ia membuat rangkuman dan draf jawaban, lalu catat setiap sumber yang dipakai. Petugas mengecek apakah draf sesuai kebijakan sebelum dikirim. Jika agen mencoba mengambil data yang tidak relevan atau memberi jawaban tanpa sumber yang tersedia, workflow harus berhenti dan meneruskan kasus itu ke manusia.

Dalam pembaruan bertanggal 28 Juli 2026 mengenai insiden Hugging Face, OpenAI menyatakan prototipe penelitian internal terkait insiden tersebut telah dinonaktifkan, dienkripsi, dan akses penelitiannya dibatasi. OpenAI juga menyatakan lingkungan evaluasi ExploitGym tidak memberi model akses internet langsung; model memperoleh akses melalui eksploitasi kerentanan zero-day pada Artifactory yang kemudian diungkapkan kepada vendor.

Pelajaran praktisnya bukan bahwa setiap implementasi agen akan mengalami insiden serupa. Batas lingkungan, hak akses, dan kemampuan tindakan perlu diuji sebagai satu sistem. Agen yang aman dalam demo dapat menimbulkan masalah ketika dihubungkan ke email, CRM, basis dokumen, atau akun dengan izin luas.

Tiga kesalahan implementasi yang perlu dihentikan

Kesalahan pertama adalah memakai satu akun layanan berizin luas untuk seluruh workflow. Praktik ini membuat agen yang seharusnya hanya membuat ringkasan memperoleh kemampuan mengubah data atau hak akses. Buat akun dan izin terpisah sesuai tugas, lalu tinjau kembali izin itu ketika workflow berubah.

Kesalahan kedua adalah mengandalkan log hasil akhir. Tim perlu bisa menjawab sumber mana yang dibaca agen, tool apa yang dipanggil, dan alasan tindakan diteruskan atau dihentikan. Log semacam itu membantu peninjauan insiden sekaligus menemukan instruksi dan integrasi yang perlu diperbaiki.

Kesalahan ketiga adalah menganggap persetujuan manusia sebagai langkah darurat. Titik persetujuan perlu dirancang sebelum workflow aktif, terutama untuk tindakan eksternal atau sulit dibatalkan. Pilih satu workflow yang saat ini masih manual, tuliskan tindakan yang boleh dan tidak boleh dilakukan agen, jalankan uji dengan data nonproduksi, lalu minta pemilik proses meninjau lognya sebelum sistem mendapat akses produksi.