Anthropic Kembangkan FlashProve untuk Verifikasi Asal Output AI

Apa yang terjadi pada FlashProve

Anthropic mengembangkan FlashProve untuk membuktikan secara kriptografis model AI yang menghasilkan sebuah output. Telset.id menyebutnya sebagai sistem sumber terbuka. Pertanyaan yang ingin dijawab bukan apakah jawaban AI bagus atau benar, melainkan apakah respons itu memang dibuat oleh model yang dijanjikan oleh penyedia layanan.

Mengapa kualitas output tidak cukup untuk membuktikan model AI?

Kualitas jawaban tidak membuktikan asalnya karena model lain dapat menghasilkan respons yang tampak serupa. Layanan routing juga dapat mengganti model, atau penyerang dapat mengubah aliran output; menurut Telset.id, pengguna sering tidak memiliki cara untuk memastikan jawaban benar-benar berasal dari model yang mereka kira digunakan. FlashProve ditujukan untuk memberi bukti kriptografis atas identitas model, bukan sekadar menilai mutu jawaban.

Menurut riset primer Anthropic, Progress on provable inference for large language models, pengguna saat ini sulit memastikan identitas model di balik sebuah respons. Kualitas output tidak cukup menjadi bukti. Model lain dapat menghasilkan jawaban yang tampak serupa, layanan routing dapat mengganti model demi biaya, atau aliran token dapat diubah pihak yang menyerang sistem.

FlashProve memakai pendekatan bernama provable inference. Penyedia model lebih dulu membuat komitmen terhadap model tertentu. Setelah model menghasilkan respons, sistem membuat bukti bahwa inferensi itu berasal dari model yang telah dikomitmenkan. Bukti tersebut dapat diperiksa tanpa penerima harus melihat bobot model.

Riset Anthropic menyebut pendekatan ini menggunakan jenis bukti kriptografis zkSNARK. Sederhananya, zkSNARK memungkinkan satu pihak membuktikan klaim tertentu tanpa mengungkap seluruh informasi rahasia yang mendasarinya. Dalam konteks FlashProve, klaimnya adalah asal output dari model tertentu, sedangkan bobot model tetap disembunyikan.

Cara FlashProve memeriksa identitas model

FlashProve memerlukan fingerprint atau sidik jari untuk setiap model yang ingin diverifikasi. Laboratorium AI menerbitkan fingerprint tersebut, lalu pengguna atau pelanggan dapat mencocokkan bukti inferensi dari suatu output dengan fingerprint model yang diklaim.

Menurut Telset.id dan JournalArta, prinsipnya dapat dibandingkan dengan tanda tangan kriptografis pada email. Penerima tidak menilai identitas pengirim dari gaya bahasa isi email. Penerima memeriksa bukti teknis yang menautkan pesan dengan pengirim. FlashProve menerapkan gagasan serupa pada keluaran model AI.

Alurnya dapat diringkas sebagai berikut:

1. Laboratorium menerbitkan fingerprint untuk model yang dirilis.
2. Penyedia menjalankan inferensi ketika menerima permintaan pengguna.
3. Sistem menghasilkan output dan bukti kriptografis inferensi.
4. Penerima memeriksa bukti terhadap fingerprint model.
5. Hasil pemeriksaan menunjukkan apakah output dapat ditautkan ke model yang telah dikomitmenkan.

Sebagai ilustrasi hipotetis, sebuah perusahaan berlangganan layanan AI untuk merangkum dokumen internal. Kontraknya menyebut model tertentu karena tim kepatuhan telah menguji model itu lebih dulu. Saat layanan mengirim ringkasan, tim teknis dapat memeriksa bukti inferensi sebelum mencatat hasilnya sebagai output dari model yang disetujui. Pemeriksaan ini tidak menilai mutu ringkasan, tetapi memeriksa identitas model pembuatnya.

Bobot model tetap rahasia, tetapi arsitektur bukan sasaran perlindungan

Salah satu nilai teknis FlashProve adalah pemisahan antara verifikasi dan kerahasiaan bobot model. Menurut Anthropic, komitmen model dan bukti inferensi dalam sistem ini menyembunyikan bobot. Bobot adalah angka internal yang membentuk perilaku model dan biasanya diperlakukan sebagai aset penting oleh pengembang model tertutup.

Namun, Anthropic juga menyatakan bahwa menyembunyikan arsitektur model bukan tujuan FlashProve. Batas ini penting bagi pembaca yang menganggap semua detail sistem otomatis dirahasiakan. FlashProve dirancang untuk membuktikan asal inferensi sambil menyembunyikan bobot, bukan sebagai mekanisme umum untuk menyembunyikan seluruh desain model.

Pilihan rancangan ini membuka kemungkinan penggunaan pada layanan komersial. Penyedia tidak perlu menyerahkan bobot model kepada pelanggan agar pelanggan dapat memeriksa klaim asal output. JournalArta melaporkan bahwa verifikasi dirancang cukup ringan untuk dilakukan pada perangkat lokal, sehingga pemeriksa tidak harus mengirim output ke infrastruktur pihak ketiga hanya untuk memvalidasi bukti.

Meski begitu, kata “ringan” tidak berarti biaya pembuktiannya dapat diabaikan. Anthropic melaporkan bahwa, untuk Llama 4 Maverick berparameter 400 miliar dengan bobot terkuantisasi 4-bit, satu GPU H100 menghasilkan bukti sekitar 110 token per detik. Ukuran bukti sekitar 19 MB untuk permintaan 1.024 token, sementara waktu GPU untuk pembuktian berada sekitar 70 hingga 95 kali waktu menjalankan model melalui vLLM. Data ini menunjukkan kemajuan riset, sekaligus alasan organisasi belum dapat memperlakukan provable inference sebagai kontrol tanpa biaya.

Masalah yang dapat dibantu FlashProve dan yang tidak

FlashProve dapat membantu menghadapi penukaran model diam-diam. Menurut Anthropic, risiko ini dapat muncul ketika layanan routing mengganti model untuk alasan biaya atau ketika penyerang mengubah aliran token. JournalArta juga menyoroti skenario penyedia memakai model lebih murah tanpa memberi tahu pelanggan, atau memakai model lebih mahal agar hasil pengujian tampak lebih baik.

Bagi perusahaan, isu tersebut relevan ketika pemilihan model berkaitan dengan kebijakan data, evaluasi internal, atau syarat vendor. Jika sebuah tim telah menguji model tertentu untuk tugas layanan pelanggan, perubahan model di belakang layar dapat mengubah risiko dan perilaku sistem tanpa terlihat dari satu atau dua jawaban.

Namun, FlashProve tidak membuktikan bahwa isi respons akurat. Ia juga tidak memeriksa apakah output sesuai kebijakan perusahaan, bebas bias, aman dikirim kepada pelanggan, atau tepat untuk keputusan bernilai tinggi. Identitas model dan kualitas jawaban adalah dua masalah berbeda.

Andaikan AI dipakai untuk membuat draf balasan tiket pelanggan. Bukti FlashProve dapat menunjukkan draf berasal dari model yang disetujui. Tim tetap perlu menguji apakah draf itu memakai data yang benar, tidak membuka informasi sensitif, dan tidak menjanjikan sesuatu di luar kebijakan layanan. Untuk balasan yang berdampak pada pengembalian dana, perubahan kontrak, atau pengungkapan data pelanggan, persetujuan manusia tetap diperlukan sebelum tindakan dilakukan.

Dampak bagi audit AI internal

FlashProve memberi arah baru bagi audit layanan AI: organisasi dapat membedakan antara klaim vendor dan bukti teknis atas model yang digunakan. Ini terutama berguna saat AI terhubung ke CRM, basis pengetahuan, sistem tiket, atau workflow yang memproses data internal.

Contoh hipotetis yang lebih lengkap dapat terjadi pada proses klasifikasi lead. Formulir masuk, AI membaca kebutuhan calon pelanggan, sistem memberi kategori awal, lalu data masuk ke CRM dan sales menerima notifikasi. Jika organisasi menetapkan satu model untuk klasifikasi tersebut, bukti asal model dapat menjadi bagian dari catatan audit. Bukti itu tidak perlu mengizinkan AI mengirim penawaran otomatis; tindakan mengubah data penting atau menghubungi lead tetap dapat menunggu approval sales.

Kontrol yang perlu dipisahkan dari verifikasi model meliputi pengaturan akses, pencatatan aktivitas, evaluasi output, serta aturan eskalasi. Tim juga perlu menetapkan siapa yang berwenang mengganti konfigurasi model, siapa yang meninjau kegagalan, dan tindakan mana yang tidak boleh dijalankan tanpa persetujuan manusia.

Menurut Anthropic, aplikasi provable inference dapat mencakup produk konsumen dan keamanan internal. Riset tersebut juga menyebut potensinya sebagai bagian dari perangkat untuk memverifikasi kepatuhan terhadap persyaratan laju pengembangan AI. Artinya, FlashProve lebih tepat dilihat sebagai satu komponen tata kelola, bukan pengganti seluruh program keamanan AI.

Status riset dan langkah praktis untuk tim bisnis

FlashProve belum dapat diperlakukan sebagai produk siap pakai untuk semua organisasi. Pluang melaporkan proyek ini masih berada pada tahap riset dan belum memiliki rencana implementasi segera. Anthropic sendiri memposisikan publikasinya sebagai kemajuan pada provable inference, bukan pengumuman layanan komersial yang siap diterapkan luas.

Tim bisnis tidak perlu menunggu teknologi ini tersedia untuk memperbaiki tata kelola AI. Mulailah dari satu workflow yang sudah memakai model AI. Catat nama model yang diklaim vendor, tujuan penggunaan, jenis data yang diproses, pihak yang dapat mengubah konfigurasi, dan titik ketika manusia harus menyetujui hasil atau tindakan.

Setelah peta itu selesai, bandingkan tiga hal: klaim vendor, bukti yang tersedia saat ini, dan risiko bila model berubah tanpa pemberitahuan. Jika belum ada mekanisme verifikasi kriptografis, organisasi tetap dapat meminta dokumentasi perubahan model, menyimpan log konfigurasi, serta menguji ulang workflow ketika vendor mengubah layanan.

Langkah berikutnya: pilih satu integrasi AI yang paling dekat dengan data pelanggan atau keputusan operasional, lalu buat daftar kontrol manusia dan bukti audit yang sudah tersedia sebelum menambah otomatisasi baru.