Google dan OpenAI Dilaporkan Dukung Aturan Baru robots.txt untuk AI

Pemilik situs selama ini perlu membuat aturan crawler berbeda untuk tiap penyedia AI. Sejumlah laporan pada akhir Oktober 2026 menyebut Google, OpenAI, Anthropic, dan Microsoft akan menghormati satu sinyal bersama di robots.txt untuk menyatakan preferensi penggunaan konten dalam pelatihan AI generatif.

Sinyal yang dilaporkan adalah `__usage_ai-training`. Fungsinya bukan menghapus halaman dari internet atau mencegah halaman muncul di Google Search. Sinyal ini ditujukan untuk crawler yang mengumpulkan materi bagi pelatihan model AI, selama penyedia crawler memilih mendukung dan mematuhinya.

Apa fungsi `__usage_ai-training` pada robots.txt

`__usage_ai-training` adalah user agent bersama yang memungkinkan penerbit menyampaikan preferensi pelatihan AI melalui satu blok aturan. Telset.id melaporkan bahwa pendekatan ini berasal dari proposal Kevin Kelley dari Anthropic yang sedang dibahas dalam Internet Engineering Task Force atau IETF.

Format yang dilaporkan terlihat seperti ini:

``` User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/ ```

Dalam contoh tersebut, `Disallow: /` menyatakan preferensi agar crawler pelatihan AI tidak mengambil seluruh situs. Baris `Allow: /press-kit/` membuat pengecualian untuk direktori press kit. Artinya, keputusan tidak harus seragam untuk semua halaman.

Sebagai ilustrasi hipotetis, sebuah perusahaan memiliki blog, dokumentasi produk, pusat bantuan, dan folder media untuk jurnalis. Timnya dapat membatasi preferensi pelatihan AI pada blog dan pusat bantuan, tetapi tetap membuka folder media yang memang dibuat untuk distribusi publik. Konfigurasi itu perlu didasarkan pada kebijakan konten, bukan sekadar menyalin contoh kode.

Apa yang tidak dapat dilakukan aturan robots.txt AI

Direktif ini bukan pengaman data. Robots.txt memberi arahan kepada crawler yang bersedia mematuhinya, bukan autentikasi untuk mencegah orang atau sistem mengakses halaman publik. Telset.id juga menyebut direktif tersebut tidak dapat membatalkan scraping yang telah terjadi sebelumnya.

Konten rahasia, data pelanggan, dokumen internal, atau materi berlisensi tidak boleh mengandalkan robots.txt sebagai perlindungan utama. Materi seperti itu perlu berada di balik kontrol akses yang sesuai, misalnya autentikasi dan izin pengguna. Jika URL sensitif sudah publik, menambahkan `Disallow` tidak membuat URL tersebut otomatis aman.

Aturan ini juga berbeda dari pengelolaan visibilitas pencarian. Menurut Telset.id, sinyal pelatihan AI tidak dirancang untuk menghalangi konten tampil di Google Search. Maka, keputusan “ingin ditemukan melalui pencarian” dan “mengizinkan penggunaan untuk pelatihan AI” perlu dicatat sebagai dua keputusan terpisah.

Mengapa satu sinyal bersama penting bagi penerbit

Nilai utamanya adalah penyederhanaan tata kelola. Sebelum ada sinyal bersama, penerbit perlu mengenali crawler setiap perusahaan lalu menulis aturan individual. ChatNews.id melaporkan bahwa direktif baru ini dimaksudkan agar penerbit tidak perlu mengulang konfigurasi untuk setiap penyedia yang berpartisipasi.

Namun, satu sinyal tidak berarti semua aturan lama dapat langsung dihapus. Unite.AI melaporkan Google berencana menafsirkan penolakan melalui token bersama sebagai penolakan terhadap `Google-Extended` apabila situs tidak memberikan instruksi spesifik yang berbeda. Laporan yang sama menyebut kendali khusus per perusahaan tetap dapat berjalan berdampingan dengan sinyal bersama.

Situasi ini penting bagi situs yang memiliki kebijakan berbeda antarpenyedia. Andaikan sebuah penerbit ingin menolak penggunaan konten untuk pelatihan secara umum, tetapi mempunyai keputusan terpisah untuk layanan tertentu, tim teknis harus memeriksa aturan per-crawler yang sudah ada. Konflik konfigurasi perlu ditinjau sebelum blok baru ditambahkan.

Untuk konteks perkembangan model dan penerapannya di bisnis, pembaca dapat melihat artikel pilar Anthropic, Google, dan OpenAI Siapkan Model AI Baru untuk Evaluasi Bisnis. Artikel tersebut membahas perkembangan model, sedangkan pembahasan ini berfokus pada kontrol penerbit atas konten web.

Cara menilai apakah situs perlu memakai aturan ini

Mulailah dari inventaris konten. Kelompokkan halaman berdasarkan tujuan dan tingkat sensitivitas: artikel pemasaran, dokumentasi publik, halaman produk, press kit, konten berbayar, basis pengetahuan pelanggan, serta materi internal. Jangan menganggap seluruh domain memiliki risiko dan nilai bisnis yang sama.

Setelah itu, tetapkan alasan untuk setiap keputusan. Misalnya, press kit dapat tetap terbuka karena memang disediakan bagi distribusi publik. Sebaliknya, pusat bantuan dapat memerlukan peninjauan lebih ketat karena berisi penjelasan operasional yang sering berubah. Penilaian ini tidak menentukan benar atau salah secara universal; hasilnya bergantung pada lisensi, kebijakan perusahaan, dan tujuan distribusi konten.

Dokumentasikan keputusan dalam daftar sederhana: direktori, pemilik konten, alasan kebijakan, status izin, tanggal peninjauan, serta pihak yang menyetujui. Catatan ini memudahkan tim memperbarui aturan saat struktur URL berubah atau saat dukungan penyedia AI berkembang.

Langkah aman sebelum mengubah robots.txt produksi

Jangan langsung memasang aturan baru di situs utama. Salin dulu robots.txt saat ini dan petakan user agent yang sudah digunakan. Perubahan kecil dapat memengaruhi crawler lain bila penulisan blok, urutan aturan, atau direktori tidak diperiksa dengan teliti.

Sebagai contoh hipotetis, tim web menemukan aturan lama untuk Googlebot, Bingbot, dan crawler AI tertentu. Mereka menambahkan blok `__usage_ai-training` pada salinan pengujian, lalu memeriksa bahwa aturan pencarian lama tetap utuh. Setelah itu, tim konten memastikan direktori yang dikecualikan memang sesuai dengan kebijakan penerbitan, sementara tim legal meninjau materi yang terikat lisensi.

Simpan versi sebelum dan sesudah perubahan. Catat siapa yang menyetujui konfigurasi, alasan perubahan, serta prosedur pemulihan bila terjadi kesalahan. Praktik ini lebih berguna daripada menganggap robots.txt sebagai pengaturan sekali jadi.

Dukungan penyedia masih perlu dipantau

Dukungan belum terjadi serentak. Menurut Telset.id, Anthropic sudah mendukung direktif tersebut; Microsoft mulai 1 Februari 2027; Google pada awal 2027; OpenAI dalam beberapa bulan. Sementara itu, Unite.AI melaporkan Google menargetkan dukungan selama 2027.

Karena informasi ini berasal dari laporan media, pemilik situs sebaiknya memeriksa pengumuman dan dokumentasi penyedia sebelum mengubah kebijakan produksi. Sinyal bersama baru bermanfaat bagi crawler yang benar-benar mendukungnya.

Langkah berikutnya: unduh robots.txt saat ini, buat daftar direktori publik beserta alasannya, lalu tandai materi yang tidak boleh dianggap sebagai data publik. Setelah kebijakan internal disetujui, uji konfigurasi pada lingkungan nonproduksi dan pantau dokumentasi tiap penyedia sebelum menerapkannya di domain utama.