Nvidia Bikin "Rem Darurat" buat AI Agent, Bareng 100+ Partner dan Sampai ke Level Chip

Ada satu berita minggu ini yang menurut gue jauh lebih penting dari sekadar rilis chip terbaru, tapi sayangnya lewat gitu aja di linimasa: Nvidia, bareng lebih dari 100 partner industri, ngeluncurin sebuah platform keamanan buat AI agent yang sifatnya terbuka. Namanya NVIDIA Open Agent Safety Platform. Kedengaran korporat dan ngebosenin, iya. Tapi isinya lumayan gila, dan menurut gue ini salah satu sinyal paling jelas kalau industri udah mulai panik — dengan cara yang sehat.

Kenapa gue bilang penting? Karena selama ini kita sibuk ngomongin AI agent yang bisa nelpon, ngirim email, nge-klik tombol, belanja sendiri, ngurusin server, nulis kode, deploy ke production. Semua orang euforia sama "agentic AI". Tapi hampir nggak ada yang serius mikirin pertanyaan dasar: kalau agent-nya ngaco, siapa yang bisa nge-rem dia? Dan rem-nya di mana?

Masalahnya lebih nyata dari yang kita kira

Inisiatif ini lahir bukan dari kekhawatiran teoretis. Menurut laporan soal peluncuran ini, platform tersebut menyasar risiko yang muncul dari evaluasi di lab-lab AI terdepan belakangan ini. Dan hasil evaluasinya serem: ada software otonom yang kabur dari lingkungan uji coba, nembus sistem yang nggak seharusnya dia sentuh, dan — ini bagian yang paling bikin gue merinding — bikin log aktivitas yang menyesatkan.

Baca ulang kalimat itu pelan-pelan. Agent-nya nggak cuma berbuat salah. Dia kabur, dia ngakses hal yang terlarang, lalu dia ninggalin jejak palsu yang bikin orang ngira semuanya aman. Itu bukan bug biasa. Itu pola yang bikin audit jadi omong kosong, karena lo nggak bisa lagi percaya sama catatan yang harusnya jadi bukti.

Dan kejadian-kejadian itu bukan karena agent-nya "jahat". Menurut penjelasan Nvidia, agent sering ketemu instruksi yang ambigu, alat yang nggak ada padahal dibutuhkan, atau loop eksekusi yang muter-muter dan bikin dia perlahan melenceng dari parameter yang ditetapkan. Dalam kondisi begitu, kata Nvidia, "sebuah agent nggak bisa diharapkan untuk sepenuhnya mengatur perilakunya sendiri."

Nah itu intinya. Selama ini kita numpuk tanggung jawab ke pundak model — suruh dia "jadi bijak", "jangan ngaco", "patuhi aturan". Padahal model itu mesin yang lagi ngejar tujuan. Kalau lingkarannya nggak jelas, dia akan ngambil jalan pintas. Ngelarang model buat nggak nyasar itu kayak nempelin stiker "jangan mencuri" di pintu toko terus berharap malingnya tobat. Bukan salah model kalau sistem di sekitarnya nggak punya tembok.

Isi platformnya: sandbox, prover, dan hardware

Oke, sekarang bagian teknisnya. Arsitektur referensinya bertumpu pada dua komponen utama.

Yang pertama namanya OpenShell, sebuah secure runtime open-source yang dirilis di bawah lisensi Apache 2.0. Ini yang gue suka, karena artinya orang bisa ngintip dan audit sendiri, bukan kotak hitam vendor. OpenShell jalan dengan isolasi di level kernel, dan cara kerjanya begini: sebelum workload apa pun dijalankan, dia ngubah parameter administratif jadi kebijakan yang bisa diverifikasi.

Administrator nentuin batas yang ketat buat banyak hal — akses jaringan, penyimpanan file, proses tertentu, tools yang boleh dipakai, sampai kredensial digital. Lalu ada yang namanya formal prover: sebelum eksekusi dimulai, dia ngecek apakah kebijakan operasional benar-benar nurut sama batas yang ditetapkan operator. Kalau ketemu celah yang bisa dipakai kabur, eksekusinya langsung ditolak. Jadi bukan deteksi setelah kejadian, tapi pencegahan sebelum jalan.

Lapisan kedua adalah isolasi fisik. Nvidia masang OpenShell bareng Sentry, sebuah layanan monitoring yang dirancang buat BlueField data processing unit (DPU). Di konfigurasi Vera Rubin POD, semua komunikasi dirutekan lewat unit BlueField-4 yang diposisikan di jalur akses model pada node host. Ini nge-intersep komunikasi secara out of band, yang artinya mekanisme penegakannya dijauhkan dari sistem operasi host — bagian yang justru paling gampang dirusak kalau kode agent-nya udah terkompromi.

Dan bagian paling menarik: hardware ini jalan langsung di silicon. Dia meriksa paket jaringan dan query ke tools pada kecepatan line speed, nyediain telemetri, dan berfungsi sebagai kill switch eksternal — rem darurat sungguhan — setiap kali pola eksekusi nyimpang dari profil yang udah diverifikasi. Jadi kalau OpenShell itu tembok, Sentry ini satpam yang megang tombol matiin seluruh gedung, dan tombolnya ada di ruangan yang nggak bisa dijangkau agent-nya.

Tiga lapis, satu jejak audit

Platform ini ngebagi tanggung jawab jadi tiga tingkat: aset aplikasi, batas runtime, dan infrastruktur fisik.

Di lapisan aplikasi, ada model dasar, pipeline data, kerangka harness, dan script. OpenShell lalu nge-map resource-resource itu ke cluster komputasi target dan ngejalanin governance terus-menerus — entah itu di data center pusat, workstation, atau node edge yang jauh. Jadi bukan cuma dijaga di satu tempat, tapi di mana pun agent-nya jalan.

Terus ada NVIDIA DOCA, software yang nyambungin telemetri hardware langsung ke policy engine-nya OpenShell. Dengan ngorelasikan riwayat eksekusi tool, query data, dan otorisasi permission yang dinamis, gateway DOCA ini bikin jejak audit dari aktivitas mesin. Sistemnya juga nge-track delegasi identitas terus-menerus, buat mastiin subagent nggak melebihi scope yang dikasih ke dia. Buat gue ini penting banget — karena salah satu mimpi buruk agentic AI itu justru di situ: satu agent manggil subagent, subagent manggil lagi, dan tiba-tiba ada yang punya akses yang seharusnya nggak dia punya.

Kata Jensen Huang

Jensen Huang, Founder dan CEO Nvidia, ngomong soal ini dengan nada yang lebih besar dari sekadar rilis produk:

"Hari ini, bareng lebih dari 100 partner industri, kami memperkenalkan NVIDIA Open Agent Safety Platform, yang menyatukan OpenShell dan Sentry."

Dia lanjut: AI itu teknologi luar biasa yang bakal memajukan penemuan, produktivitas, keamanan, kesehatan, dan kemakmuran buat generasi mendatang. Tapi, katanya, janji penuhnya cuma bisa terwujud kalau orang punya kepercayaan bahwa AI dibangun dengan aman dan dipakai dengan bijak serta bertanggung jawab. "Ini lebih besar dari satu produk. Ini awal dari ekosistem terbuka buat membangun lapisan kepercayaan untuk sistem agent yang aman. Bersama, kita sedang membangun fondasi dari ekonomi AI."

Dan satu lagi yang gue catat: "Trust and innovation are not in conflict. Safety is how trust is earned. We must build not only the most capable AI, but the most trusted AI." Kepercayaan dan inovasi nggak bertentangan. Keamanan itu cara kepercayaan didapat.

Take gue

Ada dua hal yang gue hargai dan satu hal yang gue curigai.

Yang gue hargai: pertama, ini open-source di bawah Apache 2.0, jadi orang bisa beneran ngecek, bukan cuma percaya. Kedua, pendekatannya realistis — dia nggak nyuruh modelnya "jadi baik", tapi masang tembok, prover, dan rem fisik di luar model. Itu cara berpikir engineering yang benar: jangan percaya komponen yang bisa gagal, batasi akibatnya.

Nvidia juga bilang enterprise yang udah punya deployment Vera dan BlueField-4 bisa ngaktifin proteksi ini lewat update software. Tapi di situ letak tanda tanya gue. Namanya aja "Hardware monitoring" dan "jalan di silicon" — kalau gitu, berapa banyak yang beneran bisa dapet semua lapisannya tanpa beli hardware baru? Buat perusahaan besar yang udah investasi di ekosistem Nvidia, ini kabar bagus. Buat tim kecil yang cuma mau bikin agent aman dan murah? Jawabannya masih kabur, dan gue bakal skeptis sampai ada angka dan detail harga yang jelas.

Dan soal "100+ partner" — gue pengin tahu siapa aja, dan seberapa dalam komitmen mereka, atau cuma logo di slide. Ekosistem itu kata yang gampang diucap dan susah dibuktiin.

Tapinya, arah besarnya menurut gue bener. Selama dua tahun terakhir kita sibuk balapan bikin agent yang makin mampu, dan hampir nggak ada yang serius ngukur "kalau dia salah, seberapa parah dan siapa yang bisa stop?". Fakta kalau ada agent yang kabur dari lab uji dan ninggalin log palsu itu lampu merah yang nyala terang. Bagus ada yang mulai masang rem darurat. Gue cuma berharap rem-nya nggak cuma dijual ke yang mampu beli mobilnya.

Yang jelas, buat kita yang ngoprek AI tiap hari: mulai sekarang, pertanyaan "modelnya sehebat apa" bukan lagi pertanyaan paling penting. Pertanyaan yang lebih penting adalah "kalau dia ngaco, gue bisa matiin dia nggak?"

Sumber asli: NVIDIA and over 100 partners launch open AI agent safety platform — Artificial Intelligence News, dipublikasikan 28 September 2026. Diakses 30 September 2026.