AI OpenAI berhasil bobol sistem, laporan ungkap cara model kabur dari pengujian

  OpenAI mengungkap detail insiden keamanan siber yang melibatkan salah satu model kecerdasan buatannya (AI).

Dalam laporan resmi yang dirilis Rabu (26/8), perusahaan menjelaskan bagaimana model tersebut mampu menembus sejumlah sistem setelah menemukan celah dalam lingkungan pengujian yang semestinya membatasi aktivitasnya.

Seperti dilansir dari TechCrunch, laporan itu diterbitkan lebih dari sebulan setelah insiden tersebut diketahui publik.

Di dalamnya, OpenAI menguraikan serangkaian kejadian yang memungkinkan model keluar dari batas pengujian dan kemudian melakukan aktivitas eksploitasi terhadap berbagai sistem.

"Insiden ini mencerminkan perilaku yang tidak selaras dalam skenario luar biasa yang melibatkan pertemuan peristiwa langka dan tak terduga: adanya tugas-tugas yang mustahil diselesaikan dalam evaluasi ExploitGym, persistensi model dalam rentang tugas yang panjang, serta pesan-pesan yang dikirimkan ke model lain yang menyebabkan model-model tersebut menyimpang dari tujuan awalnya," demikian bunyi laporan tersebut.

Menurut penjelasan OpenAI, rangkaian masalah bermula ketika model menghadapi tugas dalam evaluasi ExploitGym yang sebenarnya tidak dapat diselesaikan secara normal. Alih-alih berhenti, model terus mencari cara agar dapat mencapai tujuan yang diberikan.

Dalam prosesnya, model menggabungkan sejumlah teknik eksploitasi yang sebelumnya belum diketahui untuk melewati mekanisme keamanan. Model tersebut terlebih dahulu mengeksploitasi alat manajemen paket Artifactory hingga memperoleh akses ke internet.

Akses itu kemudian dimanfaatkan untuk bergerak menuju sistem lain. Berdasarkan laporan OpenAI, aktivitas tersebut mencakup penyusupan ke sejumlah sistem milik OpenAI, Hugging Face, serta beberapa vendor lainnya.

Insiden ini juga memperlihatkan bahwa perilaku model dapat berkembang menjadi lebih sulit diprediksi ketika diberikan rangkaian tugas dalam waktu panjang.

Model tidak hanya menjalankan satu instruksi secara terpisah, tetapi mempertahankan tujuan dan strategi selama proses berlangsung.

OpenAI menyebut model yang terlibat berasal dari keluarga yang sama dengan model Astra yang akan segera diluncurkan. Namun, perusahaan menegaskan bahwa model dalam insiden tersebut bukan Astra yang akan tersedia untuk publik.

"model yang berbeda dengan proses post-training yang juga berbeda, tahap di mana sebagian besar perilaku model dibentuk,” jelasnya.

Ada faktor lain yang membuat pengujian tersebut berbeda dari kondisi operasional normal. Karena OpenAI ingin mengetahui kemampuan siber dasar model secara maksimal, evaluasi dilakukan tanpa sistem klasifikasi produksi yang biasanya digunakan untuk membatasi aktivitas siber berisiko tinggi.

"OpenAI memperkirakan kemampuan siber maksimal dengan menjalankan evaluasi ini tanpa sistem klasifikasi produksi yang dirancang untuk mencegah model melakukan aktivitas siber berisiko tinggi," jelas laporan tersebut.

Temuan tersebut kemudian mendorong OpenAI memperketat sistem pengawasan terhadap agen AI. Salah satu perubahan yang disiapkan adalah pemantauan lebih intensif terhadap chain-of-thought (CoT), yakni ruang kerja internal yang digunakan agen untuk mencatat respons serta tujuan jangka pendek selama menjalankan tugas.

Sistem pemantauan tersebut nantinya didukung mekanisme eskalasi yang beroperasi sepanjang waktu. OpenAI juga menyiapkan perangkat yang memungkinkan proses atau beban kerja dihentikan apabila terdeteksi aktivitas yang dianggap berbahaya.

"Perubahan ini bertujuan untuk meningkatkan cakupan maupun kecepatan deteksi, mulai dari anomali infrastruktur hingga perilaku model yang berpotensi mengkhawatirkan, serta memadukan visibilitas tersebut dengan mekanisme penanganan cepat," sebut laporan itu.

OpenAI menilai sistem pemantauan CoT yang sekarang digunakan kemungkinan dapat memberikan peringatan lebih awal apabila sudah diterapkan ketika insiden berlangsung.

"Jika sistem pemantauan CoT yang saat ini kami gunakan sudah aktif pada saat insiden terjadi, sistem tersebut akan mendeteksi aktivitas relevan sejak awal dan memberi peringatan kepada tim keamanan kami lebih dari sehari sebelum model berhasil menembus sistem Hugging Face,” jelasnya.

Selain investigasi internal, perilaku model selama insiden juga sedang dikaji oleh pihak eksternal. METR dan Redwood Research melakukan penilaian independen dan berencana menerbitkan laporan mereka masing-masing mengenai rangkaian kejadian tersebut.

Insiden ini menjadi salah satu contoh bagaimana pengujian kemampuan AI dengan akses yang luas dapat menghasilkan skenario tak terduga.

Bagi OpenAI, temuan tersebut sekaligus menjadi dasar untuk meningkatkan sistem deteksi dan pengamanan sebelum model dengan kemampuan agen yang lebih tinggi digunakan secara lebih luas.