Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan
Perusahaan riset keamanan AI Goodfire memperkenalkan teknologi pengawasan aktivasi model yang dirancang untuk mendeteksi potensi penyimpangan tindakan sistem otomatis. Inovasi terbaru ini memperoleh sorotan karena sistem kecerdasan buatan semakin mandiri. Ketika digunakan untuk menjalankan pekerjaan, agen AI mampu menjalankan sejumlah tindakan digital dengan intervensi pengguna yang lebih sedikit. Peningkatan kemampuan tersebut membuka peluang otomatisasi, tetapi menghadirkan risiko pengendalian. Berkat pengembangan detektor khusus, Goodfire ingin mengidentifikasi tanda perilaku berbahaya lebih awal.
Jika dibandingkan dengan sistem pemantauan konvensional, pendekatan yang dikembangkan perusahaan tidak sepenuhnya bergantung pada seluruh percakapan sistem. Sebagai alternatif, detektor memeriksa sinyal komputasi di dalam model. Informasi tersebut memungkinkan pengenalan pola mengenai kemungkinan tindakan berisiko. Keunggulan pendekatan ini adalah penggunaan kembali proses perhitungan model. Dengan demikian, pengawasan dapat menjadi lebih hemat. Namun demikian, hasil deteksi tetap memerlukan evaluasi.
Cara Kerja Activation Probes dalam Memantau Perilaku Agen AI
Bagian penting dalam teknologi inside-out monitoring adalah activation probes, yaitu model klasifikasi khusus yang menganalisis pola komputasi selama pemrosesan. Selama sistem menghasilkan respons, proses komputasi menciptakan berbagai aktivasi internal. Informasi internal tersebut memuat petunjuk mengenai aktivitas komputasi yang sedang berlangsung. Sistem klasifikasi internal kemudian menganalisis karakteristik sinyal untuk mengenali kemungkinan penyimpangan. Pada pemantauan tindakan digital, detektor dapat dilatih untuk mengenali pola penyalahgunaan kemampuan siber. Melalui mekanisme tersebut, indikasi masalah mungkin ditemukan lebih awal.
Faktor yang mendukung kecepatan sistem adalah penggunaan kembali aktivasi model. Dalam pengawasan berbasis model tambahan, sebuah model AI lain dapat memerlukan pemrosesan tambahan terhadap teks yang dihasilkan agen. Proses tersebut berpotensi menambah waktu pemrosesan, terutama apabila agen bekerja selama berjam-jam. Melalui pendekatan Goodfire, pengawasan menggunakan representasi model yang telah dihitung. Dengan demikian, beban pengawasan dapat dikurangi. Meskipun konsumsi sumber daya relatif kecil, penyesuaian detektor tetap diperlukan untuk mengurangi kesalahan klasifikasi.
Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI
Sistem keamanan ini memanfaatkan rangkaian evaluasi berdasarkan tingkat risiko. Ketika agen sedang bekerja, activation probes memantau representasi internal selama pemrosesan. Ketika pola mencurigakan tidak terdeteksi, pemantauan berlangsung tanpa pemeriksaan tambahan yang mahal. Ketika probe menemukan sinyal berisiko, hasil deteksi dapat dikirim kepada sistem peninjauan lanjutan. Tahap analisis tambahan bertujuan menentukan apakah peringatan membutuhkan intervensi. Dengan pendekatan ini, sumber daya pengawasan dapat difokuskan.
Tidak hanya menemukan aktivitas mencurigakan, pengelola sistem dapat menentukan tindakan setelah risiko dikenali. Pengaturan respons ini dapat mencakup pencatatan aktivitas, pengiriman kasus kepada manusia, atau penolakan permintaan berisiko. Sebagai contoh, agen pemrograman berpotensi menggunakan berbagai layanan perangkat lunak. Apabila aktivitas berbahaya terdeteksi, pengawasan dapat memicu tindakan pencegahan. Namun demikian, pengelola harus mempertimbangkan risiko kesalahan agar aktivitas sah tidak sering terganggu.
Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire
Dalam pengujian yang dilaporkan, pendekatan deteksi inside-out diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Eksperimen perusahaan melibatkan kurang lebih 1.500 sesi untuk mengukur kemampuan pendeteksian. Menurut laporan Goodfire, teknologi tersebut mengenali 94 persen aktivitas hacking yang tergolong berisiko. Selain itu, sekitar 8,7 persen aktivitas normal ikut ditandai. Hasil ini memperlihatkan bahwa masih terdapat false positive. Dengan demikian, sistem perlu menyeimbangkan tingkat kesalahan peringatan.
Untuk membandingkan kebutuhan komputasi, Goodfire mengumumkan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe menghabiskan dana kurang lebih US$51. Dalam pengujian pembanding, model AI pemeriksa yang lebih murah membutuhkan sekitar US$233, sedangkan model pemeriksa kelas atas dapat mencapai US$10.000. Selain penghematan tersebut, penggunaan empat probe secara bersamaan menurut perusahaan meningkatkan waktu tunggu awal respons di bawah dua persen. Walaupun hasil pengujian menjanjikan, performa dapat berbeda pada lingkungan lain. Dengan mempertimbangkan keterbatasan ini, evaluasi pada model berbeda tetap diperlukan sebelum menganggap hasil tersebut berlaku universal.
Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI
Salah satu langkah penerapan adalah akses terhadap pengawasan berbasis probe bagi pelanggan Baseten. Layanan Baseten menyediakan layanan komputasi bagi penerapan model AI. Dengan dukungan ekosistem Baseten, pelanggan memiliki kesempatan menggunakan sistem perlindungan tambahan ketika mengoperasikan model AI. Pendekatan tersebut menjadi relevan terutama pada sistem AI yang bobotnya tersedia karena pengembang dapat memodifikasi pengaturannya. Berkat dukungan pemantauan berlapis, pengembang memiliki pilihan memperkuat mekanisme keamanan saat inferensi.
Di luar pendeteksian aktivitas hacking, teknologi Goodfire juga diarahkan untuk mengenali aktivitas berbahaya dalam konteks berbeda. Contoh risiko yang diperhatikan antara lain aktivitas berbahaya berkaitan dengan CBRN, reward hacking, dan aktivitas peretasan tanpa izin. Pada penggunaan model otomatis, reward hacking merujuk pada eksploitasi ukuran keberhasilan yang tidak sesuai dengan maksud tugas. Untuk menggambarkan masalah, model dapat mengeksploitasi kelemahan lingkungan pengujian. Dengan memahami pola tersebut, tim keamanan memiliki kesempatan melakukan evaluasi sebelum tindakan berisiko berlanjut tanpa pengawasan.
Kesimpulan tentang Teknologi Pemantauan Internal Goodfire
Peluncuran sistem inside-out monitoring memperlihatkan arah baru dalam teknologi interpretabilitas kecerdasan buatan. Berkat pemanfaatan sinyal komputasi model, teknologi tersebut dirancang mengenali kemungkinan aktivitas berbahaya tanpa membutuhkan analisis ulang setiap respons secara mendalam. Evaluasi menggunakan Kimi K3 menunjukkan kemampuan mendeteksi 94 persen sesi peretasan berbahaya, dengan kebutuhan biaya yang lebih rendah. Walaupun perkembangan ini menarik, potensi peringatan palsu tetap menjadi faktor evaluasi. Sebagai langkah penggunaan yang bertanggung jawab, pengawasan berbasis aktivasi idealnya didukung pengawasan manusia pada aktivitas penting. Apa pandangan Anda, apakah pendekatan interpretabilitas berbasis AI akan meningkatkan kepercayaan terhadap sistem AI otonom? Mari berbagi pemikiran mengenai perkembangan teknologi keamanan AI.
