Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Goodfire Memperkenalkan Teknologi Pemantauan Internal Agen AI
Perusahaan pengembang teknologi interpretabilitas AI Goodfire meluncurkan teknologi pengawasan aktivasi model yang dikembangkan guna mengenali perilaku agen AI berisiko. Pengembangan tersebut menjadi perhatian karena sistem kecerdasan buatan semakin mandiri. Pada lingkungan komputasi modern, agen AI mampu menjalankan sejumlah tindakan digital dengan tingkat otomatisasi yang semakin tinggi. Kondisi tersebut membuka peluang otomatisasi, tetapi juga menimbulkan tantangan keamanan. Dengan pendekatan pemantauan internal, Goodfire mengembangkan kemampuan mendeteksi tanda perilaku berbahaya lebih awal.
Tidak seperti pendekatan pemeriksaan keluaran, sistem pemantauan internal ini tidak sepenuhnya bergantung pada seluruh percakapan sistem. Sebagai alternatif, sistem menganalisis sinyal komputasi di dalam model. Informasi tersebut dapat memberikan petunjuk mengenai kemungkinan tindakan berisiko. Keunggulan pendekatan ini adalah penggunaan kembali proses perhitungan model. Berkat cara kerja ini, pengawasan dapat menjadi lebih hemat. Meskipun pendekatan ini menjanjikan, kemampuan sistem perlu diuji pada berbagai kondisi.
Teknologi Interpretabilitas Membaca Sinyal Internal Model AI
Bagian penting dalam teknologi inside-out monitoring adalah activation probes, yaitu sistem pemeriksa sederhana yang membaca representasi numerik jaringan saraf. Ketika agen AI menjalankan tugas, proses komputasi menciptakan berbagai aktivasi internal. Aktivasi yang terbentuk memuat petunjuk mengenai proses pengolahan informasi. Sistem klasifikasi internal kemudian menganalisis karakteristik sinyal untuk mendeteksi aktivitas berisiko. Pada pemantauan tindakan digital, probe berpotensi dirancang mendeteksi indikasi aktivitas peretasan berbahaya. Dengan pemrosesan semacam ini, indikasi masalah mungkin ditemukan lebih awal.
Faktor yang mendukung kecepatan sistem adalah penggunaan kembali aktivasi model. Dalam pengawasan berbasis model tambahan, sebuah model AI lain perlu menganalisis kembali rangkaian percakapan yang panjang. Metode pengawasan tambahan tersebut berpotensi menambah waktu pemrosesan, terutama apabila agen bekerja selama berjam-jam. Dengan menggunakan activation probes, sistem dapat menganalisis sinyal internal yang tersedia. Berkat mekanisme tersebut, proses pemantauan dapat dilakukan lebih efisien. Sekalipun metode tersebut dirancang hemat, penyesuaian detektor tetap diperlukan untuk memastikan pengawasan sesuai risiko.
Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI
Pendekatan pemantauan tersebut menggunakan rangkaian evaluasi berdasarkan tingkat risiko. Ketika agen sedang bekerja, detektor internal memeriksa aktivasi pada berbagai langkah. Ketika pola mencurigakan tidak terdeteksi, sistem dapat melanjutkan proses. Ketika probe menemukan sinyal berisiko, sistem berpotensi melakukan eskalasi kepada model pemeriksa tambahan. Tahap analisis tambahan membantu menilai apakah aktivitas memerlukan tindakan perlindungan. Melalui sistem bertahap tersebut, sumber daya pengawasan dapat difokuskan.
Di samping mengidentifikasi risiko, administrator berkesempatan mengatur tindakan setelah risiko dikenali. Pengaturan respons ini dapat mencakup pencatatan aktivitas, eskalasi ke petugas keamanan, atau pemblokiran aktivitas yang melanggar kebijakan. Sebagai contoh, asisten digital pengembang berpotensi menggunakan repositori kode. Ketika sistem mengenali kemungkinan penyimpangan, administrator dapat meminta pemeriksaan. Namun demikian, kebijakan penanganan harus disesuaikan agar pengguna tidak terlalu banyak menerima peringatan palsu.
Pengujian Goodfire pada Kimi K3 Menunjukkan Kemampuan Deteksi Tinggi
Menurut hasil eksperimen Goodfire, sistem pengawasan aktivasi internal diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Pengujian tersebut melibatkan kurang lebih 1.500 sesi untuk memeriksa kinerja detektor. Mengacu pada hasil yang dipublikasikan, sistem berhasil mendeteksi 94 persen sesi dengan tindakan siber berbahaya. Sebagai hasil evaluasi tambahan, sekitar 8,7 persen aktivitas tidak berbahaya memerlukan pemeriksaan lanjutan. Angka tersebut memperlihatkan bahwa masih terdapat peringatan yang tidak tepat. Karena kondisi tersebut, administrator perlu mengevaluasi efektivitas dan kenyamanan penggunaan.
Dari sisi biaya, Goodfire mengumumkan bahwa evaluasi sejumlah 1.500 sesi model menggunakan probe menghabiskan dana kurang lebih US$51. Sebagai perbandingan, model AI pemeriksa yang lebih murah menghabiskan dana sekitar US$233, sedangkan pengawasan menggunakan model premium dapat mencapai US$10.000. Sebagai aspek performa tambahan, penggunaan empat probe secara bersamaan dalam pengujian memberikan tambahan waktu tunggu awal respons di bawah dua persen. Meskipun angka tersebut menarik, data tersebut berasal dari evaluasi tertentu. Dengan mempertimbangkan keterbatasan ini, validasi tambahan sebaiknya dilakukan sebelum menentukan tingkat keandalan umum.
Teknologi Internal Monitoring Mendukung Infrastruktur Model AI Terbuka
Perkembangan komersial sistem tersebut adalah akses terhadap pengawasan berbasis probe bagi pelanggan Baseten. Baseten merupakan infrastruktur hosting dan inferensi AI. Dengan dukungan ekosistem Baseten, pengembang dapat memanfaatkan pengawasan aktivasi internal ketika menjalankan agen otomatis. Pendekatan tersebut memiliki manfaat potensial terutama pada model terbuka karena mekanisme perlindungan bawaan mungkin berbeda antarpenyedia. Berkat dukungan pemantauan berlapis, penyedia layanan AI dapat mengembangkan mekanisme keamanan saat inferensi.
Selain pemantauan keamanan siber, sistem klasifikasi aktivasi memiliki potensi digunakan pada beragam pola penyalahgunaan. Kategori tersebut meliputi penyalahgunaan terkait senjata kimia dan biologis, reward hacking, dan penyalahgunaan kemampuan keamanan komputer. Ketika sistem kecerdasan buatan menjalankan tugas, reward hacking terjadi ketika model mencari cara memenuhi penilaian tanpa menyelesaikan tujuan sebenarnya. Untuk menggambarkan masalah, agen mungkin mencoba memanipulasi hasil evaluasi. Berkat pemantauan perilaku internal, administrator berpotensi mengetahui tanda masalah sebelum tindakan berisiko berlanjut tanpa pengawasan.
Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan
Pengembangan teknologi pemantauan internal Goodfire menunjukkan inovasi menarik dalam teknologi pengawasan model otomatis. Dengan menganalisis aktivasi internal jaringan saraf, sistem berupaya mendeteksi kemungkinan aktivitas berbahaya tanpa selalu menjalankan pengawas AI berbiaya tinggi. Evaluasi menggunakan Kimi K3 melaporkan keberhasilan mengenali 94 persen sesi dengan tindakan siber mencurigakan, dengan kebutuhan biaya yang lebih rendah. Meskipun hasilnya menjanjikan, perbedaan karakteristik antar-model tetap menjadi faktor evaluasi. Sebagai langkah penggunaan yang bertanggung jawab, sistem probe perlu diterapkan bersama pengawasan manusia pada aktivitas penting. Bagaimana pendapat Anda, apakah sistem pemantauan internal Goodfire akan menjadi standar keamanan agen AI masa depan? Jangan ragu menyampaikan pandangan mengenai masa depan sistem kecerdasan buatan yang lebih aman.
