Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan
Perusahaan pengembang teknologi interpretabilitas AI Goodfire meluncurkan pendekatan inside-out monitoring yang dikembangkan guna mengenali perilaku agen AI berisiko. Inovasi terbaru ini memperoleh sorotan karena kemampuan agen AI terus meningkat. Dalam berbagai aplikasi, agen AI berpotensi menyelesaikan tugas bertahap dengan tingkat otomatisasi yang semakin tinggi. Peningkatan kemampuan tersebut memberikan manfaat produktivitas, tetapi juga menimbulkan tantangan keamanan. Melalui teknologi terbarunya, Goodfire berupaya mengenali indikasi penyimpangan ketika model bekerja.
Jika dibandingkan dengan sistem pemantauan konvensional, teknologi Goodfire tidak sepenuhnya bergantung pada respons akhir agen AI. Sebaliknya, teknologi tersebut membaca sinyal komputasi di dalam model. Sinyal internal ini dapat memberikan petunjuk mengenai kemungkinan tindakan berisiko. Nilai tambah teknologi tersebut adalah pemantauan tanpa menjalankan pemeriksaan penuh secara terus-menerus. Berkat cara kerja ini, biaya pemantauan berpotensi berkurang. Namun demikian, hasil deteksi tetap memerlukan evaluasi.
Teknologi Interpretabilitas Membaca Sinyal Internal Model AI
Komponen utama dalam pendekatan pengawasan aktivasi adalah activation probes, yaitu detektor berukuran kecil yang membaca pola komputasi selama pemrosesan. Saat model memproses instruksi, model menghasilkan sejumlah representasi numerik. Aktivasi yang terbentuk berkaitan dengan proses pengolahan informasi. Sistem klasifikasi internal kemudian mencari indikasi dalam representasi tersebut untuk mengenali kemungkinan penyimpangan. Pada pemantauan tindakan digital, probe berpotensi dirancang mendeteksi pola penyalahgunaan kemampuan siber. Berkat pemeriksaan aktivasi, indikasi masalah mungkin ditemukan lebih awal.
Salah satu alasan efisiensinya adalah analisis sinyal yang sudah dihasilkan jaringan saraf. Ketika memakai sistem evaluasi eksternal, sebuah model AI lain sering harus membaca ulang riwayat tindakan model. Pendekatan pemeriksaan ulang ini memerlukan sumber daya komputasi lebih besar, terutama apabila model memproses informasi dalam jumlah besar. Melalui pendekatan Goodfire, pengawasan menggunakan representasi model yang telah dihitung. Oleh karena itu, beban pengawasan dapat dikurangi. Meskipun konsumsi sumber daya relatif kecil, kualitas probe harus dievaluasi untuk menjaga relevansi hasil.
Kombinasi Probe dan Model Pemeriksa Tambahan dalam Keamanan AI
Pendekatan pemantauan tersebut menggunakan mekanisme pengawasan bertahap. Pada tahap awal, detektor internal memeriksa aktivasi pada berbagai langkah. Ketika pola mencurigakan tidak terdeteksi, sistem dapat melanjutkan proses. Sebaliknya, aktivitas tersebut dapat diteruskan kepada komponen evaluasi yang lebih mendalam. Evaluasi berikutnya bertujuan menentukan apakah aktivitas memerlukan tindakan perlindungan. Melalui sistem bertahap tersebut, sumber daya pengawasan dapat difokuskan.
Selain melakukan deteksi, administrator berkesempatan mengatur tindakan setelah risiko dikenali. Pengaturan respons ini meliputi logging untuk pemeriksaan, pengiriman kasus kepada manusia, atau penghentian tindakan tertentu. Sebagai contoh, agen pemrograman mungkin memperoleh akses lingkungan pengujian. Jika terdapat indikasi tindakan tidak sah, akses tertentu bisa ditinjau sebelum dilanjutkan. Meskipun mekanisme perlindungan berlapis bermanfaat, ambang deteksi perlu ditetapkan dengan hati-hati agar aktivitas sah tidak sering terganggu.
Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire
Berdasarkan evaluasi internal perusahaan, sistem pengawasan aktivasi internal dievaluasi pada model AI terbuka Kimi K3. Eksperimen perusahaan mencakup sekitar 1.500 sesi untuk memeriksa kinerja detektor. Berdasarkan angka yang diumumkan, probe mampu menandai 94 persen sesi dengan tindakan siber berbahaya. Sebagai hasil evaluasi tambahan, sekitar 8,7 persen aktivitas normal memerlukan pemeriksaan lanjutan. Angka tersebut memperlihatkan bahwa masih terdapat peringatan yang tidak tepat. Karena kondisi tersebut, administrator perlu mengevaluasi tingkat kesalahan peringatan.
Dari sisi biaya, Goodfire mengumumkan bahwa pemantauan sekitar 1.500 sesi menggunakan probe membutuhkan biaya sekitar US$51. Jika menggunakan pendekatan lain, sistem pengawasan berbasis model berbiaya rendah menghabiskan dana sekitar US$233, sedangkan pengawasan menggunakan model premium dapat mencapai US$10.000. Sebagai aspek performa tambahan, pemantauan menggunakan empat klasifikasi sekaligus dilaporkan menambah waktu tunggu awal respons di bawah dua persen. Namun demikian, performa dapat berbeda pada lingkungan lain. Oleh sebab itu, validasi tambahan sebaiknya dilakukan sebelum menentukan tingkat keandalan umum.
Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang
Perkembangan komersial sistem tersebut adalah akses terhadap pengawasan berbasis probe bagi pengguna platform penyedia model AI Baseten. Layanan Baseten menyediakan layanan komputasi bagi penerapan model AI. Dengan dukungan ekosistem Baseten, pelanggan memiliki kesempatan menggunakan pengawasan aktivasi internal ketika menerapkan layanan kecerdasan buatan. Pendekatan tersebut memiliki manfaat potensial terutama pada open-weight models karena mekanisme perlindungan bawaan mungkin berbeda antarpenyedia. Dengan demikian, penyedia layanan AI dapat mengembangkan pengendalian risiko ketika model digunakan.
Tidak hanya untuk mengawasi risiko peretasan, pendekatan interpretabilitas model dikembangkan agar dapat memantau beragam pola penyalahgunaan. Contoh risiko yang diperhatikan mencakup risiko keselamatan kimia serta biologi, manipulasi sistem penghargaan, dan penyalahgunaan kemampuan keamanan komputer. Pada penggunaan model otomatis, reward hacking terjadi ketika model mencari cara memenuhi penilaian tanpa menyelesaikan tujuan sebenarnya. Dalam skenario pengujian, agen mungkin mencoba memanipulasi hasil evaluasi. Melalui deteksi risiko secara dini, tim keamanan memiliki kesempatan melakukan evaluasi sebelum tindakan berisiko berlanjut tanpa pengawasan.
Masa Depan Keamanan Agen AI melalui Sistem Activation Probes
Peluncuran pendekatan pengawasan berbasis activation probes menunjukkan inovasi menarik dalam teknologi pengawasan model otomatis. Melalui pemeriksaan sinyal komputasi model, teknologi tersebut dirancang mengenali indikasi perilaku berisiko tanpa membutuhkan analisis ulang setiap respons secara mendalam. Evaluasi menggunakan Kimi K3 melaporkan keberhasilan mengenali 94 persen aktivitas hacking berisiko, dengan efisiensi komputasi dibandingkan pendekatan pembanding. Walaupun perkembangan ini menarik, perbedaan karakteristik antar-model tetap perlu diperhatikan. Sebagai langkah penggunaan yang bertanggung jawab, pengawasan berbasis aktivasi idealnya didukung pengawasan manusia pada aktivitas penting. Apa pandangan Anda, apakah pendekatan interpretabilitas berbasis AI akan meningkatkan kepercayaan terhadap sistem AI otonom? Mari berbagi pemikiran mengenai perkembangan teknologi keamanan AI.
