Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Goodfire Memperkenalkan Teknologi Pemantauan Internal Agen AI
Startup yang berfokus pada pemahaman model kecerdasan buatan Goodfire meluncurkan teknologi pengawasan aktivasi model yang dirancang untuk mendeteksi aktivitas kecerdasan buatan yang mencurigakan. Inovasi terbaru ini memperoleh sorotan karena kemampuan agen AI terus meningkat. Ketika digunakan untuk menjalankan pekerjaan, agen AI dapat mengoperasikan perangkat lunak dengan intervensi pengguna yang lebih sedikit. Kondisi tersebut mendukung efisiensi pekerjaan, tetapi memerlukan sistem perlindungan tambahan. Melalui teknologi terbarunya, Goodfire ingin mengidentifikasi aktivitas mencurigakan sebelum tindakan terjadi.
Tidak seperti pendekatan pemeriksaan keluaran, sistem pemantauan internal ini tidak selalu memerlukan pemeriksaan terhadap teks yang dihasilkan model. Melalui pendekatan berbeda, sistem menganalisis representasi numerik yang muncul selama pemrosesan. Data aktivasi tersebut berpotensi memperlihatkan indikasi mengenai aktivitas yang sedang diproses. Nilai tambah teknologi tersebut adalah penggunaan kembali proses perhitungan model. Dengan demikian, pengawasan dapat menjadi lebih hemat. Namun demikian, kemampuan sistem perlu diuji pada berbagai kondisi.
Teknologi Interpretabilitas Membaca Sinyal Internal Model AI
Bagian penting dalam teknologi inside-out monitoring adalah activation probes, yaitu sistem pemeriksa sederhana yang memeriksa pola komputasi selama pemrosesan. Ketika agen AI menjalankan tugas, model menghasilkan sejumlah representasi numerik. Sinyal tersebut dapat mencerminkan aktivitas komputasi yang sedang berlangsung. Activation probes kemudian menganalisis karakteristik sinyal untuk mengenali kemungkinan penyimpangan. Dalam penerapan keamanan, probe berpotensi dirancang mendeteksi sinyal yang berkaitan dengan tindakan tidak aman. Melalui mekanisme tersebut, pengawasan tidak harus menunggu seluruh respons selesai.
Salah satu alasan efisiensinya adalah analisis sinyal yang sudah dihasilkan jaringan saraf. Ketika memakai sistem evaluasi eksternal, pemeriksa kecerdasan buatan terpisah dapat memerlukan pemrosesan tambahan terhadap riwayat tindakan model. Pendekatan pemeriksaan ulang ini dapat meningkatkan biaya, terutama apabila model memproses informasi dalam jumlah besar. Sebaliknya, detektor cukup memanfaatkan aktivasi selama proses komputasi. Oleh karena itu, kebutuhan komputasi tambahan berpotensi lebih rendah. Sekalipun metode tersebut dirancang hemat, pemilihan sinyal internal perlu diperhatikan untuk memastikan pengawasan sesuai risiko.
Sistem Pengawasan Berlapis Membantu Memeriksa Aktivitas AI Mencurigakan
Pendekatan pemantauan tersebut menggunakan rangkaian evaluasi berdasarkan tingkat risiko. Dalam pemeriksaan pertama, detektor internal memeriksa representasi internal selama pemrosesan. Ketika pola mencurigakan tidak terdeteksi, agen berpotensi tetap menjalankan tugas. Ketika probe menemukan sinyal berisiko, aktivitas tersebut dapat diteruskan kepada model pemeriksa tambahan. Evaluasi berikutnya digunakan untuk memeriksa apakah indikasi tersebut benar-benar berbahaya. Berkat mekanisme eskalasi, sumber daya pengawasan dapat difokuskan.
Selain melakukan deteksi, pengelola sistem dapat menentukan tindakan setelah risiko dikenali. Pilihan tersebut meliputi pencatatan aktivitas, permintaan peninjauan manual, atau pemblokiran aktivitas yang melanggar kebijakan. Dalam lingkungan perusahaan, sistem otomatis yang dapat menggunakan alat dapat memiliki kewenangan lingkungan pengujian. Ketika sistem mengenali kemungkinan penyimpangan, akses tertentu bisa ditinjau sebelum dilanjutkan. Meskipun mekanisme perlindungan berlapis bermanfaat, kebijakan penanganan harus disesuaikan agar aktivitas sah tidak sering terganggu.
Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire
Berdasarkan evaluasi internal perusahaan, pendekatan deteksi inside-out dievaluasi pada model AI terbuka Kimi K3. Evaluasi teknis ini melibatkan kurang lebih 1.500 sesi untuk memeriksa kinerja detektor. Menurut laporan Goodfire, probe mampu menandai 94 persen aktivitas hacking yang tergolong berisiko. Sebagai hasil evaluasi tambahan, sekitar 8,7 persen aktivitas tidak berbahaya ikut ditandai. Data pengujian tersebut memperlihatkan bahwa masih terdapat kesalahan penandaan terhadap aktivitas aman. Oleh sebab itu, pengembang harus mempertimbangkan efektivitas dan kenyamanan penggunaan.
Untuk membandingkan kebutuhan komputasi, Goodfire melaporkan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe memerlukan pengeluaran sekitar US$51. Dalam pengujian pembanding, model tambahan kelas ringan menghabiskan dana sekitar US$233, sedangkan sistem evaluasi berbasis AI berkemampuan tinggi menghabiskan biaya mendekati US$10.000. Di samping perbedaan biaya, pemantauan menggunakan empat klasifikasi sekaligus dalam pengujian memberikan tambahan latensi waktu menuju respons pertama kurang dari 2 persen. Namun demikian, performa dapat berbeda pada lingkungan lain. Karena alasan tersebut, validasi tambahan sebaiknya dilakukan sebelum menentukan tingkat keandalan umum.
Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI
Bagian penting dari peluncuran adalah penggunaan sistem monitoring internal bagi organisasi yang menjalankan model melalui Baseten. Platform Baseten berperan sebagai sistem untuk menjalankan model kecerdasan buatan. Berkat integrasi layanan, pelanggan memiliki kesempatan menggunakan sistem perlindungan tambahan ketika menerapkan layanan kecerdasan buatan. Teknologi Goodfire menjadi relevan terutama pada model terbuka karena mekanisme perlindungan bawaan mungkin berbeda antarpenyedia. Melalui penerapan pengawasan tambahan, penyedia layanan AI dapat mengembangkan pengendalian risiko ketika model digunakan.
Tidak hanya untuk mengawasi risiko peretasan, sistem klasifikasi aktivasi juga diarahkan untuk mengenali jenis risiko lainnya. Contoh risiko yang diperhatikan antara lain aktivitas berbahaya berkaitan dengan CBRN, manipulasi sistem penghargaan, dan tindakan siber yang melanggar kebijakan. Pada penggunaan model otomatis, reward hacking terjadi ketika model mencari cara memenuhi penilaian tanpa menyelesaikan tujuan sebenarnya. Sebagai contoh, model dapat mengeksploitasi kelemahan lingkungan pengujian. Berkat pemantauan perilaku internal, administrator berpotensi mengetahui tanda masalah sebelum tindakan berisiko berlanjut tanpa pengawasan.
Masa Depan Keamanan Agen AI melalui Sistem Activation Probes
Pengenalan sistem inside-out monitoring memperlihatkan arah baru dalam teknologi keamanan agen AI. Melalui pemeriksaan representasi numerik selama pemrosesan, detektor memungkinkan identifikasi indikasi perilaku berisiko tanpa harus memeriksa seluruh keluaran menggunakan model besar. Evaluasi menggunakan Kimi K3 melaporkan keberhasilan mengenali 94 persen sesi dengan tindakan siber mencurigakan, dengan pengeluaran pemantauan yang relatif kecil. Walaupun perkembangan ini menarik, perbedaan karakteristik antar-model tetap harus dipertimbangkan. Sebagai langkah penggunaan yang bertanggung jawab, sistem probe perlu diterapkan bersama pengawasan manusia pada aktivitas penting. Bagaimana pendapat Anda, apakah teknologi activation probes akan membantu mengurangi penyalahgunaan kecerdasan buatan? Jangan ragu menyampaikan pandangan mengenai pentingnya pengawasan agen otomatis.
