Peneliti Google Kembangkan Kerangka Sleep agar Model AI Dapat Mempertahankan Pengetahuan Lama

Google Research memperkenalkan pendekatan baru dalam pengembangan kecerdasan buatan melalui kerangka Sleep yang dirancang untuk membantu model AI mempelajari informasi baru tanpa mudah melupakan pengetahuan sebelumnya. Penelitian yang dipublikasikan pada 27 Oktober 2026 ini berfokus pada masalah catastrophic forgetting, yaitu penurunan kemampuan model ketika mempelajari tugas atau informasi tambahan. Terinspirasi dari proses konsolidasi ingatan manusia saat tidur, kerangka Sleep menggabungkan pembelajaran aktif dan penguatan memori secara berkala. Inovasi TEKNOLOGI tersebut membuka peluang pengembangan model bahasa besar yang lebih adaptif, mampu mempertahankan pengetahuan jangka panjang, serta meningkatkan kemampuan penalaran melalui proses pembelajaran berkelanjutan.
research.google+1

Inovasi Sleep Membantu Model Bahasa Mempertahankan Pengetahuan

Para ilmuwan Google Research mengusulkan kerangka pembelajaran bernama Sleep untuk meningkatkan kemampuan model AI dalam menyimpan pengetahuan. Inovasi kecerdasan buatan tersebut diumumkan dalam pembahasan penelitian Oktober 2026 oleh Ali Behrouz dan Vahab Mirrokni. Fokus utama penelitian adalah memungkinkan sistem AI menyerap pengetahuan baru secara berkelanjutan. Pada sebagian besar model bahasa modern, kemampuan dasar dikembangkan sebelum sistem digunakan. Ketika proses pelatihan utama selesai, informasi terbaru tidak otomatis masuk ke parameter model. Sistem pembelajaran tersebut bertujuan membantu mengintegrasikan informasi baru secara lebih stabil.

Tantangan yang menjadi perhatian utama adalah catastrophic forgetting. Kondisi ini muncul ketika model mempelajari tugas lain melalui penyesuaian bobot. Dalam beberapa keadaan, pengetahuan sebelumnya dapat terganggu. Untuk menggambarkan situasinya, sistem AI yang menerima informasi tambahan mungkin kehilangan sebagian keterampilan yang telah dikuasai. Sistem baru ini dirancang menghadapi risiko itu melalui pengaturan waktu pembelajaran yang berbeda. Berkat pengelolaan memori yang lebih terstruktur, proses adaptasi dapat berlangsung dengan gangguan lebih kecil.

Mekanisme Pembelajaran Aktif serta Konsolidasi Memori AI

Sistem pengelolaan memori AI tersebut menerapkan siklus aktivitas dengan tahapan berbeda, yaitu fase wake dan sleep. Ketika sistem berada dalam kondisi aktif, model menerima dan memproses informasi pengguna. Pengetahuan baru selama interaksi dapat disimpan dalam komponen memori sementara. Periode pemrosesan langsung tersebut menggambarkan kondisi ketika sistem memperoleh informasi. Namun demikian, istilah wake hanya menggambarkan keadaan komputasi tertentu. Siklus pemrosesan tersebut dikendalikan melalui prosedur pembelajaran yang ditentukan.

Ketika memasuki fase sleep, aktivitas menerima masukan baru dihentikan sementara. Kemampuan pemrosesan selanjutnya diarahkan menuju pembelajaran jangka panjang. Selama tahapan konsolidasi, memori baru diperkuat melalui penyesuaian bobot tertentu. Sistem pengelolaan tersebut terinspirasi dari konsolidasi ingatan manusia. Perlu dipahami bahwa, proses tersebut berlangsung melalui algoritma pelatihan. Melalui pembagian aktivitas tersebut, pembelajaran dapat dikelola dalam periode khusus. Keterbatasannya adalah kebutuhan waktu komputasi tambahan selama fase offline.

Memory Consolidation Menggunakan Mixture of Experts dan Knowledge Seeding

Proses konsolidasi memori merupakan komponen utama pendekatan Google Research. Pada tahap tersebut, pembelajaran dilakukan melalui komponen MoE. Arsitektur ini memungkinkan penggunaan sejumlah modul ahli. Sistem tersebut menerapkan pengaktifan blok parameter tambahan agar informasi baru memperoleh ruang penyimpanan. Modul memori baru tersebut dirancang melalui representasi berperingkat rendah untuk menyimpan pembaruan secara lebih ringkas. Berkat pembagian kapasitas ini, pembaruan informasi dapat dilakukan secara lebih terarah.

Selain penambahan kapasitas, sistem menggunakan proses knowledge seeding. Pendekatan penguatan memori tersebut bertujuan memindahkan pengetahuan sementara menuju parameter jangka panjang. Pada mekanisme yang dijelaskan, peneliti menerapkan teknik distilasi pengetahuan umum bersama pembelajaran imitasi berbasis reinforcement learning. Informasi yang dipelajari memperhitungkan karakteristik semantik respons. Setelah proses selesai, parameter memori sementara tertentu dapat diatur ulang melalui tahapan pemangkasan sinaptik secara komputasional. Langkah tersebut mempersiapkan sistem menerima informasi berikutnya.

Simulasi Pengalaman Sintetis dalam Kerangka Sleep Google

Tidak hanya berfokus pada penyimpanan informasi, kerangka Sleep menghadirkan fase dreaming. Tahap yang disebut dreaming menggambarkan aktivitas menghasilkan latihan buatan. Dalam tahapan dreaming, AI menyusun skenario pembelajaran buatan untuk mencoba kombinasi informasi yang berbeda. Metode penting dalam proses tersebut adalah aktivasi acak sejumlah komponen MoE. Melalui metode tersebut, latihan sintetis dapat mencakup kombinasi pengetahuan yang beragam. Mekanisme simulasi tersebut dirancang memperluas variasi pengalaman pembelajaran.

Data sintetis yang dihasilkan disaring berdasarkan potensi manfaatnya. Kerangka Sleep memanfaatkan pemilihan data berbasis gradien untuk memprioritaskan data dengan sinyal pembelajaran tinggi. Sesudah data latihan dievaluasi, sistem menggunakan penyesuaian model berbasis contoh terpilih. Penguatan tambahan juga menggunakan metode pembelajaran penguatan untuk memperbaiki kemampuan pada tugas tertentu. Namun demikian, data sintetis tetap harus dinilai kualitasnya. Jika informasi keliru digunakan kembali, kualitas pengetahuan justru bisa menurun. Dengan mempertimbangkan risiko tersebut, evaluasi kemampuan lama serta baru tetap diperlukan.

Kerangka Sleep Diuji pada Konteks Panjang dan Pembelajaran Berkelanjutan

Berdasarkan evaluasi yang dipublikasikan, pendekatan baru ini memberikan peningkatan dalam sejumlah tugas. Salah satu pengujian penting berkaitan dengan pemahaman konteks panjang. Melalui benchmark BABILong, sistem menunjukkan hasil pada konteks mencapai sepuluh juta token. Hasil tersebut menunjukkan kemampuan menyerap konteks panjang melalui pembelajaran offline. Walaupun angka tersebut besar, pengujian benchmark tidak sama dengan ingatan sempurna dalam semua situasi. Karena itu, hasil penelitian perlu dipahami sesuai konteks pengujiannya.

Sebagai bagian dari penelitian yang lebih luas, kerangka Sleep diuji pada pembelajaran bahasa. Melalui evaluasi penerjemahan bertahap, AI menerima tugas penerjemahan baru dalam beberapa tahap. Tim peneliti menyampaikan, proses pembelajaran menunjukkan gangguan minimal pada tugas terdahulu. Sebagai pengujian lain digunakan eksperimen penyimpanan informasi baru. Melalui evaluasi kemampuan faktual, hasil yang dilaporkan mencapai 48,9 persen pada tugas tunggal. Untuk skenario continued pretraining, hasilnya mencapai 46,2 persen. Hasil pengukuran ini perlu dibandingkan dengan metode dasar pada benchmark yang sama.

Peluang dan Tantangan Penerapan Sleep pada AI Generasi Mendatang

Jika pendekatan Sleep terus berkembang, berbagai aplikasi AI berpotensi memperoleh manfaat. Peluang penerapan yang menarik adalah asisten digital untuk pekerjaan profesional. Dalam lingkungan kerja, pengetahuan internal sering berubah. Dengan pembelajaran berkelanjutan, asisten AI berpotensi mempertahankan pengetahuan sebelumnya. Kemampuan tersebut juga relevan bagi penelitian ilmiah. Walaupun manfaatnya cukup luas, kerangka Sleep belum otomatis menjadi kemampuan layanan komersial.

Penerapan kerangka Sleep masih menghadapi sejumlah tantangan teknis. Aspek teknis yang harus dievaluasi adalah kebutuhan sumber daya untuk pelatihan offline. Ketika model melakukan konsolidasi, proses pelatihan membutuhkan waktu serta energi. Selain itu, keamanan data yang dipelajari harus dijaga. Apabila model menyimpan pengetahuan baru dalam parameter, prosedur pengelolaan informasi membutuhkan evaluasi khusus. Pemeriksaan kemampuan lama setelah pembaruan juga menjadi bagian penting pengembangan. Melalui evaluasi menyeluruh, manfaat pembelajaran berkelanjutan dapat dinilai secara lebih bertanggung jawab.

Peran Penelitian Google untuk Mengurangi Catastrophic Forgetting

Inovasi konsolidasi memori AI melalui Sleep menjadi langkah penelitian penting dalam continual learning. Berkat penggunaan siklus pembelajaran berbeda, sistem dapat memperkuat pengetahuan tanpa mengganggu seluruh kemampuan lama. Penguatan parameter jangka panjang bersama mekanisme dreaming memberikan ruang untuk adaptasi model. Hasil pengujian pada konteks hingga 10 juta token serta peningkatan pada benchmark penalaran menjadi dasar penelitian lanjutan. Namun demikian, penerapan praktis masih membutuhkan pembuktian tambahan.

Di tengah inovasi TEKNOLOGI model bahasa, pengelolaan memori jangka panjang memperoleh perhatian besar. Penelitian Sleep memperlihatkan bahwa kemampuan adaptasi dapat diteliti melalui siklus komputasi khusus. Meski demikian, evaluasi kemampuan lama harus menjadi bagian pengembangan. Berkat penyempurnaan metode secara bertahap, model bahasa dapat memperoleh mekanisme memori yang lebih andal. Berdasarkan ketertarikan Anda terhadap kecerdasan buatan, seberapa penting kemampuan pembelajaran berkelanjutan bagi asisten AI? Mari sampaikan pandangan melalui kolom komentar mengenai kerangka Sleep Google.