Microsoft Mage Kembangkan Agen Komputer yang Menggabungkan Kendali Layar dan Perintah Terminal
Microsoft memperkenalkan Mage-VL-Cowork, model kecerdasan buatan yang dirancang untuk mengoperasikan komputer melalui dua pendekatan sekaligus, yaitu antarmuka grafis dan perintah terminal. Dikembangkan oleh Microsoft Mage Team, model ini memiliki sekitar empat miliar parameter dan mampu menentukan kapan harus menggunakan mouse, keyboard, atau menjalankan kode untuk menyelesaikan pekerjaan. Dalam laporan teknis yang dipublikasikan pada 29 Oktober 2026, Microsoft menunjukkan kemampuan agen tersebut dalam menangani berbagai tugas komputer. Perkembangan TEKNOLOGI ini membuka peluang otomatisasi yang lebih fleksibel, terutama untuk pekerjaan yang melibatkan aplikasi desktop, pengolahan dokumen, spreadsheet, serta pengelolaan file digital.
Inovasi Mage-VL-Cowork Menggabungkan Interaksi Visual dan Pemrograman
Perkembangan teknologi AI terus memperluas cara manusia memanfaatkan komputer dalam berbagai pekerjaan. Microsoft memperkenalkan Mage-VL-Cowork sebagai agen komputer berbasis kecerdasan buatan yang dapat bekerja melalui antarmuka visual maupun terminal. Berbeda dengan agen yang hanya menggunakan tangkapan layar untuk menentukan tindakan, sistem ini dirancang untuk menentukan metode interaksi berdasarkan kebutuhan tugas. Apabila tugas memerlukan tampilan visual, agen dapat menjalankan kendali mouse dan keyboard. Untuk pekerjaan berbeda, perintah terminal dapat dimanfaatkan ketika pengolahan langsung melalui kode lebih efisien. Pendekatan tersebut merupakan dasar penting dalam pengembangan agen komputer yang lebih fleksibel.
Salah satu karakteristik utama Mage-VL-Cowork adalah pemanfaatan satu kebijakan pengambilan keputusan untuk mengatur kedua jalur interaksi. Dengan kata lain, perpindahan antara antarmuka grafis dan terminal tidak harus diatur oleh sistem pengarah eksternal yang terpisah. Sistem kecerdasan buatan tersebut menggunakan kemampuan untuk menganalisis tindakan yang paling sesuai pada setiap tahap pekerjaan. Untuk memberikan gambaran, agen dapat mengamati tampilan aplikasi menggunakan screenshot, kemudian mengelola file dengan kode jika diperlukan. Sesudah file diperbarui, sistem dapat kembali memeriksa hasil melalui antarmuka visual. Pola kerja tersebut dapat meminimalkan langkah berulang dalam berbagai pekerjaan digital tanpa menghilangkan kebutuhan pengawasan pengguna.
Dua Jalur Interaksi Mage-VL-Cowork untuk Mengendalikan Aplikasi
Saat memproses permintaan pengguna, Mage-VL-Cowork menggunakan dua jalur tindakan yang menyediakan karakteristik berbeda. Metode interaksi pertama adalah graphical user interface atau GUI yang mendukung agen mengamati kondisi layar melalui tangkapan gambar. Berkat interaksi berbasis screenshot, agen dapat memilih tombol, menggerakkan kursor, mengetik teks, serta melakukan tindakan antarmuka lainnya. Kemampuan ini bermanfaat ketika pekerjaan melibatkan aplikasi dengan tata letak yang harus diperhatikan. Untuk memberikan ilustrasi, pengeditan gambar dapat memerlukan pemeriksaan langsung terhadap posisi objek, warna, dan hasil perubahan. Pada situasi seperti ini, penggunaan GUI menghadirkan konteks visual yang tidak selalu diperoleh melalui perintah terminal.
Jalur kedua adalah terminal yang memungkinkan agen mengeksekusi perintah sistem dan kode pemrograman. Dengan memanfaatkan command-line interface, pekerjaan yang membutuhkan pengolahan file terstruktur dapat dilaksanakan secara langsung. Untuk memberikan gambaran, perubahan pada spreadsheet dapat dilakukan menggunakan pustaka Python tanpa harus memilih setiap sel secara manual. Selain itu, terminal dapat diandalkan untuk memeriksa keberadaan file, menjalankan perhitungan, dan memvalidasi hasil pekerjaan. Melalui perpaduan kedua metode tersebut, Mage-VL-Cowork berupaya untuk menggunakan jalur yang paling sesuai. Walaupun memiliki fleksibilitas tinggi, setiap tindakan tetap harus mempertimbangkan izin akses dan batasan keamanan sistem.
Contoh Otomatisasi Aplikasi Desktop Menggunakan Agen Microsoft
Salah satu penerapan menarik Mage-VL-Cowork ditunjukkan melalui pekerjaan yang membutuhkan spreadsheet dan aplikasi desktop. Melalui evaluasi yang dipublikasikan, model ditugaskan untuk menyunting lembar kerja menggunakan LibreOffice Calc. Pekerjaan tersebut mencakup penggabungan rentang sel, penambahan label, serta pembuatan grafik. Alih-alih mengandalkan serangkaian klik panjang, agen memilih kode Python melalui terminal untuk memodifikasi file secara langsung. Dalam demonstrasi tersebut, Mage-VL-Cowork melaksanakan pekerjaan dalam waktu 39 detik dengan enam langkah. Hasil tersebut menggambarkan bahwa pemilihan metode interaksi dapat mendukung efisiensi penyelesaian tugas. Walaupun demonstrasi memperlihatkan kecepatan tinggi, waktu pengerjaan tidak selalu identik untuk seluruh spreadsheet dan konfigurasi komputer.
Pemanfaatan AI desktop juga ditunjukkan dalam pengolahan gambar melalui aplikasi GIMP. Pada contoh tersebut, sistem mendapatkan instruksi untuk mengatur alpha channel, menghapus latar tertentu, dan menyesuaikan dimensi gambar. Jika dibandingkan dengan manipulasi tabel, penyuntingan visual memerlukan pemahaman terhadap hasil yang muncul di layar. Karena itu, agen mengandalkan GUI untuk melakukan perubahan dan terminal untuk mengevaluasi hasil file. Pendekatan pengoperasian campuran tersebut membantu penyelesaian tugas yang tidak cukup diselesaikan dengan satu metode. Namun demikian, hasil desain tetap penting untuk diperiksa agar sesuai dengan kebutuhan pengguna.
Pengujian Agen Komputer Microsoft pada Berbagai Tugas Desktop
Sebagai bagian dari penelitian, Microsoft mengukur Mage-VL-Cowork menggunakan benchmark OSWorld-Verified. Metode penilaian tersebut dirancang untuk menilai keberhasilan agen komputer ketika melaksanakan pekerjaan pada lingkungan desktop. Dalam pengujian resmi tim, model Mage-VL-Cowork mencatat tingkat keberhasilan 66,0 persen dengan batas maksimal 50 langkah. Angka tersebut diperoleh berdasarkan pengujian terhadap 361 tugas yang tidak digunakan dalam pelatihan. Nilai benchmark tersebut menggambarkan kemampuan model berukuran relatif ringkas dalam mengelola pekerjaan komputer yang beragam. Meskipun hasilnya kompetitif, skor tersebut juga menunjukkan bahwa sejumlah tugas masih belum berhasil dituntaskan. Dengan mempertimbangkan keterbatasan tersebut, hasil benchmark tidak boleh diartikan sebagai jaminan keberhasilan pada seluruh kondisi nyata.
Tidak hanya menggunakan OSWorld-Verified, Microsoft juga mengevaluasi model dalam pekerjaan berbasis browser. Melalui pengujian WebVoyager-Static, versi Mage-VL-Cowork setelah supervised fine-tuning mencapai tingkat keberhasilan 58,6 persen. Pengujian ini memberikan gambaran mengenai kemampuan agen dalam mengoperasikan berbagai aktivitas web. Di samping hasil navigasi browser, Microsoft mengevaluasi kemampuan sistem dengan konfigurasi yang menggunakan lebih banyak jalur interaksi. Hasil penelitian memperlihatkan bahwa penambahan alat tidak selalu memperbaiki hasil akhir. Pada evaluasi yang dilakukan, konfigurasi GUI dan kode justru menawarkan hasil lebih baik dibandingkan pendekatan dengan jalur aksesibilitas tambahan. Kesimpulan eksperimen ini memperlihatkan pentingnya rancangan sistem yang efisien, bukan sekadar jumlah alat yang tersedia.
Metode Pelatihan Mage-VL-Cowork dan Tantangan Keamanan
Untuk membangun kemampuan hybrid, Microsoft menerapkan metode pelatihan bertahap yang mencakup beberapa jenis pembelajaran. Proses pertama ditujukan pada pemahaman visual dan kemampuan mengidentifikasi elemen antarmuka. Pada tahap berikutnya, model dilatih untuk menjalankan tindakan GUI serta menggunakan terminal dan kode. Kemudian, pelatihan hybrid memungkinkan agen mempelajari kapan harus mengandalkan masing-masing metode. Microsoft juga memanfaatkan reinforcement learning untuk mengoptimalkan keberhasilan penyelesaian pekerjaan. Pendekatan tersebut dikembangkan agar sistem tidak hanya memahami satu tindakan, tetapi juga mengelola rangkaian pekerjaan yang lebih panjang. Dengan demikian, model dapat mengembangkan hubungan antara pengamatan, keputusan, dan pemeriksaan hasil.
Kendati teknologi ini memiliki berbagai kemudahan operasional, keamanan tetap menjadi faktor mendasar. Sistem yang memiliki akses untuk mengeksekusi perintah terminal memiliki kemampuan untuk menghapus file atau menjalankan tindakan yang memengaruhi lingkungan komputer. Karena itu, penggunaan agen sebaiknya dibatasi melalui izin akses yang sesuai. Dalam lingkungan perusahaan, administrator dapat menerapkan lingkungan terisolasi, pembatasan direktori, serta pemeriksaan sebelum tindakan sensitif. Selain itu, hasil pekerjaan sebaiknya ditinjau sebelum digunakan secara resmi. Pemeriksaan hasil otomatisasi masih memegang peran penting karena model dapat salah memahami instruksi dalam kondisi tertentu. Melalui pembatasan yang tepat, otomatisasi dapat digunakan secara lebih bertanggung jawab.
Ringkasan Keunggulan Agen AI Microsoft dengan Kendali Layar dan Terminal
Kehadiran Mage-VL-Cowork menandai kemajuan berarti dalam industri agen komputer. Melalui kemampuan kendali GUI dan perintah terminal, model Microsoft ini menyediakan pendekatan yang lebih adaptif untuk menjalankan pekerjaan komputer. Dukungan satu kebijakan pemilihan tindakan memungkinkan agen menentukan kapan harus berinteraksi melalui layar dan kapan lebih tepat menjalankan kode. Evaluasi penelitian sebesar 66,0 persen pada OSWorld-Verified memperlihatkan kemampuan yang menarik untuk model berukuran sekitar empat miliar parameter. Meskipun menunjukkan kemajuan, agen tersebut masih bergantung pada pengembangan lanjutan dan pengawasan ketika menangani pekerjaan sensitif.
Dalam perkembangan berikutnya, agen AI dengan kemampuan hybrid diperkirakan mempercepat otomatisasi pekerjaan yang melibatkan berbagai aplikasi. Bagi pengembang, pendekatan Microsoft memberikan gambaran mengenai pentingnya perancangan sistem yang efisien. Di samping peningkatan kemampuan, keamanan, transparansi tindakan, dan validasi hasil tetap penting untuk dikembangkan. Melalui pengembangan yang bertanggung jawab, agen komputer dapat membantu berbagai pekerjaan digital. Dari sudut pandang Anda, apakah agen yang dapat menggabungkan kendali layar dan terminal akan mengubah cara bekerja dalam industri TEKNOLOGI? Sampaikan pandangan Anda mengenai potensi agen AI untuk penggunaan komputer.
