Supermicro dan SambaNova Rancang Server Inferensi AI dengan Pembagian Beban Pemrosesan

Supermicro dan SambaNova mengumumkan kolaborasi strategis pada 3 November 2026 untuk mengembangkan server inferensi kecerdasan buatan dengan sistem pembagian beban pemrosesan. Kerja sama ini menggabungkan GPU NVIDIA dan chip SambaNova SN50 Reconfigurable Dataflow Unit (RDU) dalam satu infrastruktur pusat data. Melalui pendekatan disaggregated inference, proses memahami masukan pengguna dan menghasilkan respons AI dijalankan oleh perangkat keras yang berbeda sesuai karakteristik pekerjaannya. Inovasi TEKNOLOGI tersebut dirancang untuk meningkatkan efisiensi, mempercepat respons model bahasa besar, serta mendukung kebutuhan agentic AI. Kedua perusahaan merencanakan penggunaan awal 10.000 chip SN50 untuk membangun sistem inferensi yang dapat diterapkan pada berbagai lingkungan komputasi.

Kerja Sama Strategis untuk Meningkatkan Efisiensi Pemrosesan Kecerdasan Buatan

Produsen infrastruktur server Supermicro bersama pengembang chip SambaNova memperkenalkan kolaborasi pengembangan untuk menghadirkan solusi komputasi AI yang menggabungkan beberapa jenis akselerator. Kolaborasi tersebut berfokus pada sistem disaggregated inference dengan memadukan GPU dengan Reconfigurable Dataflow Unit. Berkat pembagian tugas tersebut, setiap perangkat keras dapat menangani pekerjaan yang sesuai. Fokus utama pengembangan ini adalah mempercepat pelayanan permintaan kecerdasan buatan ketika beban kerja semakin kompleks.

Melalui kesepakatan pengembangan tersebut, Supermicro berencana menggunakan 10.000 chip SN50 pada tahap awal. Rencana penggunaan chip ini digunakan sebagai bagian dari rencana perluasan infrastruktur. Dalam pembagian pekerjaan, Supermicro menjalankan penyatuan komponen, pemeriksaan kinerja, penyediaan produk, dan pemeliharaan. Sementara itu, SambaNova berkontribusi melalui chip SN50 serta keahlian inferensi. Pengaturan peran kedua perusahaan berpotensi mempercepat penyediaan kapasitas komputasi bagi perusahaan yang mengoperasikan infrastruktur kecerdasan buatan.

Arsitektur Inferensi Heterogen Menggabungkan GPU dan RDU

Prinsip pemrosesan yang digunakan dalam pengembangan infrastruktur kecerdasan buatan tersebut adalah disaggregated inference. Istilah tersebut menjelaskan penggunaan perangkat berbeda untuk tahapan pemrosesan. Bagian pertama inferensi dinamakan prefill, yaitu aktivitas memproses masukan pengguna. Ketika masukan sedang dianalisis, perangkat memproses sejumlah operasi matematika secara bersamaan. GPU NVIDIA bertugas menangani analisis masukan karena sesuai dengan karakteristik pekerjaan yang intensif terhadap komputasi.

Tahap kedua disebut decode, yaitu proses menghasilkan token respons secara bertahap. Tidak seperti pemrosesan masukan awal, decoding memerlukan perpindahan parameter model secara efisien, terutama ketika permintaan menggunakan konteks yang panjang. Dalam rancangan pembagian pekerjaan, SambaNova menempatkan akselerator SN50 pada tahap decode. Akselerator khusus ini dirancang mendukung inferensi berkecepatan tinggi. Dengan penggunaan akselerator khusus, analisis masukan dijalankan oleh akselerator grafis, sedangkan RDU menangani decode.

Keunggulan Chip SambaNova SN50 dalam Memproses Token AI

SambaNova SN50 merupakan RDU generasi kelima dari SambaNova. Komponen akselerator ini dikembangkan guna memproses jaringan saraf kompleks. Fokus teknis dalam pengembangannya adalah kemampuan mengelola aliran data secara efisien. Ketika model menghasilkan respons, perpindahan data dapat menentukan kecepatan keluaran. Untuk mengurangi hambatan pemrosesan, chip tersebut dirancang menyesuaikan pemrosesan dengan pola akses data. Strategi perangkat keras tersebut berpotensi meningkatkan throughput inferensi.

Integrasi dua jenis perangkat pemrosesan tidak berarti kedua chip menjalankan pekerjaan identik. Sebaliknya, perangkat digunakan sesuai keunggulan teknisnya. Komponen grafis mengerjakan perhitungan paralel pada prefill, sementara SN50 mengelola proses decoding. Walaupun pembagian pekerjaan menawarkan potensi, koordinasi GPU dan RDU menjadi faktor penting. Jika transfer data terlalu lambat, manfaat percepatan dapat berkurang. Oleh sebab itu, pengujian dan optimalisasi perangkat lunak diperlukan.

Strategi Supermicro Menyediakan Server GPU dan RDU untuk Pusat Data

Dalam kerja sama terbaru, Supermicro memanfaatkan pendekatan Data Center Building Block Solutions. DCBBS merupakan strategi penyediaan komponen infrastruktur pusat data. Berkat pengaturan komponen yang fleksibel, operator dapat menyesuaikan konfigurasi perangkat keras. Pada penerapan server kecerdasan buatan, GPU NVIDIA dan RDU SambaNova menjadi komponen saling melengkapi. Sebagai integrator, Supermicro membantu memastikan komponen dapat bekerja secara terpadu.

Di samping pengembangan rancangan server, Supermicro akan menyediakan layanan validasi dan dukungan. Layanan yang direncanakan melibatkan dukungan on-site apabila diperlukan. Sebagai pelengkap layanan tersebut, pengembang SambaNova berperan menyesuaikan model AI agar menghasilkan performa sesuai konfigurasi perangkat. Pembagian peran tersebut bertujuan menyederhanakan penerapan bagi pelanggan. Dengan demikian, pelanggan tidak harus merancang seluruh sistem dari awal. Namun demikian, pengujian sesuai kebutuhan pelanggan tetap diperlukan.

Manfaat Pembagian Beban Pemrosesan untuk Efisiensi Pusat Data

Kebutuhan komputasi yang menjadi perhatian dari rancangan infrastruktur AI terbaru adalah agentic AI. Konsep kecerdasan buatan ini digunakan untuk sistem AI yang mengoordinasikan berbagai tindakan berdasarkan instruksi serta kebutuhan tertentu. Dibandingkan sistem yang hanya menjawab satu pertanyaan, aplikasi agentic AI sering membutuhkan sejumlah panggilan inferensi. Masing-masing proses tersebut, mungkin melibatkan konteks serta keluaran berukuran besar. Ketika aktivitas agen semakin kompleks, efisiensi pemrosesan respons memengaruhi keseluruhan pekerjaan. Melalui arsitektur heterogen, pengelolaan pekerjaan AI dapat disesuaikan dengan karakteristik perangkat keras.

Pada tahap distribusi awal, Supermicro dan SambaNova memprioritaskan operator cloud generasi baru dan cloud berdaulat. Layanan NeoCloud dikenal sebagai penyedia komputasi cloud yang berfokus pada kebutuhan AI. Di sisi lainnya, sovereign cloud dirancang memenuhi kebutuhan kedaulatan data organisasi atau negara. Dalam pengembangan pasar berikutnya, kedua perusahaan berencana menjangkau pelanggan enterprise. Pendekatan pemasaran tersebut memungkinkan pengembangan kapasitas secara terarah.

Tidak hanya menargetkan throughput lebih tinggi, rancangan GPU dan RDU berpotensi membantu pengelolaan kebutuhan daya. Menurut penjelasan pengembang chip, akselerator SN50 ditujukan mendukung beban inferensi besar dengan persyaratan kepadatan daya yang lebih mudah dikelola. Karakteristik rancangan ini dapat membantu operator menambah kapasitas tanpa membangun fasilitas baru. Sebagai manfaat potensial lainnya, perangkat NVIDIA yang tersedia bisa digunakan untuk tahap prefill. Namun demikian, kinerja setiap konfigurasi harus dibuktikan melalui pengujian. Perusahaan belum mengumumkan angka benchmark khusus sistem gabungan SN50 dan GPU dalam kerja sama ini.

Peluang Teknologi Disaggregated Inference bagi Komputasi Kecerdasan Buatan

Pengembangan server inferensi heterogen oleh kedua perusahaan menjadi langkah menarik dalam pengembangan TEKNOLOGI pusat data. Dengan menerapkan disaggregated inference, GPU NVIDIA digunakan untuk pemrosesan masukan, sedangkan chip RDU digunakan untuk proses decoding. Pendekatan tersebut berpotensi mempercepat inferensi model besar. Target penggunaan sepuluh ribu unit SN50 menunjukkan skala pengembangan yang direncanakan. Namun demikian, keuntungan operasional harus dievaluasi berdasarkan implementasi nyata. Berkat integrasi yang terus ditingkatkan, arsitektur tersebut berpotensi mendukung pertumbuhan agentic AI. Apa pendapat Anda mengenai penggabungan GPU dan RDU untuk inferensi AI? Bagikan pendapat Anda mengenai manfaat teknologi tersebut.