NVIDIA mengumumkan di SIGGRAPH kemajuan AI fisik generatif termasuk alur kerja referensi NVIDIA Metropolis untuk membangun agen AI visual interaktif dan layanan mikro NVIDIA NIM baru yang akan membantu pengembang melatih mesin fisik dan meningkatkan cara mereka menangani tugas-tugas kompleks.
Ini termasuk tiga layanan mikro NIM fVDB yang mendukung kerangka pembelajaran mendalam NVIDIA yang baru untuk dunia 3D, serta layanan mikro USD Code, USD Search, dan USD Validate NIM untuk bekerja dengan Universal Scene Description (OpenUSD).
Layanan mikro NVIDIA OpenUSD NIM bekerja sama dengan model AI generatif pertama di dunia untuk pengembangan OpenUSD — juga dikembangkan oleh NVIDIA — untuk memungkinkan pengembang menggabungkan kopilot dan agen AI generatif ke dalam alur kerja USD dan memperluas kemungkinan dunia 3D.
Layanan Mikro NVIDIA NIM Mengubah Lanskap AI Fisik
AI fisik menggunakan simulasi dan metode pembelajaran tingkat lanjut untuk membantu robot dan infrastruktur memahami, menalar, dan menavigasi lingkungan sekitarnya dengan lebih efektif. Teknologi ini mentransformasi industri seperti manufaktur dan layanan kesehatan, serta memajukan ruang cerdas dengan robot, teknologi pabrik dan gudang, agen bedah AI, dan mobil yang dapat beroperasi secara lebih mandiri dan tepat.
NVIDIA menawarkan beragam layanan mikro NIM yang disesuaikan untuk model dan domain industri tertentu. Rangkaian NIM NVIDIA yang dirancang untuk AI fisik mendukung kemampuan ucapan dan terjemahan, visi dan kecerdasan, serta animasi dan perilaku realistis.
Mengubah Agen Visual AI Menjadi Visioner Dengan NVIDIA NIM
Agen AI visual menggunakan kemampuan visi komputer untuk memahami dan berinteraksi dengan dunia fisik dan melakukan tugas penalaran.
Agen AI visual yang sangat perseptif dan interaktif didukung oleh model AI generatif kelas baru yang disebut model bahasa visi (VLM), yang menjembatani persepsi digital dan interaksi dunia nyata dalam beban kerja AI fisik untuk memungkinkan peningkatan pengambilan keputusan, akurasi, interaktivitas, dan kinerja. Dengan VLM, pengembang dapat membangun agen vision AI yang dapat menangani tugas-tugas menantang dengan lebih efektif, bahkan di lingkungan yang kompleks.
Agen AI visual yang didukung AI generatif dengan cepat diterapkan di rumah sakit, pabrik, gudang, toko ritel, bandara, persimpangan lalu lintas, dan banyak lagi.
Untuk membantu pengembang AI fisik dengan lebih mudah membangun agen AI visual kustom berperforma tinggi, NVIDIA menawarkan layanan mikro NIM dan alur kerja referensi untuk AI fisik. Alur kerja referensi NVIDIA Metropolis memberikan pendekatan sederhana dan terstruktur untuk menyesuaikan, membangun, dan menerapkan agen AI visual.
NVIDIA NIM Membantu K2K Menjadikan Palermo Lebih Efisien, Aman dan Terjamin
Pengelola lalu lintas kota di Palermo, Italia, mengerahkan agen AI visual menggunakan NVIDIA NIM untuk mengungkap wawasan fisik yang membantu mereka mengelola jalan raya dengan lebih baik.
K2K, mitra NVIDIA Metropolis, memimpin upaya ini, mengintegrasikan layanan mikro NVIDIA NIM dan VLM ke dalam agen AI yang menganalisis kamera lalu lintas langsung kota secara real time. Pejabat kota dapat mengajukan pertanyaan kepada agen dalam bahasa alami dan menerima wawasan yang cepat dan akurat tentang aktivitas jalan raya serta saran tentang cara meningkatkan operasional kota, seperti menyesuaikan waktu lampu lalu lintas.
Raksasa elektronik global terkemuka Foxconn dan Pegatron telah mengadopsi AI fisik, layanan mikro NIM, dan alur kerja referensi Metropolis untuk merancang dan menjalankan operasi manufaktur besar-besaran mereka secara lebih efisien.
Perusahaan-perusahaan tersebut membangun pabrik virtual dalam simulasi untuk menghemat waktu dan biaya secara signifikan.
Mereka juga menjalankan pengujian dan penyempurnaan yang lebih menyeluruh untuk AI fisik mereka — termasuk AI multi-kamera dan agen AI visual — pada digital twins sebelum diterapkan di dunia nyata, sehingga meningkatkan keselamatan pekerja dan mengarah pada efisiensi operasional.
Menjembatani Kesenjangan Simulasi-ke-Realitas dengan Pembuatan Data Sintetis
Banyak bisnis yang digerakkan oleh AI kini mengadopsi pendekatan “yang mengutamakan simulasi” untuk proyek AI fisik generatif yang melibatkan otomasi industri di dunia nyata.
Perusahaan manufaktur, logistik pabrik, dan robotika perlu mengelola interaksi manusia-pekerja yang rumit, fasilitas canggih, dan peralatan mahal. Perangkat lunak, alat, dan platform AI fisik NVIDIA — termasuk layanan mikro AI fisik dan VLM NIM, alur kerja referensi, dan fVDB — dapat membantu mereka menyederhanakan rekayasa yang sangat kompleks yang diperlukan untuk menciptakan representasi digital atau lingkungan virtual yang secara akurat meniru kondisi dunia nyata.
VLM mulai diadopsi secara luas di berbagai industri karena kemampuannya menghasilkan citra yang sangat realistis. Namun, model ini mungkin sulit untuk dilatih karena banyaknya volume data yang diperlukan untuk membuat model AI fisik yang akurat.
Data sintetik yang dihasilkan dari kembaran digital menggunakan simulasi komputer menawarkan alternatif yang kuat terhadap kumpulan data dunia nyata, yang mungkin mahal — dan terkadang tidak mungkin — diperoleh untuk pelatihan model, bergantung pada kasus penggunaan.
Alat seperti layanan mikro NVIDIA NIM dan Omniverse Replicator memungkinkan pengembang membangun jalur data sintetik generatif yang didukung AI untuk mempercepat pembuatan kumpulan data yang kuat dan beragam untuk melatih AI fisik. Hal ini meningkatkan kemampuan adaptasi dan performa model seperti VLM, sehingga memungkinkan model tersebut melakukan generalisasi secara lebih efektif di seluruh industri dan kasus penggunaan.
Ketersediaan
Pengembang dapat mengakses model AI dasar yang canggih, terbuka, dan dibuat oleh NVIDIA serta layanan mikro NIM di ai.nvidia.com. Alur kerja referensi Metropolis NIM tersedia di repositori GitHub, dan layanan mikro Metropolis tersedia untuk diunduh di pratinjau pengembang. Layanan mikro OpenUSD NIM tersedia dalam pratinjau melalui katalog API NVIDIA.