CEO NVIDIA menyebutkan bahwa perkembangan teknologi AI di perusahaannya terus mengalami pengembangan meski banyak yang menganggap perkembangan AI melambat.
Banyak pihak yang mengatakan bahwa perkembangan AI, baik di sisi software dan hardware mulai melambat. Soalnya, belakangan ini belum ada perkembangan teknologi AI yang signifikan seperti beberapa tahun sebelumnya.
Menanggapi hal tersebut, CEO Nvidia Jensen Huang memiliki klaim miliknya sendiri. Dia mengatakan, kinerja chip AI perusahaannya berkembang lebih cepat daripada tingkat historis yang ditetapkan oleh Hukum Moore.
“Sistem kami berkembang jauh lebih cepat daripada Hukum Moore,” kata Huang dalam sebuah wawancara, seperti dilansir dari laman Techcrunch (8/1).
Jika kalian tidak familiar dengan teknologi, Hukum Moore sendiri dicetuskan oleh Gordon Moore, salah satu pendiri Intel pada 1965. Dia memprediksi bahwa jumlah transistor di chip komputer akan berlipat ganda setiap tahun.
Prediksi ini terbukti akurat dan menciptakan kemajuan yang signifikan dalam kemampuan serta penurunan biaya selama bertahun-tahun. Namun, Huang mengklaim bahwa chip AI Nvidia menawarkan peningkatan kecepatan lebih dari 30 kali untuk beban kerja inferensi AI dibandingkan dengan generasi sebelumnya, yang menunjukkan bahwa mereka bergerak lebih cepat daripada hukum tersebut.
Selama beberapa tahun terakhir, Hukum Moore sendiri disebut sudah mulai tak relevan. Huang mengklaim bahwa chip AI Nvidia bergerak dengan kecepatan yang lebih cepat. Dia mengatakan bahwa superchip pusat data terbarunya lebih dari 30x lebih cepat untuk menjalankan beban kerja inferensi AI daripada generasi sebelumnya.
“Kita dapat membangun arsitektur, chip, sistem, pustaka, dan algoritma secara bersamaan,” kata Huang. “Jika kalian melakukan hal tersebut, maka kalian dapat bergerak lebih cepat daripada Hukum Moore, karena kalian dapat berinovasi di seluruh tumpukan.”
Di sisi lain, lab AI terkemuka, seperti Google, OpenAI, dan Anthropic menggunakan chip AI Nvidia untuk melatih dan menjalankan model AI mereka. Dan kemajuan pada chip ini, walau sekecil apapun, kemungkinan akan menghasilkan kemajuan lebih lanjut dalam kemampuan model AI.
Ini bukan pertama kalinya Huang menyatakan Nvidia melampaui hukum Moore. Dalam sebuah podcast pada bulan November lalu, Huang menyatakan dunia AI sedang menuju “Hukum Moore yang sangat tinggi”.
Huang menolak gagasan bahwa kemajuan AI melambat. Sebaliknya, ia mengklaim kini ada tiga hukum penskalaan AI yang aktif, yakni pra-pelatihan, fase pelatihan awal saat model AI mempelajari pola dari sejumlah besar data lalu pasca-pelatihan, yang menyempurnakan jawaban model AI menggunakan metode seperti umpan balik manusia dan komputasi waktu pengujian, yang terjadi selama fase inferensi dan memberi model AI lebih banyak waktu untuk “berpikir” setelah setiap pertanyaan.
“Hukum Moore sangat penting dalam sejarah komputasi karena menurunkan biaya komputasi,” kata Huang. “Hal yang sama akan terjadi dengan inferensi, di mana kita meningkatkan kinerja, dan sebagai hasilnya, biaya inferensi akan lebih rendah.”
Saat ini, GPU H100 milik Nvidia merupakan chip pilihan bagi perusahaan teknologi yang ingin melatih model AI. Tetapi kini karena perusahaan teknologi lebih berfokus pada inferensi, beberapa di antara mereka mempertanyakan apakah chip mahal milik Nvidia akan tetap menjadi yang teratas.
Model AI yang menggunakan komputasi waktu pengujian mahal untuk dijalankan saat ini. Ada kekhawatiran bahwa model o3 OpenAI, yang menggunakan versi komputasi waktu pengujian yang ditingkatkan, akan terlalu mahal untuk digunakan oleh kebanyakan orang.
Untuk contoh, OpenAI menghabiskan hampir USD20 per tugas menggunakan o3 untuk mencapai skor setingkat manusia pada pengujian kecerdasan umum. Sedangkan harga langganan ChatGPT Plus berharga USD20 untuk penggunaan selama sebulan penuh.
Huang mengangkat superchip pusat data terbaru milik mereka, yakni GB200 NVL72 yang dipajang di atas panggung seperti perisai selama pidato utama hari Senin. Chip ini 30 hingga 40 kali lebih cepat dalam menjalankan beban kerja inferensi AI daripada chip terlaris Nvidia sebelumnya, H100.
CEO yang selalu menggunakan jaket kulit berwarna hitam ini mengatakan bahwa peningkatan kinerja ini berarti bahwa model penalaran AI seperti o3 OpenAI, yang menggunakan sejumlah besar komputasi selama fase inferensi, akan menjadi lebih murah seiring berjalannya waktu.
Huang mengatakan bahwa dia secara keseluruhan fokus pada pembuatan chip yang lebih berkinerja, dan bahwa chip yang lebih berkinerja akan menghasilkan harga yang lebih rendah dalam jangka panjang.
Secara lebih luas, Huang mengklaim bahwa chip AI miliknya saat ini 1.000 kali lebih baik daripada yang dibuatnya 10 tahun lalu. Kecepatan itu jauh lebih cepat daripada standar yang ditetapkan oleh hukum Moore, yang menurut Huang tidak akan segera berhenti.
