MLPerf merilis peringkatnya, dan perusahaan chip AI Tiongkok kembali menduduki peringkat pertama dunia! Tiga juara inferensi model besar, kinerjanya melebihi H100
Ketika aplikasi AIGC seperti ChatGPT memicu gelombang model besar, lapisan daya komputasi, sebagai infrastruktur, menjadi industri pertama yang merasakan manfaatnya.
Namun, masalah seperti tingginya permintaan akan daya komputasi dan biaya tinggi telah menjadi kendala umum bagi perusahaan untuk menerapkan model besar, dan lebih cenderung membatasi pengembangan AI: parameter model besar semakin meningkat dari hari ke hari, dan komputasi Kemacetan pasokan listrik sudah dekat dan menciptakan kontradiksi besar di antara keduanya.
Cara mengeksplorasi solusi daya komputasi model besar yang lebih baik adalah fokus umum di industri ini.
Baru-baru ini, evaluasi otoritatif global MLPerf mengumumkan hasil evaluasi inferensi terbaru. Ini adalah pertama kalinya MLPerf memperkenalkan uji inferensi model besar GPT. Tingkat partisipasi telah mencapai rekor baru, dengan lebih dari 13.500 hasil kinerja dikirimkan oleh Nvidia, Intel , Google, Qualcomm dan perusahaan lain.
Dalam MLPerf Inference 3.1, kartu komputasi Moffet AI S30 menduduki peringkat pertama dalam kekuatan komputasi satu kartu, 4 kartu, dan 8 kartu pada model besar GPT-J (6 miliar parameter).
Ini merupakan kali ketiga berturut-turut Mo Xin mempertahankan gelarnya di MLPerf.
Inti tinta sebelumnya telah meraih juara pertama MLPerf Inference 2.0 dan 2.1 selama dua tahun berturut-turut.
Kartu komputasi inti tinta S30
Pencapaian inti tinta telah membawa arah inovasi yang layak untuk solusi daya komputasi model berskala besar.
Fakta membuktikan bahwa inovasi kolaboratif perangkat keras dan perangkat lunak yang menggabungkan model AI dengan platform komputasi dapat mengeluarkan potensi daya komputasi yang lebih besar. Hal ini juga membuktikan sekali lagi bahwa teknologi inovatif yang diwakili oleh sparse computing akan menjadi kunci perkembangan daya komputasi di era model besar.
Ink Core berpartisipasi dalam divisi terbuka MLPerf, yang menurut penyelenggara MLCommons, bertujuan untuk mendorong inovasi. Oleh karena itu, kontestan dapat mencari cara untuk meningkatkan daya komputasi melalui kolaborasi perangkat lunak dan perangkat keras.
Pada model besar GPT-J di MLPerf, dibandingkan dengan solusi akselerasi perangkat keras murni H100 dari proses 4nm, kartu komputasi Ink Core S30 dari proses 12nm mencapai kecepatan hingga 1,8 kali lipat melalui "algoritme dual sparse asli + kolaborasi perangkat keras " metode. Keuntungan.
Model GPT-J untuk evaluasi ini adalah model AI generatif. Dalam mode 8 kartu, 4 kartu, dan kartu tunggal, performa kartu komputasi Ink Core S30 adalah 170,59, 91,57, dan 23,28 (Sampel/dtk) masing-masing, mencapai kinerja NVIDIA H100 1,6 kali, 1,8 kali, dan 1,8 kali, menunjukkan kemampuan produk inti tinta dalam tugas AIGC.
Memenangkan kejuaraan tiga kali, kekuatan komputasi model besar adalah yang pertama "menyerahkan ujian", dan kolaborasi perangkat lunak dan perangkat keras terus berinovasi - kekuatan produk Ink Core telah diuji secara ketat oleh MLPerf beberapa kali, dan juga telah dieksplorasi jalur baru untuk pengembangan daya komputasi model besar.
Komputasi Jarang —— "Saham potensial" model besar mendapatkan pengakuan pasar
Hasil luar biasa yang berkelanjutan dari inti tinta terutama disebabkan oleh desain kolaboratif perangkat lunak dan perangkat keras berdasarkan algoritma sparsifikasi.
Di era model besar, pentingnya komputasi sparse sudah jelas: ukuran model AI berbanding lurus dengan potensi sparsifikasinya.
Dengan kata lain, jika modelnya lebih besar, kemungkinan terjadinya ketersebaran dalam algoritme lebih besar, dan tingkat percepatan penghitungan renggang juga lebih tinggi. Untuk model bahasa besar secara umum, komputasi sparse dapat menghasilkan percepatan puluhan kali lipat.
Algoritme dual sparse asli Inkcore, dikombinasikan dengan desain kolaboratif perangkat lunak dan perangkat keras, menjadikan chip Antoum® Inkcore sebagai chip AI pembesaran renggang tinggi pertama di dunia, yang mendukung ketersebaran hingga 32 kali lipat—yang mana Inkcore mencetak rekor baru dalam kunci MLPerf ini.
Semakin besar modelnya, semakin jelas keuntungan dari komputasi renggang - terutama dalam situasi saat ini di mana parameter model besar seperti GPT seringkali mencapai puluhan miliar atau ratusan miliar, yang membuat parit inti tinta lebih stabil.
Kekuatan produk Ink Core dan tren komputasi sparse secara umum juga telah diakui oleh industri: proses komersialisasi Ink Core telah membuat terobosan penting satu demi satu, membantu perusahaan mempercepat penerapan AI.
Baru-baru ini, Ink Core resmi menjadi salah satu pemasok pendukung Byte MLPerf.
Sumber: Situs web Byte MLPerf
alamat proyek:
Saat ini, platform komputasi Ink Core AI dapat mendukung model besar dengan tingkat parameter berbeda, termasuk BLOOM, OPT, GPT-J, LLaMA, StableDiffusion, dll.
Pada saat yang sama, ia memiliki karakteristik throughput tinggi, latensi rendah, dan konsumsi daya rendah, yang meringankan kesulitan daya komputasi dan benar-benar menghadirkan solusi daya komputasi model besar yang "mudah digunakan" dan "terjangkau" bagi perusahaan. .
Membawa perubahan mendasar dalam daya komputasi, komputasi sparse membantu pengembangan model besar
Solusi komputasi sparse dari Ink Core tidak hanya dapat meringankan masalah daya komputasi saat ini, namun juga membuka ruang baru untuk pengembangan AI yang berkelanjutan.
Komputasi renggang mengurangi jumlah penghitungan model AI, yang berarti bahwa model besar dapat meningkatkan jumlah parameter beberapa kali lipat tanpa menghasilkan jumlah penghitungan terlalu banyak. Kontradiksi antara pertumbuhan parameter dan hambatan daya komputasi pada model besar diharapkan dapat dihilangkan .terselesaikan secara mendasar.
Pada saat yang sama, karena pengurangan jumlah penghitungan, permasalahan pada model besar seperti kebutuhan daya komputasi yang tinggi, konsumsi daya yang tinggi, dan biaya yang tinggi juga teratasi, sehingga mencapai efek "win-win".
Chip Antoum: chip AI dengan tingkat renggang tinggi pertama di dunia, mendukung hingga 32 kali renggang
Hasil luar biasa dari tiga MLPerf berturut-turut tidak hanya membuktikan kekuatan produk inti tinta, namun juga membawa wahyu baru bagi industri: dengan bantuan teknologi seperti komputasi sparse, pengembangan dan penerapan model besar diharapkan dapat membawa dampak yang lebih luas. ruang untuk pengembangan. Aplikasi seperti AIGC yang dipercepat kini berkembang pesat di semua lapisan masyarakat.
Tentang MLPerf
MLPerf didirikan oleh pemenang Turing Award David Patterson bekerja sama dengan institusi akademis terkemuka seperti Google, Stanford, dan Universitas Harvard. Ini adalah tes tolok ukur kinerja AI internasional yang paling otoritatif dan paling berpengaruh untuk mengukur pertumbuhan pesat. Melakukan pelacakan dan evaluasi AI secara tepat waktu kebutuhan dan kinerja komputasi.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
MLPerf merilis peringkatnya, dan perusahaan chip AI Tiongkok kembali menduduki peringkat pertama dunia! Tiga juara inferensi model besar, kinerjanya melebihi H100
Ketika aplikasi AIGC seperti ChatGPT memicu gelombang model besar, lapisan daya komputasi, sebagai infrastruktur, menjadi industri pertama yang merasakan manfaatnya.
Namun, masalah seperti tingginya permintaan akan daya komputasi dan biaya tinggi telah menjadi kendala umum bagi perusahaan untuk menerapkan model besar, dan lebih cenderung membatasi pengembangan AI: parameter model besar semakin meningkat dari hari ke hari, dan komputasi Kemacetan pasokan listrik sudah dekat dan menciptakan kontradiksi besar di antara keduanya.
Cara mengeksplorasi solusi daya komputasi model besar yang lebih baik adalah fokus umum di industri ini.
Baru-baru ini, evaluasi otoritatif global MLPerf mengumumkan hasil evaluasi inferensi terbaru. Ini adalah pertama kalinya MLPerf memperkenalkan uji inferensi model besar GPT. Tingkat partisipasi telah mencapai rekor baru, dengan lebih dari 13.500 hasil kinerja dikirimkan oleh Nvidia, Intel , Google, Qualcomm dan perusahaan lain.
Dalam MLPerf Inference 3.1, kartu komputasi Moffet AI S30 menduduki peringkat pertama dalam kekuatan komputasi satu kartu, 4 kartu, dan 8 kartu pada model besar GPT-J (6 miliar parameter).
Inti tinta sebelumnya telah meraih juara pertama MLPerf Inference 2.0 dan 2.1 selama dua tahun berturut-turut.
Pencapaian inti tinta telah membawa arah inovasi yang layak untuk solusi daya komputasi model berskala besar.
Fakta membuktikan bahwa inovasi kolaboratif perangkat keras dan perangkat lunak yang menggabungkan model AI dengan platform komputasi dapat mengeluarkan potensi daya komputasi yang lebih besar. Hal ini juga membuktikan sekali lagi bahwa teknologi inovatif yang diwakili oleh sparse computing akan menjadi kunci perkembangan daya komputasi di era model besar.
Ink Core berpartisipasi dalam divisi terbuka MLPerf, yang menurut penyelenggara MLCommons, bertujuan untuk mendorong inovasi. Oleh karena itu, kontestan dapat mencari cara untuk meningkatkan daya komputasi melalui kolaborasi perangkat lunak dan perangkat keras.
Pada model besar GPT-J di MLPerf, dibandingkan dengan solusi akselerasi perangkat keras murni H100 dari proses 4nm, kartu komputasi Ink Core S30 dari proses 12nm mencapai kecepatan hingga 1,8 kali lipat melalui "algoritme dual sparse asli + kolaborasi perangkat keras " metode. Keuntungan.
Model GPT-J untuk evaluasi ini adalah model AI generatif. Dalam mode 8 kartu, 4 kartu, dan kartu tunggal, performa kartu komputasi Ink Core S30 adalah 170,59, 91,57, dan 23,28 (Sampel/dtk) masing-masing, mencapai kinerja NVIDIA H100 1,6 kali, 1,8 kali, dan 1,8 kali, menunjukkan kemampuan produk inti tinta dalam tugas AIGC.
Komputasi Jarang —— "Saham potensial" model besar mendapatkan pengakuan pasar
Hasil luar biasa yang berkelanjutan dari inti tinta terutama disebabkan oleh desain kolaboratif perangkat lunak dan perangkat keras berdasarkan algoritma sparsifikasi.
Di era model besar, pentingnya komputasi sparse sudah jelas: ukuran model AI berbanding lurus dengan potensi sparsifikasinya.
Dengan kata lain, jika modelnya lebih besar, kemungkinan terjadinya ketersebaran dalam algoritme lebih besar, dan tingkat percepatan penghitungan renggang juga lebih tinggi. Untuk model bahasa besar secara umum, komputasi sparse dapat menghasilkan percepatan puluhan kali lipat.
Algoritme dual sparse asli Inkcore, dikombinasikan dengan desain kolaboratif perangkat lunak dan perangkat keras, menjadikan chip Antoum® Inkcore sebagai chip AI pembesaran renggang tinggi pertama di dunia, yang mendukung ketersebaran hingga 32 kali lipat—yang mana Inkcore mencetak rekor baru dalam kunci MLPerf ini.
Semakin besar modelnya, semakin jelas keuntungan dari komputasi renggang - terutama dalam situasi saat ini di mana parameter model besar seperti GPT seringkali mencapai puluhan miliar atau ratusan miliar, yang membuat parit inti tinta lebih stabil.
Kekuatan produk Ink Core dan tren komputasi sparse secara umum juga telah diakui oleh industri: proses komersialisasi Ink Core telah membuat terobosan penting satu demi satu, membantu perusahaan mempercepat penerapan AI.
Baru-baru ini, Ink Core resmi menjadi salah satu pemasok pendukung Byte MLPerf.
alamat proyek:
Saat ini, platform komputasi Ink Core AI dapat mendukung model besar dengan tingkat parameter berbeda, termasuk BLOOM, OPT, GPT-J, LLaMA, StableDiffusion, dll.
Pada saat yang sama, ia memiliki karakteristik throughput tinggi, latensi rendah, dan konsumsi daya rendah, yang meringankan kesulitan daya komputasi dan benar-benar menghadirkan solusi daya komputasi model besar yang "mudah digunakan" dan "terjangkau" bagi perusahaan. .
Membawa perubahan mendasar dalam daya komputasi, komputasi sparse membantu pengembangan model besar
Solusi komputasi sparse dari Ink Core tidak hanya dapat meringankan masalah daya komputasi saat ini, namun juga membuka ruang baru untuk pengembangan AI yang berkelanjutan.
Komputasi renggang mengurangi jumlah penghitungan model AI, yang berarti bahwa model besar dapat meningkatkan jumlah parameter beberapa kali lipat tanpa menghasilkan jumlah penghitungan terlalu banyak. Kontradiksi antara pertumbuhan parameter dan hambatan daya komputasi pada model besar diharapkan dapat dihilangkan .terselesaikan secara mendasar.
Pada saat yang sama, karena pengurangan jumlah penghitungan, permasalahan pada model besar seperti kebutuhan daya komputasi yang tinggi, konsumsi daya yang tinggi, dan biaya yang tinggi juga teratasi, sehingga mencapai efek "win-win".
Hasil luar biasa dari tiga MLPerf berturut-turut tidak hanya membuktikan kekuatan produk inti tinta, namun juga membawa wahyu baru bagi industri: dengan bantuan teknologi seperti komputasi sparse, pengembangan dan penerapan model besar diharapkan dapat membawa dampak yang lebih luas. ruang untuk pengembangan. Aplikasi seperti AIGC yang dipercepat kini berkembang pesat di semua lapisan masyarakat.
Tentang MLPerf
MLPerf didirikan oleh pemenang Turing Award David Patterson bekerja sama dengan institusi akademis terkemuka seperti Google, Stanford, dan Universitas Harvard. Ini adalah tes tolok ukur kinerja AI internasional yang paling otoritatif dan paling berpengaruh untuk mengukur pertumbuhan pesat. Melakukan pelacakan dan evaluasi AI secara tepat waktu kebutuhan dan kinerja komputasi.