MLPerf sıralamayı açıkladı ve Çinli yapay zeka çip şirketleri yine dünyada birinci sıraya yerleşti! Büyük model çıkarımının üç şampiyonu, H100'ü aşan performans
ChatGPT gibi AIGC uygulamaları büyük modeller dalgasını başlattıkça, altyapı olarak bilgi işlem gücü katmanı bundan yararlanan ilk sektör oldu.
Bununla birlikte, bilgi işlem gücüne olan yüksek talep ve yüksek maliyet gibi sorunlar, işletmelerin büyük modelleri hayata geçirmesinde sık karşılaşılan sorunlar haline geldi ve büyük olasılıkla yapay zekanın gelişimini kısıtlamaya başladı: büyük modellerin parametreleri her geçen gün artıyor ve bilgi işlem güç kaynağı darboğazı yaklaşıyor ve bu ikisi arasında büyük bir çelişki yaratıyor.
Daha iyi büyük model bilgi işlem gücü çözümlerinin nasıl keşfedileceği sektörde ortak bir odak noktasıdır.
Geçtiğimiz günlerde dünyanın saygın değerlendirmesi MLPerf, en son çıkarım değerlendirme sonuçlarını açıkladı. MLPerf, GPT büyük model çıkarım testini ilk kez tanıttı. NVIDIA, Intel tarafından sunulan 13.500'den fazla performans sonucuyla katılım oranı yeni bir rekora ulaştı. , Google, Qualcomm ve diğer şirketler.
MLPerf Inference 3.1'de Moffet AI S30 bilgi işlem kartı, büyük GPT-J modelinde (6 milyar parametre) tek bir kartın, 4 kartın ve 8 kartın bilgi işlem gücünde birinci sırada yer aldı.
Bu, Mo Xin'in MLPerf'te üst üste üçüncü şampiyonluk savunması.
Ink core daha önce iki yıl üst üste MLPerf Inference 2.0 ve 2.1'de birinciliği kazanmıştı.
Mürekkep çekirdeği S30 bilgi işlem kartı
Mürekkep çekirdeğindeki başarılar, büyük ölçekli model bilgi işlem gücü çözümlerine uygulanabilir yenilik yönelimleri getirdi.
Gerçekler, yapay zeka modellerini bilgi işlem platformlarıyla birleştiren donanım ve yazılımdaki işbirliğine dayalı inovasyonun, daha büyük bilgi işlem gücü potansiyelini ortaya çıkarabileceğini kanıtladı. Bu aynı zamanda seyrek bilgi işlemle temsil edilen yenilikçi teknolojilerin, büyük modeller çağında bilgi işlem gücünün gelişiminin anahtarı olacağını bir kez daha kanıtlıyor.
Ink Core, organizatör MLCommons'a göre yeniliği teşvik etmeyi amaçlayan MLPerf açık bölümüne katılıyor. Bu nedenle yarışmacılar, yazılım ve donanım işbirliği yoluyla bilgi işlem gücünü artırmanın yollarını keşfedebilirler.
MLPerf'teki GPT-J büyük modelinde, 4nm işleminin H100 saf donanım hızlandırma çözümüyle karşılaştırıldığında, 12nm işleminin Ink Core S30 bilgi işlem kartı "orijinal ikili seyrek algoritma + donanım işbirliği" sayesinde 1,8 kata kadar hız elde etti " yöntemi. Avantaj.
Bu değerlendirmeye yönelik GPT-J modeli, üretken bir yapay zeka modelidir. 8 kartlı, 4 kartlı ve tek kartlı modlarda Ink Core S30 bilgi işlem kartının performansı 170,59, 91,57 ve 23,28'dir (Örnek/s) NVIDIA H100'ün performansına sırasıyla 1,6 kat, 1,8 kat ve 1,8 kat ulaşarak AIGC görevlerinde mürekkep çekirdeği ürünlerinin yeteneklerini ortaya koyuyor.
Şampiyonayı üç kez kazanan, büyük model bilgi işlem gücü "testi ilk teslim eden" oldu ve yazılım ve donanım işbirliği yenilik yapmaya devam etti - Ink Core'un ürün gücü, MLPerf tarafından birkaç kez titizlikle test edildi ve ayrıca araştırıldı Büyük model bilgi işlem gücünün geliştirilmesi için yeni yollar.
Seyrek Bilgi İşlem——Büyük model "potansiyel hisse senetleri" piyasada tanınırlık kazanıyor
Mürekkep çekirdeğinin sürekli mükemmel sonuçları, esas olarak seyrekleştirme algoritmasına dayalı yazılım ve donanımın işbirlikçi tasarımından kaynaklanmaktadır.
Büyük modeller çağında, seyrek hesaplamanın önemi apaçık ortadadır: Bir yapay zeka modelinin boyutu, seyrekleştirme potansiyeliyle doğru orantılıdır.
Başka bir deyişle, model büyüdükçe algoritmada seyreklik olasılığı daha fazla olur ve seyrek hesaplamaların hızlanma derecesi de daha yüksek olur. Genel olarak büyük dil modelleri için seyrek hesaplama, onlarca kat hızlanma sağlayabilir.
Inkcore'un orijinal ikili seyrek algoritması, yazılım ve donanım işbirlikçi tasarımıyla birleştiğinde, Inkcore'un Antoum® çipini 32 kata kadar seyrekliği destekleyen dünyanın ilk yüksek seyrek büyütmeli yapay zeka çipi haline getiriyor; bu, Inkcore'un bu MLPerf anahtarında yeni bir rekor kırdığı şey.
Model ne kadar büyük olursa, seyrek hesaplamanın avantajı da o kadar belirgin olur - özellikle GPT gibi büyük modellerin parametrelerinin genellikle on milyarlara veya yüz milyarlara ulaştığı mevcut durumda, bu da mürekkep çekirdeğinin hendeğini daha kararlı hale getirir.
Ink Core'un ürün gücü ve genel seyrek bilgi işlem eğilimi sektör tarafından da kabul edildi: Ink Core'un ticarileştirme süreci birbiri ardına önemli atılımlar yaparak işletmelerin yapay zeka uygulamalarını hızlandırmasına yardımcı oldu.
Yakın zamanda Ink Core resmi olarak Byte MLPerf'i destekleyen tedarikçilerden biri oldu.
Kaynak: Byte MLPerf web sitesi
proje adresi:
Şu anda Ink Core AI bilgi işlem platformu, BLOOM, OPT, GPT-J, LLaMA, StableDiffusion vb. dahil olmak üzere farklı parametre seviyelerine sahip büyük modelleri destekleyebilmektedir.
Aynı zamanda yüksek verim, düşük gecikme ve düşük güç tüketimi özelliklerine sahip olup, bilgi işlem gücünün zorluğunu hafifletir ve işletmelere gerçekten "kullanımı kolay" ve "uygun fiyatlı" büyük model bilgi işlem gücü çözümleri sunar. .
Bilgi işlem gücünde temel değişiklikler getiren seyrek bilgi işlem, büyük modellerin geliştirilmesine yardımcı olur
Ink Core'un seyrek bilgi işlem çözümü yalnızca mevcut bilgi işlem gücü sorununu hafifletmekle kalmıyor, aynı zamanda yapay zekanın sürekli gelişimi için yeni alan da açıyor.
Seyrek bilgi işlem, yapay zeka modellerinin hesaplama miktarını azaltır, bu da büyük modellerin, çok fazla hesaplama tutarı oluşturmadan parametre sayısını birkaç kat artırabileceği anlamına gelir.Parametre büyümesi ile büyük modellerin bilgi işlem gücü darboğazları arasındaki çelişkinin ortadan kaldırılması bekleniyor. Temel olarak çözüldü.
Aynı zamanda hesaplama miktarının azalması nedeniyle büyük modellerin yüksek bilgi işlem gücü gereksinimleri, yüksek güç tüketimi ve yüksek maliyetler gibi sıkıntılı noktaları da çözülerek "kazan-kazan" etkisi elde edilir.
Antoum çipi: 32 kata kadar seyrekliği destekleyen, dünyanın ilk yüksek seyrek oranlı yapay zeka çipi
Ardışık üç MLPerf'in mükemmel sonuçları, yalnızca mürekkep çekirdek ürünlerinin gücünü kanıtlamakla kalmıyor, aynı zamanda sektöre yeni keşifler de getiriyor: Seyrek hesaplama gibi teknolojilerin yardımıyla, büyük modellerin geliştirilmesi ve uygulanmasının daha geniş bir alana öncülük etmesi bekleniyor. Gelişim için alan Hızlandırılmış AIGC gibi uygulamalar hayatın her alanında yaygınlaşıyor.
MLPerf Hakkında
MLPerf, Turing Ödülü sahibi David Patterson tarafından Google, Stanford ve Harvard Üniversitesi gibi önde gelen akademik kurumlarla birlikte kuruldu. Hızla büyüyen Yapay Zekanın zamanında izlenmesini ve değerlendirilmesini ölçmek için en yetkili ve en etkili uluslararası Yapay Zeka performans kıyaslama testidir. bilgi işlem gereksinimleri ve performansı.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
MLPerf sıralamayı açıkladı ve Çinli yapay zeka çip şirketleri yine dünyada birinci sıraya yerleşti! Büyük model çıkarımının üç şampiyonu, H100'ü aşan performans
ChatGPT gibi AIGC uygulamaları büyük modeller dalgasını başlattıkça, altyapı olarak bilgi işlem gücü katmanı bundan yararlanan ilk sektör oldu.
Bununla birlikte, bilgi işlem gücüne olan yüksek talep ve yüksek maliyet gibi sorunlar, işletmelerin büyük modelleri hayata geçirmesinde sık karşılaşılan sorunlar haline geldi ve büyük olasılıkla yapay zekanın gelişimini kısıtlamaya başladı: büyük modellerin parametreleri her geçen gün artıyor ve bilgi işlem güç kaynağı darboğazı yaklaşıyor ve bu ikisi arasında büyük bir çelişki yaratıyor.
Daha iyi büyük model bilgi işlem gücü çözümlerinin nasıl keşfedileceği sektörde ortak bir odak noktasıdır.
Geçtiğimiz günlerde dünyanın saygın değerlendirmesi MLPerf, en son çıkarım değerlendirme sonuçlarını açıkladı. MLPerf, GPT büyük model çıkarım testini ilk kez tanıttı. NVIDIA, Intel tarafından sunulan 13.500'den fazla performans sonucuyla katılım oranı yeni bir rekora ulaştı. , Google, Qualcomm ve diğer şirketler.
MLPerf Inference 3.1'de Moffet AI S30 bilgi işlem kartı, büyük GPT-J modelinde (6 milyar parametre) tek bir kartın, 4 kartın ve 8 kartın bilgi işlem gücünde birinci sırada yer aldı.
Ink core daha önce iki yıl üst üste MLPerf Inference 2.0 ve 2.1'de birinciliği kazanmıştı.
Mürekkep çekirdeğindeki başarılar, büyük ölçekli model bilgi işlem gücü çözümlerine uygulanabilir yenilik yönelimleri getirdi.
Gerçekler, yapay zeka modellerini bilgi işlem platformlarıyla birleştiren donanım ve yazılımdaki işbirliğine dayalı inovasyonun, daha büyük bilgi işlem gücü potansiyelini ortaya çıkarabileceğini kanıtladı. Bu aynı zamanda seyrek bilgi işlemle temsil edilen yenilikçi teknolojilerin, büyük modeller çağında bilgi işlem gücünün gelişiminin anahtarı olacağını bir kez daha kanıtlıyor.
Ink Core, organizatör MLCommons'a göre yeniliği teşvik etmeyi amaçlayan MLPerf açık bölümüne katılıyor. Bu nedenle yarışmacılar, yazılım ve donanım işbirliği yoluyla bilgi işlem gücünü artırmanın yollarını keşfedebilirler.
MLPerf'teki GPT-J büyük modelinde, 4nm işleminin H100 saf donanım hızlandırma çözümüyle karşılaştırıldığında, 12nm işleminin Ink Core S30 bilgi işlem kartı "orijinal ikili seyrek algoritma + donanım işbirliği" sayesinde 1,8 kata kadar hız elde etti " yöntemi. Avantaj.
Bu değerlendirmeye yönelik GPT-J modeli, üretken bir yapay zeka modelidir. 8 kartlı, 4 kartlı ve tek kartlı modlarda Ink Core S30 bilgi işlem kartının performansı 170,59, 91,57 ve 23,28'dir (Örnek/s) NVIDIA H100'ün performansına sırasıyla 1,6 kat, 1,8 kat ve 1,8 kat ulaşarak AIGC görevlerinde mürekkep çekirdeği ürünlerinin yeteneklerini ortaya koyuyor.
Seyrek Bilgi İşlem——Büyük model "potansiyel hisse senetleri" piyasada tanınırlık kazanıyor
Mürekkep çekirdeğinin sürekli mükemmel sonuçları, esas olarak seyrekleştirme algoritmasına dayalı yazılım ve donanımın işbirlikçi tasarımından kaynaklanmaktadır.
Büyük modeller çağında, seyrek hesaplamanın önemi apaçık ortadadır: Bir yapay zeka modelinin boyutu, seyrekleştirme potansiyeliyle doğru orantılıdır.
Başka bir deyişle, model büyüdükçe algoritmada seyreklik olasılığı daha fazla olur ve seyrek hesaplamaların hızlanma derecesi de daha yüksek olur. Genel olarak büyük dil modelleri için seyrek hesaplama, onlarca kat hızlanma sağlayabilir.
Inkcore'un orijinal ikili seyrek algoritması, yazılım ve donanım işbirlikçi tasarımıyla birleştiğinde, Inkcore'un Antoum® çipini 32 kata kadar seyrekliği destekleyen dünyanın ilk yüksek seyrek büyütmeli yapay zeka çipi haline getiriyor; bu, Inkcore'un bu MLPerf anahtarında yeni bir rekor kırdığı şey.
Model ne kadar büyük olursa, seyrek hesaplamanın avantajı da o kadar belirgin olur - özellikle GPT gibi büyük modellerin parametrelerinin genellikle on milyarlara veya yüz milyarlara ulaştığı mevcut durumda, bu da mürekkep çekirdeğinin hendeğini daha kararlı hale getirir.
Ink Core'un ürün gücü ve genel seyrek bilgi işlem eğilimi sektör tarafından da kabul edildi: Ink Core'un ticarileştirme süreci birbiri ardına önemli atılımlar yaparak işletmelerin yapay zeka uygulamalarını hızlandırmasına yardımcı oldu.
Yakın zamanda Ink Core resmi olarak Byte MLPerf'i destekleyen tedarikçilerden biri oldu.
proje adresi:
Şu anda Ink Core AI bilgi işlem platformu, BLOOM, OPT, GPT-J, LLaMA, StableDiffusion vb. dahil olmak üzere farklı parametre seviyelerine sahip büyük modelleri destekleyebilmektedir.
Aynı zamanda yüksek verim, düşük gecikme ve düşük güç tüketimi özelliklerine sahip olup, bilgi işlem gücünün zorluğunu hafifletir ve işletmelere gerçekten "kullanımı kolay" ve "uygun fiyatlı" büyük model bilgi işlem gücü çözümleri sunar. .
Bilgi işlem gücünde temel değişiklikler getiren seyrek bilgi işlem, büyük modellerin geliştirilmesine yardımcı olur
Ink Core'un seyrek bilgi işlem çözümü yalnızca mevcut bilgi işlem gücü sorununu hafifletmekle kalmıyor, aynı zamanda yapay zekanın sürekli gelişimi için yeni alan da açıyor.
Seyrek bilgi işlem, yapay zeka modellerinin hesaplama miktarını azaltır, bu da büyük modellerin, çok fazla hesaplama tutarı oluşturmadan parametre sayısını birkaç kat artırabileceği anlamına gelir.Parametre büyümesi ile büyük modellerin bilgi işlem gücü darboğazları arasındaki çelişkinin ortadan kaldırılması bekleniyor. Temel olarak çözüldü.
Aynı zamanda hesaplama miktarının azalması nedeniyle büyük modellerin yüksek bilgi işlem gücü gereksinimleri, yüksek güç tüketimi ve yüksek maliyetler gibi sıkıntılı noktaları da çözülerek "kazan-kazan" etkisi elde edilir.
Ardışık üç MLPerf'in mükemmel sonuçları, yalnızca mürekkep çekirdek ürünlerinin gücünü kanıtlamakla kalmıyor, aynı zamanda sektöre yeni keşifler de getiriyor: Seyrek hesaplama gibi teknolojilerin yardımıyla, büyük modellerin geliştirilmesi ve uygulanmasının daha geniş bir alana öncülük etmesi bekleniyor. Gelişim için alan Hızlandırılmış AIGC gibi uygulamalar hayatın her alanında yaygınlaşıyor.
MLPerf Hakkında
MLPerf, Turing Ödülü sahibi David Patterson tarafından Google, Stanford ve Harvard Üniversitesi gibi önde gelen akademik kurumlarla birlikte kuruldu. Hızla büyüyen Yapay Zekanın zamanında izlenmesini ve değerlendirilmesini ölçmek için en yetkili ve en etkili uluslararası Yapay Zeka performans kıyaslama testidir. bilgi işlem gereksinimleri ve performansı.