MLPerf оприлюднив рейтинг, і китайські компанії, що займаються розробкою штучного інтелекту, знову зайняли перше місце у світі! Три чемпіони у розробці великих моделей, продуктивність перевершує H100
Оскільки програми AIGC, такі як ChatGPT, почали хвилю великих моделей, рівень обчислювальної потужності, як інфраструктура, став першою галуззю, яка виграла.
Однак такі проблеми, як високий попит на обчислювальну потужність і високу вартість, стали звичайними проблемними точками для підприємств у впровадженні великих моделей і, швидше за все, обмежуватимуть розвиток ШІ: параметри великих моделей збільшуються з кожним днем, а обчислення вузьке місце електропостачання є неминучим, що створює величезне протиріччя між ними.
Як досліджувати кращі рішення для обчислювальної потужності великої моделі – це загальна увага в галузі.
Нещодавно авторитетна світова оцінювальна компанія MLPerf оголосила про останні результати оцінки логічного висновку. Це перший випадок, коли MLPerf представив тест логічного висновку великої моделі GPT. Рівень участі досяг нового рекорду: NVIDIA, Intel представили понад 13 500 результатів продуктивності. , Google, Qualcomm та інші компанії.
У MLPerf Inference 3.1 обчислювальна карта Moffet AI S30 посіла перше місце за обчислювальною потужністю однієї карти, 4 карт і 8 карт на великій моделі GPT-J (6 мільярдів параметрів).
Це третій поспіль захист титулу Мо Сіня на MLPerf.
Раніше Ink Core займав перше місце в MLPerf Inference 2.0 і 2.1 два роки поспіль.
Обчислювальна карта Ink Core S30
Досягнення чорнильного ядра принесли реальні напрямки інновацій для рішень великомасштабної моделі обчислювальної потужності.
Факти довели, що спільні інновації апаратного та програмного забезпечення, які поєднують моделі ШІ з обчислювальними платформами, можуть розкрити більший потенціал обчислювальної потужності. Це ще раз доводить, що інноваційні технології, представлені розрідженими обчисленнями, стануть ключем до розвитку обчислювальної потужності в епоху великих моделей.
Ink Core бере участь у відкритому підрозділі MLPerf, який, за словами організатора MLCommons, спрямований на заохочення інновацій. Тому учасники можуть досліджувати шляхи покращення обчислювальної потужності за допомогою співпраці програмного та апаратного забезпечення.
У великій моделі GPT-J у MLPerf порівняно з апаратним рішенням H100 для чистого апаратного прискорення за 4-нм техпроцесом обчислювальна карта Ink Core S30 за 12-нм техпроцесом досягла в 1,8 рази більшої швидкості завдяки «оригінальному подвійному розрідженому алгоритму + апаратній співпраці». Перевага.
Модель GPT-J для цієї оцінки є генеративною моделлю штучного інтелекту. У режимах 8 карток, 4 карток і однієї карти продуктивність обчислювальної карти Ink Core S30 становить 170,59, 91,57 і 23,28 (зразок/с) відповідно, досягаючи продуктивності NVIDIA H100.1,6 рази, 1,8 рази і 1,8 рази, демонструючи можливості основних продуктів чорнила в завданнях AIGC.
Вигравши чемпіонат тричі, обчислювальна потужність великої моделі першою «здала випробування», а співпраця програмного та апаратного забезпечення продовжувала впроваджувати інновації — потужність продукту Ink Core була ретельно перевірена компанією MLPerf кілька разів, а також вона досліджувала нові шляхи розвитку обчислювальної потужності великих моделей.
Sparse Computing—великі моделі «потенційних запасів» отримують визнання на ринку
Безперервні відмінні результати чорнильного ядра в основному завдяки спільній розробці програмного та апаратного забезпечення на основі алгоритму розрідження.
В епоху великих моделей важливість розріджених обчислень є самоочевидною: розмір моделі ШІ прямо пропорційний її потенціалу розрідження.
Іншими словами, коли модель більша, існує більша ймовірність розрідженості в алгоритмі, і ступінь прискорення розріджених обчислень також вище. Для загальних великих мовних моделей розріджені обчислення можуть прискорити в десятки разів.
Оригінальний подвійний розріджений алгоритм Inkcore у поєднанні зі спільним дизайном програмного та апаратного забезпечення робить чіп Antoum® від Inkcore першим у світі чіпом штучного інтелекту зі збільшенням високого розрідження, який підтримує розрідженість до 32 разів — це те, що Inkcore встановило новий рекорд у цьому ключі MLPerf.
Чим більша модель, тим очевидніша перевага розріджених обчислень - особливо в поточній ситуації, коли параметри великих моделей, таких як GPT, часто досягають десятків мільярдів або сотень мільярдів, що робить рів чорнильного ядра більш стабільним.
Потужність продукту Ink Core і загальна тенденція розрідженості обчислень також були визнані галуззю: процес комерціалізації Ink Core один за одним зробив важливі прориви, допомагаючи підприємствам прискорювати застосування ШІ.
Нещодавно Ink Core офіційно став одним із постачальників, що підтримують Byte MLPerf.
Джерело: сайт Byte MLPerf
адреса проекту:
Наразі обчислювальна платформа Ink Core AI може підтримувати великі моделі з різними рівнями параметрів, включаючи BLOOM, OPT, GPT-J, LLaMA, StableDiffusion тощо.
У той же час він має характеристики високої пропускної здатності, низької затримки та низького енергоспоживання, що зменшує труднощі з обчислювальною потужністю та справді надає підприємствам «прості у використанні» та «доступні» рішення для обчислення потужності великої моделі. .
Вносячи фундаментальні зміни в обчислювальну потужність, розріджені обчислення допомагають розробці великих моделей
Розріджене обчислювальне рішення Ink Core може не тільки полегшити поточну проблему обчислювальної потужності, але й відкрити новий простір для подальшого розвитку ШІ.
Розріджені обчислення зменшують кількість обчислень моделей штучного інтелекту, що означає, що великі моделі можуть збільшити кількість параметрів на кілька порядків, не генеруючи надто великої кількості обчислень. принципово вирішено.
У той же час, завдяки зменшенню обсягу обчислень, також вирішуються больові точки великих моделей, такі як високі вимоги до обчислювальної потужності, високе енергоспоживання та високі витрати, досягаючи ефекту «win-win».
* Мікросхема Antoum: перша в світі мікросхема штучного інтелекту з високою швидкістю розрідження, яка підтримує розрідження до 32 разів*
Чудові результати трьох послідовних MLPerf не тільки доводять міцність основних продуктів чорнила, але й приносять нові відкриття для галузі: за допомогою таких технологій, як розріджені обчислення, розробка та застосування великих моделей, як очікується, започаткує ширший розвиток. простір для розвитку Такі програми, як прискорений AIGC, процвітають у всіх сферах життя.
Про MLPerf
MLPerf був заснований лауреатом премії Тюрінга Девідом Паттерсоном спільно з провідними академічними установами, такими як Google, Стенфорд і Гарвардський університет.Це найавторитетніший і найвпливовіший міжнародний порівняльний тест продуктивності штучного інтелекту для вимірювання швидко зростаючого своєчасного відстеження та оцінки штучного інтелекту. вимоги до обчислень і продуктивність.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
MLPerf оприлюднив рейтинг, і китайські компанії, що займаються розробкою штучного інтелекту, знову зайняли перше місце у світі! Три чемпіони у розробці великих моделей, продуктивність перевершує H100
Оскільки програми AIGC, такі як ChatGPT, почали хвилю великих моделей, рівень обчислювальної потужності, як інфраструктура, став першою галуззю, яка виграла.
Однак такі проблеми, як високий попит на обчислювальну потужність і високу вартість, стали звичайними проблемними точками для підприємств у впровадженні великих моделей і, швидше за все, обмежуватимуть розвиток ШІ: параметри великих моделей збільшуються з кожним днем, а обчислення вузьке місце електропостачання є неминучим, що створює величезне протиріччя між ними.
Як досліджувати кращі рішення для обчислювальної потужності великої моделі – це загальна увага в галузі.
Нещодавно авторитетна світова оцінювальна компанія MLPerf оголосила про останні результати оцінки логічного висновку. Це перший випадок, коли MLPerf представив тест логічного висновку великої моделі GPT. Рівень участі досяг нового рекорду: NVIDIA, Intel представили понад 13 500 результатів продуктивності. , Google, Qualcomm та інші компанії.
У MLPerf Inference 3.1 обчислювальна карта Moffet AI S30 посіла перше місце за обчислювальною потужністю однієї карти, 4 карт і 8 карт на великій моделі GPT-J (6 мільярдів параметрів).
Раніше Ink Core займав перше місце в MLPerf Inference 2.0 і 2.1 два роки поспіль.
Досягнення чорнильного ядра принесли реальні напрямки інновацій для рішень великомасштабної моделі обчислювальної потужності.
Факти довели, що спільні інновації апаратного та програмного забезпечення, які поєднують моделі ШІ з обчислювальними платформами, можуть розкрити більший потенціал обчислювальної потужності. Це ще раз доводить, що інноваційні технології, представлені розрідженими обчисленнями, стануть ключем до розвитку обчислювальної потужності в епоху великих моделей.
Ink Core бере участь у відкритому підрозділі MLPerf, який, за словами організатора MLCommons, спрямований на заохочення інновацій. Тому учасники можуть досліджувати шляхи покращення обчислювальної потужності за допомогою співпраці програмного та апаратного забезпечення.
У великій моделі GPT-J у MLPerf порівняно з апаратним рішенням H100 для чистого апаратного прискорення за 4-нм техпроцесом обчислювальна карта Ink Core S30 за 12-нм техпроцесом досягла в 1,8 рази більшої швидкості завдяки «оригінальному подвійному розрідженому алгоритму + апаратній співпраці». Перевага.
Модель GPT-J для цієї оцінки є генеративною моделлю штучного інтелекту. У режимах 8 карток, 4 карток і однієї карти продуктивність обчислювальної карти Ink Core S30 становить 170,59, 91,57 і 23,28 (зразок/с) відповідно, досягаючи продуктивності NVIDIA H100.1,6 рази, 1,8 рази і 1,8 рази, демонструючи можливості основних продуктів чорнила в завданнях AIGC.
Sparse Computing—великі моделі «потенційних запасів» отримують визнання на ринку
Безперервні відмінні результати чорнильного ядра в основному завдяки спільній розробці програмного та апаратного забезпечення на основі алгоритму розрідження.
В епоху великих моделей важливість розріджених обчислень є самоочевидною: розмір моделі ШІ прямо пропорційний її потенціалу розрідження.
Іншими словами, коли модель більша, існує більша ймовірність розрідженості в алгоритмі, і ступінь прискорення розріджених обчислень також вище. Для загальних великих мовних моделей розріджені обчислення можуть прискорити в десятки разів.
Оригінальний подвійний розріджений алгоритм Inkcore у поєднанні зі спільним дизайном програмного та апаратного забезпечення робить чіп Antoum® від Inkcore першим у світі чіпом штучного інтелекту зі збільшенням високого розрідження, який підтримує розрідженість до 32 разів — це те, що Inkcore встановило новий рекорд у цьому ключі MLPerf.
Чим більша модель, тим очевидніша перевага розріджених обчислень - особливо в поточній ситуації, коли параметри великих моделей, таких як GPT, часто досягають десятків мільярдів або сотень мільярдів, що робить рів чорнильного ядра більш стабільним.
Потужність продукту Ink Core і загальна тенденція розрідженості обчислень також були визнані галуззю: процес комерціалізації Ink Core один за одним зробив важливі прориви, допомагаючи підприємствам прискорювати застосування ШІ.
Нещодавно Ink Core офіційно став одним із постачальників, що підтримують Byte MLPerf.
адреса проекту:
Наразі обчислювальна платформа Ink Core AI може підтримувати великі моделі з різними рівнями параметрів, включаючи BLOOM, OPT, GPT-J, LLaMA, StableDiffusion тощо.
У той же час він має характеристики високої пропускної здатності, низької затримки та низького енергоспоживання, що зменшує труднощі з обчислювальною потужністю та справді надає підприємствам «прості у використанні» та «доступні» рішення для обчислення потужності великої моделі. .
Вносячи фундаментальні зміни в обчислювальну потужність, розріджені обчислення допомагають розробці великих моделей
Розріджене обчислювальне рішення Ink Core може не тільки полегшити поточну проблему обчислювальної потужності, але й відкрити новий простір для подальшого розвитку ШІ.
Розріджені обчислення зменшують кількість обчислень моделей штучного інтелекту, що означає, що великі моделі можуть збільшити кількість параметрів на кілька порядків, не генеруючи надто великої кількості обчислень. принципово вирішено.
У той же час, завдяки зменшенню обсягу обчислень, також вирішуються больові точки великих моделей, такі як високі вимоги до обчислювальної потужності, високе енергоспоживання та високі витрати, досягаючи ефекту «win-win».
Чудові результати трьох послідовних MLPerf не тільки доводять міцність основних продуктів чорнила, але й приносять нові відкриття для галузі: за допомогою таких технологій, як розріджені обчислення, розробка та застосування великих моделей, як очікується, започаткує ширший розвиток. простір для розвитку Такі програми, як прискорений AIGC, процвітають у всіх сферах життя.
Про MLPerf
MLPerf був заснований лауреатом премії Тюрінга Девідом Паттерсоном спільно з провідними академічними установами, такими як Google, Стенфорд і Гарвардський університет.Це найавторитетніший і найвпливовіший міжнародний порівняльний тест продуктивності штучного інтелекту для вимірювання швидко зростаючого своєчасного відстеження та оцінки штучного інтелекту. вимоги до обчислень і продуктивність.