MLPerf a publié le classement, et les sociétés chinoises de puces d'IA se sont à nouveau classées premières au monde ! Trois champions de l'inférence de grands modèles, aux performances dépassant le H100
Alors que les applications AIGC telles que ChatGPT ont déclenché une vague de grands modèles, la couche de puissance de calcul, en tant qu'infrastructure, est devenue la première industrie à en bénéficier.
Cependant, des problèmes tels qu'une forte demande de puissance de calcul et des coûts élevés sont devenus des problèmes courants pour les entreprises qui souhaitent mettre en œuvre de grands modèles, et sont plus susceptibles de restreindre le développement de l'IA : les paramètres des grands modèles augmentent de jour en jour, et le calcul le goulot d'étranglement de l'alimentation électrique est imminent, créant une énorme contradiction entre les deux.
Comment explorer de meilleures solutions de puissance de calcul sur grands modèles est une préoccupation commune dans l'industrie.
Récemment, MLPerf, l'organisme d'évaluation faisant autorité au monde, a annoncé les derniers résultats de l'évaluation d'inférence. C'est la première fois que MLPerf introduit le test d'inférence sur grand modèle GPT. Le taux de participation a atteint un nouveau record, avec plus de 13 500 résultats de performances soumis par NVIDIA, Intel , Google, Qualcomm et d'autres sociétés.
Dans MLPerf Inference 3.1, la carte informatique Moffet AI S30 s'est classée première en termes de puissance de calcul d'une seule carte, 4 cartes et 8 cartes sur le grand modèle GPT-J (6 milliards de paramètres).
Il s’agit de la troisième défense de titre consécutive de Mo Xin au MLPerf.
Ink Core a déjà remporté la première place dans MLPerf Inference 2.0 et 2.1 pendant deux années consécutives.
Carte informatique Ink Core S30
Les réalisations du noyau d'encre ont apporté des orientations d'innovation réalisables vers des solutions de puissance de calcul de modèles à grande échelle.
Les faits ont prouvé que l’innovation collaborative en matière de matériel et de logiciels combinant des modèles d’IA avec des plates-formes informatiques peut libérer un plus grand potentiel de puissance de calcul. Cela prouve également une fois de plus que les technologies innovantes représentées par le Sparse Computing seront la clé du développement de la puissance de calcul à l’ère des grands modèles.
Ink Core participe à la division ouverte MLPerf, qui, selon l'organisateur MLCommons, vise à encourager l'innovation. Par conséquent, les candidats peuvent explorer les moyens d’améliorer la puissance de calcul grâce à la collaboration logicielle et matérielle.
Sur le grand modèle GPT-J dans MLPerf, par rapport à la solution d'accélération matérielle pure H100 du processus 4 nm, la carte informatique Ink Core S30 du processus 12 nm a atteint jusqu'à 1,8 fois la vitesse grâce au « double algorithme clairsemé original + collaboration matérielle » " méthode. Avantage.
Le modèle GPT-J pour cette évaluation est un modèle d'IA génératif. En modes 8 cartes, 4 cartes et carte unique, les performances de la carte informatique Ink Core S30 sont de 170,59, 91,57 et 23,28 (échantillon/s). respectivement, atteignant les performances du NVIDIA H100 1,6 fois, 1,8 fois et 1,8 fois, démontrant les capacités des produits de base d'encre dans les tâches AIGC.
En remportant le championnat à trois reprises, la puissance de calcul du grand modèle a été la première à « passer le test », et la collaboration logicielle et matérielle a continué à innover - la force du produit Ink Core a été rigoureusement testée par MLPerf à plusieurs reprises, et elle a également exploré de nouvelles voies pour le développement de la puissance de calcul des grands modèles.
Sparse Computing——Les « actions potentielles » de grands modèles gagnent en reconnaissance sur le marché
Les excellents résultats continus du noyau d'encre sont principalement dus à la conception collaborative de logiciels et de matériel basée sur l'algorithme de sparsification.
À l’ère des grands modèles, l’importance du parcage informatique est évidente : la taille d’un modèle d’IA est directement proportionnelle à son potentiel de parcimonie.
En d’autres termes, lorsque le modèle est plus grand, il existe une plus grande possibilité de parcimonie dans l’algorithme et le degré d’accélération des calculs clairsemés est également plus élevé. Pour les grands modèles de langage généraux, le calcul clairsemé peut apporter une accélération des dizaines de fois.
L'algorithme double clairsemé original d'Inkcore, combiné à une conception collaborative logicielle et matérielle, fait de la puce Antoum® d'Inkcore la première puce IA à fort grossissement clairsemé au monde, prenant en charge jusqu'à 32 fois la parcimonie, ce qui est ce pour quoi Inkcore a établi un nouveau record dans cette clé MLPerf.
Plus le modèle est grand, plus l'avantage du calcul clairsemé est évident - en particulier dans la situation actuelle où les paramètres des grands modèles tels que GPT atteignent souvent des dizaines de milliards ou des centaines de milliards, ce qui rend le fossé du noyau d'encre plus stable.
La force du produit Ink Core et la tendance générale à l'informatique éparse ont également été reconnues par l'industrie : le processus de commercialisation d'Ink Core a réalisé des avancées importantes les unes après les autres, aidant les entreprises à accélérer les applications d'IA.
Tout récemment, Ink Core est officiellement devenu l'un des fournisseurs prenant en charge Byte MLPerf.
Source : site Web Byte MLPerf
adresse du projet :
Actuellement, la plate-forme informatique Ink Core AI peut prendre en charge de grands modèles de différents niveaux de paramètres, notamment BLOOM, OPT, GPT-J, LLaMA, StableDiffusion, etc.
En même temps, il présente les caractéristiques d'un débit élevé, d'une faible latence et d'une faible consommation d'énergie, ce qui atténue la difficulté de la puissance de calcul et apporte véritablement aux entreprises des solutions de puissance de calcul de grand modèle « faciles à utiliser » et « abordables ». .
Apportant des changements fondamentaux dans la puissance de calcul, le calcul clairsemé facilite le développement de grands modèles
La solution informatique éparse d'Ink Core peut non seulement atténuer le problème actuel de puissance de calcul, mais également ouvrir un nouvel espace pour le développement continu de l'IA.
Le calcul clairsemé réduit la quantité de calcul des modèles d'IA, ce qui signifie que les grands modèles peuvent augmenter le nombre de paramètres de plusieurs ordres de grandeur sans générer trop de quantité de calcul. La contradiction entre la croissance des paramètres et les goulots d'étranglement de la puissance de calcul des grands modèles devrait être éliminée. … fondamentalement résolu.
Dans le même temps, grâce à la réduction du nombre de calculs, les problèmes des grands modèles tels que les besoins élevés en puissance de calcul, la consommation d'énergie élevée et les coûts élevés sont également résolus, obtenant ainsi un effet « gagnant-gagnant ».
Puce Antoum : la première puce IA à haut taux de rareté au monde, prenant en charge jusqu'à 32 fois la rareté
Les excellents résultats de trois MLPerfs consécutifs prouvent non seulement la force des produits de base d'encre, mais apportent également de nouvelles révélations à l'industrie : avec l'aide de technologies telles que l'informatique parcimonie, le développement et l'application de grands modèles devraient ouvrir la voie à une vision plus large. espace de développement. Des applications telles que l’AIGC accéléré fleurissent dans tous les domaines.
À propos de MLPerf
MLPerf a été créé par David Patterson, lauréat du prix Turing, en collaboration avec des institutions universitaires de premier plan telles que Google, Stanford et l'Université Harvard. Il s'agit du test de référence international de performance de l'IA le plus fiable et le plus influent pour mesurer la croissance rapide. Effectuer un suivi et une évaluation en temps opportun de l'IA. exigences et performances informatiques.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
MLPerf a publié le classement, et les sociétés chinoises de puces d'IA se sont à nouveau classées premières au monde ! Trois champions de l'inférence de grands modèles, aux performances dépassant le H100
Alors que les applications AIGC telles que ChatGPT ont déclenché une vague de grands modèles, la couche de puissance de calcul, en tant qu'infrastructure, est devenue la première industrie à en bénéficier.
Cependant, des problèmes tels qu'une forte demande de puissance de calcul et des coûts élevés sont devenus des problèmes courants pour les entreprises qui souhaitent mettre en œuvre de grands modèles, et sont plus susceptibles de restreindre le développement de l'IA : les paramètres des grands modèles augmentent de jour en jour, et le calcul le goulot d'étranglement de l'alimentation électrique est imminent, créant une énorme contradiction entre les deux.
Comment explorer de meilleures solutions de puissance de calcul sur grands modèles est une préoccupation commune dans l'industrie.
Récemment, MLPerf, l'organisme d'évaluation faisant autorité au monde, a annoncé les derniers résultats de l'évaluation d'inférence. C'est la première fois que MLPerf introduit le test d'inférence sur grand modèle GPT. Le taux de participation a atteint un nouveau record, avec plus de 13 500 résultats de performances soumis par NVIDIA, Intel , Google, Qualcomm et d'autres sociétés.
Dans MLPerf Inference 3.1, la carte informatique Moffet AI S30 s'est classée première en termes de puissance de calcul d'une seule carte, 4 cartes et 8 cartes sur le grand modèle GPT-J (6 milliards de paramètres).
Ink Core a déjà remporté la première place dans MLPerf Inference 2.0 et 2.1 pendant deux années consécutives.
Les réalisations du noyau d'encre ont apporté des orientations d'innovation réalisables vers des solutions de puissance de calcul de modèles à grande échelle.
Les faits ont prouvé que l’innovation collaborative en matière de matériel et de logiciels combinant des modèles d’IA avec des plates-formes informatiques peut libérer un plus grand potentiel de puissance de calcul. Cela prouve également une fois de plus que les technologies innovantes représentées par le Sparse Computing seront la clé du développement de la puissance de calcul à l’ère des grands modèles.
Ink Core participe à la division ouverte MLPerf, qui, selon l'organisateur MLCommons, vise à encourager l'innovation. Par conséquent, les candidats peuvent explorer les moyens d’améliorer la puissance de calcul grâce à la collaboration logicielle et matérielle.
Sur le grand modèle GPT-J dans MLPerf, par rapport à la solution d'accélération matérielle pure H100 du processus 4 nm, la carte informatique Ink Core S30 du processus 12 nm a atteint jusqu'à 1,8 fois la vitesse grâce au « double algorithme clairsemé original + collaboration matérielle » " méthode. Avantage.
Le modèle GPT-J pour cette évaluation est un modèle d'IA génératif. En modes 8 cartes, 4 cartes et carte unique, les performances de la carte informatique Ink Core S30 sont de 170,59, 91,57 et 23,28 (échantillon/s). respectivement, atteignant les performances du NVIDIA H100 1,6 fois, 1,8 fois et 1,8 fois, démontrant les capacités des produits de base d'encre dans les tâches AIGC.
Sparse Computing——Les « actions potentielles » de grands modèles gagnent en reconnaissance sur le marché
Les excellents résultats continus du noyau d'encre sont principalement dus à la conception collaborative de logiciels et de matériel basée sur l'algorithme de sparsification.
À l’ère des grands modèles, l’importance du parcage informatique est évidente : la taille d’un modèle d’IA est directement proportionnelle à son potentiel de parcimonie.
En d’autres termes, lorsque le modèle est plus grand, il existe une plus grande possibilité de parcimonie dans l’algorithme et le degré d’accélération des calculs clairsemés est également plus élevé. Pour les grands modèles de langage généraux, le calcul clairsemé peut apporter une accélération des dizaines de fois.
L'algorithme double clairsemé original d'Inkcore, combiné à une conception collaborative logicielle et matérielle, fait de la puce Antoum® d'Inkcore la première puce IA à fort grossissement clairsemé au monde, prenant en charge jusqu'à 32 fois la parcimonie, ce qui est ce pour quoi Inkcore a établi un nouveau record dans cette clé MLPerf.
Plus le modèle est grand, plus l'avantage du calcul clairsemé est évident - en particulier dans la situation actuelle où les paramètres des grands modèles tels que GPT atteignent souvent des dizaines de milliards ou des centaines de milliards, ce qui rend le fossé du noyau d'encre plus stable.
La force du produit Ink Core et la tendance générale à l'informatique éparse ont également été reconnues par l'industrie : le processus de commercialisation d'Ink Core a réalisé des avancées importantes les unes après les autres, aidant les entreprises à accélérer les applications d'IA.
Tout récemment, Ink Core est officiellement devenu l'un des fournisseurs prenant en charge Byte MLPerf.
adresse du projet :
Actuellement, la plate-forme informatique Ink Core AI peut prendre en charge de grands modèles de différents niveaux de paramètres, notamment BLOOM, OPT, GPT-J, LLaMA, StableDiffusion, etc.
En même temps, il présente les caractéristiques d'un débit élevé, d'une faible latence et d'une faible consommation d'énergie, ce qui atténue la difficulté de la puissance de calcul et apporte véritablement aux entreprises des solutions de puissance de calcul de grand modèle « faciles à utiliser » et « abordables ». .
Apportant des changements fondamentaux dans la puissance de calcul, le calcul clairsemé facilite le développement de grands modèles
La solution informatique éparse d'Ink Core peut non seulement atténuer le problème actuel de puissance de calcul, mais également ouvrir un nouvel espace pour le développement continu de l'IA.
Le calcul clairsemé réduit la quantité de calcul des modèles d'IA, ce qui signifie que les grands modèles peuvent augmenter le nombre de paramètres de plusieurs ordres de grandeur sans générer trop de quantité de calcul. La contradiction entre la croissance des paramètres et les goulots d'étranglement de la puissance de calcul des grands modèles devrait être éliminée. … fondamentalement résolu.
Dans le même temps, grâce à la réduction du nombre de calculs, les problèmes des grands modèles tels que les besoins élevés en puissance de calcul, la consommation d'énergie élevée et les coûts élevés sont également résolus, obtenant ainsi un effet « gagnant-gagnant ».
Les excellents résultats de trois MLPerfs consécutifs prouvent non seulement la force des produits de base d'encre, mais apportent également de nouvelles révélations à l'industrie : avec l'aide de technologies telles que l'informatique parcimonie, le développement et l'application de grands modèles devraient ouvrir la voie à une vision plus large. espace de développement. Des applications telles que l’AIGC accéléré fleurissent dans tous les domaines.
À propos de MLPerf
MLPerf a été créé par David Patterson, lauréat du prix Turing, en collaboration avec des institutions universitaires de premier plan telles que Google, Stanford et l'Université Harvard. Il s'agit du test de référence international de performance de l'IA le plus fiable et le plus influent pour mesurer la croissance rapide. Effectuer un suivi et une évaluation en temps opportun de l'IA. exigences et performances informatiques.