MLPerf publicó la clasificación y las empresas chinas de chips de IA volvieron a ocupar el primer lugar en el mundo. Tres campeones de la inferencia de modelos grandes, con un rendimiento que supera al H100
A medida que las aplicaciones AIGC como ChatGPT desencadenaron una ola de grandes modelos, la capa de potencia informática, como infraestructura, se convirtió en la primera industria en beneficiarse.
Sin embargo, problemas como la alta demanda de potencia informática y los altos costos se han convertido en puntos débiles comunes para que las empresas implementen modelos grandes y es más probable que restrinjan el desarrollo de la IA: los parámetros de los modelos grandes aumentan día a día, y la informática El cuello de botella en el suministro de energía es inminente, lo que crea una enorme contradicción entre los dos.
Cómo explorar mejores soluciones de potencia informática de modelos grandes es un enfoque común en la industria.
Recientemente, la evaluación autorizada global MLPerf anunció los últimos resultados de la evaluación de inferencia. Esta es la primera vez que MLPerf presenta la prueba de inferencia de modelo grande GPT. La tasa de participación ha alcanzado un nuevo récord, con más de 13.500 resultados de rendimiento presentados por Nvidia e Intel. , Google, Qualcomm y otras empresas.
En MLPerf Inference 3.1, la tarjeta informática Moffet AI S30 ocupó el primer lugar en potencia informática de una sola tarjeta, 4 tarjetas y 8 tarjetas en el modelo grande GPT-J (6 mil millones de parámetros).
Esta es la tercera defensa consecutiva del título de Mo Xin en MLPerf.
Ink Core anteriormente ganó el primer lugar en MLPerf Inference 2.0 y 2.1 durante dos años consecutivos.
Tarjeta informática Ink core S30
Los logros del núcleo de tinta han aportado direcciones de innovación viables a soluciones de potencia informática de modelos a gran escala.
Los hechos han demostrado que la innovación colaborativa de hardware y software que combina modelos de IA con plataformas informáticas puede liberar un mayor potencial de potencia informática. Esto también demuestra una vez más que las tecnologías innovadoras representadas por la computación dispersa serán la clave para el desarrollo de la potencia informática en la era de los modelos grandes.
Ink Core participa en la división abierta MLPerf, que, según el organizador MLCommons, tiene como objetivo fomentar la innovación. Por lo tanto, los concursantes pueden explorar formas de mejorar la potencia informática mediante la colaboración de software y hardware.
En el modelo grande GPT-J en MLPerf, en comparación con la solución de aceleración de hardware pura H100 del proceso de 4 nm, la tarjeta informática Ink Core S30 del proceso de 12 nm logró hasta 1,8 veces la velocidad a través del "algoritmo dual disperso original + colaboración de hardware". "método. Ventaja.
El modelo GPT-J para esta evaluación es un modelo de IA generativa. En los modos de 8 tarjetas, 4 tarjetas y tarjeta única, el rendimiento de la tarjeta informática Ink Core S30 es 170,59, 91,57 y 23,28 (muestra/s) respectivamente, alcanzando el rendimiento de NVIDIA H100 1,6 veces, 1,8 veces y 1,8 veces, lo que demuestra las capacidades de los productos centrales de tinta en tareas AIGC.
Al ganar el campeonato tres veces, la potencia informática del modelo grande fue la primera en "entregar la prueba", y la colaboración de software y hardware continuó innovando: MLPerf ha probado rigurosamente la solidez del producto Ink Core varias veces y también ha explorado nuevos caminos para el desarrollo de la potencia informática de los modelos grandes.
Computación dispersa: las "acciones potenciales" de modelos grandes obtienen reconocimiento en el mercado
Los excelentes resultados continuos del núcleo de tinta se deben principalmente al diseño colaborativo de software y hardware basado en el algoritmo de dispersión.
En la era de los grandes modelos, la importancia de la computación dispersa es evidente: el tamaño de un modelo de IA es directamente proporcional a su potencial de dispersión.
En otras palabras, cuanto más grande es el modelo, mayor es la posibilidad de que el algoritmo sea disperso y el grado de aceleración de los cálculos dispersos también es mayor. Para modelos generales de lenguajes grandes, la computación dispersa puede generar una aceleración decenas de veces.
El algoritmo dual disperso original de Inkcore, combinado con un diseño colaborativo de software y hardware, convierte al chip Antoum® de Inkcore en el primer chip de IA de gran aumento del mundo, que admite hasta 32 veces la dispersión, que es lo que Inkcore estableció un nuevo récord en esta clave MLPerf.
Cuanto más grande es el modelo, más obvia es la ventaja de la computación dispersa, especialmente en la situación actual donde los parámetros de modelos grandes como GPT a menudo alcanzan decenas de miles de millones o cientos de miles de millones, lo que hace que el foso del núcleo de tinta sea más estable.
La industria también ha reconocido la solidez del producto de Ink Core y la tendencia general de la computación dispersa: el proceso de comercialización de Ink Core ha logrado importantes avances uno tras otro, ayudando a las empresas a acelerar las aplicaciones de IA.
Recientemente, Ink Core se convirtió oficialmente en uno de los proveedores que respaldan Byte MLPerf.
Fuente: sitio web de Byte MLPerf
dirección del proyecto:
Actualmente, la plataforma informática Ink Core AI puede admitir modelos grandes con diferentes niveles de parámetros, incluidos BLOOM, OPT, GPT-J, LLaMA, StableDiffusion, etc.
Al mismo tiempo, tiene las características de alto rendimiento, baja latencia y bajo consumo de energía, lo que alivia la dificultad de la potencia informática y realmente ofrece a las empresas soluciones de potencia informática de modelo grande "fáciles de usar" y "asequibles". .
Al traer cambios fundamentales en la potencia informática, la computación dispersa ayuda al desarrollo de modelos grandes
La solución informática dispersa de Ink Core no solo puede aliviar el problema actual de la potencia informática, sino que también abre un nuevo espacio para el desarrollo continuo de la IA.
La computación dispersa reduce la cantidad de cálculo de los modelos de IA, lo que significa que los modelos grandes pueden aumentar el número de parámetros en varios órdenes de magnitud sin generar demasiada cantidad de cálculo. Se espera que se elimine la contradicción entre el crecimiento de los parámetros y los cuellos de botella en la potencia de cálculo de los modelos grandes. ... fundamentalmente resuelto.
Al mismo tiempo, debido a la reducción en la cantidad de cálculos, también se resuelven los puntos débiles de los modelos grandes, como los altos requisitos de potencia informática, el alto consumo de energía y los altos costos, logrando un efecto "win-win".
Chip Antoum: el primer chip de IA de alta tasa de dispersión del mundo, que admite hasta 32 veces la dispersión
Los excelentes resultados de tres MLPerfs consecutivos no solo demuestran la fortaleza de los productos principales de tinta, sino que también traen nuevas revelaciones a la industria: con la ayuda de tecnologías como la computación dispersa, se espera que el desarrollo y la aplicación de modelos grandes marquen el comienzo de una mayor espacio para el desarrollo: aplicaciones como el AIGC acelerado están floreciendo en todos los ámbitos de la vida.
Acerca de MLPerf
MLPerf fue establecido por el ganador del Premio Turing, David Patterson, junto con las principales instituciones académicas como Google, Stanford y la Universidad de Harvard, y es la prueba de referencia internacional de rendimiento de IA más autorizada e influyente para medir el rápido crecimiento. Realizar un seguimiento y una evaluación oportunos de la IA. Requisitos y rendimiento informáticos.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
MLPerf publicó la clasificación y las empresas chinas de chips de IA volvieron a ocupar el primer lugar en el mundo. Tres campeones de la inferencia de modelos grandes, con un rendimiento que supera al H100
A medida que las aplicaciones AIGC como ChatGPT desencadenaron una ola de grandes modelos, la capa de potencia informática, como infraestructura, se convirtió en la primera industria en beneficiarse.
Sin embargo, problemas como la alta demanda de potencia informática y los altos costos se han convertido en puntos débiles comunes para que las empresas implementen modelos grandes y es más probable que restrinjan el desarrollo de la IA: los parámetros de los modelos grandes aumentan día a día, y la informática El cuello de botella en el suministro de energía es inminente, lo que crea una enorme contradicción entre los dos.
Cómo explorar mejores soluciones de potencia informática de modelos grandes es un enfoque común en la industria.
Recientemente, la evaluación autorizada global MLPerf anunció los últimos resultados de la evaluación de inferencia. Esta es la primera vez que MLPerf presenta la prueba de inferencia de modelo grande GPT. La tasa de participación ha alcanzado un nuevo récord, con más de 13.500 resultados de rendimiento presentados por Nvidia e Intel. , Google, Qualcomm y otras empresas.
En MLPerf Inference 3.1, la tarjeta informática Moffet AI S30 ocupó el primer lugar en potencia informática de una sola tarjeta, 4 tarjetas y 8 tarjetas en el modelo grande GPT-J (6 mil millones de parámetros).
Ink Core anteriormente ganó el primer lugar en MLPerf Inference 2.0 y 2.1 durante dos años consecutivos.
Los logros del núcleo de tinta han aportado direcciones de innovación viables a soluciones de potencia informática de modelos a gran escala.
Los hechos han demostrado que la innovación colaborativa de hardware y software que combina modelos de IA con plataformas informáticas puede liberar un mayor potencial de potencia informática. Esto también demuestra una vez más que las tecnologías innovadoras representadas por la computación dispersa serán la clave para el desarrollo de la potencia informática en la era de los modelos grandes.
Ink Core participa en la división abierta MLPerf, que, según el organizador MLCommons, tiene como objetivo fomentar la innovación. Por lo tanto, los concursantes pueden explorar formas de mejorar la potencia informática mediante la colaboración de software y hardware.
En el modelo grande GPT-J en MLPerf, en comparación con la solución de aceleración de hardware pura H100 del proceso de 4 nm, la tarjeta informática Ink Core S30 del proceso de 12 nm logró hasta 1,8 veces la velocidad a través del "algoritmo dual disperso original + colaboración de hardware". "método. Ventaja.
El modelo GPT-J para esta evaluación es un modelo de IA generativa. En los modos de 8 tarjetas, 4 tarjetas y tarjeta única, el rendimiento de la tarjeta informática Ink Core S30 es 170,59, 91,57 y 23,28 (muestra/s) respectivamente, alcanzando el rendimiento de NVIDIA H100 1,6 veces, 1,8 veces y 1,8 veces, lo que demuestra las capacidades de los productos centrales de tinta en tareas AIGC.
Computación dispersa: las "acciones potenciales" de modelos grandes obtienen reconocimiento en el mercado
Los excelentes resultados continuos del núcleo de tinta se deben principalmente al diseño colaborativo de software y hardware basado en el algoritmo de dispersión.
En la era de los grandes modelos, la importancia de la computación dispersa es evidente: el tamaño de un modelo de IA es directamente proporcional a su potencial de dispersión.
En otras palabras, cuanto más grande es el modelo, mayor es la posibilidad de que el algoritmo sea disperso y el grado de aceleración de los cálculos dispersos también es mayor. Para modelos generales de lenguajes grandes, la computación dispersa puede generar una aceleración decenas de veces.
El algoritmo dual disperso original de Inkcore, combinado con un diseño colaborativo de software y hardware, convierte al chip Antoum® de Inkcore en el primer chip de IA de gran aumento del mundo, que admite hasta 32 veces la dispersión, que es lo que Inkcore estableció un nuevo récord en esta clave MLPerf.
Cuanto más grande es el modelo, más obvia es la ventaja de la computación dispersa, especialmente en la situación actual donde los parámetros de modelos grandes como GPT a menudo alcanzan decenas de miles de millones o cientos de miles de millones, lo que hace que el foso del núcleo de tinta sea más estable.
La industria también ha reconocido la solidez del producto de Ink Core y la tendencia general de la computación dispersa: el proceso de comercialización de Ink Core ha logrado importantes avances uno tras otro, ayudando a las empresas a acelerar las aplicaciones de IA.
Recientemente, Ink Core se convirtió oficialmente en uno de los proveedores que respaldan Byte MLPerf.
dirección del proyecto:
Actualmente, la plataforma informática Ink Core AI puede admitir modelos grandes con diferentes niveles de parámetros, incluidos BLOOM, OPT, GPT-J, LLaMA, StableDiffusion, etc.
Al mismo tiempo, tiene las características de alto rendimiento, baja latencia y bajo consumo de energía, lo que alivia la dificultad de la potencia informática y realmente ofrece a las empresas soluciones de potencia informática de modelo grande "fáciles de usar" y "asequibles". .
Al traer cambios fundamentales en la potencia informática, la computación dispersa ayuda al desarrollo de modelos grandes
La solución informática dispersa de Ink Core no solo puede aliviar el problema actual de la potencia informática, sino que también abre un nuevo espacio para el desarrollo continuo de la IA.
La computación dispersa reduce la cantidad de cálculo de los modelos de IA, lo que significa que los modelos grandes pueden aumentar el número de parámetros en varios órdenes de magnitud sin generar demasiada cantidad de cálculo. Se espera que se elimine la contradicción entre el crecimiento de los parámetros y los cuellos de botella en la potencia de cálculo de los modelos grandes. ... fundamentalmente resuelto.
Al mismo tiempo, debido a la reducción en la cantidad de cálculos, también se resuelven los puntos débiles de los modelos grandes, como los altos requisitos de potencia informática, el alto consumo de energía y los altos costos, logrando un efecto "win-win".
Los excelentes resultados de tres MLPerfs consecutivos no solo demuestran la fortaleza de los productos principales de tinta, sino que también traen nuevas revelaciones a la industria: con la ayuda de tecnologías como la computación dispersa, se espera que el desarrollo y la aplicación de modelos grandes marquen el comienzo de una mayor espacio para el desarrollo: aplicaciones como el AIGC acelerado están floreciendo en todos los ámbitos de la vida.
Acerca de MLPerf
MLPerf fue establecido por el ganador del Premio Turing, David Patterson, junto con las principales instituciones académicas como Google, Stanford y la Universidad de Harvard, y es la prueba de referencia internacional de rendimiento de IA más autorizada e influyente para medir el rápido crecimiento. Realizar un seguimiento y una evaluación oportunos de la IA. Requisitos y rendimiento informáticos.