À medida que a Nvidia assume a liderança na ocupação do mercado de chips de potência de computação de grande modelo de IA, ela tem um valor de mercado superior a um trilhão. Ao mesmo tempo, Intel, AMD e empresas chinesas de chips GPU também estão competindo secretamente, na esperança de obter uma participação no mercado de chips de potência de computação de IA.
**Em 19 de setembro, na conferência de inovação tecnológica Intel On realizada em San Jose, nos Estados Unidos, **O CEO da Intel, Pat Gelsinger, de 62 anos, estava "cheio de energia" e começou seu discurso com flexões.
Nesta reunião, Gelsinger lançou uma série de novos produtos de tecnologia de uma só vez: processador Intel Core Ultra baseado no processo Intel 4 (5nm), codinome "Meteor Lake"; apresentou uma prévia do chip de servidor Xeon de quinta geração e do roteiro de produtos Xeon subsequentes ; divulgou chip AI de 5nm Gaudi 3, etc.
CEO da Intel, Pat Gelsinger, fazendo flexões no local
Em comparação com as sessões anteriores, desta vez Kissinger "transformou-se em um velho vestido de couro" e falou sobre o papel do poder de computação da IA na economia por quase 2 horas. De acordo com as estatísticas do aplicativo TMTpost, Kissinger mencionou termos relacionados a “inteligência artificial” e “aprendizado profundo” cerca de 200 vezes neste discurso.
Quase ao mesmo tempo, a Intel e a concorrente da Nvidia, AMD, lançaram o mais recente chip EPYC 8004 CPU (unidade de processamento central) e esperavam lançar chips AI da série MI300 antes do final do ano para competir com a Nvidia. Além disso, na China, fabricantes de chips de IA, incluindo Huawei e Tianshu Zhixin, também estão implantando ativamente inferência de treinamento de grandes modelos e produtos de poder de computação de IA.
"Competimos ferozmente com a NVIDIA, líder de mercado em chips de poder de computação de IA. Mas tanto Gaudi2 quanto Gaudi3 são um grande passo à frente deles. Estamos ganhando impulso e o mercado está começando a perceber isso entre os líderes em IA. indústria de chips Há outra oportunidade", disse Kissinger à CNBC em 20 de setembro.
A competição de mercado se intensifica e é difícil para o "Velho Huang" monopolizar trilhões de poder de computação de IA
De 2023 até agora, a "mania" dos grandes modelos de IA representados pelo ChatGPT varreu o mundo, e os grandes modelos estão promovendo o desenvolvimento da IA em uma direção mais geral.
Ao mesmo tempo, a escassez e o custo do poder computacional tornaram-se factores fundamentais que restringem o desenvolvimento da IA. O poder computacional também se tornou uma pedra angular importante da transformação digital e inteligente de toda a sociedade, impulsionando assim um aumento na procura de poder computacional inteligente.
De acordo com dados fornecidos pela CEO da AMD, Lisa Su, o mercado potencial total para aceleradores globais de IA para data centers atingirá aproximadamente US$ 30 bilhões em 2023, e esse número deverá exceder US$ 150 bilhões até 2027 ((aproximadamente RMB 1,095 trilhão), com uma taxa composta de crescimento anual superior a 50%.
Manuvir Das, vice-presidente de computação empresarial da Nvidia, forneceu outro conjunto de dados mostrando que o mercado potencial (TAM) para IA deverá crescer para US$ 600 bilhões. Entre eles, chips e sistemas podem receber 300 bilhões de dólares americanos, software de IA generativo pode receber 150 bilhões de dólares americanos e os outros 150 bilhões de dólares americanos serão contribuídos pelo software empresarial NVIDIA.
**Obviamente, o mercado de chips de potência de computação de IA é um grande “bolo”. **
Mas atualmente, a NVIDIA ocupa 82% do mercado global de aceleração de IA de data centers e monopoliza o mercado global de treinamento de IA com 95% de participação de mercado, tornando-se o maior vencedor nesta rodada de combate corpo a corpo de IA. Huang Renxun e sua empresa Nvidia estão ganhando muito dinheiro, com um valor de mercado superior a 1 trilhão de dólares americanos.
Ao mesmo tempo, o aumento na demanda por energia de computação fez com que a GPU NVIDIA (unidade de processamento gráfico) fosse "difícil de encontrar". O número de placas gráficas Nvidia A100 se tornou um padrão para medir o poder computacional de uma empresa.
**Na verdade, se uma empresa deseja desenvolver um grande modelo de uso geral, ela deve primeiro prestar atenção a dois pontos em termos de poder computacional: a quantidade e o preço das placas gráficas. **
**Entre eles, em termos de número de placas gráficas, **OpenAI usa 10.000-30.000 GPUs NVIDIA para treinar o modelo GPT-3.5. De acordo com o último relatório da TrendForce, se calculado com base no poder de processamento das placas gráficas NVIDIA A100, a execução do ChatGPT pode exigir o uso de 30.000 placas gráficas NVIDIA GPU. Além disso, em termos de modelos de código aberto, o modelo Llama é treinado em 2.048 A100s de 80 GB, e todo o poder de computação de treinamento está próximo de 2.000 PTOPS de poder de computação.
Em termos de preço, o preço do H800 atualmente disponível na China chegou a 200.000/peça, enquanto o preço do A100/A800 subiu para cerca de 150.000 e 100.000/peça. Tomando o requisito de poder de computação de 2.000P como exemplo, a GPU H800 tem um poder de computação de placa única de 2P e requer 1.000 placas gráficas. O preço estimado de toda a placa é de 200 milhões de yuans; o poder de computação de placa única A800 é de aproximadamente 0,625P e a quantidade necessária é de 3.200 placas gráficas.O preço estimado de toda a placa gráfica é de até 320 milhões de yuans.
Além de comprar uma placa gráfica GPU, o servidor também precisa considerar a configuração e cálculo de toda a máquina, incluindo CPU, armazenamento, conexões de comunicação NV-Link, etc., além de fatores como consumo de energia, aluguel de site, e custos de operação e manutenção.
Atualmente, os servidores A800 e H800 são principalmente modelos de 8 placas. Para atender ao poder de computação de 2.000 P, é necessário configurar 125 servidores H800 de 8 placas ou 400 servidores A800 de 8 placas, com preços de 300 milhões de yuans e 560 milhões de yuans, respectivamente. Além disso, como o H800 também suporta PCIe 5.0, uma nova geração de CPUs e memória, o preço precisa ser aumentado para atingir o desempenho computacional ideal.
Portanto, do ponto de vista do treinamento de grandes modelos, o custo total de aquisição do H800 é inferior ao do A800, que é mais econômico e inferior ao custo de construção de uma CPU.Isso é o que o CEO da Nvidia, Jen-Hsun Huang, costumava dizer recentemente: "Quanto mais você compra, mais econômico é.", mais você economiza.
Claro, não importa se você realmente não pode pagar. A NVIDIA também lançou cuidadosamente um serviço de leasing on-line, o sistema de computação DGX super AI, que está aberto a empresas por meio de leasing, equipado com 8 GPUs H100 ou A100, cada nó tem 640 GB de memória e o aluguel mensal é de US$ 37.000, portanto, não há necessidade de criar seus próprios dados. O centro compra um grande número de placas gráficas GPU. Este tipo de método de leasing tem uma elevada margem de lucro bruto.De acordo com um relatório sobre o serviço "Cloud Computing Power Leasing" da Microsoft, a margem de lucro bruto deste negócio chega a 42%, tornando-o uma nova "vaca leiteira" para a Microsoft .
No mercado interno, InBev Digital, SenseTime AIDC e mais de 11 outros fornecedores de centros de computação inteligentes/nuvem também fornecem serviços semelhantes.Para modelos grandes, o preço total é mais de 20% inferior ao preço de construção própria.
**Além disso, há tempo de treinamento para modelos grandes. **A recém-lançada GPU NVIDIA L40S da NVIDIA é mais eficiente no treinamento do que o modelo A800/H800. Um modelo com 7 bilhões de parâmetros leva 17 horas para ser executado no HGX A800, enquanto o L40S é 1,3 vezes mais rápido e pode ser executado em apenas meio dia. Sem contar que um modelo com 175 bilhões de parâmetros pode ser treinado em um fim de semana com o L40S. .
Em geral, se uma empresa quiser construir um modelo grande, precisará gastar centenas de milhões de yuans em custos de energia computacional, e isso é apenas o "ingresso".
Foi relatado anteriormente que Baidu, Bytedance, Tencent e Alibaba fizeram pedidos de chips no valor de US$ 5 bilhões da Nvidia. Somando o número de placas gráficas anteriormente acumuladas, o número total de placas gráficas Nvidia GPU na China ultrapassa 100 bilhões de yuans. A organização de pesquisa de mercado Counterpoint divulgou um relatório afirmando que, apesar da desaceleração cíclica na indústria de semicondutores, empresas chinesas como Tencent e Baidu ainda estão comprando chips Nvidia A800 em grandes quantidades.
**Portanto, em um mercado tão importante de nível de trilhão, nem as empresas de chips nem os clientes downstream querem ver a "NVIDIA" dominar. Portanto, AMD, Intel e empresas chinesas de chips GPU tentaram desafiar o domínio da Nvidia no mercado de chips AI. **
**A AMD ataca primeiro. **
Em termos de chips de IA, no 2023 Consumer Electronics Show (CES) em janeiro deste ano, a presidente e CEO da AMD, Lisa Su, lançou oficialmente o produto APU (processador acelerado) de próxima geração Instinct MI300 para data centers, usando TSMC 5nm + 6nm combinados Design de arquitetura de chip, CPU e GPU integrados, com 13 pequenos chips, com um número de transistores de até 146 bilhões, desempenho de IA e desempenho por watt são 8 vezes e 5 vezes maiores que o da geração anterior MI250 (usando teste de benchmark FP8 esparso), será produzido em massa e fornecido no segundo semestre de 2023.
Então, em junho, a AMD também anunciou novos chips de aceleração de IA Instinct MI300X, Instinct MI300A e outros produtos especialmente desenvolvidos para IA generativa com 153 bilhões de transistores, que melhoraram em termos de capacidade de armazenamento e largura de banda de interconexão. O MI300X tem mais transistores que o H100. Duas vezes, A memória de alta largura de banda do HBM3 é 2,4 vezes maior que a do H100. Um grande modelo com 80 bilhões de parâmetros pode ser executado em um único chip e deverá ser lançado antes do final deste ano.
Isso não apenas demonstra plenamente as capacidades da tecnologia de IA do data center após a aquisição da Xilinx, mas também desafia o domínio da Nvidia nos chips de computação de IA.
É claro que não se trata apenas de GPUs e chips de IA. O que a AMD faz de melhor é fabricar chips de CPU (unidade central de processamento). Afinal, os data centers precisam do poder computacional geral das CPUs. Em novembro do ano passado, a AMD lançou o data center de quarta geração da série EPYC 9004 usando a arquitetura Zen 4, codinome "Gênova". Não apenas a atualização da arquitetura, Su Zifeng também empilhou materiais neste chip ao extremo: processo TSMC 5nm , 96 núcleos, 192 threads, cache L3 de 384M e suporta PCle5.0.
Em comparação com os processadores de oito núcleos da Intel, as séries de CPU de data center e computação de ponta da AMD melhoraram muito em termos de consumo de energia e desempenho, incluindo uma redução de 40% na área de chips de Gênova e um aumento de 48% na eficiência energética.
Em setembro deste ano, a AMD lançou a mais recente série EPYC 8004 de quarta geração, introduzindo o núcleo “Zen 4c” em CPUs dedicadas, fornecendo serviços que vão desde bordas inteligentes (como varejo, manufatura e telecomunicações) até data centers, computação em nuvem e outros Campos.
Na verdade, Amazon Cloud AWS lançou uma instância de computação geral baseada no Genoa M7A. Os resultados finais mostraram que o desempenho foi melhorado em 50% em comparação com a geração anterior. Em comparação com a versão Intel Xeon Platinum Edition 8490H de quarta geração, o desempenho do Genoa em vários cenários de aplicação A melhoria é de 1,7-1,9 vezes e a eficiência energética geral é melhorada em 1,8 vezes.É totalmente utilizado em campos de computação de alto desempenho, como modelagem financeira, simulação climática e pesquisa e desenvolvimento de medicamentos. Além disso, na carga de trabalho do gateway IoT Edge, o mais recente servidor de oito núcleos com EPYC 8024P também fornece aproximadamente 1,8 vezes o desempenho de rendimento total por rack de 8 kW.
No geral, seja CPU, GPU, FPGA, processador de data center DPU ou sistema AMD ROCm de ferramenta de pilha de software, a AMD está pronta e "afiando sua espada" para desafiar os produtos da Nvidia.
**Como gigante de chips estabelecida há mais de 60 anos, a Intel não quer “ceder o mercado a terceiros”. **
Em 11 de julho deste ano, a gigante dos chips Intel Corporation (Intel) lançou o chip AI Habana Gaudi2 para o mercado chinês em Pequim, usando um processo de 7 nm. Ele pode executar grandes modelos de linguagem, acelerar o treinamento e inferência de IA e ter um desempenho por watt de aproximadamente 100% ao executar o ResNet-50. É 2 vezes maior que o NVIDIA A100 e sua relação preço/desempenho é 40% maior do que as soluções baseadas em NVIDIA na nuvem AWS. Espera-se que ultrapasse o mais recente H100 da NVIDIA em preço/desempenho em setembro deste ano.
Sandra Rivera, vice-presidente executiva da Intel, disse ao TMTpost em julho deste ano que é impossível para uma empresa dominar o mercado de chips de IA. Porque o mercado precisa de diversidade e os clientes também querem ver mais empresas de chips assumindo um papel de liderança no campo da IA.
CEO da Intel, Pat Gelsinger
Em setembro, na conferência de inovação tecnológica Intel On realizada em San Jose, EUA, Gelsinger anunciou que o chip AI Gaudi 3 usando o processo de 5 nm será lançado no próximo ano. Até lá, seu poder de computação será o dobro do de Gaudi 2 , e sua largura de banda de rede, HBM A capacidade será de 1,5 vezes.
Ao mesmo tempo, Gelsinger também fez uma prévia do processador de servidor escalável Intel Xeon de quinta geração, dizendo que a próxima geração do Xeon terá 288 núcleos, o que deverá aumentar a densidade do rack em 2,5 vezes e o desempenho por watt em 2,4 vezes. Além disso, a Intel também lançou Sierra Forest e Granite Rapids, que deverão aumentar o desempenho da IA em 2 a 3 vezes em comparação com o Xeon de quarta geração.
O diretor de tecnologia da Alibaba Cloud, Zhou Jingren, disse que a Alibaba usa processadores Intel Xeon de quarta geração para sua IA generativa e modelos de linguagem grande, ou seja, o "Alibaba Cloud Tongyi Qianwen Large Model", e a tecnologia Intel encurtou significativamente o tempo de resposta do modelo, a média a aceleração pode chegar a 3 vezes.
Além disso, para o treinamento de grandes modelos de IA, o que é mais importante é o ecossistema de software. A Intel anunciou sua cooperação com a Arm para implantar seus produtos Xeon na CPU Arm e também lançou o conjunto de ferramentas de tempo de execução de implantação e inferência de IA OpenVINO, que não apenas suporta modelos pré-treinados, mas também precisa ser escrito apenas uma vez para implantar qualquer suporte multiplataforma chave disponível, o modelo Llama 2 da Meta foi suportado.
Ao mesmo tempo, a Linux Foundation também anunciou esta semana o estabelecimento da Unified Acceleration (UXL) Foundation para fornecer um modelo de programação de acelerador de padrão aberto para simplificar o desenvolvimento de aplicativos de plataforma cruzada de alto desempenho. evolução do programa Intel oneAPI. Os membros fundadores incluem Arm, Google Cloud, Intel, Qualcomm, Samsung e outros – a Nvidia não está entre eles.
Wang Rui, vice-presidente sênior da Intel Corporation e presidente da Intel China, disse ao TMTpost App e outros que a Intel lançará um processador com 288 núcleos no futuro. Haverá cada vez mais data centers no futuro. A Intel lançará produtos como Gaudi3 e Falcon Shores. A matriz de produtos formará um roteiro para o futuro desenvolvimento de aceleradores e computação de IA.
"Incorporamos recursos de IA no chip. De acordo com diferentes necessidades, os recursos de IA integrados usarão diferentes poderes de computação e diferentes arquiteturas para fornecer suporte." Wang Rui disse que em termos de data centers, do cliente até a borda para a nuvem , a IA penetrou em vários cenários de aplicação: desde o treinamento de modelos de linguagem em grande escala até o treinamento de modelos de linguagem inclusivos em pequena escala, a influência da IA está em toda parte.
No final de agosto deste ano, Kissinger disse acreditar que a Intel estava avançando no sentido de alcançar seus ambiciosos objetivos de reestruturação e de restaurar sua posição de liderança na indústria. Ao falar sobre a Nvidia, Gelsinger admitiu que a Nvidia tem um bom layout e pode capturar a demanda por sistemas necessários para suportar a expansão do software de IA, mas disse que a Intel em breve começará a ganhar pedidos nesses mercados de chips aceleradores.
"Eles fizeram um excelente trabalho e todos nós os elogiamos. Mas estamos prestes a mostrar a nossa força", disse Kissinger.
O valor de mercado da Nvidia evaporou em centenas de bilhões de dólares. Os chips domésticos podem aproveitar a oportunidade?
O brilhante desempenho da Nvidia em 2023 parece ter enfraquecido nos últimos dois meses.
De acordo com dados da Refinitiv, embora o preço das ações da Nvidia tenha subido cerca de 190% este ano e seu desempenho seja muito impressionante, o preço das ações teve um desempenho ruim em setembro: desde 31 de agosto, o preço das ações da Nvidia caiu mais de 10%, e seu o valor total de mercado evaporou: mais de US$ 176 bilhões.
**Na verdade, existem muitos fatores que contribuem para o declínio no preço das ações da Nvidia. **
Primeiro, as preocupações do mercado sobre a Reserva Federal manter as taxas de juros em níveis mais elevados por mais tempo, a fim de conter a inflação, intensificaram-se. Todo o mercado de ações ficou sob pressão, com o índice S&P 500 caindo em média 0,7% em setembro. e quase 4% até agora.
**Em segundo lugar, **os modelos de código aberto representados pelo LIama 2 foram lançados um após o outro, e mais empresas começaram a usar esses modelos diretamente, exigindo apenas a aplicação de chips de inferência de IA, o que levou a uma redução na demanda por computação chips de treinamento de energia.
Finalmente, de acordo com The Information, a NVIDIA tem prestado muita atenção ao fornecimento de placas gráficas para algumas pequenas e médias empresas de computação em nuvem nos Estados Unidos. Sob a situação atual de "difícil encontrar uma placa" , A NVIDIA tem estado muito preocupada com o fornecimento de placas gráficas para grandes empresas como Google e Meta, bem como para empresas chinesas. Os serviços de acompanhamento e o fornecimento de placas gráficas não parecem mais ser a principal prioridade, e isso leva diretamente ao mercado dúvidas sobre a capacidade de fornecimento de produtos da Nvidia.
É claro que, apesar de suas falhas, a NVIDIA tem uma enorme vantagem de ser pioneira no mercado de poder de computação de IA. Além do desempenho líder do chip GPU, seu enorme ecossistema de software de IA CUDA está além do alcance de muitas pessoas. Além disso, a tecnologia de interconexão GPU de alta velocidade NVLink da NVIDIA também se tornou uma "arma mágica chave" para o aprimoramento da tecnologia de modelos grandes, e seu papel é muito maior do que a própria placa GPU.
O fundador e CEO da Baichuan Intelligence, Wang Xiaochuan, mencionou certa vez que, nesta indústria, os custos de energia de computação da GPU representam cerca de 40% a 70%, e a proporção entre os custos de conexão de rede e os custos da placa gráfica GPU é de cerca de 3:1.
"Se desenvolvermos modelos superiores no futuro, a reserva de energia computacional será muito crítica. Do ponto de vista do treinamento e do raciocínio, o raciocínio requer chips de IA domésticos, não apenas da NVIDIA, mas o treinamento atualmente só é feito melhor pela NVIDIA. Este 'cálculo Para lutar arduamente, os chips domésticos de IA da China devem ser capazes de competir", disse Wang Xiaochuan.
**Na verdade, além dos dois grandes gigantes de chips, com a "guerra de 100 modos" doméstica, a demanda por poder de computação de IA aumentou. No entanto, muitos chips de IA, como Nvidia AI00/H100, restringiram as exportações para a China, tornando cada vez mais difícil para as empresas nacionais obterem chips de alta qualidade dos Estados Unidos. **
Em outubro de 2022, o Bureau de Indústria e Segurança (BIS) do Departamento de Comércio dos EUA emitiu novos regulamentos de controle de exportação para quantificar o poder de computação de vários chips, largura de banda, processos de fabricação e outros indicadores, e restringir a exportação de empresas dos EUA para a China, incluindo restrições a chips de alta potência computacional, impactando diretamente o desenvolvimento da IA, supercomputação, data center e outras indústrias relacionadas da China. A NVIDIA, fabricante de GPU (processador gráfico) que atende principalmente às necessidades de IA e outras aplicações, recebeu um aviso do governo dos EUA em agosto para restringir a exportação de chips avançados.
A Nvidia respondeu rapidamente e colocou em produção o chip A800 no terceiro trimestre de 2022 para substituir o A100 que não pode mais ser enviado para a China. Este é também o primeiro produto de “oferta especial” lançado por uma empresa americana para este fim. Nvidia não anunciou parâmetros detalhados do A800, mas o manual do produto fornecido por seus revendedores mostra que o pico de potência de computação do A800 é consistente com o A100 que é restrito para exportação, mas a taxa de transmissão é limitada a dois terços de o A100 para cumprir os requisitos governamentais relevantes dos EUA. O poder de computação de treinamento do mais recente "China Special Edition" H800 é cerca de 40% pior que o do H100. Sem o módulo de interconexão fornecido pela NVIDIA, a diferença de poder de computação pode chegar a mais de 60%.
A Intel lançará uma versão chinesa de seu produto Gaudi 2 em julho de 2023. Gaudi 2 é um chip ASIC (Circuito Integrado de Aplicação Específica) projetado principalmente para treinamento de IA de aprendizado profundo de alto desempenho. Em comparação com a versão internacional anunciada em maio de 2022, o número de portas Ethernet integradas na versão chinesa de Gaudi 2 foi reduzido de 24 para 21. A Intel disse na época que esta foi uma mudança relativamente pequena, com impacto limitado no desempenho real. Kissinger afirmou recentemente que a empresa está atualmente vendendo a versão chinesa de Gaudi 2 na China e espera continuar a fazê-lo no futuro.
**Portanto, sob a influência de restrições de chips estrangeiros, empresas nacionais de poder de computação de IA, como Huawei, Tianshu Zhixin, Cambrian e Denglin Technology, estão ativamente implantando para preencher a vaga no poder de computação de IA nacional. **
Atualmente, o mercado doméstico de poder de computação de IA está dividido principalmente em três facções principais: uma é a solução de poder de computação do ecossistema Huawei Kunpeng e Ascend AI, que não envolve a participação da GPU NVIDIA; a outra é o suporte de poder de computação híbrido, que usa um grande número de chips NVIDIA A100 e em alguns ambientes, AMD, Intel, Tianshu Intelligent Core, Cambrian, Haiguang e outros chips são adicionados para apoiar o treinamento de modelos grandes; terceiro, o poder de computação em nuvem do servidor mais econômico é alugado para complementar a escassez de poder de computação.
Na 19ª Cúpula de Verão do 2023 Yabuli China Entrepreneurs Forum, realizada em agosto deste ano, Liu Qingfeng, fundador e presidente da iFlytek, disse que as capacidades técnicas da GPU da Huawei são agora equivalentes às da Nvidia A100, e agora foram comparadas com a Nvidia A100.
Em 20 de setembro, o vice-presidente, presidente rotativo e CFO da Huawei, Meng Wanzhou, disse que a Huawei lançou o cluster de computação Ascend AI com uma nova arquitetura que pode suportar o treinamento de grandes modelos com mais de um trilhão de parâmetros. A Huawei continuará a construir uma base sólida de poder computacional.
Gai Lujiang, presidente e CEO da Tianshu Zhixin, revelou que, atualmente, muitas empresas nacionais de modelos em grande escala começaram a usar placas gráficas GPU domésticas, e a empresa apoiou a conclusão do treinamento de modelos em grande escala com 7 bilhões de parâmetros. Além disso, a maioria das outras empresas nacionais de GPU está em estágio de treinamento de inferência de IA.
Galujiang acredita que na China, a participação de mercado da Nvidia na área de treinamento chega a mais de 95%, com alguns chegando a 99%, e basicamente alcançou um monopólio, principalmente devido à sua arquitetura de hardware e ao ecossistema CUDA amplamente utilizado - tem mais de 300 milhões de usuários globais. Atualmente, as empresas nacionais de GPU enfrentam problemas de migração ecológica. Devido ao grande número de códigos baseados em CUDA, a mudança para um novo ecossistema exigirá muito tempo e custo.
Em uma recente mesa redonda, Wang Ping, cofundador e arquiteto-chefe da Denglin Technology, mencionou que os clientes da AIGC não precisam apenas de soluções como geração de texto e imagem, mas, mais importante, de produtos práticos. Portanto, é necessário implementar produtos de poder computacional com grande poder computacional e forte versatilidade para criar valor para os clientes. É relatado que os produtos de chip AI de nova geração da Denglin Technology têm mais de três vezes a vantagem de consumo de energia do que os produtos GPU de uso geral convencionais internacionais.
Galujiang disse que para Tianshu Zhixin, o próximo passo é otimizar a iteração do produto, o que requer confiar em dados, feedback dos clientes e inovação tecnológica, e fazer ajustes para atender às necessidades domésticas especiais. Ao mesmo tempo, a empresa melhorará ativamente o ecossistema e a pilha de software para garantir que os utilizadores obtenham a melhor experiência em termos de eficiência, custo, desempenho e relação preço-desempenho, de modo a promover uma maior comercialização de produtos.
Wang Ping acredita que devido à crescente dificuldade em obter chips de alta qualidade dos Estados Unidos, embora nenhuma empresa nacional possa produzir chips que possam realmente substituí-los, ele acredita que o poder da computação nacional continuará a crescer. Os chips precisam ser iterados continuamente. Quanto mais usuários houver e quanto mais feedback sobre o problema houver, mais as empresas nacionais de chips de IA poderão melhorar e aprimorar a experiência do usuário nas iterações subsequentes.
“Esta é uma grande oportunidade para empresas nacionais de GPU de uso geral”, disse Galujiang ao TMTpost Media App.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
China e Estados Unidos "cercam e suprimem" a Nvidia, é difícil dominar o mercado de chips AI de um trilhão de dólares
Autor: Lin Zhijia
Fonte: TMTpost Media
À medida que a Nvidia assume a liderança na ocupação do mercado de chips de potência de computação de grande modelo de IA, ela tem um valor de mercado superior a um trilhão. Ao mesmo tempo, Intel, AMD e empresas chinesas de chips GPU também estão competindo secretamente, na esperança de obter uma participação no mercado de chips de potência de computação de IA.
**Em 19 de setembro, na conferência de inovação tecnológica Intel On realizada em San Jose, nos Estados Unidos, **O CEO da Intel, Pat Gelsinger, de 62 anos, estava "cheio de energia" e começou seu discurso com flexões.
Nesta reunião, Gelsinger lançou uma série de novos produtos de tecnologia de uma só vez: processador Intel Core Ultra baseado no processo Intel 4 (5nm), codinome "Meteor Lake"; apresentou uma prévia do chip de servidor Xeon de quinta geração e do roteiro de produtos Xeon subsequentes ; divulgou chip AI de 5nm Gaudi 3, etc.
Em comparação com as sessões anteriores, desta vez Kissinger "transformou-se em um velho vestido de couro" e falou sobre o papel do poder de computação da IA na economia por quase 2 horas. De acordo com as estatísticas do aplicativo TMTpost, Kissinger mencionou termos relacionados a “inteligência artificial” e “aprendizado profundo” cerca de 200 vezes neste discurso.
Quase ao mesmo tempo, a Intel e a concorrente da Nvidia, AMD, lançaram o mais recente chip EPYC 8004 CPU (unidade de processamento central) e esperavam lançar chips AI da série MI300 antes do final do ano para competir com a Nvidia. Além disso, na China, fabricantes de chips de IA, incluindo Huawei e Tianshu Zhixin, também estão implantando ativamente inferência de treinamento de grandes modelos e produtos de poder de computação de IA.
"Competimos ferozmente com a NVIDIA, líder de mercado em chips de poder de computação de IA. Mas tanto Gaudi2 quanto Gaudi3 são um grande passo à frente deles. Estamos ganhando impulso e o mercado está começando a perceber isso entre os líderes em IA. indústria de chips Há outra oportunidade", disse Kissinger à CNBC em 20 de setembro.
A competição de mercado se intensifica e é difícil para o "Velho Huang" monopolizar trilhões de poder de computação de IA
De 2023 até agora, a "mania" dos grandes modelos de IA representados pelo ChatGPT varreu o mundo, e os grandes modelos estão promovendo o desenvolvimento da IA em uma direção mais geral.
Ao mesmo tempo, a escassez e o custo do poder computacional tornaram-se factores fundamentais que restringem o desenvolvimento da IA. O poder computacional também se tornou uma pedra angular importante da transformação digital e inteligente de toda a sociedade, impulsionando assim um aumento na procura de poder computacional inteligente.
De acordo com dados fornecidos pela CEO da AMD, Lisa Su, o mercado potencial total para aceleradores globais de IA para data centers atingirá aproximadamente US$ 30 bilhões em 2023, e esse número deverá exceder US$ 150 bilhões até 2027 ((aproximadamente RMB 1,095 trilhão), com uma taxa composta de crescimento anual superior a 50%.
Manuvir Das, vice-presidente de computação empresarial da Nvidia, forneceu outro conjunto de dados mostrando que o mercado potencial (TAM) para IA deverá crescer para US$ 600 bilhões. Entre eles, chips e sistemas podem receber 300 bilhões de dólares americanos, software de IA generativo pode receber 150 bilhões de dólares americanos e os outros 150 bilhões de dólares americanos serão contribuídos pelo software empresarial NVIDIA.
**Obviamente, o mercado de chips de potência de computação de IA é um grande “bolo”. **
Mas atualmente, a NVIDIA ocupa 82% do mercado global de aceleração de IA de data centers e monopoliza o mercado global de treinamento de IA com 95% de participação de mercado, tornando-se o maior vencedor nesta rodada de combate corpo a corpo de IA. Huang Renxun e sua empresa Nvidia estão ganhando muito dinheiro, com um valor de mercado superior a 1 trilhão de dólares americanos.
Ao mesmo tempo, o aumento na demanda por energia de computação fez com que a GPU NVIDIA (unidade de processamento gráfico) fosse "difícil de encontrar". O número de placas gráficas Nvidia A100 se tornou um padrão para medir o poder computacional de uma empresa.
**Na verdade, se uma empresa deseja desenvolver um grande modelo de uso geral, ela deve primeiro prestar atenção a dois pontos em termos de poder computacional: a quantidade e o preço das placas gráficas. **
**Entre eles, em termos de número de placas gráficas, **OpenAI usa 10.000-30.000 GPUs NVIDIA para treinar o modelo GPT-3.5. De acordo com o último relatório da TrendForce, se calculado com base no poder de processamento das placas gráficas NVIDIA A100, a execução do ChatGPT pode exigir o uso de 30.000 placas gráficas NVIDIA GPU. Além disso, em termos de modelos de código aberto, o modelo Llama é treinado em 2.048 A100s de 80 GB, e todo o poder de computação de treinamento está próximo de 2.000 PTOPS de poder de computação.
Em termos de preço, o preço do H800 atualmente disponível na China chegou a 200.000/peça, enquanto o preço do A100/A800 subiu para cerca de 150.000 e 100.000/peça. Tomando o requisito de poder de computação de 2.000P como exemplo, a GPU H800 tem um poder de computação de placa única de 2P e requer 1.000 placas gráficas. O preço estimado de toda a placa é de 200 milhões de yuans; o poder de computação de placa única A800 é de aproximadamente 0,625P e a quantidade necessária é de 3.200 placas gráficas.O preço estimado de toda a placa gráfica é de até 320 milhões de yuans.
Além de comprar uma placa gráfica GPU, o servidor também precisa considerar a configuração e cálculo de toda a máquina, incluindo CPU, armazenamento, conexões de comunicação NV-Link, etc., além de fatores como consumo de energia, aluguel de site, e custos de operação e manutenção.
Atualmente, os servidores A800 e H800 são principalmente modelos de 8 placas. Para atender ao poder de computação de 2.000 P, é necessário configurar 125 servidores H800 de 8 placas ou 400 servidores A800 de 8 placas, com preços de 300 milhões de yuans e 560 milhões de yuans, respectivamente. Além disso, como o H800 também suporta PCIe 5.0, uma nova geração de CPUs e memória, o preço precisa ser aumentado para atingir o desempenho computacional ideal.
Portanto, do ponto de vista do treinamento de grandes modelos, o custo total de aquisição do H800 é inferior ao do A800, que é mais econômico e inferior ao custo de construção de uma CPU.Isso é o que o CEO da Nvidia, Jen-Hsun Huang, costumava dizer recentemente: "Quanto mais você compra, mais econômico é.", mais você economiza.
Claro, não importa se você realmente não pode pagar. A NVIDIA também lançou cuidadosamente um serviço de leasing on-line, o sistema de computação DGX super AI, que está aberto a empresas por meio de leasing, equipado com 8 GPUs H100 ou A100, cada nó tem 640 GB de memória e o aluguel mensal é de US$ 37.000, portanto, não há necessidade de criar seus próprios dados. O centro compra um grande número de placas gráficas GPU. Este tipo de método de leasing tem uma elevada margem de lucro bruto.De acordo com um relatório sobre o serviço "Cloud Computing Power Leasing" da Microsoft, a margem de lucro bruto deste negócio chega a 42%, tornando-o uma nova "vaca leiteira" para a Microsoft .
No mercado interno, InBev Digital, SenseTime AIDC e mais de 11 outros fornecedores de centros de computação inteligentes/nuvem também fornecem serviços semelhantes.Para modelos grandes, o preço total é mais de 20% inferior ao preço de construção própria.
**Além disso, há tempo de treinamento para modelos grandes. **A recém-lançada GPU NVIDIA L40S da NVIDIA é mais eficiente no treinamento do que o modelo A800/H800. Um modelo com 7 bilhões de parâmetros leva 17 horas para ser executado no HGX A800, enquanto o L40S é 1,3 vezes mais rápido e pode ser executado em apenas meio dia. Sem contar que um modelo com 175 bilhões de parâmetros pode ser treinado em um fim de semana com o L40S. .
Foi relatado anteriormente que Baidu, Bytedance, Tencent e Alibaba fizeram pedidos de chips no valor de US$ 5 bilhões da Nvidia. Somando o número de placas gráficas anteriormente acumuladas, o número total de placas gráficas Nvidia GPU na China ultrapassa 100 bilhões de yuans. A organização de pesquisa de mercado Counterpoint divulgou um relatório afirmando que, apesar da desaceleração cíclica na indústria de semicondutores, empresas chinesas como Tencent e Baidu ainda estão comprando chips Nvidia A800 em grandes quantidades.
**Portanto, em um mercado tão importante de nível de trilhão, nem as empresas de chips nem os clientes downstream querem ver a "NVIDIA" dominar. Portanto, AMD, Intel e empresas chinesas de chips GPU tentaram desafiar o domínio da Nvidia no mercado de chips AI. **
Em termos de chips de IA, no 2023 Consumer Electronics Show (CES) em janeiro deste ano, a presidente e CEO da AMD, Lisa Su, lançou oficialmente o produto APU (processador acelerado) de próxima geração Instinct MI300 para data centers, usando TSMC 5nm + 6nm combinados Design de arquitetura de chip, CPU e GPU integrados, com 13 pequenos chips, com um número de transistores de até 146 bilhões, desempenho de IA e desempenho por watt são 8 vezes e 5 vezes maiores que o da geração anterior MI250 (usando teste de benchmark FP8 esparso), será produzido em massa e fornecido no segundo semestre de 2023.
Então, em junho, a AMD também anunciou novos chips de aceleração de IA Instinct MI300X, Instinct MI300A e outros produtos especialmente desenvolvidos para IA generativa com 153 bilhões de transistores, que melhoraram em termos de capacidade de armazenamento e largura de banda de interconexão. O MI300X tem mais transistores que o H100. Duas vezes, A memória de alta largura de banda do HBM3 é 2,4 vezes maior que a do H100. Um grande modelo com 80 bilhões de parâmetros pode ser executado em um único chip e deverá ser lançado antes do final deste ano.
Isso não apenas demonstra plenamente as capacidades da tecnologia de IA do data center após a aquisição da Xilinx, mas também desafia o domínio da Nvidia nos chips de computação de IA.
É claro que não se trata apenas de GPUs e chips de IA. O que a AMD faz de melhor é fabricar chips de CPU (unidade central de processamento). Afinal, os data centers precisam do poder computacional geral das CPUs. Em novembro do ano passado, a AMD lançou o data center de quarta geração da série EPYC 9004 usando a arquitetura Zen 4, codinome "Gênova". Não apenas a atualização da arquitetura, Su Zifeng também empilhou materiais neste chip ao extremo: processo TSMC 5nm , 96 núcleos, 192 threads, cache L3 de 384M e suporta PCle5.0.
Em comparação com os processadores de oito núcleos da Intel, as séries de CPU de data center e computação de ponta da AMD melhoraram muito em termos de consumo de energia e desempenho, incluindo uma redução de 40% na área de chips de Gênova e um aumento de 48% na eficiência energética.
Em setembro deste ano, a AMD lançou a mais recente série EPYC 8004 de quarta geração, introduzindo o núcleo “Zen 4c” em CPUs dedicadas, fornecendo serviços que vão desde bordas inteligentes (como varejo, manufatura e telecomunicações) até data centers, computação em nuvem e outros Campos.
Na verdade, Amazon Cloud AWS lançou uma instância de computação geral baseada no Genoa M7A. Os resultados finais mostraram que o desempenho foi melhorado em 50% em comparação com a geração anterior. Em comparação com a versão Intel Xeon Platinum Edition 8490H de quarta geração, o desempenho do Genoa em vários cenários de aplicação A melhoria é de 1,7-1,9 vezes e a eficiência energética geral é melhorada em 1,8 vezes.É totalmente utilizado em campos de computação de alto desempenho, como modelagem financeira, simulação climática e pesquisa e desenvolvimento de medicamentos. Além disso, na carga de trabalho do gateway IoT Edge, o mais recente servidor de oito núcleos com EPYC 8024P também fornece aproximadamente 1,8 vezes o desempenho de rendimento total por rack de 8 kW.
No geral, seja CPU, GPU, FPGA, processador de data center DPU ou sistema AMD ROCm de ferramenta de pilha de software, a AMD está pronta e "afiando sua espada" para desafiar os produtos da Nvidia.
**Como gigante de chips estabelecida há mais de 60 anos, a Intel não quer “ceder o mercado a terceiros”. **
Em 11 de julho deste ano, a gigante dos chips Intel Corporation (Intel) lançou o chip AI Habana Gaudi2 para o mercado chinês em Pequim, usando um processo de 7 nm. Ele pode executar grandes modelos de linguagem, acelerar o treinamento e inferência de IA e ter um desempenho por watt de aproximadamente 100% ao executar o ResNet-50. É 2 vezes maior que o NVIDIA A100 e sua relação preço/desempenho é 40% maior do que as soluções baseadas em NVIDIA na nuvem AWS. Espera-se que ultrapasse o mais recente H100 da NVIDIA em preço/desempenho em setembro deste ano.
Sandra Rivera, vice-presidente executiva da Intel, disse ao TMTpost em julho deste ano que é impossível para uma empresa dominar o mercado de chips de IA. Porque o mercado precisa de diversidade e os clientes também querem ver mais empresas de chips assumindo um papel de liderança no campo da IA.
Em setembro, na conferência de inovação tecnológica Intel On realizada em San Jose, EUA, Gelsinger anunciou que o chip AI Gaudi 3 usando o processo de 5 nm será lançado no próximo ano. Até lá, seu poder de computação será o dobro do de Gaudi 2 , e sua largura de banda de rede, HBM A capacidade será de 1,5 vezes.
Ao mesmo tempo, Gelsinger também fez uma prévia do processador de servidor escalável Intel Xeon de quinta geração, dizendo que a próxima geração do Xeon terá 288 núcleos, o que deverá aumentar a densidade do rack em 2,5 vezes e o desempenho por watt em 2,4 vezes. Além disso, a Intel também lançou Sierra Forest e Granite Rapids, que deverão aumentar o desempenho da IA em 2 a 3 vezes em comparação com o Xeon de quarta geração.
O diretor de tecnologia da Alibaba Cloud, Zhou Jingren, disse que a Alibaba usa processadores Intel Xeon de quarta geração para sua IA generativa e modelos de linguagem grande, ou seja, o "Alibaba Cloud Tongyi Qianwen Large Model", e a tecnologia Intel encurtou significativamente o tempo de resposta do modelo, a média a aceleração pode chegar a 3 vezes.
Além disso, para o treinamento de grandes modelos de IA, o que é mais importante é o ecossistema de software. A Intel anunciou sua cooperação com a Arm para implantar seus produtos Xeon na CPU Arm e também lançou o conjunto de ferramentas de tempo de execução de implantação e inferência de IA OpenVINO, que não apenas suporta modelos pré-treinados, mas também precisa ser escrito apenas uma vez para implantar qualquer suporte multiplataforma chave disponível, o modelo Llama 2 da Meta foi suportado.
Ao mesmo tempo, a Linux Foundation também anunciou esta semana o estabelecimento da Unified Acceleration (UXL) Foundation para fornecer um modelo de programação de acelerador de padrão aberto para simplificar o desenvolvimento de aplicativos de plataforma cruzada de alto desempenho. evolução do programa Intel oneAPI. Os membros fundadores incluem Arm, Google Cloud, Intel, Qualcomm, Samsung e outros – a Nvidia não está entre eles.
Wang Rui, vice-presidente sênior da Intel Corporation e presidente da Intel China, disse ao TMTpost App e outros que a Intel lançará um processador com 288 núcleos no futuro. Haverá cada vez mais data centers no futuro. A Intel lançará produtos como Gaudi3 e Falcon Shores. A matriz de produtos formará um roteiro para o futuro desenvolvimento de aceleradores e computação de IA.
"Incorporamos recursos de IA no chip. De acordo com diferentes necessidades, os recursos de IA integrados usarão diferentes poderes de computação e diferentes arquiteturas para fornecer suporte." Wang Rui disse que em termos de data centers, do cliente até a borda para a nuvem , a IA penetrou em vários cenários de aplicação: desde o treinamento de modelos de linguagem em grande escala até o treinamento de modelos de linguagem inclusivos em pequena escala, a influência da IA está em toda parte.
No final de agosto deste ano, Kissinger disse acreditar que a Intel estava avançando no sentido de alcançar seus ambiciosos objetivos de reestruturação e de restaurar sua posição de liderança na indústria. Ao falar sobre a Nvidia, Gelsinger admitiu que a Nvidia tem um bom layout e pode capturar a demanda por sistemas necessários para suportar a expansão do software de IA, mas disse que a Intel em breve começará a ganhar pedidos nesses mercados de chips aceleradores.
"Eles fizeram um excelente trabalho e todos nós os elogiamos. Mas estamos prestes a mostrar a nossa força", disse Kissinger.
O valor de mercado da Nvidia evaporou em centenas de bilhões de dólares. Os chips domésticos podem aproveitar a oportunidade?
O brilhante desempenho da Nvidia em 2023 parece ter enfraquecido nos últimos dois meses.
De acordo com dados da Refinitiv, embora o preço das ações da Nvidia tenha subido cerca de 190% este ano e seu desempenho seja muito impressionante, o preço das ações teve um desempenho ruim em setembro: desde 31 de agosto, o preço das ações da Nvidia caiu mais de 10%, e seu o valor total de mercado evaporou: mais de US$ 176 bilhões.
**Na verdade, existem muitos fatores que contribuem para o declínio no preço das ações da Nvidia. **
Primeiro, as preocupações do mercado sobre a Reserva Federal manter as taxas de juros em níveis mais elevados por mais tempo, a fim de conter a inflação, intensificaram-se. Todo o mercado de ações ficou sob pressão, com o índice S&P 500 caindo em média 0,7% em setembro. e quase 4% até agora.
**Em segundo lugar, **os modelos de código aberto representados pelo LIama 2 foram lançados um após o outro, e mais empresas começaram a usar esses modelos diretamente, exigindo apenas a aplicação de chips de inferência de IA, o que levou a uma redução na demanda por computação chips de treinamento de energia.
Finalmente, de acordo com The Information, a NVIDIA tem prestado muita atenção ao fornecimento de placas gráficas para algumas pequenas e médias empresas de computação em nuvem nos Estados Unidos. Sob a situação atual de "difícil encontrar uma placa" , A NVIDIA tem estado muito preocupada com o fornecimento de placas gráficas para grandes empresas como Google e Meta, bem como para empresas chinesas. Os serviços de acompanhamento e o fornecimento de placas gráficas não parecem mais ser a principal prioridade, e isso leva diretamente ao mercado dúvidas sobre a capacidade de fornecimento de produtos da Nvidia.
É claro que, apesar de suas falhas, a NVIDIA tem uma enorme vantagem de ser pioneira no mercado de poder de computação de IA. Além do desempenho líder do chip GPU, seu enorme ecossistema de software de IA CUDA está além do alcance de muitas pessoas. Além disso, a tecnologia de interconexão GPU de alta velocidade NVLink da NVIDIA também se tornou uma "arma mágica chave" para o aprimoramento da tecnologia de modelos grandes, e seu papel é muito maior do que a própria placa GPU.
O fundador e CEO da Baichuan Intelligence, Wang Xiaochuan, mencionou certa vez que, nesta indústria, os custos de energia de computação da GPU representam cerca de 40% a 70%, e a proporção entre os custos de conexão de rede e os custos da placa gráfica GPU é de cerca de 3:1.
"Se desenvolvermos modelos superiores no futuro, a reserva de energia computacional será muito crítica. Do ponto de vista do treinamento e do raciocínio, o raciocínio requer chips de IA domésticos, não apenas da NVIDIA, mas o treinamento atualmente só é feito melhor pela NVIDIA. Este 'cálculo Para lutar arduamente, os chips domésticos de IA da China devem ser capazes de competir", disse Wang Xiaochuan.
**Na verdade, além dos dois grandes gigantes de chips, com a "guerra de 100 modos" doméstica, a demanda por poder de computação de IA aumentou. No entanto, muitos chips de IA, como Nvidia AI00/H100, restringiram as exportações para a China, tornando cada vez mais difícil para as empresas nacionais obterem chips de alta qualidade dos Estados Unidos. **
Em outubro de 2022, o Bureau de Indústria e Segurança (BIS) do Departamento de Comércio dos EUA emitiu novos regulamentos de controle de exportação para quantificar o poder de computação de vários chips, largura de banda, processos de fabricação e outros indicadores, e restringir a exportação de empresas dos EUA para a China, incluindo restrições a chips de alta potência computacional, impactando diretamente o desenvolvimento da IA, supercomputação, data center e outras indústrias relacionadas da China. A NVIDIA, fabricante de GPU (processador gráfico) que atende principalmente às necessidades de IA e outras aplicações, recebeu um aviso do governo dos EUA em agosto para restringir a exportação de chips avançados.
A Nvidia respondeu rapidamente e colocou em produção o chip A800 no terceiro trimestre de 2022 para substituir o A100 que não pode mais ser enviado para a China. Este é também o primeiro produto de “oferta especial” lançado por uma empresa americana para este fim. Nvidia não anunciou parâmetros detalhados do A800, mas o manual do produto fornecido por seus revendedores mostra que o pico de potência de computação do A800 é consistente com o A100 que é restrito para exportação, mas a taxa de transmissão é limitada a dois terços de o A100 para cumprir os requisitos governamentais relevantes dos EUA. O poder de computação de treinamento do mais recente "China Special Edition" H800 é cerca de 40% pior que o do H100. Sem o módulo de interconexão fornecido pela NVIDIA, a diferença de poder de computação pode chegar a mais de 60%.
A Intel lançará uma versão chinesa de seu produto Gaudi 2 em julho de 2023. Gaudi 2 é um chip ASIC (Circuito Integrado de Aplicação Específica) projetado principalmente para treinamento de IA de aprendizado profundo de alto desempenho. Em comparação com a versão internacional anunciada em maio de 2022, o número de portas Ethernet integradas na versão chinesa de Gaudi 2 foi reduzido de 24 para 21. A Intel disse na época que esta foi uma mudança relativamente pequena, com impacto limitado no desempenho real. Kissinger afirmou recentemente que a empresa está atualmente vendendo a versão chinesa de Gaudi 2 na China e espera continuar a fazê-lo no futuro.
**Portanto, sob a influência de restrições de chips estrangeiros, empresas nacionais de poder de computação de IA, como Huawei, Tianshu Zhixin, Cambrian e Denglin Technology, estão ativamente implantando para preencher a vaga no poder de computação de IA nacional. **
Atualmente, o mercado doméstico de poder de computação de IA está dividido principalmente em três facções principais: uma é a solução de poder de computação do ecossistema Huawei Kunpeng e Ascend AI, que não envolve a participação da GPU NVIDIA; a outra é o suporte de poder de computação híbrido, que usa um grande número de chips NVIDIA A100 e em alguns ambientes, AMD, Intel, Tianshu Intelligent Core, Cambrian, Haiguang e outros chips são adicionados para apoiar o treinamento de modelos grandes; terceiro, o poder de computação em nuvem do servidor mais econômico é alugado para complementar a escassez de poder de computação.
Na 19ª Cúpula de Verão do 2023 Yabuli China Entrepreneurs Forum, realizada em agosto deste ano, Liu Qingfeng, fundador e presidente da iFlytek, disse que as capacidades técnicas da GPU da Huawei são agora equivalentes às da Nvidia A100, e agora foram comparadas com a Nvidia A100.
Em 20 de setembro, o vice-presidente, presidente rotativo e CFO da Huawei, Meng Wanzhou, disse que a Huawei lançou o cluster de computação Ascend AI com uma nova arquitetura que pode suportar o treinamento de grandes modelos com mais de um trilhão de parâmetros. A Huawei continuará a construir uma base sólida de poder computacional.
Gai Lujiang, presidente e CEO da Tianshu Zhixin, revelou que, atualmente, muitas empresas nacionais de modelos em grande escala começaram a usar placas gráficas GPU domésticas, e a empresa apoiou a conclusão do treinamento de modelos em grande escala com 7 bilhões de parâmetros. Além disso, a maioria das outras empresas nacionais de GPU está em estágio de treinamento de inferência de IA.
Galujiang acredita que na China, a participação de mercado da Nvidia na área de treinamento chega a mais de 95%, com alguns chegando a 99%, e basicamente alcançou um monopólio, principalmente devido à sua arquitetura de hardware e ao ecossistema CUDA amplamente utilizado - tem mais de 300 milhões de usuários globais. Atualmente, as empresas nacionais de GPU enfrentam problemas de migração ecológica. Devido ao grande número de códigos baseados em CUDA, a mudança para um novo ecossistema exigirá muito tempo e custo.
Em uma recente mesa redonda, Wang Ping, cofundador e arquiteto-chefe da Denglin Technology, mencionou que os clientes da AIGC não precisam apenas de soluções como geração de texto e imagem, mas, mais importante, de produtos práticos. Portanto, é necessário implementar produtos de poder computacional com grande poder computacional e forte versatilidade para criar valor para os clientes. É relatado que os produtos de chip AI de nova geração da Denglin Technology têm mais de três vezes a vantagem de consumo de energia do que os produtos GPU de uso geral convencionais internacionais.
Galujiang disse que para Tianshu Zhixin, o próximo passo é otimizar a iteração do produto, o que requer confiar em dados, feedback dos clientes e inovação tecnológica, e fazer ajustes para atender às necessidades domésticas especiais. Ao mesmo tempo, a empresa melhorará ativamente o ecossistema e a pilha de software para garantir que os utilizadores obtenham a melhor experiência em termos de eficiência, custo, desempenho e relação preço-desempenho, de modo a promover uma maior comercialização de produtos.
Wang Ping acredita que devido à crescente dificuldade em obter chips de alta qualidade dos Estados Unidos, embora nenhuma empresa nacional possa produzir chips que possam realmente substituí-los, ele acredita que o poder da computação nacional continuará a crescer. Os chips precisam ser iterados continuamente. Quanto mais usuários houver e quanto mais feedback sobre o problema houver, mais as empresas nacionais de chips de IA poderão melhorar e aprimorar a experiência do usuário nas iterações subsequentes.
“Esta é uma grande oportunidade para empresas nacionais de GPU de uso geral”, disse Galujiang ao TMTpost Media App.