A Meta se uniu à Microsoft para desafiar o padrão de modelo em grande escala. O mais recente Llama 2 é gratuito e de código aberto e pode ser usado diretamente para uso comercial
Da noite para o dia, o padrão de grandes modelos de inteligência artificial (IA) passou por mudanças tremendas novamente.
**Titanium Media App soube que no início da manhã de 19 de julho, horário de Pequim, a gigante da tecnologia Meta (anteriormente Facebook, NASDAQ: META), uma gigante da tecnologia com um valor de mercado de quase 800 bilhões de dólares americanos, lançou o último grande AI modelo de linguagem série Llama 2, incluindo 7 bilhões e 13 bilhões e 70 bilhões de versões de três parâmetros, as informações do modelo e o código inicial são todos de código aberto e suportam o uso comercial gratuito e também incluem a versão do modelo Llama 2-CHAT ajustada para cenários de bate-papo de conversação.
Comparado com o Llama 1 lançado em fevereiro deste ano, o token usado para o último treinamento do Llama 2 dobrou para 2 trilhões. De acordo com a Meta, o Llama 2 superou todos os modelos de bate-papo de código aberto em vários testes externos de pontuação de referência, incluindo testes de raciocínio, codificação, proficiência e conhecimento.
Ao mesmo tempo, a Meta também anunciou esta manhã que cooperará com a Microsoft e a Qualcomm. O Llama 2 será implantado no serviço de nuvem da Microsoft Azure, e o Llama 2 poderá rodar em chips Qualcomm, quebrando o mercado de poder de computação de IA entre os processadores Nvidia e AMD no mercado. monopólio.
“A Microsoft é nossa parceira preferida para o Llama 2 e expandindo nossos esforços em inteligência artificial generativa (AIGC).” A Meta acredita que uma abordagem aberta é a correta para o desenvolvimento de modelos de IA hoje, especialmente aqueles em tecnologias de rápida evolução. A empresa também argumenta no artigo que o Llama 2 pode ser um substituto adequado para o modelo fechado, com base na avaliação humana da Meta de utilidade e segurança.
Satya Nadella, CEO da Microsoft, e Zuckerberg, CEO da Meta (Fonte: Zuckerberg ins)
Yann LeCun, vencedor do Prêmio Turing de 2018 e cientista-chefe de IA da Meta, twittou sem rodeios: "Isso mudará o cenário do mercado de modelos de linguagem grande (LLM)".
Meta desafia OpenAI: o desempenho do chat é mais forte e seguro, e o todo está próximo do GPT-3.5
Por mais de uma década, a Meta não apenas jogou no "Metaverso", mas sempre teve um layout para pesquisa de tecnologia de IA, especialmente seu Instagram, Facebook e outros produtos sociais precisam urgentemente de algoritmos para trazer suporte de publicidade.
Em fevereiro deste ano, a Meta lançou o modelo grande AI Llama 1. De acordo com a empresa, os pesquisadores estão chocados com a enorme demanda pelo Llama 1, com mais de 100.000 solicitações de acesso, e mais desenvolvedores alcançaram conquistas incríveis construindo modelos de aplicativos no Llama. No entanto, o Llama não é gratuito para uso comercial devido ao acordo de código aberto.
Cinco meses depois, em 18 de julho, horário local, a Meta lançou o modelo em grande escala de código aberto Llama 2, que não é apenas gratuito para uso comercial, mas também publicou um relatório técnico em estilo de papel, demonstrando totalmente as capacidades técnicas e informações de avaliação. de Lhama 2.
(Nota: Endereço do papel: ; Endereço do projeto:
É relatado que o Llama 2 é uma versão atualizada do Llama 1. Comparado com o Llama 1, o modelo de pré-treinamento do Llama 2 é treinado em 2 trilhões de tokens (unidades de dados de texto), que é 40% maior que o tamanho dos dados do Llama 1 (aumento de 1,4 vezes), e o comprimento do contexto também é dobrado e usa Agrupado Mecanismo de atenção de consulta (GQA), enquanto o modelo de bate-papo ajustado é treinado em 1 milhão de dados humanos rotulados.
Tecnicamente, o novo Llama 2 usa a estrutura de transformador autorregressiva otimizada e, é claro, oferece suporte a PyTorch, executa uma limpeza de dados mais robusta e atualiza dados mistos.
Atualmente, os modelos da série Llama 2 são 7B, 13B e 70B três. E a Meta AI disse que ainda está treinando a versão 34B, mas não será lançada por enquanto. A versão ajustada da Meta do modelo grande LLAMA 2-chat é baseada na versão ajustada do LLAMA 2 para cenas de diálogo. Ele também suporta três versões dos parâmetros 7B, 13B e 70B, usando RLHF e supervisionado ajuste fino (SFT) e outras técnicas para otimizar iterativamente o modelo.
De acordo com várias informações de avaliação exibidas pelo Meta, a partir de agora, o desempenho do Llama 2 70B está mais próximo do GPT-3.5, igual ou melhor que o Google PaLM (540B), mas o Meta também admite que o Llama 2 está longe do GPT-4 e Google PaLM- Ainda há uma grande lacuna no desempenho dos principais modelos de código não aberto, como 2-L.
"Mas, para muitos cenários, você não precisa do GPT-4", disse Percy Liang, diretor do Stanford Center for Fundamental Modeling Research da equipe de pesquisa da Alpaca.
Além disso, o documento também menciona os esforços de segurança do Llama 2. Entre eles, o Meta usa técnicas como ajuste fino de segurança supervisionado, RLHF seguro e destilação de contexto de segurança no ajuste fino de segurança e usa três benchmarks comumente usados para avaliar a segurança do Llama 2. O desempenho geral é bom e é mais estável e mais seguro do que outros modelos de linguagem grandes.
Microsoft "pisando em dois barcos": não apenas se casando com Meta, mas também aumentando o preço da versão GPT do escritório
A Microsoft, que está liderando essa onda de IA, finalmente revelou sua nova estratégia na Global Partner Conference de hoje (Inspire 2023).
Em 18 de julho, hora local, a Meta e a Microsoft anunciaram em conjunto que, a partir de hoje, o Meta's Llama 2 estará disponível nas plataformas Azure e Windows da Microsoft.
O CEO da Microsoft, Satya Nadella, disse que o Llama 2 permitirá que os desenvolvedores do Microsoft Azure o desenvolvam e aproveitem suas ferramentas nativas da nuvem para filtragem de conteúdo e recursos de segurança. Ele também é otimizado para rodar nativamente no Windows, proporcionando um fluxo de trabalho perfeito para os desenvolvedores.
A Meta disse que o Llama 2 será lançado na nuvem Azure da Microsoft e será distribuído em outras plataformas, como Amazon AWS e Hugging Face no futuro, e o serviço de nuvem baseado no modelo Llama 2 será lançado para desenvolvedores em todo o mundo.
CEO da Microsoft Satya Nadella
**Portanto, atualmente existem duas opções de modelos grandes na plataforma de desenvolvimento da Microsoft: não apenas o modelo grande da série GPT da OpenAI, mas também o modelo grande Llama 2 da Meta. **
Ao mesmo tempo, a Microsoft também anunciou na terça-feira que o Microsoft 365 Copilot terá um preço de US $ 30 por usuário por mês para comerciantes de assinatura do Office 365 E3, E5, Business Standard Edition e Business Advanced Edition. De acordo com o preço no site oficial, esses serviços de assinatura para usuários corporativos variam de US$ 12,5 a US$ 38 por mês por usuário, o que significa que a Microsoft aumentou o preço dos serviços do Office para usuários corporativos em 1 a 3 vezes.
Yusuf Mehdi, vice-presidente corporativo da Microsoft e diretor de marketing do setor de consumo, disse que nos últimos meses, 600 empresas em todo o mundo participaram do programa de acesso antecipado do produto, incluindo instituições conhecidas como KPMG e Banco Nacional de Desenvolvimento dos Emirados Árabes Unidos. Ele enfatizou que quanto mais clientes** usam o Copilot, mais entusiasmados eles ficam com o Copilot. Em breve, ninguém vai querer trabalhar sem ele. **
Isso é suficiente para mostrar o poder de preço e a atratividade da Microsoft e da OpenAI para realizar os produtos Office AI no mercado.
A Microsoft revelou que, desde o primeiro trimestre de 2023, um total de 382 milhões de pessoas em todo o mundo estão usando a versão comercial do software Microsoft (Office) 365.
No entanto, a Microsoft não anunciou hoje a data oficial de lançamento do produto. Além da Microsoft, o Google também anunciou no início deste ano que integrará funções de IA ao Google Workspace, um pacote de escritório em nuvem. Os provedores de serviços de software de Internet em setores subdivididos, incluindo o Zoom, também estão correndo para lançar funções de IA.
Vale a pena notar que a gigante de chips Qualcomm anunciou em conjunto esta manhã que planeja oferecer suporte à implantação de IA baseada no Meta Llama 2 em smartphones e PCs principais a partir de 2024, permitindo que os desenvolvedores usem os recursos de IA da plataforma Snapdragon e lançando um novo aplicativos de IA de geração.
Gráfico diário de ações da Microsoft (Fonte: TradingView)
Afetada pelas novas notícias, a partir de terça-feira, o preço das ações da Microsoft fechou em alta de 3,98%, atingindo um recorde. Desde 2023, o aumento acumulado da Microsoft atingiu 50,05%.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
A Meta se uniu à Microsoft para desafiar o padrão de modelo em grande escala. O mais recente Llama 2 é gratuito e de código aberto e pode ser usado diretamente para uso comercial
Fonte: Titanium Media App, Autor: Lin Zhijia
Da noite para o dia, o padrão de grandes modelos de inteligência artificial (IA) passou por mudanças tremendas novamente.
**Titanium Media App soube que no início da manhã de 19 de julho, horário de Pequim, a gigante da tecnologia Meta (anteriormente Facebook, NASDAQ: META), uma gigante da tecnologia com um valor de mercado de quase 800 bilhões de dólares americanos, lançou o último grande AI modelo de linguagem série Llama 2, incluindo 7 bilhões e 13 bilhões e 70 bilhões de versões de três parâmetros, as informações do modelo e o código inicial são todos de código aberto e suportam o uso comercial gratuito e também incluem a versão do modelo Llama 2-CHAT ajustada para cenários de bate-papo de conversação.
Comparado com o Llama 1 lançado em fevereiro deste ano, o token usado para o último treinamento do Llama 2 dobrou para 2 trilhões. De acordo com a Meta, o Llama 2 superou todos os modelos de bate-papo de código aberto em vários testes externos de pontuação de referência, incluindo testes de raciocínio, codificação, proficiência e conhecimento.
Ao mesmo tempo, a Meta também anunciou esta manhã que cooperará com a Microsoft e a Qualcomm. O Llama 2 será implantado no serviço de nuvem da Microsoft Azure, e o Llama 2 poderá rodar em chips Qualcomm, quebrando o mercado de poder de computação de IA entre os processadores Nvidia e AMD no mercado. monopólio.
“A Microsoft é nossa parceira preferida para o Llama 2 e expandindo nossos esforços em inteligência artificial generativa (AIGC).” A Meta acredita que uma abordagem aberta é a correta para o desenvolvimento de modelos de IA hoje, especialmente aqueles em tecnologias de rápida evolução. A empresa também argumenta no artigo que o Llama 2 pode ser um substituto adequado para o modelo fechado, com base na avaliação humana da Meta de utilidade e segurança.
Yann LeCun, vencedor do Prêmio Turing de 2018 e cientista-chefe de IA da Meta, twittou sem rodeios: "Isso mudará o cenário do mercado de modelos de linguagem grande (LLM)".
Meta desafia OpenAI: o desempenho do chat é mais forte e seguro, e o todo está próximo do GPT-3.5
Por mais de uma década, a Meta não apenas jogou no "Metaverso", mas sempre teve um layout para pesquisa de tecnologia de IA, especialmente seu Instagram, Facebook e outros produtos sociais precisam urgentemente de algoritmos para trazer suporte de publicidade.
Em fevereiro deste ano, a Meta lançou o modelo grande AI Llama 1. De acordo com a empresa, os pesquisadores estão chocados com a enorme demanda pelo Llama 1, com mais de 100.000 solicitações de acesso, e mais desenvolvedores alcançaram conquistas incríveis construindo modelos de aplicativos no Llama. No entanto, o Llama não é gratuito para uso comercial devido ao acordo de código aberto.
Cinco meses depois, em 18 de julho, horário local, a Meta lançou o modelo em grande escala de código aberto Llama 2, que não é apenas gratuito para uso comercial, mas também publicou um relatório técnico em estilo de papel, demonstrando totalmente as capacidades técnicas e informações de avaliação. de Lhama 2.
(Nota: Endereço do papel: ; Endereço do projeto:
É relatado que o Llama 2 é uma versão atualizada do Llama 1. Comparado com o Llama 1, o modelo de pré-treinamento do Llama 2 é treinado em 2 trilhões de tokens (unidades de dados de texto), que é 40% maior que o tamanho dos dados do Llama 1 (aumento de 1,4 vezes), e o comprimento do contexto também é dobrado e usa Agrupado Mecanismo de atenção de consulta (GQA), enquanto o modelo de bate-papo ajustado é treinado em 1 milhão de dados humanos rotulados.
Tecnicamente, o novo Llama 2 usa a estrutura de transformador autorregressiva otimizada e, é claro, oferece suporte a PyTorch, executa uma limpeza de dados mais robusta e atualiza dados mistos.
Atualmente, os modelos da série Llama 2 são 7B, 13B e 70B três. E a Meta AI disse que ainda está treinando a versão 34B, mas não será lançada por enquanto. A versão ajustada da Meta do modelo grande LLAMA 2-chat é baseada na versão ajustada do LLAMA 2 para cenas de diálogo. Ele também suporta três versões dos parâmetros 7B, 13B e 70B, usando RLHF e supervisionado ajuste fino (SFT) e outras técnicas para otimizar iterativamente o modelo.
De acordo com várias informações de avaliação exibidas pelo Meta, a partir de agora, o desempenho do Llama 2 70B está mais próximo do GPT-3.5, igual ou melhor que o Google PaLM (540B), mas o Meta também admite que o Llama 2 está longe do GPT-4 e Google PaLM- Ainda há uma grande lacuna no desempenho dos principais modelos de código não aberto, como 2-L.
Além disso, o documento também menciona os esforços de segurança do Llama 2. Entre eles, o Meta usa técnicas como ajuste fino de segurança supervisionado, RLHF seguro e destilação de contexto de segurança no ajuste fino de segurança e usa três benchmarks comumente usados para avaliar a segurança do Llama 2. O desempenho geral é bom e é mais estável e mais seguro do que outros modelos de linguagem grandes.
Microsoft "pisando em dois barcos": não apenas se casando com Meta, mas também aumentando o preço da versão GPT do escritório
A Microsoft, que está liderando essa onda de IA, finalmente revelou sua nova estratégia na Global Partner Conference de hoje (Inspire 2023).
Em 18 de julho, hora local, a Meta e a Microsoft anunciaram em conjunto que, a partir de hoje, o Meta's Llama 2 estará disponível nas plataformas Azure e Windows da Microsoft.
O CEO da Microsoft, Satya Nadella, disse que o Llama 2 permitirá que os desenvolvedores do Microsoft Azure o desenvolvam e aproveitem suas ferramentas nativas da nuvem para filtragem de conteúdo e recursos de segurança. Ele também é otimizado para rodar nativamente no Windows, proporcionando um fluxo de trabalho perfeito para os desenvolvedores.
A Meta disse que o Llama 2 será lançado na nuvem Azure da Microsoft e será distribuído em outras plataformas, como Amazon AWS e Hugging Face no futuro, e o serviço de nuvem baseado no modelo Llama 2 será lançado para desenvolvedores em todo o mundo.
**Portanto, atualmente existem duas opções de modelos grandes na plataforma de desenvolvimento da Microsoft: não apenas o modelo grande da série GPT da OpenAI, mas também o modelo grande Llama 2 da Meta. **
Ao mesmo tempo, a Microsoft também anunciou na terça-feira que o Microsoft 365 Copilot terá um preço de US $ 30 por usuário por mês para comerciantes de assinatura do Office 365 E3, E5, Business Standard Edition e Business Advanced Edition. De acordo com o preço no site oficial, esses serviços de assinatura para usuários corporativos variam de US$ 12,5 a US$ 38 por mês por usuário, o que significa que a Microsoft aumentou o preço dos serviços do Office para usuários corporativos em 1 a 3 vezes.
Yusuf Mehdi, vice-presidente corporativo da Microsoft e diretor de marketing do setor de consumo, disse que nos últimos meses, 600 empresas em todo o mundo participaram do programa de acesso antecipado do produto, incluindo instituições conhecidas como KPMG e Banco Nacional de Desenvolvimento dos Emirados Árabes Unidos. Ele enfatizou que quanto mais clientes** usam o Copilot, mais entusiasmados eles ficam com o Copilot. Em breve, ninguém vai querer trabalhar sem ele. **
Isso é suficiente para mostrar o poder de preço e a atratividade da Microsoft e da OpenAI para realizar os produtos Office AI no mercado.
A Microsoft revelou que, desde o primeiro trimestre de 2023, um total de 382 milhões de pessoas em todo o mundo estão usando a versão comercial do software Microsoft (Office) 365.
No entanto, a Microsoft não anunciou hoje a data oficial de lançamento do produto. Além da Microsoft, o Google também anunciou no início deste ano que integrará funções de IA ao Google Workspace, um pacote de escritório em nuvem. Os provedores de serviços de software de Internet em setores subdivididos, incluindo o Zoom, também estão correndo para lançar funções de IA.
Vale a pena notar que a gigante de chips Qualcomm anunciou em conjunto esta manhã que planeja oferecer suporte à implantação de IA baseada no Meta Llama 2 em smartphones e PCs principais a partir de 2024, permitindo que os desenvolvedores usem os recursos de IA da plataforma Snapdragon e lançando um novo aplicativos de IA de geração.
Afetada pelas novas notícias, a partir de terça-feira, o preço das ações da Microsoft fechou em alta de 3,98%, atingindo um recorde. Desde 2023, o aumento acumulado da Microsoft atingiu 50,05%.