Meta s'est associé à Microsoft pour défier le modèle de modèle à grande échelle.Le dernier Llama 2 est gratuit et open source, et peut être utilisé directement à des fins commerciales
Source : Application Titanium Media, Auteur : Lin Zhijia
(Source de l'image : site Web officiel de Meta)
Du jour au lendemain, le modèle des grands modèles d'intelligence artificielle (IA) a de nouveau subi d'énormes changements.
**Titanium Media App a appris qu'au petit matin du 19 juillet, heure de Pékin, le géant de la technologie Meta (anciennement Facebook, NASDAQ : META), un géant de la technologie d'une valeur marchande de près de 800 milliards de dollars américains, a publié le dernier grand modèle de langage série Llama 2, y compris 7 milliards et 13 milliards et 70 milliards de versions à trois paramètres, les informations du modèle et le code de démarrage sont tous open source et prennent en charge une utilisation commerciale gratuite, et incluent également la version du modèle Llama 2-CHAT affinée pour scénarios de chat conversationnel.
Par rapport à Llama 1 sorti en février de cette année, le jeton utilisé pour la dernière formation Llama 2 a doublé pour atteindre 2 000 milliards. Selon Meta, Llama 2 a surpassé tous les modèles de chat open source dans plusieurs tests de notation externes, notamment des tests de raisonnement, de codage, de compétence et de connaissances.
Dans le même temps, Meta a également annoncé ce matin qu'il coopérerait avec Microsoft et Qualcomm.Llama 2 sera déployé sur le service cloud Azure de Microsoft, et Llama 2 pourra fonctionner sur des puces Qualcomm, cassant le marché de la puissance de calcul de l'IA. entre les processeurs Nvidia et AMD sur le marché. monopole.
"Microsoft est notre partenaire de choix pour Llama 2 et étend nos efforts dans l'intelligence artificielle générative (AIGC)." Meta estime qu'une approche ouverte est la bonne pour le développement de modèles d'IA aujourd'hui, en particulier ceux dans les technologies à évolution rapide de grand modèle. La société fait également valoir dans l'article que Llama 2 pourrait être un remplacement approprié pour le modèle fermé, sur la base de l'évaluation humaine de l'utilité et de la sécurité de Meta.
Le PDG de Microsoft, Satya Nadella, et le PDG de Meta, Zuckerberg (Source : Zuckerberg ins)
Yann LeCun, lauréat du prix Turing 2018 et scientifique en chef de l'IA chez Meta, a tweeté sans ambages : "Cela va changer le paysage du marché des grands modèles linguistiques (LLM)."
Meta challenge OpenAI : les performances du chat sont plus fortes et plus sûres, et l'ensemble est proche de GPT-3.5
Depuis plus d'une décennie, Meta a non seulement joué dans le "Metaverse", mais a toujours eu une mise en page pour la recherche sur les technologies de l'IA, en particulier ses Instagram, Facebook et d'autres produits sociaux ont un besoin urgent d'algorithmes pour apporter un support publicitaire.
En février de cette année, Meta a publié le grand modèle AI Llama 1. Selon la société, les chercheurs sont choqués par l'énorme demande pour Llama 1, avec plus de 100 000 demandes d'accès, et de plus en plus de développeurs ont réalisé des réalisations incroyables en créant des applications modèles sur Llama. Cependant, Llama n'a pas été gratuit pour un usage commercial en raison de l'accord open source.
Cinq mois plus tard, le 18 juillet, heure locale, Meta a publié le modèle open source à grande échelle Llama 2, qui est non seulement gratuit pour un usage commercial, mais a également publié un rapport technique de style papier, démontrant pleinement les capacités techniques et les informations d'évaluation. de Lama 2.
(Remarque : Adresse papier : ; Adresse du projet :
Il est rapporté que Llama 2 est une version mise à jour de Llama 1. Comparé à Llama 1, le modèle de pré-formation de Llama 2 est formé sur 2 billions de jetons (unités de données textuelles), ce qui est 40% plus grand que la taille des données de Llama 1 (augmentation de 1,4 fois), et la longueur du contexte est également doublée et utilise Grouped Le mécanisme d'attention aux requêtes (GQA), tandis que le modèle de chat affiné est formé sur 1 million de données humaines étiquetées.
Techniquement, le nouveau Llama 2 utilise le cadre Transformer autorégressif optimisé et prend bien sûr en charge PyTorch, effectue un nettoyage des données plus robuste et met à jour les données mixtes.
Actuellement, les modèles de la série Llama 2 sont 7B, 13B et 70B trois. Et Meta AI a déclaré qu'ils entraînaient toujours la version 34B, mais qu'elle ne serait pas publiée pour le moment. La version affinée de Meta du grand modèle LLAMA 2-chat est basée sur la version affinée de LLAMA 2 pour les scènes de dialogue. Il prend également en charge trois versions des paramètres 7B, 13B et 70B, utilisant RLHF et supervisé réglage fin (SFT) et d'autres techniques pour optimiser le modèle de manière itérative.
Selon plusieurs informations d'évaluation affichées par Meta, à l'heure actuelle, les performances de Llama 2 70B sont plus proches de GPT-3.5, égales ou meilleures que Google PaLM (540B), mais Meta admet également que Llama 2 est loin de GPT-4 et Google PaLM- Il existe encore un écart important dans les performances des principaux modèles non open source tels que 2-L.
"Mais pour de nombreux scénarios, vous n'avez pas besoin de GPT-4", a déclaré Percy Liang, directeur du Stanford Center for Fundamental Modeling Research dans l'équipe de recherche Alpaca.
En outre, le document mentionne également les efforts de sécurité de Llama 2. Parmi eux, Meta utilise des techniques telles que le réglage fin de la sécurité supervisé, le RLHF sécurisé et la distillation du contexte de sécurité dans le réglage fin de la sécurité, et utilise trois critères de référence couramment utilisés pour évaluer la sécurité de Llama 2. La performance globale est bonne, et c'est plus stable et plus sûr que les autres grands modèles de langage.
Microsoft "marche sur deux bateaux": non seulement épouser Meta, mais aussi augmenter le prix de la version GPT d'office
Microsoft, qui mène cette vague d'IA, a finalement dévoilé sa nouvelle stratégie lors de la Global Partner Conference d'aujourd'hui (Inspire 2023).
Le 18 juillet, heure locale, Meta et Microsoft ont annoncé conjointement qu'à partir d'aujourd'hui, Meta's Llama 2 sera disponible sur les plateformes Azure et Windows de Microsoft.
Le PDG de Microsoft, Satya Nadella, a déclaré que Llama 2 permettra aux développeurs de Microsoft Azure de s'appuyer sur lui et de tirer parti de leurs outils cloud natifs pour le filtrage de contenu et les fonctionnalités de sécurité. Il est également optimisé pour s'exécuter en mode natif sur Windows, offrant un flux de travail transparent aux développeurs.
Meta a déclaré que Llama 2 sera lancé sur le cloud Azure de Microsoft et sera distribué sur d'autres plates-formes telles qu'Amazon AWS et Hugging Face à l'avenir, et le service cloud basé sur le modèle Llama 2 sera mis à la disposition des développeurs du monde entier.
Satya Nadella, PDG de Microsoft
** Ainsi, il existe actuellement deux grandes options de modèle sur la plate-forme de développement de Microsoft : non seulement le grand modèle de la série GPT d'OpenAI, mais également le grand modèle Llama 2 de Meta. **
Dans le même temps, Microsoft a également annoncé mardi que Microsoft 365 Copilot sera proposé au prix de 30 dollars par utilisateur et par mois pour les marchands abonnés à Office 365 E3, E5, Business Standard Edition et Business Advanced Edition. Selon les prix sur le site officiel, ces services d'abonnement pour les utilisateurs professionnels vont de 12,5 $ à 38 $ par mois et par utilisateur, ce qui signifie que Microsoft a augmenté de 1 à 3 fois le prix des services Office pour les utilisateurs professionnels.
Yusuf Mehdi, vice-président de Microsoft et directeur marketing du secteur grand public, a déclaré qu'au cours des derniers mois, 600 entreprises à travers le monde ont participé au programme d'accès anticipé du produit, y compris des institutions bien connues telles que KPMG et la Banque nationale de développement des Émirats arabes unis. Il a souligné que plus les clients ** utilisent Copilot, plus ils deviennent enthousiastes à propos de Copilot. Bientôt, plus personne ne voudra travailler sans elle. **
Cela suffit pour montrer le pouvoir de tarification et l'attractivité de Microsoft et d'OpenAI pour réaliser des produits Office AI sur le marché.
Microsoft a révélé qu'au premier trimestre 2023, un total de 382 millions de personnes dans le monde utilisaient la version commerciale du logiciel Microsoft (Office) 365.
Cependant, Microsoft n'a pas annoncé aujourd'hui la date de lancement officielle du produit. En plus de Microsoft, Google a également annoncé plus tôt cette année qu'il intégrerait des fonctions d'IA dans Google Workspace, une suite bureautique cloud. Les fournisseurs de services logiciels Internet dans des secteurs subdivisés, y compris Zoom, se précipitent également pour lancer des fonctions d'IA.
Il convient de noter que le géant des puces Qualcomm a annoncé conjointement ce matin qu'il prévoyait de prendre en charge le déploiement de l'IA basé sur Meta Llama 2 sur les smartphones et PC phares à partir de 2024, permettant aux développeurs d'utiliser les capacités d'IA de la plate-forme Snapdragon et de lancer un nouveau applications IA de génération.
Graphique quotidien des actions Microsoft (Source : TradingView)
Affecté par la nouvelle, mardi, le cours de l'action Microsoft a clôturé en hausse de 3,98 %, atteignant un niveau record. Depuis 2023, l'augmentation cumulée de Microsoft a atteint 50,05 %.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Meta s'est associé à Microsoft pour défier le modèle de modèle à grande échelle.Le dernier Llama 2 est gratuit et open source, et peut être utilisé directement à des fins commerciales
Source : Application Titanium Media, Auteur : Lin Zhijia
Du jour au lendemain, le modèle des grands modèles d'intelligence artificielle (IA) a de nouveau subi d'énormes changements.
**Titanium Media App a appris qu'au petit matin du 19 juillet, heure de Pékin, le géant de la technologie Meta (anciennement Facebook, NASDAQ : META), un géant de la technologie d'une valeur marchande de près de 800 milliards de dollars américains, a publié le dernier grand modèle de langage série Llama 2, y compris 7 milliards et 13 milliards et 70 milliards de versions à trois paramètres, les informations du modèle et le code de démarrage sont tous open source et prennent en charge une utilisation commerciale gratuite, et incluent également la version du modèle Llama 2-CHAT affinée pour scénarios de chat conversationnel.
Par rapport à Llama 1 sorti en février de cette année, le jeton utilisé pour la dernière formation Llama 2 a doublé pour atteindre 2 000 milliards. Selon Meta, Llama 2 a surpassé tous les modèles de chat open source dans plusieurs tests de notation externes, notamment des tests de raisonnement, de codage, de compétence et de connaissances.
Dans le même temps, Meta a également annoncé ce matin qu'il coopérerait avec Microsoft et Qualcomm.Llama 2 sera déployé sur le service cloud Azure de Microsoft, et Llama 2 pourra fonctionner sur des puces Qualcomm, cassant le marché de la puissance de calcul de l'IA. entre les processeurs Nvidia et AMD sur le marché. monopole.
"Microsoft est notre partenaire de choix pour Llama 2 et étend nos efforts dans l'intelligence artificielle générative (AIGC)." Meta estime qu'une approche ouverte est la bonne pour le développement de modèles d'IA aujourd'hui, en particulier ceux dans les technologies à évolution rapide de grand modèle. La société fait également valoir dans l'article que Llama 2 pourrait être un remplacement approprié pour le modèle fermé, sur la base de l'évaluation humaine de l'utilité et de la sécurité de Meta.
Yann LeCun, lauréat du prix Turing 2018 et scientifique en chef de l'IA chez Meta, a tweeté sans ambages : "Cela va changer le paysage du marché des grands modèles linguistiques (LLM)."
Meta challenge OpenAI : les performances du chat sont plus fortes et plus sûres, et l'ensemble est proche de GPT-3.5
Depuis plus d'une décennie, Meta a non seulement joué dans le "Metaverse", mais a toujours eu une mise en page pour la recherche sur les technologies de l'IA, en particulier ses Instagram, Facebook et d'autres produits sociaux ont un besoin urgent d'algorithmes pour apporter un support publicitaire.
En février de cette année, Meta a publié le grand modèle AI Llama 1. Selon la société, les chercheurs sont choqués par l'énorme demande pour Llama 1, avec plus de 100 000 demandes d'accès, et de plus en plus de développeurs ont réalisé des réalisations incroyables en créant des applications modèles sur Llama. Cependant, Llama n'a pas été gratuit pour un usage commercial en raison de l'accord open source.
Cinq mois plus tard, le 18 juillet, heure locale, Meta a publié le modèle open source à grande échelle Llama 2, qui est non seulement gratuit pour un usage commercial, mais a également publié un rapport technique de style papier, démontrant pleinement les capacités techniques et les informations d'évaluation. de Lama 2.
(Remarque : Adresse papier : ; Adresse du projet :
Il est rapporté que Llama 2 est une version mise à jour de Llama 1. Comparé à Llama 1, le modèle de pré-formation de Llama 2 est formé sur 2 billions de jetons (unités de données textuelles), ce qui est 40% plus grand que la taille des données de Llama 1 (augmentation de 1,4 fois), et la longueur du contexte est également doublée et utilise Grouped Le mécanisme d'attention aux requêtes (GQA), tandis que le modèle de chat affiné est formé sur 1 million de données humaines étiquetées.
Techniquement, le nouveau Llama 2 utilise le cadre Transformer autorégressif optimisé et prend bien sûr en charge PyTorch, effectue un nettoyage des données plus robuste et met à jour les données mixtes.
Actuellement, les modèles de la série Llama 2 sont 7B, 13B et 70B trois. Et Meta AI a déclaré qu'ils entraînaient toujours la version 34B, mais qu'elle ne serait pas publiée pour le moment. La version affinée de Meta du grand modèle LLAMA 2-chat est basée sur la version affinée de LLAMA 2 pour les scènes de dialogue. Il prend également en charge trois versions des paramètres 7B, 13B et 70B, utilisant RLHF et supervisé réglage fin (SFT) et d'autres techniques pour optimiser le modèle de manière itérative.
Selon plusieurs informations d'évaluation affichées par Meta, à l'heure actuelle, les performances de Llama 2 70B sont plus proches de GPT-3.5, égales ou meilleures que Google PaLM (540B), mais Meta admet également que Llama 2 est loin de GPT-4 et Google PaLM- Il existe encore un écart important dans les performances des principaux modèles non open source tels que 2-L.
En outre, le document mentionne également les efforts de sécurité de Llama 2. Parmi eux, Meta utilise des techniques telles que le réglage fin de la sécurité supervisé, le RLHF sécurisé et la distillation du contexte de sécurité dans le réglage fin de la sécurité, et utilise trois critères de référence couramment utilisés pour évaluer la sécurité de Llama 2. La performance globale est bonne, et c'est plus stable et plus sûr que les autres grands modèles de langage.
Microsoft "marche sur deux bateaux": non seulement épouser Meta, mais aussi augmenter le prix de la version GPT d'office
Microsoft, qui mène cette vague d'IA, a finalement dévoilé sa nouvelle stratégie lors de la Global Partner Conference d'aujourd'hui (Inspire 2023).
Le 18 juillet, heure locale, Meta et Microsoft ont annoncé conjointement qu'à partir d'aujourd'hui, Meta's Llama 2 sera disponible sur les plateformes Azure et Windows de Microsoft.
Le PDG de Microsoft, Satya Nadella, a déclaré que Llama 2 permettra aux développeurs de Microsoft Azure de s'appuyer sur lui et de tirer parti de leurs outils cloud natifs pour le filtrage de contenu et les fonctionnalités de sécurité. Il est également optimisé pour s'exécuter en mode natif sur Windows, offrant un flux de travail transparent aux développeurs.
Meta a déclaré que Llama 2 sera lancé sur le cloud Azure de Microsoft et sera distribué sur d'autres plates-formes telles qu'Amazon AWS et Hugging Face à l'avenir, et le service cloud basé sur le modèle Llama 2 sera mis à la disposition des développeurs du monde entier.
** Ainsi, il existe actuellement deux grandes options de modèle sur la plate-forme de développement de Microsoft : non seulement le grand modèle de la série GPT d'OpenAI, mais également le grand modèle Llama 2 de Meta. **
Dans le même temps, Microsoft a également annoncé mardi que Microsoft 365 Copilot sera proposé au prix de 30 dollars par utilisateur et par mois pour les marchands abonnés à Office 365 E3, E5, Business Standard Edition et Business Advanced Edition. Selon les prix sur le site officiel, ces services d'abonnement pour les utilisateurs professionnels vont de 12,5 $ à 38 $ par mois et par utilisateur, ce qui signifie que Microsoft a augmenté de 1 à 3 fois le prix des services Office pour les utilisateurs professionnels.
Yusuf Mehdi, vice-président de Microsoft et directeur marketing du secteur grand public, a déclaré qu'au cours des derniers mois, 600 entreprises à travers le monde ont participé au programme d'accès anticipé du produit, y compris des institutions bien connues telles que KPMG et la Banque nationale de développement des Émirats arabes unis. Il a souligné que plus les clients ** utilisent Copilot, plus ils deviennent enthousiastes à propos de Copilot. Bientôt, plus personne ne voudra travailler sans elle. **
Cela suffit pour montrer le pouvoir de tarification et l'attractivité de Microsoft et d'OpenAI pour réaliser des produits Office AI sur le marché.
Microsoft a révélé qu'au premier trimestre 2023, un total de 382 millions de personnes dans le monde utilisaient la version commerciale du logiciel Microsoft (Office) 365.
Cependant, Microsoft n'a pas annoncé aujourd'hui la date de lancement officielle du produit. En plus de Microsoft, Google a également annoncé plus tôt cette année qu'il intégrerait des fonctions d'IA dans Google Workspace, une suite bureautique cloud. Les fournisseurs de services logiciels Internet dans des secteurs subdivisés, y compris Zoom, se précipitent également pour lancer des fonctions d'IA.
Il convient de noter que le géant des puces Qualcomm a annoncé conjointement ce matin qu'il prévoyait de prendre en charge le déploiement de l'IA basé sur Meta Llama 2 sur les smartphones et PC phares à partir de 2024, permettant aux développeurs d'utiliser les capacités d'IA de la plate-forme Snapdragon et de lancer un nouveau applications IA de génération.
Affecté par la nouvelle, mardi, le cours de l'action Microsoft a clôturé en hausse de 3,98 %, atteignant un niveau record. Depuis 2023, l'augmentation cumulée de Microsoft a atteint 50,05 %.