Il a fallu deux mois à 10 personnes pour construire une grande maquette ! Béni par 16 articles de conférence de premier plan en un an : aucun des meilleurs du marché n'est open source
Une entreprise créée à Shenzhen en mai de cette année compte une équipe de moins de 10 personnes.
Ce qu’ils doivent faire n’est pas une mince affaire : défier AGI.
Où est la confiance ? Tout d’abord, regardez le CV précédent, et deuxièmement, regardez les résultats actuels de la piste.
Au cours de l'année écoulée, ces personnes ont publié un total de 16 grands articles liés aux modèles lors de conférences de premier plan telles que CVPR, ICML et ECCV, et l'un d'eux a été nominé pour le meilleur article lors de la conférence principale ACL 2023.
Quels ont été vos résultats après le démarrage de votre entreprise ? Deux mois après sa création, le modèle formé s'est classé parmi les trois premiers de la liste C, et sa capacité chinoise a vaincu ChatGPT et Claude-v1.3.
C'est le résultat de la matrice symbiotique.
Et son modèle GS-LLM figure pour la première fois depuis fin juillet sur la liste, au premier échelon parmi les 65 acteurs de la C-list.
Alors, qui est la Matrice Symbiotique ?
10 personnes défient AGI
Symbiotic Matrix vise à construire une usine de raffinage des données industrielles basée sur la technologie AGI auto-développée.
L'équipe s'appuie principalement sur le grand modèle GS-LLM qu'elle a développé elle-même.
L'échelle des paramètres du modèle va de 7B à 130B et peut être adaptée en fonction des besoins réels des utilisateurs.
Il existe deux versions basées sur GS-LLM qui occupent une place sur C-, l'une est la version GS-LLM-Beta à 10 milliards de paramètres et l'autre est la version mini GS-LLM-Beta-Mini avec moins de 10 milliards de paramètres. .
La raison du lancement de la version mini est que de nombreux utilisateurs ont constaté que l'environnement d'exploitation d'origine (même l'environnement cloud) n'était pas suffisant pour prendre en charge un déploiement local à grande échelle.
Les résultats des tests ont révélé que la version multimilliardaire de GS-LLM-Beta peut fonctionner correctement, avec un meilleur classement de 6ème sur C-.
L'une des raisons pour lesquelles elle peut rester en tête de la liste C est que la matrice symbiotique a construit un cadre de formation complètement indépendant, qui fournit un support technique relativement complet pour l'ensemble de la formation.
Le deuxième point concerne les données, auxquelles cette entreprise attache une grande importance.
Zhang Lin, PDG de Symbiotic Matrix, a donné un exemple simple :
Comparez la formation sur modèle au processus de croissance humaine. Si tout ce qu'il a lu depuis son enfance sont des romans nutritifs, les capacités globales de cette personne ne seront pas très fortes.
L'année dernière, l'équipe a découvert lors d'une expérience que lorsque les données du modèle atteignent un certain ordre de grandeur, l'augmentation de la qualité des données peut en réalité entraîner des changements qualitatifs.
"En d'autres termes, si vous disposez d'un modèle à relativement petite échelle (par exemple des dizaines de milliards) et que vous lui fournissez des données de haute qualité, les résultats de la formation seront très proches des résultats de centaines de milliards de niveaux", a déclaré Zhang Lin. .
Cette expérience a également amené l'équipe à accorder plus d'attention à la qualité des données et aux moyens systématiques d'obtenir des données de haute qualité.
En fait, ce point a récemment attiré de plus en plus l'attention de tous les horizons. Microsoft a publié une nouvelle étude "Les manuels sont tout ce dont vous avez besoin". Les travaux montrent que grandir n'est pas la seule issue, mais des données de haute qualité sont nécessaires. crucial.
En conséquence, l'équipe Symbiosis a construit un système d'ingénierie pour nettoyer les données afin de nettoyer les données en continu 24 heures sur 24.
L'équipe a actuellement nettoyé environ 20 T de données textuelles pouvant être utilisées pour la formation. "Ce niveau de données peut prendre en charge la formation de modèles d'un très grand système."
Cependant, Zhang Lin a également révélé que Symbiotic Matrix ne divulguera pas au public les données nettoyées par l'équipe à court terme.
Alors, quel est le concept de l’usine de raffinement des données que l’équipe souhaite construire ?
Zhang Lin a expliqué que si un grand modèle est compris comme une « compression d'informations », alors il s'agit en soi d'une grande base de données de paramètres.
Ce que l'usine de raffinage des données doit faire, c'est partager et échanger les données de paramètres une fois le modèle formé.
Il faut savoir que les fonctions des grands modèles sont assurées par des paramètres. Les paramètres de transaction sont en fait des fonctions de commutation. Nous avons besoin de la diversité des fonctions des grands modèles. « L'échange de paramètres est la voie la plus efficace ».
Les données mentionnées ici ne sont pas le type de données que tout le monde peut voir, mais des données paramétriques. Les données dont nous parlons souvent sont un morceau de texte ou une image, et les données détenues par l'usine sont les paramètres du modèle formé, et les paramètres sont échangés commercialement.
" Les données brutes sont directement échangées, ce qui est limité par de grandes quantités et des problèmes de confidentialité. " Zhang Lin a expliqué que le concept d'échange de données est proposé depuis de nombreuses années, mais qu'il n'a pas été pleinement accepté par le marché. L'équipe estime que si les données doivent réellement circuler, elles doivent être plus raisonnables, plus sûres et plus efficaces, afin que les transactions de données au niveau des paramètres soient enfin déterminées.
Selon la vision de l'équipe, une fois l'usine de raffinement des données terminée, certaines données n'auront plus besoin d'être formées à plusieurs reprises, l'efficacité sera améliorée et les coûts seront réduits.
Utiliser moins de personnes et de ressources pour compléter le système de grands modèles
Dans l’engouement pour les grands modèles, la manière d’évaluer les grands modèles est devenue une question importante, c’est pourquoi diverses listes ont vu le jour.
Après que Symbiotic Matrix ait été répertorié comme C-, le monde extérieur s’est concentré sur deux points principaux :
En plus de leurs bons résultats, un autre point intéressant est qu’il s’agit d’une petite équipe rare dans le palmarès.
L'équipe a déclaré que la liste n'est pas la seule ni la plus fiable au monde, mais qu'elle a commencé à apparaître sur la liste un mois après sa création et a atteint une fois les trois premiers, ce qui peut refléter le fait que « nous utilisons moins de personnes et de ressources pour faire du bon travail dans les systèmes de modélisation à grande échelle.
C’est vrai, l’équipe Symbiosis Matrix compte moins de 10 personnes.
Il n'y a pas beaucoup de monde, mais ils sont tous plutôt doués pour se battre——
Le PDG Zhang Lin, le CTO Wang Junjie et d'autres membres principaux de l'équipe sont tous issus de l'IDEA Research Institute et possèdent une riche expérience pratique dans le système open source des modèles nationaux de pré-formation de Fengshenbang (il est rapporté que Fengshenbang compte actuellement plus de 98 open source). source de modèles de pré-formation)
Zhang Lin est titulaire d'un doctorat de l'Université d'État de New York et a publié plus de 30 articles lors de conférences informatiques de premier plan. Il était auparavant chercheur principal à l'Institut d'économie numérique de la région de la Grande Baie de Guangdong-Hong Kong-Macao (IDEA). ).
Wang Junjie est titulaire d'un doctorat en informatique de l'Université Waseda et était auparavant un membre principal de l'équipe des grands modèles de Fengshenbang.
△Zhang Lin
En regardant le marché actuel de l'IA, il n'y a pas de précédent pour qu'une petite équipe fasse du bon travail en IA.Il n'y a que 11 membres derrière le plus célèbre modèle de diagramme de Vincent Midjourney, appelé la référence des organisations de la nouvelle ère. À l'ère de l'IA 2.0, de nombreuses équipes entrepreneuriales de grande envergure qui mettent l'accent sur « petite mais belle » ont émergé au pays et à l'étranger.
Bien sûr, Zhang Lin a déclaré que la raison la plus profonde est que les grands modèles ne sont pas simplement des projets qui accumulent de la main-d'œuvre et nécessitent un petit nombre d'équipes d'élite pour garantir l'efficacité.
Il a déclaré que lors de la formation du modèle, les aspects techniques tels que l'optimisation des opérateurs, la précision mixte, etc., ainsi que les problèmes de communication lors de la prise en charge de centaines de cartes en même temps, testent toutes les capacités d'ingénierie. Si une petite équipe peut résoudre les problèmes d’ingénierie rencontrés et améliorer l’efficacité, il n’est pas nécessaire de s’appuyer sur une grande équipe pour les résoudre.
En outre, une petite équipe technique de base est plus propice au maintien de l'indépendance idéologique et à l'exploration de plus de possibilités en ne respectant pas les règles, mais l'empilement des effectifs réduira facilement l'efficacité globale.
Selon son estimation, les meilleurs talents dans le domaine du modélisme à grande échelle du pays « ne pourraient représenter qu'une centaine de personnes » et il y a peu de place pour former une grande équipe.
L'équipe restera donc à la taille de « moins de dix personnes » pendant une certaine période.
En fin de compte, il s’agit d’une compréhension différente des paradigmes et des concepts derrière l’ère AI 2.0 et l’ère AI 1.0.
Au cours du processus de communication, Zhang Lin a également exprimé directement la compréhension différente de l'équipe par rapport aux voix traditionnelles à un autre niveau, ce qui se reflète dans le concept open source et fermé.
Il y a quelque temps, lorsque le LLaMA-2 gratuit et disponible dans le commerce a été lancé, de nombreuses personnes ont déclaré que ce serait un coup dur pour les startups du marché, car LLaMA-2 peut répondre aux besoins de la plupart des entreprises en termes de coûts et de personnalisation.
" LLaMA-2 n'a pas changé la structure du marché. " Aux yeux de l'équipe Symbiosis, les équipes véritablement leaders n'utilisent pas les technologies de base open source.
Zhang Lin a également ajouté qu'au stade actuel, l'importance de l'open source réside davantage dans l'éducation du marché que dans la promotion de la commercialisation.
Tout comme le Raspberry Pi est significatif pour les passionnés d'électronique, mais ne changera pas le marché des ordinateurs mobiles, LLAMA 2 est plus précieux pour les utilisateurs débutants, mais aura peu d'impact sur les utilisateurs qui souhaitent devenir commerciaux.
Il existe encore de nombreuses matrices symbiotiques avec des vues et des compréhensions « non traditionnelles » comme celle-ci.
Par exemple, nous ne pensons pas que les grands modèles soient le point final de l’IA générale, et nous ne pensons pas non plus que ChatGPT représente la direction ultime.
Ils se méfient également de l'expansion rapide de type licorne et accordent plus d'attention à la cohésion de l'équipe et à l'accumulation de technologies.
……
Concernant la voie de développement future, Symbiosis Matrix choisit d'être une source fermée à court terme et pourrait être open source de manière appropriée à l'avenir sous réserve d'opportunités appropriées.
L'Open Source doit avoir des objectifs commerciaux clairs. Actuellement, la technologie à grande échelle est encore au stade d'itérations et de concurrence rapides, et la technologie de base Open Source risque de perdre son avantage de pionnier.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Il a fallu deux mois à 10 personnes pour construire une grande maquette ! Béni par 16 articles de conférence de premier plan en un an : aucun des meilleurs du marché n'est open source
Auteur : Hengyu
**Source : **Qubits
Une entreprise créée à Shenzhen en mai de cette année compte une équipe de moins de 10 personnes.
Ce qu’ils doivent faire n’est pas une mince affaire : défier AGI.
Où est la confiance ? Tout d’abord, regardez le CV précédent, et deuxièmement, regardez les résultats actuels de la piste.
Au cours de l'année écoulée, ces personnes ont publié un total de 16 grands articles liés aux modèles lors de conférences de premier plan telles que CVPR, ICML et ECCV, et l'un d'eux a été nominé pour le meilleur article lors de la conférence principale ACL 2023.
Quels ont été vos résultats après le démarrage de votre entreprise ? Deux mois après sa création, le modèle formé s'est classé parmi les trois premiers de la liste C, et sa capacité chinoise a vaincu ChatGPT et Claude-v1.3.
C'est le résultat de la matrice symbiotique.
Et son modèle GS-LLM figure pour la première fois depuis fin juillet sur la liste, au premier échelon parmi les 65 acteurs de la C-list.
Alors, qui est la Matrice Symbiotique ?
10 personnes défient AGI
Symbiotic Matrix vise à construire une usine de raffinage des données industrielles basée sur la technologie AGI auto-développée.
L'équipe s'appuie principalement sur le grand modèle GS-LLM qu'elle a développé elle-même.
L'échelle des paramètres du modèle va de 7B à 130B et peut être adaptée en fonction des besoins réels des utilisateurs.
Il existe deux versions basées sur GS-LLM qui occupent une place sur C-, l'une est la version GS-LLM-Beta à 10 milliards de paramètres et l'autre est la version mini GS-LLM-Beta-Mini avec moins de 10 milliards de paramètres. .
La raison du lancement de la version mini est que de nombreux utilisateurs ont constaté que l'environnement d'exploitation d'origine (même l'environnement cloud) n'était pas suffisant pour prendre en charge un déploiement local à grande échelle.
Les résultats des tests ont révélé que la version multimilliardaire de GS-LLM-Beta peut fonctionner correctement, avec un meilleur classement de 6ème sur C-.
L'une des raisons pour lesquelles elle peut rester en tête de la liste C est que la matrice symbiotique a construit un cadre de formation complètement indépendant, qui fournit un support technique relativement complet pour l'ensemble de la formation.
Le deuxième point concerne les données, auxquelles cette entreprise attache une grande importance.
Zhang Lin, PDG de Symbiotic Matrix, a donné un exemple simple :
Comparez la formation sur modèle au processus de croissance humaine. Si tout ce qu'il a lu depuis son enfance sont des romans nutritifs, les capacités globales de cette personne ne seront pas très fortes.
L'année dernière, l'équipe a découvert lors d'une expérience que lorsque les données du modèle atteignent un certain ordre de grandeur, l'augmentation de la qualité des données peut en réalité entraîner des changements qualitatifs.
"En d'autres termes, si vous disposez d'un modèle à relativement petite échelle (par exemple des dizaines de milliards) et que vous lui fournissez des données de haute qualité, les résultats de la formation seront très proches des résultats de centaines de milliards de niveaux", a déclaré Zhang Lin. .
Cette expérience a également amené l'équipe à accorder plus d'attention à la qualité des données et aux moyens systématiques d'obtenir des données de haute qualité.
En fait, ce point a récemment attiré de plus en plus l'attention de tous les horizons. Microsoft a publié une nouvelle étude "Les manuels sont tout ce dont vous avez besoin". Les travaux montrent que grandir n'est pas la seule issue, mais des données de haute qualité sont nécessaires. crucial.
En conséquence, l'équipe Symbiosis a construit un système d'ingénierie pour nettoyer les données afin de nettoyer les données en continu 24 heures sur 24.
L'équipe a actuellement nettoyé environ 20 T de données textuelles pouvant être utilisées pour la formation. "Ce niveau de données peut prendre en charge la formation de modèles d'un très grand système."
Cependant, Zhang Lin a également révélé que Symbiotic Matrix ne divulguera pas au public les données nettoyées par l'équipe à court terme.
Alors, quel est le concept de l’usine de raffinement des données que l’équipe souhaite construire ?
Zhang Lin a expliqué que si un grand modèle est compris comme une « compression d'informations », alors il s'agit en soi d'une grande base de données de paramètres.
Ce que l'usine de raffinage des données doit faire, c'est partager et échanger les données de paramètres une fois le modèle formé.
Il faut savoir que les fonctions des grands modèles sont assurées par des paramètres. Les paramètres de transaction sont en fait des fonctions de commutation. Nous avons besoin de la diversité des fonctions des grands modèles. « L'échange de paramètres est la voie la plus efficace ».
Les données mentionnées ici ne sont pas le type de données que tout le monde peut voir, mais des données paramétriques. Les données dont nous parlons souvent sont un morceau de texte ou une image, et les données détenues par l'usine sont les paramètres du modèle formé, et les paramètres sont échangés commercialement.
" Les données brutes sont directement échangées, ce qui est limité par de grandes quantités et des problèmes de confidentialité. " Zhang Lin a expliqué que le concept d'échange de données est proposé depuis de nombreuses années, mais qu'il n'a pas été pleinement accepté par le marché. L'équipe estime que si les données doivent réellement circuler, elles doivent être plus raisonnables, plus sûres et plus efficaces, afin que les transactions de données au niveau des paramètres soient enfin déterminées.
Selon la vision de l'équipe, une fois l'usine de raffinement des données terminée, certaines données n'auront plus besoin d'être formées à plusieurs reprises, l'efficacité sera améliorée et les coûts seront réduits.
Utiliser moins de personnes et de ressources pour compléter le système de grands modèles
Dans l’engouement pour les grands modèles, la manière d’évaluer les grands modèles est devenue une question importante, c’est pourquoi diverses listes ont vu le jour.
Après que Symbiotic Matrix ait été répertorié comme C-, le monde extérieur s’est concentré sur deux points principaux :
En plus de leurs bons résultats, un autre point intéressant est qu’il s’agit d’une petite équipe rare dans le palmarès.
L'équipe a déclaré que la liste n'est pas la seule ni la plus fiable au monde, mais qu'elle a commencé à apparaître sur la liste un mois après sa création et a atteint une fois les trois premiers, ce qui peut refléter le fait que « nous utilisons moins de personnes et de ressources pour faire du bon travail dans les systèmes de modélisation à grande échelle.
C’est vrai, l’équipe Symbiosis Matrix compte moins de 10 personnes.
Il n'y a pas beaucoup de monde, mais ils sont tous plutôt doués pour se battre——
Le PDG Zhang Lin, le CTO Wang Junjie et d'autres membres principaux de l'équipe sont tous issus de l'IDEA Research Institute et possèdent une riche expérience pratique dans le système open source des modèles nationaux de pré-formation de Fengshenbang (il est rapporté que Fengshenbang compte actuellement plus de 98 open source). source de modèles de pré-formation)
Zhang Lin est titulaire d'un doctorat de l'Université d'État de New York et a publié plus de 30 articles lors de conférences informatiques de premier plan. Il était auparavant chercheur principal à l'Institut d'économie numérique de la région de la Grande Baie de Guangdong-Hong Kong-Macao (IDEA). ).
Wang Junjie est titulaire d'un doctorat en informatique de l'Université Waseda et était auparavant un membre principal de l'équipe des grands modèles de Fengshenbang.
En regardant le marché actuel de l'IA, il n'y a pas de précédent pour qu'une petite équipe fasse du bon travail en IA.Il n'y a que 11 membres derrière le plus célèbre modèle de diagramme de Vincent Midjourney, appelé la référence des organisations de la nouvelle ère. À l'ère de l'IA 2.0, de nombreuses équipes entrepreneuriales de grande envergure qui mettent l'accent sur « petite mais belle » ont émergé au pays et à l'étranger.
Bien sûr, Zhang Lin a déclaré que la raison la plus profonde est que les grands modèles ne sont pas simplement des projets qui accumulent de la main-d'œuvre et nécessitent un petit nombre d'équipes d'élite pour garantir l'efficacité.
Il a déclaré que lors de la formation du modèle, les aspects techniques tels que l'optimisation des opérateurs, la précision mixte, etc., ainsi que les problèmes de communication lors de la prise en charge de centaines de cartes en même temps, testent toutes les capacités d'ingénierie. Si une petite équipe peut résoudre les problèmes d’ingénierie rencontrés et améliorer l’efficacité, il n’est pas nécessaire de s’appuyer sur une grande équipe pour les résoudre.
En outre, une petite équipe technique de base est plus propice au maintien de l'indépendance idéologique et à l'exploration de plus de possibilités en ne respectant pas les règles, mais l'empilement des effectifs réduira facilement l'efficacité globale.
Selon son estimation, les meilleurs talents dans le domaine du modélisme à grande échelle du pays « ne pourraient représenter qu'une centaine de personnes » et il y a peu de place pour former une grande équipe.
L'équipe restera donc à la taille de « moins de dix personnes » pendant une certaine période.
En fin de compte, il s’agit d’une compréhension différente des paradigmes et des concepts derrière l’ère AI 2.0 et l’ère AI 1.0.
Au cours du processus de communication, Zhang Lin a également exprimé directement la compréhension différente de l'équipe par rapport aux voix traditionnelles à un autre niveau, ce qui se reflète dans le concept open source et fermé.
Il y a quelque temps, lorsque le LLaMA-2 gratuit et disponible dans le commerce a été lancé, de nombreuses personnes ont déclaré que ce serait un coup dur pour les startups du marché, car LLaMA-2 peut répondre aux besoins de la plupart des entreprises en termes de coûts et de personnalisation.
" LLaMA-2 n'a pas changé la structure du marché. " Aux yeux de l'équipe Symbiosis, les équipes véritablement leaders n'utilisent pas les technologies de base open source.
Zhang Lin a également ajouté qu'au stade actuel, l'importance de l'open source réside davantage dans l'éducation du marché que dans la promotion de la commercialisation.
Tout comme le Raspberry Pi est significatif pour les passionnés d'électronique, mais ne changera pas le marché des ordinateurs mobiles, LLAMA 2 est plus précieux pour les utilisateurs débutants, mais aura peu d'impact sur les utilisateurs qui souhaitent devenir commerciaux.
Il existe encore de nombreuses matrices symbiotiques avec des vues et des compréhensions « non traditionnelles » comme celle-ci.
Par exemple, nous ne pensons pas que les grands modèles soient le point final de l’IA générale, et nous ne pensons pas non plus que ChatGPT représente la direction ultime.
Ils se méfient également de l'expansion rapide de type licorne et accordent plus d'attention à la cohésion de l'équipe et à l'accumulation de technologies.
……
Concernant la voie de développement future, Symbiosis Matrix choisit d'être une source fermée à court terme et pourrait être open source de manière appropriée à l'avenir sous réserve d'opportunités appropriées.
L'Open Source doit avoir des objectifs commerciaux clairs. Actuellement, la technologie à grande échelle est encore au stade d'itérations et de concurrence rapides, et la technologie de base Open Source risque de perdre son avantage de pionnier.