Meta se asoció con Microsoft para desafiar el patrón de modelo a gran escala. El último Llama 2 es gratuito y de código abierto, y se puede usar directamente para uso comercial.
De la noche a la mañana, el patrón de los grandes modelos de inteligencia artificial (IA) ha vuelto a sufrir cambios tremendos.
**Titanium Media App se enteró de que en la madrugada del 19 de julio, hora de Beijing, el gigante tecnológico Meta (anteriormente Facebook, NASDAQ: META), un gigante tecnológico con un valor de mercado de casi 800 mil millones de dólares estadounidenses, lanzó el último gran AI Modelo de idioma de la serie Llama 2, que incluye 7 mil millones y 13 mil millones y 70 mil millones de versiones de tres parámetros, la información del modelo y el código de inicio son todos de código abierto y admiten el uso comercial gratuito, y también incluyen la versión del modelo Llama 2-CHAT ajustada para escenarios de chat conversacional.
En comparación con Llama 1 lanzado en febrero de este año, el token utilizado para el último entrenamiento de Llama 2 se ha duplicado a 2 billones. Según Meta, Llama 2 superó a todos los modelos de chat de código abierto en múltiples pruebas de puntaje de referencia externas que incluyen pruebas de razonamiento, codificación, competencia y conocimiento.
Al mismo tiempo, Meta también anunció esta mañana que cooperará con Microsoft y Qualcomm.Llama 2 se implementará en el servicio en la nube de Microsoft, Azure, y Llama 2 podrá ejecutarse en chips de Qualcomm, rompiendo el mercado de poder de cómputo de IA. entre procesadores Nvidia y AMD en el mercado monopolio.
"Microsoft es nuestro socio de elección para Llama 2 y para expandir nuestros esfuerzos en inteligencia artificial generativa (AIGC)". Meta cree que un enfoque abierto es el adecuado para el desarrollo de modelos de IA en la actualidad, especialmente aquellos en tecnologías de gran tamaño que evolucionan rápidamente. La compañía también argumenta en el documento que Llama 2 puede ser un reemplazo adecuado para el modelo cerrado, según la evaluación humana de utilidad y seguridad de Meta.
El CEO de Microsoft, Satya Nadella, y el CEO de Meta, Zuckerberg (Fuente: Zuckerberg ins)
Yann LeCun, ganador del Premio Turing 2018 y científico jefe de inteligencia artificial de Meta, tuiteó sin rodeos: "Esto cambiará el panorama del mercado del modelo de lenguaje grande (LLM)".
Meta desafía a OpenAI: el rendimiento del chat es más fuerte y seguro, y el conjunto está cerca de GPT-3.5
Durante más de una década, Meta no solo ha jugado en el "Metaverso", sino que siempre ha tenido un diseño para la investigación de tecnología de IA, especialmente Instagram, Facebook y otros productos sociales que necesitan algoritmos con urgencia para brindar apoyo publicitario.
En febrero de este año, Meta lanzó el modelo grande AI Llama 1. Según la empresa, los investigadores están conmocionados por la gran demanda de Llama 1, con más de 100 000 solicitudes de acceso, y más desarrolladores han logrado logros asombrosos al crear aplicaciones modelo en Llama. Sin embargo, Llama no ha sido gratuito para uso comercial debido al acuerdo de código abierto.
Cinco meses después, el 18 de julio, hora local, Meta lanzó el modelo a gran escala de código abierto Llama 2, que no solo es gratuito para uso comercial, sino que también publicó un informe técnico en papel, que demuestra plenamente las capacidades técnicas y la información de evaluación. de Llama 2.
(Nota: Dirección del papel: ; Dirección del proyecto:
Se informa que Llama 2 es una versión actualizada de Llama 1. En comparación con Llama 1, el modelo de preentrenamiento de Llama 2 se entrena en 2 billones de tokens (unidades de datos de texto), que es un 40 % más grande que el tamaño de datos de Llama 1 (aumento de 1,4 veces), y la longitud del contexto también se duplica, y usa Agrupados El mecanismo de atención de consultas (GQA), mientras que el modelo de chat perfeccionado se entrena en 1 millón de datos etiquetados por humanos.
Técnicamente, el nuevo Llama 2 utiliza el marco Transformer autorregresivo optimizado y, por supuesto, es compatible con PyTorch, realiza una limpieza de datos más sólida y actualiza datos mixtos.
Actualmente, los modelos de la serie Llama 2 son 7B, 13B y 70B tres. Y Meta AI dijo que todavía están entrenando la versión 34B, pero que no se lanzará por el momento. La versión afinada de Meta del modelo grande LLAMA 2-chat se basa en la versión afinada para escenas de diálogo de LLAMA 2. También admite tres versiones de parámetros 7B, 13B y 70B, usando RLHF y supervisado. ajuste fino (SFT) y otras técnicas para optimizar iterativamente el modelo.
Según múltiples datos de evaluación mostrados por Meta, a partir de ahora, el rendimiento de Llama 2 70B está más cerca de GPT-3.5, igual o mejor que Google PaLM (540B), pero Meta también admite que Llama 2 está lejos de GPT-4. y Google PaLM: todavía hay una gran brecha en el rendimiento de los principales modelos de código abierto como 2-L.
"Pero para muchos escenarios, no necesita GPT-4", dijo Percy Liang, director del Centro Stanford para la Investigación de Modelado Fundamental en el equipo de investigación de Alpaca.
Además, el documento también menciona los esfuerzos de seguridad de Llama 2. Entre ellos, Meta utiliza técnicas como el ajuste de seguridad supervisado, RLHF seguro y destilación del contexto de seguridad en el ajuste de seguridad, y utiliza tres puntos de referencia comúnmente utilizados para evaluar la seguridad de Llama 2. El rendimiento general es bueno y es más estable y más seguro que otros modelos de lenguaje grande.
Microsoft "pisando dos barcos": no solo se casa con Meta, sino que sube el precio de la versión GPT de office
Microsoft, que lidera esta ola de IA, finalmente reveló su nueva estrategia en la Conferencia Global de Socios de hoy (Inspire 2023).
El 18 de julio, hora local, Meta y Microsoft anunciaron en conjunto que a partir de hoy, Llama 2 de Meta estará disponible en las plataformas Azure y Windows de Microsoft.
El CEO de Microsoft, Satya Nadella, dijo que Llama 2 permitirá a los desarrolladores de Microsoft Azure desarrollarlo y aprovechar sus herramientas nativas de la nube para el filtrado de contenido y las funciones de seguridad. También está optimizado para ejecutarse de forma nativa en Windows, lo que proporciona un flujo de trabajo perfecto para los desarrolladores.
Meta dijo que Llama 2 se lanzará en la nube Azure de Microsoft y se distribuirá en otras plataformas como Amazon AWS y Hugging Face en el futuro, y el servicio en la nube basado en el modelo Llama 2 se lanzará a los desarrolladores de todo el mundo.
CEO de Microsoft, Satya Nadella
**Entonces, actualmente hay dos opciones de modelos grandes en la plataforma de desarrollo de Microsoft: no solo el modelo grande de la serie GPT de OpenAI, sino también el modelo grande Llama 2 de Meta. **
Al mismo tiempo, Microsoft también anunció el martes que Microsoft 365 Copilot tendrá un precio de $ 30 por usuario por mes para los comerciantes de suscripción de Office 365 E3, E5, Business Standard Edition y Business Advanced Edition. Según el precio en el sitio web oficial, estos servicios de suscripción para usuarios comerciales oscilan entre $ 12,5 y $ 38 por mes por usuario, lo que significa que Microsoft ha aumentado el precio de los servicios de Office para usuarios comerciales entre 1 y 3 veces.
Yusuf Mehdi, vicepresidente corporativo de Microsoft y director de marketing del sector de consumo, dijo que en los últimos meses, 600 empresas de todo el mundo han participado en el programa de acceso anticipado del producto, incluidas instituciones reconocidas como KPMG y el Banco Nacional de Desarrollo de los Emiratos Árabes Unidos. Hizo hincapié en que cuantos más clientes** usen Copilot, más entusiastas se volverán con Copilot. Pronto, nadie querrá trabajar sin él. **
Esto es suficiente para mostrar el poder de fijación de precios y el atractivo de Microsoft y OpenAI para realizar productos de IA de Office en el mercado.
Microsoft ha revelado que, a partir del primer trimestre de 2023, un total de 382 millones de personas en todo el mundo utilizan la versión comercial del software Microsoft (Office) 365.
Sin embargo, Microsoft no anunció hoy la fecha de lanzamiento oficial del producto. Además de Microsoft, Google también anunció a principios de este año que integrará funciones de inteligencia artificial en Google Workspace, una suite de oficina en la nube. Los proveedores de servicios de software de Internet en industrias subdivididas, incluido Zoom, también se apresuran a lanzar funciones de IA.
Vale la pena señalar que el gigante de chips Qualcomm anunció conjuntamente esta mañana que planea admitir la implementación de IA basada en Meta Llama 2 en teléfonos inteligentes y PC emblemáticos a partir de 2024, lo que permitirá a los desarrolladores utilizar las capacidades de IA de la plataforma Snapdragon y lanzar un nuevo aplicaciones de IA de última generación.
Gráfico diario de acciones de Microsoft (Fuente: TradingView)
Afectado por la nueva noticia, a partir del martes, el precio de las acciones de Microsoft cerró con una subida del 3,98%, alcanzando un máximo histórico. Desde 2023, el aumento acumulado de Microsoft ha alcanzado el 50,05%.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Meta se asoció con Microsoft para desafiar el patrón de modelo a gran escala. El último Llama 2 es gratuito y de código abierto, y se puede usar directamente para uso comercial.
Fuente: Titanium Media App, Autor: Lin Zhijia
De la noche a la mañana, el patrón de los grandes modelos de inteligencia artificial (IA) ha vuelto a sufrir cambios tremendos.
**Titanium Media App se enteró de que en la madrugada del 19 de julio, hora de Beijing, el gigante tecnológico Meta (anteriormente Facebook, NASDAQ: META), un gigante tecnológico con un valor de mercado de casi 800 mil millones de dólares estadounidenses, lanzó el último gran AI Modelo de idioma de la serie Llama 2, que incluye 7 mil millones y 13 mil millones y 70 mil millones de versiones de tres parámetros, la información del modelo y el código de inicio son todos de código abierto y admiten el uso comercial gratuito, y también incluyen la versión del modelo Llama 2-CHAT ajustada para escenarios de chat conversacional.
En comparación con Llama 1 lanzado en febrero de este año, el token utilizado para el último entrenamiento de Llama 2 se ha duplicado a 2 billones. Según Meta, Llama 2 superó a todos los modelos de chat de código abierto en múltiples pruebas de puntaje de referencia externas que incluyen pruebas de razonamiento, codificación, competencia y conocimiento.
Al mismo tiempo, Meta también anunció esta mañana que cooperará con Microsoft y Qualcomm.Llama 2 se implementará en el servicio en la nube de Microsoft, Azure, y Llama 2 podrá ejecutarse en chips de Qualcomm, rompiendo el mercado de poder de cómputo de IA. entre procesadores Nvidia y AMD en el mercado monopolio.
"Microsoft es nuestro socio de elección para Llama 2 y para expandir nuestros esfuerzos en inteligencia artificial generativa (AIGC)". Meta cree que un enfoque abierto es el adecuado para el desarrollo de modelos de IA en la actualidad, especialmente aquellos en tecnologías de gran tamaño que evolucionan rápidamente. La compañía también argumenta en el documento que Llama 2 puede ser un reemplazo adecuado para el modelo cerrado, según la evaluación humana de utilidad y seguridad de Meta.
Yann LeCun, ganador del Premio Turing 2018 y científico jefe de inteligencia artificial de Meta, tuiteó sin rodeos: "Esto cambiará el panorama del mercado del modelo de lenguaje grande (LLM)".
Meta desafía a OpenAI: el rendimiento del chat es más fuerte y seguro, y el conjunto está cerca de GPT-3.5
Durante más de una década, Meta no solo ha jugado en el "Metaverso", sino que siempre ha tenido un diseño para la investigación de tecnología de IA, especialmente Instagram, Facebook y otros productos sociales que necesitan algoritmos con urgencia para brindar apoyo publicitario.
En febrero de este año, Meta lanzó el modelo grande AI Llama 1. Según la empresa, los investigadores están conmocionados por la gran demanda de Llama 1, con más de 100 000 solicitudes de acceso, y más desarrolladores han logrado logros asombrosos al crear aplicaciones modelo en Llama. Sin embargo, Llama no ha sido gratuito para uso comercial debido al acuerdo de código abierto.
Cinco meses después, el 18 de julio, hora local, Meta lanzó el modelo a gran escala de código abierto Llama 2, que no solo es gratuito para uso comercial, sino que también publicó un informe técnico en papel, que demuestra plenamente las capacidades técnicas y la información de evaluación. de Llama 2.
(Nota: Dirección del papel: ; Dirección del proyecto:
Se informa que Llama 2 es una versión actualizada de Llama 1. En comparación con Llama 1, el modelo de preentrenamiento de Llama 2 se entrena en 2 billones de tokens (unidades de datos de texto), que es un 40 % más grande que el tamaño de datos de Llama 1 (aumento de 1,4 veces), y la longitud del contexto también se duplica, y usa Agrupados El mecanismo de atención de consultas (GQA), mientras que el modelo de chat perfeccionado se entrena en 1 millón de datos etiquetados por humanos.
Técnicamente, el nuevo Llama 2 utiliza el marco Transformer autorregresivo optimizado y, por supuesto, es compatible con PyTorch, realiza una limpieza de datos más sólida y actualiza datos mixtos.
Actualmente, los modelos de la serie Llama 2 son 7B, 13B y 70B tres. Y Meta AI dijo que todavía están entrenando la versión 34B, pero que no se lanzará por el momento. La versión afinada de Meta del modelo grande LLAMA 2-chat se basa en la versión afinada para escenas de diálogo de LLAMA 2. También admite tres versiones de parámetros 7B, 13B y 70B, usando RLHF y supervisado. ajuste fino (SFT) y otras técnicas para optimizar iterativamente el modelo.
Según múltiples datos de evaluación mostrados por Meta, a partir de ahora, el rendimiento de Llama 2 70B está más cerca de GPT-3.5, igual o mejor que Google PaLM (540B), pero Meta también admite que Llama 2 está lejos de GPT-4. y Google PaLM: todavía hay una gran brecha en el rendimiento de los principales modelos de código abierto como 2-L.
Además, el documento también menciona los esfuerzos de seguridad de Llama 2. Entre ellos, Meta utiliza técnicas como el ajuste de seguridad supervisado, RLHF seguro y destilación del contexto de seguridad en el ajuste de seguridad, y utiliza tres puntos de referencia comúnmente utilizados para evaluar la seguridad de Llama 2. El rendimiento general es bueno y es más estable y más seguro que otros modelos de lenguaje grande.
Microsoft "pisando dos barcos": no solo se casa con Meta, sino que sube el precio de la versión GPT de office
Microsoft, que lidera esta ola de IA, finalmente reveló su nueva estrategia en la Conferencia Global de Socios de hoy (Inspire 2023).
El 18 de julio, hora local, Meta y Microsoft anunciaron en conjunto que a partir de hoy, Llama 2 de Meta estará disponible en las plataformas Azure y Windows de Microsoft.
El CEO de Microsoft, Satya Nadella, dijo que Llama 2 permitirá a los desarrolladores de Microsoft Azure desarrollarlo y aprovechar sus herramientas nativas de la nube para el filtrado de contenido y las funciones de seguridad. También está optimizado para ejecutarse de forma nativa en Windows, lo que proporciona un flujo de trabajo perfecto para los desarrolladores.
Meta dijo que Llama 2 se lanzará en la nube Azure de Microsoft y se distribuirá en otras plataformas como Amazon AWS y Hugging Face en el futuro, y el servicio en la nube basado en el modelo Llama 2 se lanzará a los desarrolladores de todo el mundo.
**Entonces, actualmente hay dos opciones de modelos grandes en la plataforma de desarrollo de Microsoft: no solo el modelo grande de la serie GPT de OpenAI, sino también el modelo grande Llama 2 de Meta. **
Al mismo tiempo, Microsoft también anunció el martes que Microsoft 365 Copilot tendrá un precio de $ 30 por usuario por mes para los comerciantes de suscripción de Office 365 E3, E5, Business Standard Edition y Business Advanced Edition. Según el precio en el sitio web oficial, estos servicios de suscripción para usuarios comerciales oscilan entre $ 12,5 y $ 38 por mes por usuario, lo que significa que Microsoft ha aumentado el precio de los servicios de Office para usuarios comerciales entre 1 y 3 veces.
Yusuf Mehdi, vicepresidente corporativo de Microsoft y director de marketing del sector de consumo, dijo que en los últimos meses, 600 empresas de todo el mundo han participado en el programa de acceso anticipado del producto, incluidas instituciones reconocidas como KPMG y el Banco Nacional de Desarrollo de los Emiratos Árabes Unidos. Hizo hincapié en que cuantos más clientes** usen Copilot, más entusiastas se volverán con Copilot. Pronto, nadie querrá trabajar sin él. **
Esto es suficiente para mostrar el poder de fijación de precios y el atractivo de Microsoft y OpenAI para realizar productos de IA de Office en el mercado.
Microsoft ha revelado que, a partir del primer trimestre de 2023, un total de 382 millones de personas en todo el mundo utilizan la versión comercial del software Microsoft (Office) 365.
Sin embargo, Microsoft no anunció hoy la fecha de lanzamiento oficial del producto. Además de Microsoft, Google también anunció a principios de este año que integrará funciones de inteligencia artificial en Google Workspace, una suite de oficina en la nube. Los proveedores de servicios de software de Internet en industrias subdivididas, incluido Zoom, también se apresuran a lanzar funciones de IA.
Vale la pena señalar que el gigante de chips Qualcomm anunció conjuntamente esta mañana que planea admitir la implementación de IA basada en Meta Llama 2 en teléfonos inteligentes y PC emblemáticos a partir de 2024, lo que permitirá a los desarrolladores utilizar las capacidades de IA de la plataforma Snapdragon y lanzar un nuevo aplicaciones de IA de última generación.
Afectado por la nueva noticia, a partir del martes, el precio de las acciones de Microsoft cerró con una subida del 3,98%, alcanzando un máximo histórico. Desde 2023, el aumento acumulado de Microsoft ha alcanzado el 50,05%.