El nuevo trabajo del equipo Tsinghua Tang Jie está aquí:
WebGLM, un robot de chat de preguntas y respuestas de Internetwork con 10 mil millones de parámetros (el artículo fue seleccionado para KDD2023).
Puede hacerle cualquier pregunta y enumerará enlaces a artículos relevantes en Internet (como Wikipedia, sitios web oficiales relacionados) y clasificará las respuestas.
Por ejemplo:
¿Cuál es la tecnología central de ChatGPT?
o:
¿Quién propuso Music Transformer? ¿Cuál es su principio?
o:
¿Qué tal Genshin Impact 3.5?
¿Cómo se puede vivir en una ciudad de primer nivel sin un trabajo bien remunerado? (cabeza de perro manual)
……
Puede dar respuestas razonables.
Según los informes, en la prueba de comparación de rendimiento, el nivel de WebGLM ha sido más alto que el WebGPT de 13 500 millones de parámetros de OpenAI, y en la evaluación humana, es incluso comparable al modelo de 175 000 millones de parámetros.
Entonces, ¿cómo se entrena?
Departamento de Tsinghua WebGLM que puede acceder a Internet
Según los informes, el objetivo de WebGLM es mejorar el modelo de lenguaje grande previamente entrenado a través de funciones de búsqueda y recuperación en la web, al tiempo que permite una implementación real eficiente.
Para ello, el autor desarrolla en base a tres estrategias.
El primero es el Large Model Augmented Retriever.
Se utiliza principalmente para mejorar la capacidad de recuperación del contenido de red relacionado con el modelo y encontrar referencias relevantes en el caso de una consulta determinada, a fin de responder mejor a las preguntas con precisión más adelante.
Tiene dos etapas: búsqueda web de granularidad gruesa y recuperación densa mejorada con LLM de granularidad fina.
Seguido por Generador Bootstrap.
Utiliza la capacidad de GLM (como el modelo de capacitación previa bilingüe de código abierto GLM-130B lanzado por la Universidad de Tsinghua) para generar respuestas a preguntas y proporcionar respuestas detalladas.
Usando este generador, los autores obtienen WebGLM-QA, una cita de arranque LLM y un conjunto de datos de control de calidad de largo alcance.
Se limpia y filtra a través de estrategias como el aprendizaje contextual y, finalmente, incluye 45 000 muestras filtradas de alta calidad y 83 000 muestras de ruido.
La columna vertebral de WebGLM es un modelo GLM entrenado en este conjunto de datos.
Finalmente, hay un marcador basado en las preferencias humanas.
Evalúa la calidad de las respuestas generadas al priorizar las preferencias humanas sobre los costosos comentarios de expertos, lo que garantiza que el sistema produzca contenido útil y atractivo.
Los tres componentes anteriores finalmente forman la canalización de WebGLM en orden:
Se puede observar que existen exactamente tres módulos, correspondientes a las tres partes presentadas anteriormente, entre los cuales:
El recuperador mejorado de LLM utilizará las cinco mejores páginas más relevantes como fuente de referencia, permitirá que el generador de arranque genere múltiples respuestas y, finalmente, el evaluador seleccionará la que tenga más probabilidades de satisfacer las preferencias humanas como resultado final.
El rendimiento supera a OpenAI WebGPT
Además del propio WebGLM, el equipo de Tang Jie también propuso un estándar de evaluación para un sistema de respuesta a preguntas mejorado en la Red. Los objetos de evaluación incluyen referencias y respuestas finales.
Entre ellos, el primero mide las cinco dimensiones de relevancia, densidad de la información, autenticidad (sin errores fácticos), toxicidad (excluyendo información como la pornografía violenta) y el grado de prejuicio social; el segundo mide la fluidez, la corrección, la precisión de las citas y la objetividad. y redundancia.
Utilizaron las 272 preguntas proporcionadas por el sitio web de demostración WebGPT (de OpenAI, ajustado en función de GPT-3) para una evaluación comparativa, y reclutaron a 15 voluntarios con una maestría para calificar.
El resultado final es el siguiente:
("Rel.", "Den."... corresponden respectivamente a los 10 indicadores mencionados anteriormente).
Se puede ver que aunque los resultados de búsqueda de WebGLM son ligeramente inferiores a WebGPT-175B, son mucho mejores que Perplexity.ai y WebGPT-13B (evaluación de referencia a la izquierda).
Cabe mencionar que el proceso de recuperación de WebGLM solo utiliza algunos algoritmos tradicionales basados en palabras y dos Contrievers cuyos parámetros acumulativos no superan los 300M.
Además, WebGLM también es significativamente mejor que WebGPT-13B en términos de rendimiento informático y consumo de tiempo, y es comparable a 175B.
En términos de resultados finales, WebGLM logró las puntuaciones más altas en términos de fluidez, autenticidad y redundancia, y su índice de corrección estuvo cerca de WebGPT-175B, muy por encima de Perplexity.ai y WebGPT-13B.
Según los autores, esto demuestra que WebGLM puede lograr un mayor rendimiento a un menor costo.
Despliegue y Capacitación
WebGLM se lanza como código abierto.
Para implementarlo, debe obtener una clave del sitio web oficial de SerpAPI, que se utiliza para obtener resultados de búsqueda durante el proceso de búsqueda.
Los pesos del retriever se pueden descargar de Tsinghua Cloud.
Hay dos formas de ejecutar el modelo: una es la interfaz de línea de comandos, la otra es la forma de servicio web y hay dos modelos opcionales que incluyen WebGLM-2B y WebGLM-10B.
También puede entrenar WebGLM usted mismo, los datos de entrenamiento oficiales del generador y el recuperador se han proporcionado para descargar ~
Dirección en papel:
Página de inicio de GitHub:
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
El nuevo trabajo WebGLM de Tsinghua Tang Jie: 10 mil millones de parámetros, principalmente búsqueda en línea, el rendimiento supera a OpenAI WebGPT
Fuente: Qubit
El nuevo trabajo del equipo Tsinghua Tang Jie está aquí:
WebGLM, un robot de chat de preguntas y respuestas de Internetwork con 10 mil millones de parámetros (el artículo fue seleccionado para KDD2023).
Por ejemplo:
Puede dar respuestas razonables.
Según los informes, en la prueba de comparación de rendimiento, el nivel de WebGLM ha sido más alto que el WebGPT de 13 500 millones de parámetros de OpenAI, y en la evaluación humana, es incluso comparable al modelo de 175 000 millones de parámetros.
Departamento de Tsinghua WebGLM que puede acceder a Internet
Según los informes, el objetivo de WebGLM es mejorar el modelo de lenguaje grande previamente entrenado a través de funciones de búsqueda y recuperación en la web, al tiempo que permite una implementación real eficiente.
Para ello, el autor desarrolla en base a tres estrategias.
El primero es el Large Model Augmented Retriever.
Se utiliza principalmente para mejorar la capacidad de recuperación del contenido de red relacionado con el modelo y encontrar referencias relevantes en el caso de una consulta determinada, a fin de responder mejor a las preguntas con precisión más adelante.
Tiene dos etapas: búsqueda web de granularidad gruesa y recuperación densa mejorada con LLM de granularidad fina.
Seguido por Generador Bootstrap.
Utiliza la capacidad de GLM (como el modelo de capacitación previa bilingüe de código abierto GLM-130B lanzado por la Universidad de Tsinghua) para generar respuestas a preguntas y proporcionar respuestas detalladas.
Usando este generador, los autores obtienen WebGLM-QA, una cita de arranque LLM y un conjunto de datos de control de calidad de largo alcance.
Se limpia y filtra a través de estrategias como el aprendizaje contextual y, finalmente, incluye 45 000 muestras filtradas de alta calidad y 83 000 muestras de ruido.
La columna vertebral de WebGLM es un modelo GLM entrenado en este conjunto de datos.
Finalmente, hay un marcador basado en las preferencias humanas.
Evalúa la calidad de las respuestas generadas al priorizar las preferencias humanas sobre los costosos comentarios de expertos, lo que garantiza que el sistema produzca contenido útil y atractivo.
Los tres componentes anteriores finalmente forman la canalización de WebGLM en orden:
El recuperador mejorado de LLM utilizará las cinco mejores páginas más relevantes como fuente de referencia, permitirá que el generador de arranque genere múltiples respuestas y, finalmente, el evaluador seleccionará la que tenga más probabilidades de satisfacer las preferencias humanas como resultado final.
El rendimiento supera a OpenAI WebGPT
Además del propio WebGLM, el equipo de Tang Jie también propuso un estándar de evaluación para un sistema de respuesta a preguntas mejorado en la Red. Los objetos de evaluación incluyen referencias y respuestas finales.
Entre ellos, el primero mide las cinco dimensiones de relevancia, densidad de la información, autenticidad (sin errores fácticos), toxicidad (excluyendo información como la pornografía violenta) y el grado de prejuicio social; el segundo mide la fluidez, la corrección, la precisión de las citas y la objetividad. y redundancia.
Utilizaron las 272 preguntas proporcionadas por el sitio web de demostración WebGPT (de OpenAI, ajustado en función de GPT-3) para una evaluación comparativa, y reclutaron a 15 voluntarios con una maestría para calificar.
El resultado final es el siguiente:
Se puede ver que aunque los resultados de búsqueda de WebGLM son ligeramente inferiores a WebGPT-175B, son mucho mejores que Perplexity.ai y WebGPT-13B (evaluación de referencia a la izquierda).
Cabe mencionar que el proceso de recuperación de WebGLM solo utiliza algunos algoritmos tradicionales basados en palabras y dos Contrievers cuyos parámetros acumulativos no superan los 300M.
Además, WebGLM también es significativamente mejor que WebGPT-13B en términos de rendimiento informático y consumo de tiempo, y es comparable a 175B.
En términos de resultados finales, WebGLM logró las puntuaciones más altas en términos de fluidez, autenticidad y redundancia, y su índice de corrección estuvo cerca de WebGPT-175B, muy por encima de Perplexity.ai y WebGPT-13B.
Según los autores, esto demuestra que WebGLM puede lograr un mayor rendimiento a un menor costo.
Despliegue y Capacitación
WebGLM se lanza como código abierto.
Los pesos del retriever se pueden descargar de Tsinghua Cloud.
Hay dos formas de ejecutar el modelo: una es la interfaz de línea de comandos, la otra es la forma de servicio web y hay dos modelos opcionales que incluyen WebGLM-2B y WebGLM-10B.
También puede entrenar WebGLM usted mismo, los datos de entrenamiento oficiales del generador y el recuperador se han proporcionado para descargar ~
Dirección en papel:
Página de inicio de GitHub: