WebGLM, Інтернет-мережевий чат-робот із запитаннями та відповідями з 10 мільярдами параметрів (статтю було відібрано для KDD2023).
Ви можете поставити йому будь-яке запитання, і він перерахує посилання на відповідні статті в Інтернеті (наприклад, Вікіпедія, відповідні офіційні веб-сайти) і відсортує відповіді.
наприклад:
Яка основна технологія ChatGPT?
або:
Хто запропонував Music Transformer? Який її принцип?
або:
Як щодо Genshin Impact 3.5?
Як жити в першокласному місті без високооплачуваної роботи? (ручна голова собаки)
……
Він може дати розумні відповіді.
Відповідно до звітів, у тесті порівняння продуктивності рівень WebGLM був вищим, ніж 13,5 мільярда параметрів OpenAI WebGPT, а в оцінці людиною він навіть порівнюється з моделлю 175 мільярдів параметрів.
Отже, як це тренується?
WebGLM департаменту Цінхуа, який має доступ до Інтернету
Відповідно до звітів, метою WebGLM є вдосконалення попередньо навченої великої мовної моделі за допомогою функцій веб-пошуку та пошуку, одночасно забезпечуючи ефективне фактичне розгортання.
Для цього автор розвивається на основі трьох стратегій.
Перший — велика модель аугментованого ретривера.
Він в основному використовується для покращення можливості пошуку мережевого вмісту, пов’язаного з моделлю, і пошуку релевантних посилань у випадку певного запиту, щоб пізніше краще відповідати на запитання.
Він має два етапи: грубозернистий веб-пошук і дрібнозернистий щільний пошук, розширений LLM.
Далі йде Bootstrap Generator.
Він використовує здатність GLM (наприклад, двомовну модель попереднього навчання з відкритим кодом GLM-130B, випущену Університетом Цінхуа) для створення відповідей на запитання та надання детальних відповідей.
Використовуючи цей генератор, автори отримують WebGLM-QA - початкове цитування LLM і набір даних довгострокового контролю якості.
Його очищають і фільтрують за допомогою таких стратегій, як вивчення контексту, і, нарешті, включають 45 тисяч високоякісних відфільтрованих зразків і 83 тисячі зразків шуму.
Основою WebGLM є модель GLM, навчена на цьому наборі даних.
Нарешті, є оцінка на основі людських уподобань.
Він оцінює якість згенерованих відповідей, віддаючи перевагу людським уподобанням над дорогим відгуком експертів, гарантуючи, що система створює корисний і привабливий вміст.
Наведені вище три компоненти, нарешті, формують конвеєр WebGLM таким чином:
Можна побачити, що є рівно три модулі, які відповідають трьом частинам, представленим вище, серед яких:
Удосконалений ретрівер LLM використовуватиме п’ять найкращих найрелевантніших сторінок як довідкове джерело, дозволить початковому генератору генерувати кілька відповідей, і, нарешті, оцінювач вибере той, який найбільше відповідає вподобанням людини як кінцевий результат.
Продуктивність перевищує OpenAI WebGPT
На додаток до самого WebGLM, команда Тан Цзе також запропонувала стандарт оцінки для розширеної мережевої системи відповідей на запитання.Об’єкти оцінки включають як посилання, так і остаточні відповіді.
Серед них перший вимірює п’ять вимірів актуальності, щільності інформації, автентичності (без фактичних помилок), токсичності (за винятком такої інформації, як насильницька порнографія) і ступеня соціальних упереджень; другий вимірює плавність, правильність, точність цитування та об’єктивність і надмірність.
Вони використали 272 запитання, надані демонстраційним веб-сайтом WebGPT (від OpenAI, налаштований на основі GPT-3) для порівняльної оцінки, і залучили 15 добровольців зі ступенем магістра для оцінки.
Кінцевий результат такий:
(«Відн.», «Ден.»... відповідно відповідають 10 показникам, зазначеним вище.)
Можна побачити, що хоча результати пошуку WebGLM трохи поступаються результатам WebGPT-175B, вони набагато кращі, ніж Perplexity.ai та WebGPT-13B (посилальна оцінка ліворуч).
Варто зазначити, що процес пошуку WebGLM використовує лише деякі традиційні алгоритми на основі слів і два Contrievers, сукупні параметри яких не перевищують 300M.
Крім того, WebGLM також значно кращий за WebGPT-13B з точки зору обчислювальної продуктивності та споживання часу та порівнянний з 175B.
З точки зору остаточних результатів, WebGLM отримав найвищі оцінки з точки зору швидкості, автентичності та надмірності, а його індекс коректності був близький до WebGPT-175B, набагато вищий, ніж у Perplexity.ai та WebGPT-13B.
На думку авторів, це показує, що WebGLM може досягти вищої продуктивності за менших витрат.
Розгортання та навчання
WebGLM випущено як відкритий код.
Для його розгортання вам потрібно отримати ключ з офіційного веб-сайту SerpAPI, який використовується для отримання результатів пошуку під час процесу пошуку.
Вагу ретривера можна завантажити з Tsinghua Cloud.
Є два способи запуску моделі: один – це інтерфейс командного рядка, інший – форма веб-сервісу, і є дві додаткові моделі, включаючи WebGLM-2B і WebGLM-10B.
Ви також можете навчити WebGLM самостійно, офіційні навчальні дані генератора та ретрівера надано для завантаження~
Адреса паперу:
Домашня сторінка GitHub:
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Нова робота Tsinghua Tang Jie WebGLM: 10 мільярдів параметрів, переважно онлайн-пошук, продуктивність перевищує OpenAI WebGPT
Джерело: Qubit
Нова робота команди Tsinghua Tang Jie тут:
WebGLM, Інтернет-мережевий чат-робот із запитаннями та відповідями з 10 мільярдами параметрів (статтю було відібрано для KDD2023).
наприклад:
Він може дати розумні відповіді.
Відповідно до звітів, у тесті порівняння продуктивності рівень WebGLM був вищим, ніж 13,5 мільярда параметрів OpenAI WebGPT, а в оцінці людиною він навіть порівнюється з моделлю 175 мільярдів параметрів.
WebGLM департаменту Цінхуа, який має доступ до Інтернету
Відповідно до звітів, метою WebGLM є вдосконалення попередньо навченої великої мовної моделі за допомогою функцій веб-пошуку та пошуку, одночасно забезпечуючи ефективне фактичне розгортання.
Для цього автор розвивається на основі трьох стратегій.
Перший — велика модель аугментованого ретривера.
Він в основному використовується для покращення можливості пошуку мережевого вмісту, пов’язаного з моделлю, і пошуку релевантних посилань у випадку певного запиту, щоб пізніше краще відповідати на запитання.
Він має два етапи: грубозернистий веб-пошук і дрібнозернистий щільний пошук, розширений LLM.
Далі йде Bootstrap Generator.
Він використовує здатність GLM (наприклад, двомовну модель попереднього навчання з відкритим кодом GLM-130B, випущену Університетом Цінхуа) для створення відповідей на запитання та надання детальних відповідей.
Використовуючи цей генератор, автори отримують WebGLM-QA - початкове цитування LLM і набір даних довгострокового контролю якості.
Його очищають і фільтрують за допомогою таких стратегій, як вивчення контексту, і, нарешті, включають 45 тисяч високоякісних відфільтрованих зразків і 83 тисячі зразків шуму.
Основою WebGLM є модель GLM, навчена на цьому наборі даних.
Нарешті, є оцінка на основі людських уподобань.
Він оцінює якість згенерованих відповідей, віддаючи перевагу людським уподобанням над дорогим відгуком експертів, гарантуючи, що система створює корисний і привабливий вміст.
Наведені вище три компоненти, нарешті, формують конвеєр WebGLM таким чином:
Удосконалений ретрівер LLM використовуватиме п’ять найкращих найрелевантніших сторінок як довідкове джерело, дозволить початковому генератору генерувати кілька відповідей, і, нарешті, оцінювач вибере той, який найбільше відповідає вподобанням людини як кінцевий результат.
Продуктивність перевищує OpenAI WebGPT
На додаток до самого WebGLM, команда Тан Цзе також запропонувала стандарт оцінки для розширеної мережевої системи відповідей на запитання.Об’єкти оцінки включають як посилання, так і остаточні відповіді.
Серед них перший вимірює п’ять вимірів актуальності, щільності інформації, автентичності (без фактичних помилок), токсичності (за винятком такої інформації, як насильницька порнографія) і ступеня соціальних упереджень; другий вимірює плавність, правильність, точність цитування та об’єктивність і надмірність.
Вони використали 272 запитання, надані демонстраційним веб-сайтом WebGPT (від OpenAI, налаштований на основі GPT-3) для порівняльної оцінки, і залучили 15 добровольців зі ступенем магістра для оцінки.
Кінцевий результат такий:
Можна побачити, що хоча результати пошуку WebGLM трохи поступаються результатам WebGPT-175B, вони набагато кращі, ніж Perplexity.ai та WebGPT-13B (посилальна оцінка ліворуч).
Варто зазначити, що процес пошуку WebGLM використовує лише деякі традиційні алгоритми на основі слів і два Contrievers, сукупні параметри яких не перевищують 300M.
Крім того, WebGLM також значно кращий за WebGPT-13B з точки зору обчислювальної продуктивності та споживання часу та порівнянний з 175B.
З точки зору остаточних результатів, WebGLM отримав найвищі оцінки з точки зору швидкості, автентичності та надмірності, а його індекс коректності був близький до WebGPT-175B, набагато вищий, ніж у Perplexity.ai та WebGPT-13B.
На думку авторів, це показує, що WebGLM може досягти вищої продуктивності за менших витрат.
Розгортання та навчання
WebGLM випущено як відкритий код.
Вагу ретривера можна завантажити з Tsinghua Cloud.
Є два способи запуску моделі: один – це інтерфейс командного рядка, інший – форма веб-сервісу, і є дві додаткові моделі, включаючи WebGLM-2B і WebGLM-10B.
Ви також можете навчити WebGLM самостійно, офіційні навчальні дані генератора та ретрівера надано для завантаження~
Адреса паперу:
Домашня сторінка GitHub: