WebGLM, rô-bốt trò chuyện hỏi đáp Internetwork với 10 tỷ tham số (bài báo được chọn cho KDD2023).
Bạn có thể hỏi nó bất kỳ câu hỏi nào và nó sẽ liệt kê các liên kết đến các bài viết có liên quan trên Internet (chẳng hạn như Wikipedia, các trang web chính thức có liên quan) và sắp xếp các câu trả lời.
Ví dụ:
Công nghệ cốt lõi của ChatGPT là gì?
hoặc:
Ai đề xuất Music Transformer? Nguyên tắc của nó là gì?
hoặc:
Genshin Impact 3.5 thì sao?
Làm sao bạn có thể sống ở thành phố hạng nhất mà không có công việc lương cao? (thủ công đầu chó)
……
Nó có thể đưa ra câu trả lời hợp lý.
Theo các báo cáo, trong thử nghiệm so sánh hiệu suất, mức độ của WebGLM cao hơn 13,5 tỷ tham số WebGPT của OpenAI và trong đánh giá của con người, nó thậm chí có thể so sánh với mô hình 175 tỷ tham số.
Vậy nó được đào tạo như thế nào?
WebGLM của Cục Thanh Hoa có thể truy cập Internet
Theo các báo cáo, mục tiêu của WebGLM là tăng cường mô hình ngôn ngữ lớn được đào tạo trước thông qua các chức năng tìm kiếm và truy xuất Web, đồng thời cho phép triển khai thực tế hiệu quả.
Để đạt được điều này, tác giả phát triển dựa trên ba chiến lược.
Đầu tiên là Large Model Augmented Retriever.
Nó chủ yếu được sử dụng để nâng cao khả năng truy xuất nội dung mạng liên quan đến mô hình và tìm các tài liệu tham khảo có liên quan trong trường hợp truy vấn nhất định, để trả lời các câu hỏi chính xác và tốt hơn sau này.
Nó có hai giai đoạn: tìm kiếm web chi tiết thô và truy xuất dày đặc tăng cường LLM chi tiết.
Tiếp theo là Trình tạo Bootstrap.
Nó sử dụng khả năng của GLM (chẳng hạn như mô hình chuẩn bị đào tạo mã nguồn mở song ngữ GLM-130B do Đại học Thanh Hoa phát hành) để tạo câu trả lời cho các câu hỏi và cung cấp câu trả lời chi tiết.
Sử dụng trình tạo này, các tác giả có được WebGLM-QA - một trích dẫn khởi động LLM và bộ dữ liệu QA tầm xa.
Nó được làm sạch và lọc thông qua các chiến lược như học ngữ cảnh và cuối cùng bao gồm 45 nghìn mẫu được lọc chất lượng cao và 83 nghìn mẫu tiếng ồn.
Xương sống của WebGLM là một mô hình GLM được đào tạo trên bộ dữ liệu này.
Cuối cùng, có một người ghi điểm dựa trên sở thích của con người.
Nó đánh giá chất lượng của các phản hồi được tạo bằng cách ưu tiên sở thích của con người hơn là phản hồi tốn kém của chuyên gia, đảm bảo hệ thống tạo ra nội dung hữu ích và hấp dẫn.
Ba thành phần trên cuối cùng tạo thành đường dẫn của WebGLM theo thứ tự:
Có thể thấy chính xác là có 3 module, tương ứng với 3 phần đã giới thiệu ở trên, trong đó:
Công cụ truy xuất nâng cao LLM sẽ sử dụng năm trang phù hợp nhất hàng đầu làm nguồn tham khảo, để trình tạo bootstrap tạo ra nhiều câu trả lời và cuối cùng, người ghi điểm sẽ chọn một câu có nhiều khả năng đáp ứng sở thích của con người nhất làm đầu ra cuối cùng.
Hiệu suất vượt qua OpenAI WebGPT
Ngoài bản thân WebGLM, nhóm của Tang Jie cũng đề xuất một tiêu chuẩn đánh giá cho hệ thống trả lời câu hỏi tăng cường mạng, đối tượng đánh giá bao gồm cả tài liệu tham khảo và câu trả lời cuối cùng.
Trong số đó, cái đầu tiên đo lường năm khía cạnh liên quan, mật độ thông tin, tính xác thực (không có lỗi thực tế), độc tính (không bao gồm thông tin như nội dung khiêu dâm bạo lực) và mức độ định kiến xã hội; cái sau đo lường sự trôi chảy, chính xác, độ chính xác của trích dẫn và tính khách quan .và dư thừa.
Họ đã sử dụng 272 câu hỏi do trang web demo WebGPT (từ OpenAI, tinh chỉnh dựa trên GPT-3) cung cấp để đánh giá so sánh và tuyển 15 tình nguyện viên có bằng thạc sĩ để chấm điểm.
Kết quả cuối cùng như sau:
("Rel.", "Den."... lần lượt tương ứng với 10 chỉ số nêu trên.)
Có thể thấy mặc dù kết quả tìm kiếm của WebGLM kém hơn một chút so với WebGPT-175B nhưng lại tốt hơn nhiều so với Perplexity.ai và WebGPT-13B (đánh giá tham khảo bên trái).
Điều đáng nói là quá trình truy xuất WebGLM chỉ sử dụng một số thuật toán dựa trên từ truyền thống và hai Contrievers có tham số tích lũy không vượt quá 300M.
Ngoài ra, WebGLM cũng tốt hơn đáng kể so với WebGPT-13B về hiệu suất tính toán và mức tiêu thụ thời gian, đồng thời có thể so sánh với 175B.
Xét về kết quả cuối cùng, WebGLM đạt điểm số cao nhất về tính lưu loát, tính xác thực và độ dư thừa, đồng thời chỉ số đúng của nó gần bằng WebGPT-175B, cao hơn nhiều so với Perplexity.ai và WebGPT-13B.
Theo các tác giả, điều này cho thấy WebGLM có thể đạt được hiệu suất cao hơn với chi phí thấp hơn.
Triển khai và đào tạo
WebGLM được phát hành dưới dạng mã nguồn mở.
Để triển khai nó, bạn cần lấy khóa từ trang web chính thức của SerpAPI, được sử dụng để nhận kết quả tìm kiếm trong quá trình tìm kiếm.
Trọng lượng của chó tha mồi có thể được tải xuống từ Tsinghua Cloud.
Có hai cách để chạy mô hình: một là giao diện dòng lệnh, hai là dạng dịch vụ Web và có hai mô hình tùy chọn bao gồm WebGLM-2B và WebGLM-10B.
Bạn cũng có thể tự đào tạo WebGLM, dữ liệu đào tạo chính thức của trình tạo và trình truy xuất đã được cung cấp để tải xuống ~
Địa chỉ giấy tờ:
Trang chủ GitHub:
Xem bản gốc
Nội dung chỉ mang tính chất tham khảo, không phải là lời chào mời hay đề nghị. Không cung cấp tư vấn về đầu tư, thuế hoặc pháp lý. Xem Tuyên bố miễn trừ trách nhiệm để biết thêm thông tin về rủi ro.
Công việc mới của Tsinghua Tang Jie WebGLM: 10 tỷ tham số, chủ yếu là tìm kiếm trực tuyến, hiệu suất vượt qua OpenAI WebGPT
Nguồn: Qubit
Tác phẩm mới của nhóm Tsinghua Tang Jie tại đây:
WebGLM, rô-bốt trò chuyện hỏi đáp Internetwork với 10 tỷ tham số (bài báo được chọn cho KDD2023).
Ví dụ:
Nó có thể đưa ra câu trả lời hợp lý.
Theo các báo cáo, trong thử nghiệm so sánh hiệu suất, mức độ của WebGLM cao hơn 13,5 tỷ tham số WebGPT của OpenAI và trong đánh giá của con người, nó thậm chí có thể so sánh với mô hình 175 tỷ tham số.
WebGLM của Cục Thanh Hoa có thể truy cập Internet
Theo các báo cáo, mục tiêu của WebGLM là tăng cường mô hình ngôn ngữ lớn được đào tạo trước thông qua các chức năng tìm kiếm và truy xuất Web, đồng thời cho phép triển khai thực tế hiệu quả.
Để đạt được điều này, tác giả phát triển dựa trên ba chiến lược.
Đầu tiên là Large Model Augmented Retriever.
Nó chủ yếu được sử dụng để nâng cao khả năng truy xuất nội dung mạng liên quan đến mô hình và tìm các tài liệu tham khảo có liên quan trong trường hợp truy vấn nhất định, để trả lời các câu hỏi chính xác và tốt hơn sau này.
Nó có hai giai đoạn: tìm kiếm web chi tiết thô và truy xuất dày đặc tăng cường LLM chi tiết.
Tiếp theo là Trình tạo Bootstrap.
Nó sử dụng khả năng của GLM (chẳng hạn như mô hình chuẩn bị đào tạo mã nguồn mở song ngữ GLM-130B do Đại học Thanh Hoa phát hành) để tạo câu trả lời cho các câu hỏi và cung cấp câu trả lời chi tiết.
Sử dụng trình tạo này, các tác giả có được WebGLM-QA - một trích dẫn khởi động LLM và bộ dữ liệu QA tầm xa.
Nó được làm sạch và lọc thông qua các chiến lược như học ngữ cảnh và cuối cùng bao gồm 45 nghìn mẫu được lọc chất lượng cao và 83 nghìn mẫu tiếng ồn.
Xương sống của WebGLM là một mô hình GLM được đào tạo trên bộ dữ liệu này.
Cuối cùng, có một người ghi điểm dựa trên sở thích của con người.
Nó đánh giá chất lượng của các phản hồi được tạo bằng cách ưu tiên sở thích của con người hơn là phản hồi tốn kém của chuyên gia, đảm bảo hệ thống tạo ra nội dung hữu ích và hấp dẫn.
Ba thành phần trên cuối cùng tạo thành đường dẫn của WebGLM theo thứ tự:
Công cụ truy xuất nâng cao LLM sẽ sử dụng năm trang phù hợp nhất hàng đầu làm nguồn tham khảo, để trình tạo bootstrap tạo ra nhiều câu trả lời và cuối cùng, người ghi điểm sẽ chọn một câu có nhiều khả năng đáp ứng sở thích của con người nhất làm đầu ra cuối cùng.
Hiệu suất vượt qua OpenAI WebGPT
Ngoài bản thân WebGLM, nhóm của Tang Jie cũng đề xuất một tiêu chuẩn đánh giá cho hệ thống trả lời câu hỏi tăng cường mạng, đối tượng đánh giá bao gồm cả tài liệu tham khảo và câu trả lời cuối cùng.
Trong số đó, cái đầu tiên đo lường năm khía cạnh liên quan, mật độ thông tin, tính xác thực (không có lỗi thực tế), độc tính (không bao gồm thông tin như nội dung khiêu dâm bạo lực) và mức độ định kiến xã hội; cái sau đo lường sự trôi chảy, chính xác, độ chính xác của trích dẫn và tính khách quan .và dư thừa.
Họ đã sử dụng 272 câu hỏi do trang web demo WebGPT (từ OpenAI, tinh chỉnh dựa trên GPT-3) cung cấp để đánh giá so sánh và tuyển 15 tình nguyện viên có bằng thạc sĩ để chấm điểm.
Kết quả cuối cùng như sau:
Có thể thấy mặc dù kết quả tìm kiếm của WebGLM kém hơn một chút so với WebGPT-175B nhưng lại tốt hơn nhiều so với Perplexity.ai và WebGPT-13B (đánh giá tham khảo bên trái).
Điều đáng nói là quá trình truy xuất WebGLM chỉ sử dụng một số thuật toán dựa trên từ truyền thống và hai Contrievers có tham số tích lũy không vượt quá 300M.
Ngoài ra, WebGLM cũng tốt hơn đáng kể so với WebGPT-13B về hiệu suất tính toán và mức tiêu thụ thời gian, đồng thời có thể so sánh với 175B.
Xét về kết quả cuối cùng, WebGLM đạt điểm số cao nhất về tính lưu loát, tính xác thực và độ dư thừa, đồng thời chỉ số đúng của nó gần bằng WebGPT-175B, cao hơn nhiều so với Perplexity.ai và WebGPT-13B.
Theo các tác giả, điều này cho thấy WebGLM có thể đạt được hiệu suất cao hơn với chi phí thấp hơn.
Triển khai và đào tạo
WebGLM được phát hành dưới dạng mã nguồn mở.
Trọng lượng của chó tha mồi có thể được tải xuống từ Tsinghua Cloud.
Có hai cách để chạy mô hình: một là giao diện dòng lệnh, hai là dạng dịch vụ Web và có hai mô hình tùy chọn bao gồm WebGLM-2B và WebGLM-10B.
Bạn cũng có thể tự đào tạo WebGLM, dữ liệu đào tạo chính thức của trình tạo và trình truy xuất đã được cung cấp để tải xuống ~
Địa chỉ giấy tờ:
Trang chủ GitHub: