Vào ngày 31 tháng 7, cộng đồng người Trung Quốc Llama đã đi đầu trong việc hoàn thiện phiên bản tiếng Trung thực sự đầu tiên của mô hình lớn Llama2-13B tại Trung Quốc, giúp tối ưu hóa và cải thiện đáng kể khả năng tiếng Trung của Llama2 từ dưới lên của mô hình. Không còn nghi ngờ gì nữa, một khi phiên bản Trung Quốc của Llama2 được phát hành, nó sẽ mở ra một kỷ nguyên mới của các mô hình quy mô lớn tại Trung Quốc!
| Mạnh nhất thế giới nhưng yếu tiếng Trung
Llama2 hiện là mô hình lớn nguồn mở mạnh nhất trên thế giới, nhưng khả năng của Trung Quốc cần được cải thiện khẩn cấp.
Là mô hình lớn nguồn mở mạnh mẽ nhất trong lĩnh vực AI, Llama2 được đào tạo trước dựa trên 2 nghìn tỷ dữ liệu mã thông báo và tinh chỉnh trên 1 triệu dữ liệu do con người gắn nhãn để có được mô hình đối thoại. Trong nhiều bài kiểm tra benchmark bao gồm lý luận, lập trình, đối thoại và kiểm tra kiến thức, hiệu năng tốt hơn đáng kể so với các mô hình ngôn ngữ lớn nguồn mở như MPT, Falcon và LLaMA thế hệ đầu tiên, đồng thời lần đầu tiên có thể so sánh với GPT-3.5 thương mại. , trong số nhiều mô hình nguồn mở. Hãy là duy nhất.
Mặc dù dữ liệu đào tạo trước của Llama2 đã tăng gấp đôi so với thế hệ đầu tiên nhưng tỷ lệ dữ liệu đào tạo trước của Trung Quốc vẫn rất nhỏ, chỉ chiếm 0,13%, điều này cũng dẫn đến khả năng tiếng Trung của Llama2 ban đầu yếu.
Chúng tôi đã hỏi một số câu hỏi bằng tiếng Trung và nhận thấy rằng trong hầu hết các trường hợp, Llama2 không thể trả lời các câu hỏi bằng tiếng Trung hoặc trả lời các câu hỏi bằng cả tiếng Trung và tiếng Anh. Vì vậy, Llama2 cần được tối ưu hóa dựa trên dữ liệu Trung Quốc quy mô lớn để Llama2 có khả năng tiếng Trung tốt hơn.
Để đạt được mục tiêu này, nhóm tiến sĩ kiểu mẫu lớn từ các trường đại học hàng đầu trong nước đã thành lập cộng đồng người Trung Quốc Llama và bắt đầu hành trình đào tạo mô hình lớn người Trung Quốc Llama2.
| Cộng đồng người Hoa Llama hàng đầu
Cộng đồng người Hoa Llama là cộng đồng người Hoa kiểu mẫu quy mô lớn nguồn mở hàng đầu ở Trung Quốc. Github đã đạt 4,7 nghìn sao. Được lãnh đạo bởi các nhóm tiến sĩ từ Đại học Thanh Hoa, Đại học Giao thông và Đại học Chiết Giang. Cộng đồng này quy tụ hơn 60 kỹ sư cao cấp trong lĩnh vực AI và hơn 2000 tài năng hàng đầu trong các ngành khác nhau.
Liên kết cộng đồng:
Lịch sử cộng đồng:
| Mô hình Llama2 Trung Quốc được đào tạo trước đầu tiên!
Không phải là một chỉnh sửa! Thay vào đó, nó được đào tạo từ đầu dựa trên kho ngữ liệu 200B của Trung Quốc!
Cộng đồng người Trung Quốc Llama là cộng đồng đầu tiên ở Trung Quốc hoàn thiện phiên bản tiếng Trung thực của mô hình 13B Llama2: Llama2-Trung Quốc-13B, giúp tối ưu hóa và cải thiện đáng kể khả năng tiếng Trung của Llama2 từ đầu mô hình.
Văn hóa Trung Quốc của Llama2 có thể đi theo hai con đường:
Dựa trên bộ dữ liệu hướng dẫn tiếng Trung hiện có, hãy tinh chỉnh các hướng dẫn của mô hình đào tạo trước để mô hình cơ sở có thể phù hợp với khả năng hỏi đáp tiếng Trung. Ưu điểm của tuyến đường này là chi phí thấp, lượng dữ liệu tinh chỉnh hướng dẫn nhỏ và nguồn năng lượng tính toán cần thiết nhỏ và có thể nhanh chóng hiện thực hóa nguyên mẫu của một con Llama Trung Quốc.
Nhưng nhược điểm cũng rõ ràng, việc tinh chỉnh chỉ có thể kích thích khả năng tiếng Trung hiện có của mô hình cơ sở, nhưng vì Llama2 có ít dữ liệu đào tạo tiếng Trung hơn nên khả năng kích thích cũng có hạn, bạn vẫn cần bắt đầu từ việc đào tạo trước. .
Đào tạo trước dựa trên kho ngữ liệu tiếng Trung quy mô lớn. Nhược điểm của tuyến đường này là chi phí cao! Không chỉ cần có dữ liệu Trung Quốc chất lượng cao quy mô lớn mà còn cần có tài nguyên tính toán quy mô lớn. Nhưng ưu điểm cũng rất rõ ràng, đó là có thể tối ưu hóa khả năng tiếng Trung từ lớp dưới cùng của mô hình, thực sự đạt được hiệu quả chữa khỏi căn nguyên, đưa khả năng tiếng Trung mạnh mẽ từ cốt lõi vào mô hình lớn!
Để triển khai một mô hình lớn hoàn chỉnh của Trung Quốc từ hạt nhân, chúng tôi đã chọn con đường thứ hai! Chúng tôi đã tập hợp một loạt tập dữ liệu kho ngữ liệu tiếng Trung chất lượng cao và tối ưu hóa mô hình lớn Llama2 bắt đầu từ quá trình đào tạo trước. Một số dữ liệu trước khi đào tạo như sau:
Dữ liệu đào tạo trước của mô hình Llama2-Trung Quốc-13B đầu tiên chứa 200B mã thông báo. Trong tương lai, chúng tôi sẽ tiếp tục cập nhật lặp đi lặp lại Llama2-Trung Quốc và tăng dần dữ liệu đào tạo trước lên mã thông báo 1T. Ngoài ra, chúng tôi sẽ dần dần mở phiên bản đào tạo trước tiếng Trung của mẫu 70B, các bạn hãy chú ý theo dõi nhé!
Chúng tôi đã hỏi mô hình lớn từ nhiều khía cạnh khác nhau như kiến thức chung, hiểu ngôn ngữ, khả năng sáng tạo, suy luận logic, lập trình code, kỹ năng làm việc, v.v. và nhận được kết quả khả quan!
Một phần của các hiệu ứng được hiển thị bên dưới:
kiến thức tổng quát
Hiểu ngôn ngữ
Khả năng sáng tạo
Lý luận logic
Lập trình mã
khả năng làm việc
🏅Kế hoạch thí điểm cộng đồng người Hoa Llama🏅
Tập trung vào sự phát triển lâu dài và lặp lại nhanh chóng của cộng đồng, một mặt cung cấp các dịch vụ kỹ thuật chuyên nghiệp cho mọi người đam mê AI, nhiệt tình và mong muốn đầu tư vào làn sóng các mô hình quy mô lớn; đi đầu trong lĩnh vực này. đang phát triển kỷ nguyên AI và thu thập tài nguyên từ mọi khía cạnh, chúng tôi đang triển khai giai đoạn đầu tiên của kế hoạch thí điểm cộng đồng người Hoa Llama trong một thời gian có hạn! Mỗi thành viên của Kế hoạch thí điểm sẽ nhận được các lợi ích “7TOP” sau:
Mẫu TOP
Hãy tham gia để có quyền sử dụng phiên bản tiếng Trung được đào tạo trước đầu tiên của mẫu Llama2- Chinese-13B tại Trung Quốc (phiên bản chưa tinh chỉnh). Trong tương lai, chúng tôi sẽ tiếp tục nâng cao khả năng tiếng Trung của lõi mô hình dựa trên dữ liệu ở quy mô lớn hơn và cũng sẽ ưu tiên cho mỗi thành viên của Chương trình thí điểm cung cấp phiên bản mô hình tiên tiến nhất.
Công nghệ HÀNG ĐẦU
Được dẫn dắt bởi đội ngũ tiến sĩ đến từ các trường đại học hàng đầu trong nước, đây là đội ngũ công nghệ mô hình lớn chuyên nghiệp nhất. Cho dù đó là vấn đề kỹ thuật tiên tiến nhất hay phân tích lý thuyết chuyên sâu, chúng tôi sẽ cung cấp cho bạn các giải pháp tiên tiến nhất.
Dịch vụ HÀNG ĐẦU
Trong Kế hoạch thí điểm, bạn sẽ nhận được hướng dẫn 1V1 được cá nhân hóa. Bất cứ khi nào và bất cứ nơi nào bạn có thắc mắc, chúng tôi sẽ trả lời kịp thời. Chúng tôi cam kết cung cấp hỗ trợ toàn diện để giúp bạn nhanh chóng triển khai các ứng dụng mô hình lớn Llama2 và đảm bảo rằng bạn đạt được thành công những đột phá về công nghệ. Nếu công ty bạn gặp vấn đề liên quan đến mô hình lớn, chúng tôi cũng sẽ giúp bạn phân tích và giải quyết.
Dạy TOP
Phương thức giảng dạy kết hợp lý thuyết và thực hành sẽ giúp bạn đánh giá cao những bí ẩn của các mô hình lớn. Từ phân tích kỹ thuật của các mô hình lớn đến các thuật toán chính và giải thích luận điểm, xây dựng các mô hình lớn được tư nhân hóa từ đầu, sau đó đến đào tạo các mô hình lớn trong ngành, chúng tôi sẽ hướng dẫn bạn từng bước để đạt được tiến bộ công nghệ. Đề cương khóa học như sau:
hình ảnh
Tài nguyên hàng đầu
Chúng tôi có cộng đồng người Hoa Llama lớn nhất ở Trung Quốc, với Github đạt 4,7 nghìn sao và quy tụ hơn 2.000 tài năng hàng đầu. Tại đây, bạn sẽ tương tác với các nhà đầu tư AI, CEO khởi nghiệp và các nhà lãnh đạo trong các ngành khác nhau, đồng thời tìm kiếm các dịch vụ một cửa như hợp tác, đầu tư, xúc tiến và tuyển dụng. Tìm việc làm/đối tác/đầu tư/bán sản phẩm, chúng tôi có thể đáp ứng nhu cầu của bạn. Đây là nền tảng vàng để các tài năng kỹ thuật trao đổi kiến thức và kỹ năng, có thể tìm thấy các chuyên gia hàng đầu ở mọi tầng lớp xã hội để cùng nhau giao lưu và thảo luận.
Hoạt động HÀNG ĐẦU
Chúng tôi không chỉ tổ chức các sự kiện trực tuyến thường xuyên mà còn cung cấp các bài thuyết trình và trao đổi kỹ thuật trong các sự kiện ngoại tuyến, nhằm mục đích trao quyền cho các ngành khác nhau dựa trên mô hình Llama2. Mang đến cho bạn cơ hội tương tác trực tiếp với các chuyên gia hàng đầu, cho phép bạn sát cánh cùng các nhà lãnh đạo trong ngành để tiến về phía trước. Cho dù bạn là tân binh kỹ thuật hay một con bò lớn giàu kinh nghiệm, chúng tôi sẽ mang đến cho bạn cơ hội tuyệt vời để tìm kiếm tương lai với những tài năng kỹ thuật hàng đầu thế giới!
Sức mạnh tính toán hàng đầu
Cộng đồng cung cấp cho sinh viên các kênh tài nguyên máy tính, cho phép bạn sử dụng chúng với giá thấp hơn giá thị trường. Chúng tôi hiểu tầm quan trọng của sức mạnh tính toán đối với sự phát triển công nghệ và cung cấp cho bạn sự hỗ trợ sức mạnh tính toán hiệu quả và ổn định để giúp bạn thể hiện tài năng của mình trong lĩnh vực kỹ thuật.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Lộ diện mẫu Llama2 Trung Quốc cao cấp nhất Trung Quốc
Tác giả: FlagAlpha
Nguồn: Cộng đồng người Hoa Llama
Giới thiệu
| Mạnh nhất thế giới nhưng yếu tiếng Trung
Llama2 hiện là mô hình lớn nguồn mở mạnh nhất trên thế giới, nhưng khả năng của Trung Quốc cần được cải thiện khẩn cấp.
Là mô hình lớn nguồn mở mạnh mẽ nhất trong lĩnh vực AI, Llama2 được đào tạo trước dựa trên 2 nghìn tỷ dữ liệu mã thông báo và tinh chỉnh trên 1 triệu dữ liệu do con người gắn nhãn để có được mô hình đối thoại. Trong nhiều bài kiểm tra benchmark bao gồm lý luận, lập trình, đối thoại và kiểm tra kiến thức, hiệu năng tốt hơn đáng kể so với các mô hình ngôn ngữ lớn nguồn mở như MPT, Falcon và LLaMA thế hệ đầu tiên, đồng thời lần đầu tiên có thể so sánh với GPT-3.5 thương mại. , trong số nhiều mô hình nguồn mở. Hãy là duy nhất.
Chúng tôi đã hỏi một số câu hỏi bằng tiếng Trung và nhận thấy rằng trong hầu hết các trường hợp, Llama2 không thể trả lời các câu hỏi bằng tiếng Trung hoặc trả lời các câu hỏi bằng cả tiếng Trung và tiếng Anh. Vì vậy, Llama2 cần được tối ưu hóa dựa trên dữ liệu Trung Quốc quy mô lớn để Llama2 có khả năng tiếng Trung tốt hơn.
| Cộng đồng người Hoa Llama hàng đầu
Cộng đồng người Hoa Llama là cộng đồng người Hoa kiểu mẫu quy mô lớn nguồn mở hàng đầu ở Trung Quốc. Github đã đạt 4,7 nghìn sao. Được lãnh đạo bởi các nhóm tiến sĩ từ Đại học Thanh Hoa, Đại học Giao thông và Đại học Chiết Giang. Cộng đồng này quy tụ hơn 60 kỹ sư cao cấp trong lĩnh vực AI và hơn 2000 tài năng hàng đầu trong các ngành khác nhau.
| Mô hình Llama2 Trung Quốc được đào tạo trước đầu tiên!
Không phải là một chỉnh sửa! Thay vào đó, nó được đào tạo từ đầu dựa trên kho ngữ liệu 200B của Trung Quốc!
Cộng đồng người Trung Quốc Llama là cộng đồng đầu tiên ở Trung Quốc hoàn thiện phiên bản tiếng Trung thực của mô hình 13B Llama2: Llama2-Trung Quốc-13B, giúp tối ưu hóa và cải thiện đáng kể khả năng tiếng Trung của Llama2 từ đầu mô hình.
Văn hóa Trung Quốc của Llama2 có thể đi theo hai con đường:
Nhưng nhược điểm cũng rõ ràng, việc tinh chỉnh chỉ có thể kích thích khả năng tiếng Trung hiện có của mô hình cơ sở, nhưng vì Llama2 có ít dữ liệu đào tạo tiếng Trung hơn nên khả năng kích thích cũng có hạn, bạn vẫn cần bắt đầu từ việc đào tạo trước. .
Để triển khai một mô hình lớn hoàn chỉnh của Trung Quốc từ hạt nhân, chúng tôi đã chọn con đường thứ hai! Chúng tôi đã tập hợp một loạt tập dữ liệu kho ngữ liệu tiếng Trung chất lượng cao và tối ưu hóa mô hình lớn Llama2 bắt đầu từ quá trình đào tạo trước. Một số dữ liệu trước khi đào tạo như sau:
Một phần của các hiệu ứng được hiển thị bên dưới:
kiến thức tổng quát
🏅Kế hoạch thí điểm cộng đồng người Hoa Llama🏅
Tập trung vào sự phát triển lâu dài và lặp lại nhanh chóng của cộng đồng, một mặt cung cấp các dịch vụ kỹ thuật chuyên nghiệp cho mọi người đam mê AI, nhiệt tình và mong muốn đầu tư vào làn sóng các mô hình quy mô lớn; đi đầu trong lĩnh vực này. đang phát triển kỷ nguyên AI và thu thập tài nguyên từ mọi khía cạnh, chúng tôi đang triển khai giai đoạn đầu tiên của kế hoạch thí điểm cộng đồng người Hoa Llama trong một thời gian có hạn! Mỗi thành viên của Kế hoạch thí điểm sẽ nhận được các lợi ích “7TOP” sau:
Hãy tham gia để có quyền sử dụng phiên bản tiếng Trung được đào tạo trước đầu tiên của mẫu Llama2- Chinese-13B tại Trung Quốc (phiên bản chưa tinh chỉnh). Trong tương lai, chúng tôi sẽ tiếp tục nâng cao khả năng tiếng Trung của lõi mô hình dựa trên dữ liệu ở quy mô lớn hơn và cũng sẽ ưu tiên cho mỗi thành viên của Chương trình thí điểm cung cấp phiên bản mô hình tiên tiến nhất.
Được dẫn dắt bởi đội ngũ tiến sĩ đến từ các trường đại học hàng đầu trong nước, đây là đội ngũ công nghệ mô hình lớn chuyên nghiệp nhất. Cho dù đó là vấn đề kỹ thuật tiên tiến nhất hay phân tích lý thuyết chuyên sâu, chúng tôi sẽ cung cấp cho bạn các giải pháp tiên tiến nhất.
Trong Kế hoạch thí điểm, bạn sẽ nhận được hướng dẫn 1V1 được cá nhân hóa. Bất cứ khi nào và bất cứ nơi nào bạn có thắc mắc, chúng tôi sẽ trả lời kịp thời. Chúng tôi cam kết cung cấp hỗ trợ toàn diện để giúp bạn nhanh chóng triển khai các ứng dụng mô hình lớn Llama2 và đảm bảo rằng bạn đạt được thành công những đột phá về công nghệ. Nếu công ty bạn gặp vấn đề liên quan đến mô hình lớn, chúng tôi cũng sẽ giúp bạn phân tích và giải quyết.
Phương thức giảng dạy kết hợp lý thuyết và thực hành sẽ giúp bạn đánh giá cao những bí ẩn của các mô hình lớn. Từ phân tích kỹ thuật của các mô hình lớn đến các thuật toán chính và giải thích luận điểm, xây dựng các mô hình lớn được tư nhân hóa từ đầu, sau đó đến đào tạo các mô hình lớn trong ngành, chúng tôi sẽ hướng dẫn bạn từng bước để đạt được tiến bộ công nghệ. Đề cương khóa học như sau:
hình ảnh
Chúng tôi có cộng đồng người Hoa Llama lớn nhất ở Trung Quốc, với Github đạt 4,7 nghìn sao và quy tụ hơn 2.000 tài năng hàng đầu. Tại đây, bạn sẽ tương tác với các nhà đầu tư AI, CEO khởi nghiệp và các nhà lãnh đạo trong các ngành khác nhau, đồng thời tìm kiếm các dịch vụ một cửa như hợp tác, đầu tư, xúc tiến và tuyển dụng. Tìm việc làm/đối tác/đầu tư/bán sản phẩm, chúng tôi có thể đáp ứng nhu cầu của bạn. Đây là nền tảng vàng để các tài năng kỹ thuật trao đổi kiến thức và kỹ năng, có thể tìm thấy các chuyên gia hàng đầu ở mọi tầng lớp xã hội để cùng nhau giao lưu và thảo luận.
Chúng tôi không chỉ tổ chức các sự kiện trực tuyến thường xuyên mà còn cung cấp các bài thuyết trình và trao đổi kỹ thuật trong các sự kiện ngoại tuyến, nhằm mục đích trao quyền cho các ngành khác nhau dựa trên mô hình Llama2. Mang đến cho bạn cơ hội tương tác trực tiếp với các chuyên gia hàng đầu, cho phép bạn sát cánh cùng các nhà lãnh đạo trong ngành để tiến về phía trước. Cho dù bạn là tân binh kỹ thuật hay một con bò lớn giàu kinh nghiệm, chúng tôi sẽ mang đến cho bạn cơ hội tuyệt vời để tìm kiếm tương lai với những tài năng kỹ thuật hàng đầu thế giới!
Cộng đồng cung cấp cho sinh viên các kênh tài nguyên máy tính, cho phép bạn sử dụng chúng với giá thấp hơn giá thị trường. Chúng tôi hiểu tầm quan trọng của sức mạnh tính toán đối với sự phát triển công nghệ và cung cấp cho bạn sự hỗ trợ sức mạnh tính toán hiệu quả và ổn định để giúp bạn thể hiện tài năng của mình trong lĩnh vực kỹ thuật.