Phải mất 10 người trong hai tháng để xây dựng một mô hình lớn! May mắn có được 16 bài báo hội nghị hàng đầu trong một năm: Không bài nào tốt nhất trên thị trường là nguồn mở
Một công ty được thành lập ở Thâm Quyến vào tháng 5 năm nay có đội ngũ chưa đến 10 người.
Việc họ phải làm không hề nhỏ: thách thức AGI.
Sự tự tin ở đâu? Đầu tiên, hãy xem lại bản lý lịch trước đây và thứ hai, hãy xem kết quả theo dõi hiện tại.
Trong năm qua, những người này đã xuất bản tổng cộng 16 bài báo liên quan đến mô hình lớn tại các hội nghị hàng đầu như CVPR, ICML, ECCV và một trong số đó đã được đề cử cho bài báo hay nhất tại hội nghị hàng đầu ACL 2023.
Kết quả của bạn sau khi bắt đầu kinh doanh là gì? Hai tháng sau khi thành lập, mô hình được đào tạo đã lọt vào top ba trong danh sách C và khả năng tiếng Trung của nó đã đánh bại ChatGPT và Claude-v1.3.
Đây là kết quả của ma trận cộng sinh.
Và mẫu GS-LLM của nó đã lần đầu tiên lọt vào danh sách kể từ cuối tháng 7. Nó đã đứng ở vị trí đầu tiên trong số 65 người chơi trong danh sách C.
Vậy Ma trận cộng sinh là ai?
##10 người thách đấu AGI
Symbiotic Matrix nhằm mục đích xây dựng một nhà máy tinh chỉnh dữ liệu công nghiệp dựa trên công nghệ AGI tự phát triển.
Nhóm chủ yếu dựa vào mô hình lớn GS-LLM tự phát triển.
Thang đo tham số mô hình dao động từ 7B-130B và có thể được điều chỉnh theo nhu cầu thực tế của người dùng.
Có hai phiên bản dựa trên GS-LLM chiếm một vị trí trên C-, một là phiên bản 10 tỷ thông số GS-LLM-Beta, còn lại là phiên bản mini GS-LLM-Beta-Mini với ít hơn 10 tỷ thông số .
Lý do ra mắt phiên bản mini là nhiều người dùng nhận thấy môi trường hoạt động ban đầu (thậm chí cả môi trường đám mây) không đủ để hỗ trợ triển khai cục bộ quy mô lớn.
Kết quả thử nghiệm cho thấy phiên bản nhiều tỷ của GS-LLM-Beta có thể hoạt động tốt, xếp hạng tốt nhất là thứ 6 trên C-.
Một trong những lý do khiến nó có thể đứng đầu danh sách C là ma trận cộng sinh đã xây dựng một khung đào tạo hoàn toàn độc lập, cung cấp hỗ trợ kỹ thuật tương đối đầy đủ cho toàn bộ quá trình đào tạo.
Điểm thứ hai là dữ liệu, điều mà công ty này rất coi trọng.
Giám đốc điều hành Ma trận cộng sinh Zhang Lin đã đưa ra một ví dụ đơn giản:
So sánh đào tạo mô hình với quá trình tăng trưởng của con người. Nếu từ nhỏ tất cả những gì anh ta đọc đều là những cuốn tiểu thuyết bổ dưỡng thì năng lực tổng thể của người này sẽ không mạnh lắm.
Năm ngoái, nhóm nghiên cứu đã phát hiện trong một thử nghiệm rằng khi dữ liệu mô hình đạt đến một mức độ lớn nhất định, sự tăng vọt về chất lượng dữ liệu thực sự có thể gây ra một số thay đổi về chất.
"Nói cách khác, nếu bạn có một mô hình quy mô tương đối nhỏ (chẳng hạn như hàng chục tỷ) và cung cấp dữ liệu chất lượng cao cho nó, thì kết quả đào tạo sẽ rất gần với kết quả của hàng trăm tỷ cấp độ." Zhang Lin nói. .
Thử nghiệm này cũng khiến nhóm chú ý hơn đến chất lượng dữ liệu và các cách có hệ thống để có được dữ liệu chất lượng cao.
Trên thực tế, điểm này ngày càng thu hút sự chú ý của mọi tầng lớp trong thời gian gần đây. Microsoft có một nghiên cứu mới "Sách giáo khoa là tất cả những gì bạn cần". Công trình này cho thấy việc phát triển lớn hơn không phải là lối thoát duy nhất mà dữ liệu chất lượng cao mới là chủ yếu.
Do đó, nhóm Symbiosis đã xây dựng một hệ thống kỹ thuật làm sạch dữ liệu để làm sạch dữ liệu liên tục 24 giờ mỗi ngày.
Nhóm hiện đã làm sạch khoảng 20T dữ liệu văn bản có thể được sử dụng cho việc đào tạo. “Mức dữ liệu này có thể hỗ trợ đào tạo mô hình của một hệ thống rất lớn”.
Tuy nhiên, Zhang Lin cũng tiết lộ rằng Ma trận cộng sinh sẽ không tiết lộ dữ liệu đã được nhóm làm sạch ra công chúng trong thời gian ngắn.
Vậy, khái niệm về nhà máy sàng lọc dữ liệu mà nhóm muốn xây dựng là gì?
Zhang Lin giải thích rằng nếu một mô hình lớn được hiểu là “nén thông tin” thì bản thân nó là một cơ sở dữ liệu tham số lớn.
Việc mà nhà máy tinh chỉnh dữ liệu phải làm là chia sẻ và trao đổi dữ liệu tham số sau khi mô hình đã được huấn luyện.
Bạn phải biết rằng các chức năng của mô hình lớn được thực hiện thông qua các tham số. Các tham số giao dịch thực chất là các chức năng chuyển đổi. Chúng ta cần sự đa dạng của các chức năng mô hình lớn. "Giao dịch tham số là con đường hiệu quả nhất."
Dữ liệu được đề cập ở đây không phải là loại dữ liệu mà mọi người đều có thể nhìn thấy mà là dữ liệu tham số. Dữ liệu chúng ta thường nói đến là một đoạn văn bản hoặc một hình ảnh, còn dữ liệu thuộc sở hữu của nhà máy là các tham số của mô hình được đào tạo và các tham số được giao dịch thương mại.
"Dữ liệu thô được giao dịch trực tiếp, bị hạn chế bởi số lượng lớn và các vấn đề về quyền riêng tư." Zhang Lin giải thích rằng khái niệm giao dịch dữ liệu đã được đề xuất trong nhiều năm, nhưng nó vẫn chưa được thị trường chấp nhận hoàn toàn. Nhóm nghiên cứu tin rằng nếu dữ liệu được lưu hành thực sự thì cần phải hợp lý, an toàn và hiệu quả hơn để các giao dịch dữ liệu ở cấp tham số cuối cùng đã được xác định.
Theo tầm nhìn của nhóm, sau khi nhà máy sàng lọc dữ liệu được vận hành, một số dữ liệu sẽ không cần phải đào tạo nhiều lần, hiệu quả sẽ được cải thiện và chi phí sẽ giảm.
Sử dụng ít người và tài nguyên hơn để hoàn thiện hệ thống mô hình lớn
Trong cơn sốt các mô hình lớn, việc đánh giá các mô hình lớn như thế nào đã trở thành một vấn đề quan trọng, đó là lý do tại sao nhiều danh sách khác nhau đã xuất hiện.
Sau khi Ma Trận Cộng Sinh được xếp vào loại C-, thế giới bên ngoài tập trung vào hai điểm chính:
Ngoài kết quả tốt, một điểm thú vị khác là họ là một đội bóng nhỏ hiếm có trong danh sách.
Nhóm nghiên cứu cho biết danh sách này không phải là danh sách duy nhất và có thẩm quyền nhất trên thế giới, nhưng nó bắt đầu xuất hiện trong danh sách một tháng sau khi thành lập và sau khi lọt vào top ba, điều này có thể phản ánh rằng "chúng tôi sử dụng ít nhân lực và nguồn lực hơn để làm tốt công việc trong các hệ thống mô hình quy mô lớn."
Đúng vậy, nhóm Ma trận cộng sinh có ít hơn 10 người.
Không có nhiều người, nhưng họ đều giỏi chiến đấu——
Giám đốc điều hành Zhang Lin, CTO Wang Junjie và các thành viên cốt cán khác của nhóm đều đến từ Viện nghiên cứu IDEA và có kinh nghiệm thực tế phong phú về hệ thống nguồn mở của các mô hình đào tạo trước Fengshenbang trong nước (có thông tin cho rằng Fengshenbang hiện có hơn 98 cơ sở mở nguồn mô hình đào tạo trước)
Zhang Lin tốt nghiệp Tiến sĩ tại Đại học Bang New York và đã xuất bản hơn 30 bài báo tại các hội nghị máy tính hàng đầu. Ông trước đây là nhà nghiên cứu cấp cao tại Viện Kinh tế Kỹ thuật số Khu vực Vịnh Lớn Quảng Đông-Hồng Kông-Macao (IDEA). ).
Wang Junjie có bằng Tiến sĩ về khoa học máy tính tại Đại học Waseda và trước đây là thành viên cốt lõi của nhóm mô hình lớn Fengshenbang.
△Trương Lâm
Nhìn vào thị trường AI hiện tại, chưa có tiền lệ nào về một nhóm nhỏ có thể làm tốt công việc AI, chỉ có 11 thành viên đằng sau mô hình sơ đồ Vincent nổi tiếng nhất Midjourney, được mệnh danh là chuẩn mực của các tổ chức thời đại mới. Trong kỷ nguyên AI 2.0, nhiều nhóm doanh nhân mô hình lớn nhấn mạnh “nhỏ nhưng đẹp” đã xuất hiện trong và ngoài nước.
Tất nhiên, Zhang Lin cho rằng lý do sâu xa hơn là các mô hình lớn không chỉ đơn giản là những dự án tập trung nhân lực và cần một số lượng nhỏ đội ngũ tinh nhuệ để đảm bảo hiệu quả.
Ông cho biết khi đào tạo mô hình, các khía cạnh kỹ thuật như tối ưu hóa toán tử, độ chính xác hỗn hợp, v.v., cũng như các vấn đề giao tiếp khi hỗ trợ hàng trăm thẻ cùng lúc, tất cả đều kiểm tra khả năng kỹ thuật. Nếu một nhóm nhỏ có thể giải quyết các vấn đề kỹ thuật gặp phải và nâng cao hiệu quả thì không cần phải dựa vào một nhóm lớn để giải quyết chúng.
Ngoài ra, một nhóm nòng cốt kỹ thuật nhỏ sẽ có lợi hơn trong việc duy trì sự độc lập về tư tưởng và khám phá nhiều khả năng hơn bằng cách không tuân theo các quy tắc, tuy nhiên, việc dồn nhân lực sẽ dễ làm giảm hiệu quả tổng thể.
Theo ước tính của ông, những nhân tài hàng đầu trong lĩnh vực người mẫu quy mô lớn trong nước “có thể chỉ có tối đa khoảng 100 người”, và rất ít chỗ để thành lập một đội lớn.
Vì vậy, đội sẽ duy trì quy mô “dưới mười người” trong một khoảng thời gian nhất định.
Cuối cùng, đây là cách hiểu khác về các mô hình và khái niệm đằng sau kỷ nguyên AI 2.0 và kỷ nguyên AI 1.0.
Trong quá trình giao tiếp, Zhang Lin cũng trực tiếp bày tỏ sự hiểu biết khác biệt của nhóm với những quan điểm chính thống ở một cấp độ khác, điều này được phản ánh trong khái niệm nguồn mở và nguồn đóng.
Cách đây một thời gian, khi LLaMA-2 miễn phí và được bán trên thị trường, nhiều người cho rằng đây sẽ là một cú sốc lớn đối với các công ty khởi nghiệp trên thị trường, vì LLaMA-2 có thể đáp ứng nhu cầu của hầu hết các công ty với chi phí thấp hơn và cá nhân hóa.
"LLaMA-2 đã không thay đổi cấu trúc thị trường." Trong mắt nhóm Cộng sinh, các nhóm thực sự dẫn đầu không có công nghệ cốt lõi nguồn mở.
Zhang Lin cũng nói thêm rằng ở giai đoạn hiện tại, tầm quan trọng của nguồn mở nằm ở việc giáo dục thị trường hơn là thúc đẩy thương mại hóa.
Giống như Raspberry Pi có ý nghĩa đối với những người đam mê điện tử nhưng sẽ không thay đổi thị trường máy tính di động, LLAMA 2 có giá trị hơn đối với người dùng cấp thấp nhưng sẽ có ít tác động đến người dùng muốn hướng tới mục đích thương mại.
Vẫn còn rất nhiều ma trận cộng sinh với những quan điểm và cách hiểu “không chính thống” như thế này.
Ví dụ: chúng tôi không tin rằng các mô hình lớn là điểm cuối của AI nói chung và chúng tôi cũng không tin rằng ChatGPT đại diện cho hướng đi cuối cùng.
Họ cũng thận trọng về việc mở rộng nhanh chóng theo kiểu kỳ lân và chú ý hơn đến sự gắn kết của nhóm và tích lũy công nghệ.
……
Về lộ trình phát triển trong tương lai, Symbiosis Matrix chọn làm nguồn đóng trong ngắn hạn và có thể là nguồn mở phù hợp trong tương lai khi có cơ hội phù hợp.
Nguồn mở cần phải có mục tiêu định hướng kinh doanh rõ ràng.Hiện tại, công nghệ mô hình lớn vẫn đang trong giai đoạn lặp lại và cạnh tranh nhanh chóng, đồng thời công nghệ lõi nguồn mở có nguy cơ mất đi lợi thế đi đầu.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Phải mất 10 người trong hai tháng để xây dựng một mô hình lớn! May mắn có được 16 bài báo hội nghị hàng đầu trong một năm: Không bài nào tốt nhất trên thị trường là nguồn mở
Tác giả: Hằng Ngọc
**Nguồn: **Qubit
Một công ty được thành lập ở Thâm Quyến vào tháng 5 năm nay có đội ngũ chưa đến 10 người.
Việc họ phải làm không hề nhỏ: thách thức AGI.
Sự tự tin ở đâu? Đầu tiên, hãy xem lại bản lý lịch trước đây và thứ hai, hãy xem kết quả theo dõi hiện tại.
Trong năm qua, những người này đã xuất bản tổng cộng 16 bài báo liên quan đến mô hình lớn tại các hội nghị hàng đầu như CVPR, ICML, ECCV và một trong số đó đã được đề cử cho bài báo hay nhất tại hội nghị hàng đầu ACL 2023.
Kết quả của bạn sau khi bắt đầu kinh doanh là gì? Hai tháng sau khi thành lập, mô hình được đào tạo đã lọt vào top ba trong danh sách C và khả năng tiếng Trung của nó đã đánh bại ChatGPT và Claude-v1.3.
Đây là kết quả của ma trận cộng sinh.
Và mẫu GS-LLM của nó đã lần đầu tiên lọt vào danh sách kể từ cuối tháng 7. Nó đã đứng ở vị trí đầu tiên trong số 65 người chơi trong danh sách C.
Vậy Ma trận cộng sinh là ai?
##10 người thách đấu AGI
Symbiotic Matrix nhằm mục đích xây dựng một nhà máy tinh chỉnh dữ liệu công nghiệp dựa trên công nghệ AGI tự phát triển.
Nhóm chủ yếu dựa vào mô hình lớn GS-LLM tự phát triển.
Thang đo tham số mô hình dao động từ 7B-130B và có thể được điều chỉnh theo nhu cầu thực tế của người dùng.
Có hai phiên bản dựa trên GS-LLM chiếm một vị trí trên C-, một là phiên bản 10 tỷ thông số GS-LLM-Beta, còn lại là phiên bản mini GS-LLM-Beta-Mini với ít hơn 10 tỷ thông số .
Lý do ra mắt phiên bản mini là nhiều người dùng nhận thấy môi trường hoạt động ban đầu (thậm chí cả môi trường đám mây) không đủ để hỗ trợ triển khai cục bộ quy mô lớn.
Kết quả thử nghiệm cho thấy phiên bản nhiều tỷ của GS-LLM-Beta có thể hoạt động tốt, xếp hạng tốt nhất là thứ 6 trên C-.
Một trong những lý do khiến nó có thể đứng đầu danh sách C là ma trận cộng sinh đã xây dựng một khung đào tạo hoàn toàn độc lập, cung cấp hỗ trợ kỹ thuật tương đối đầy đủ cho toàn bộ quá trình đào tạo.
Điểm thứ hai là dữ liệu, điều mà công ty này rất coi trọng.
Giám đốc điều hành Ma trận cộng sinh Zhang Lin đã đưa ra một ví dụ đơn giản:
So sánh đào tạo mô hình với quá trình tăng trưởng của con người. Nếu từ nhỏ tất cả những gì anh ta đọc đều là những cuốn tiểu thuyết bổ dưỡng thì năng lực tổng thể của người này sẽ không mạnh lắm.
Năm ngoái, nhóm nghiên cứu đã phát hiện trong một thử nghiệm rằng khi dữ liệu mô hình đạt đến một mức độ lớn nhất định, sự tăng vọt về chất lượng dữ liệu thực sự có thể gây ra một số thay đổi về chất.
"Nói cách khác, nếu bạn có một mô hình quy mô tương đối nhỏ (chẳng hạn như hàng chục tỷ) và cung cấp dữ liệu chất lượng cao cho nó, thì kết quả đào tạo sẽ rất gần với kết quả của hàng trăm tỷ cấp độ." Zhang Lin nói. .
Thử nghiệm này cũng khiến nhóm chú ý hơn đến chất lượng dữ liệu và các cách có hệ thống để có được dữ liệu chất lượng cao.
Trên thực tế, điểm này ngày càng thu hút sự chú ý của mọi tầng lớp trong thời gian gần đây. Microsoft có một nghiên cứu mới "Sách giáo khoa là tất cả những gì bạn cần". Công trình này cho thấy việc phát triển lớn hơn không phải là lối thoát duy nhất mà dữ liệu chất lượng cao mới là chủ yếu.
Do đó, nhóm Symbiosis đã xây dựng một hệ thống kỹ thuật làm sạch dữ liệu để làm sạch dữ liệu liên tục 24 giờ mỗi ngày.
Nhóm hiện đã làm sạch khoảng 20T dữ liệu văn bản có thể được sử dụng cho việc đào tạo. “Mức dữ liệu này có thể hỗ trợ đào tạo mô hình của một hệ thống rất lớn”.
Tuy nhiên, Zhang Lin cũng tiết lộ rằng Ma trận cộng sinh sẽ không tiết lộ dữ liệu đã được nhóm làm sạch ra công chúng trong thời gian ngắn.
Vậy, khái niệm về nhà máy sàng lọc dữ liệu mà nhóm muốn xây dựng là gì?
Zhang Lin giải thích rằng nếu một mô hình lớn được hiểu là “nén thông tin” thì bản thân nó là một cơ sở dữ liệu tham số lớn.
Việc mà nhà máy tinh chỉnh dữ liệu phải làm là chia sẻ và trao đổi dữ liệu tham số sau khi mô hình đã được huấn luyện.
Bạn phải biết rằng các chức năng của mô hình lớn được thực hiện thông qua các tham số. Các tham số giao dịch thực chất là các chức năng chuyển đổi. Chúng ta cần sự đa dạng của các chức năng mô hình lớn. "Giao dịch tham số là con đường hiệu quả nhất."
Dữ liệu được đề cập ở đây không phải là loại dữ liệu mà mọi người đều có thể nhìn thấy mà là dữ liệu tham số. Dữ liệu chúng ta thường nói đến là một đoạn văn bản hoặc một hình ảnh, còn dữ liệu thuộc sở hữu của nhà máy là các tham số của mô hình được đào tạo và các tham số được giao dịch thương mại.
"Dữ liệu thô được giao dịch trực tiếp, bị hạn chế bởi số lượng lớn và các vấn đề về quyền riêng tư." Zhang Lin giải thích rằng khái niệm giao dịch dữ liệu đã được đề xuất trong nhiều năm, nhưng nó vẫn chưa được thị trường chấp nhận hoàn toàn. Nhóm nghiên cứu tin rằng nếu dữ liệu được lưu hành thực sự thì cần phải hợp lý, an toàn và hiệu quả hơn để các giao dịch dữ liệu ở cấp tham số cuối cùng đã được xác định.
Theo tầm nhìn của nhóm, sau khi nhà máy sàng lọc dữ liệu được vận hành, một số dữ liệu sẽ không cần phải đào tạo nhiều lần, hiệu quả sẽ được cải thiện và chi phí sẽ giảm.
Sử dụng ít người và tài nguyên hơn để hoàn thiện hệ thống mô hình lớn
Trong cơn sốt các mô hình lớn, việc đánh giá các mô hình lớn như thế nào đã trở thành một vấn đề quan trọng, đó là lý do tại sao nhiều danh sách khác nhau đã xuất hiện.
Sau khi Ma Trận Cộng Sinh được xếp vào loại C-, thế giới bên ngoài tập trung vào hai điểm chính:
Ngoài kết quả tốt, một điểm thú vị khác là họ là một đội bóng nhỏ hiếm có trong danh sách.
Nhóm nghiên cứu cho biết danh sách này không phải là danh sách duy nhất và có thẩm quyền nhất trên thế giới, nhưng nó bắt đầu xuất hiện trong danh sách một tháng sau khi thành lập và sau khi lọt vào top ba, điều này có thể phản ánh rằng "chúng tôi sử dụng ít nhân lực và nguồn lực hơn để làm tốt công việc trong các hệ thống mô hình quy mô lớn."
Đúng vậy, nhóm Ma trận cộng sinh có ít hơn 10 người.
Không có nhiều người, nhưng họ đều giỏi chiến đấu——
Giám đốc điều hành Zhang Lin, CTO Wang Junjie và các thành viên cốt cán khác của nhóm đều đến từ Viện nghiên cứu IDEA và có kinh nghiệm thực tế phong phú về hệ thống nguồn mở của các mô hình đào tạo trước Fengshenbang trong nước (có thông tin cho rằng Fengshenbang hiện có hơn 98 cơ sở mở nguồn mô hình đào tạo trước)
Zhang Lin tốt nghiệp Tiến sĩ tại Đại học Bang New York và đã xuất bản hơn 30 bài báo tại các hội nghị máy tính hàng đầu. Ông trước đây là nhà nghiên cứu cấp cao tại Viện Kinh tế Kỹ thuật số Khu vực Vịnh Lớn Quảng Đông-Hồng Kông-Macao (IDEA). ).
Wang Junjie có bằng Tiến sĩ về khoa học máy tính tại Đại học Waseda và trước đây là thành viên cốt lõi của nhóm mô hình lớn Fengshenbang.
Nhìn vào thị trường AI hiện tại, chưa có tiền lệ nào về một nhóm nhỏ có thể làm tốt công việc AI, chỉ có 11 thành viên đằng sau mô hình sơ đồ Vincent nổi tiếng nhất Midjourney, được mệnh danh là chuẩn mực của các tổ chức thời đại mới. Trong kỷ nguyên AI 2.0, nhiều nhóm doanh nhân mô hình lớn nhấn mạnh “nhỏ nhưng đẹp” đã xuất hiện trong và ngoài nước.
Tất nhiên, Zhang Lin cho rằng lý do sâu xa hơn là các mô hình lớn không chỉ đơn giản là những dự án tập trung nhân lực và cần một số lượng nhỏ đội ngũ tinh nhuệ để đảm bảo hiệu quả.
Ông cho biết khi đào tạo mô hình, các khía cạnh kỹ thuật như tối ưu hóa toán tử, độ chính xác hỗn hợp, v.v., cũng như các vấn đề giao tiếp khi hỗ trợ hàng trăm thẻ cùng lúc, tất cả đều kiểm tra khả năng kỹ thuật. Nếu một nhóm nhỏ có thể giải quyết các vấn đề kỹ thuật gặp phải và nâng cao hiệu quả thì không cần phải dựa vào một nhóm lớn để giải quyết chúng.
Ngoài ra, một nhóm nòng cốt kỹ thuật nhỏ sẽ có lợi hơn trong việc duy trì sự độc lập về tư tưởng và khám phá nhiều khả năng hơn bằng cách không tuân theo các quy tắc, tuy nhiên, việc dồn nhân lực sẽ dễ làm giảm hiệu quả tổng thể.
Theo ước tính của ông, những nhân tài hàng đầu trong lĩnh vực người mẫu quy mô lớn trong nước “có thể chỉ có tối đa khoảng 100 người”, và rất ít chỗ để thành lập một đội lớn.
Vì vậy, đội sẽ duy trì quy mô “dưới mười người” trong một khoảng thời gian nhất định.
Cuối cùng, đây là cách hiểu khác về các mô hình và khái niệm đằng sau kỷ nguyên AI 2.0 và kỷ nguyên AI 1.0.
Trong quá trình giao tiếp, Zhang Lin cũng trực tiếp bày tỏ sự hiểu biết khác biệt của nhóm với những quan điểm chính thống ở một cấp độ khác, điều này được phản ánh trong khái niệm nguồn mở và nguồn đóng.
Cách đây một thời gian, khi LLaMA-2 miễn phí và được bán trên thị trường, nhiều người cho rằng đây sẽ là một cú sốc lớn đối với các công ty khởi nghiệp trên thị trường, vì LLaMA-2 có thể đáp ứng nhu cầu của hầu hết các công ty với chi phí thấp hơn và cá nhân hóa.
"LLaMA-2 đã không thay đổi cấu trúc thị trường." Trong mắt nhóm Cộng sinh, các nhóm thực sự dẫn đầu không có công nghệ cốt lõi nguồn mở.
Zhang Lin cũng nói thêm rằng ở giai đoạn hiện tại, tầm quan trọng của nguồn mở nằm ở việc giáo dục thị trường hơn là thúc đẩy thương mại hóa.
Giống như Raspberry Pi có ý nghĩa đối với những người đam mê điện tử nhưng sẽ không thay đổi thị trường máy tính di động, LLAMA 2 có giá trị hơn đối với người dùng cấp thấp nhưng sẽ có ít tác động đến người dùng muốn hướng tới mục đích thương mại.
Vẫn còn rất nhiều ma trận cộng sinh với những quan điểm và cách hiểu “không chính thống” như thế này.
Ví dụ: chúng tôi không tin rằng các mô hình lớn là điểm cuối của AI nói chung và chúng tôi cũng không tin rằng ChatGPT đại diện cho hướng đi cuối cùng.
Họ cũng thận trọng về việc mở rộng nhanh chóng theo kiểu kỳ lân và chú ý hơn đến sự gắn kết của nhóm và tích lũy công nghệ.
……
Về lộ trình phát triển trong tương lai, Symbiosis Matrix chọn làm nguồn đóng trong ngắn hạn và có thể là nguồn mở phù hợp trong tương lai khi có cơ hội phù hợp.
Nguồn mở cần phải có mục tiêu định hướng kinh doanh rõ ràng.Hiện tại, công nghệ mô hình lớn vẫn đang trong giai đoạn lặp lại và cạnh tranh nhanh chóng, đồng thời công nghệ lõi nguồn mở có nguy cơ mất đi lợi thế đi đầu.