Khi các ứng dụng AIGC như ChatGPT tạo ra một làn sóng các mô hình lớn, lớp sức mạnh tính toán, với tư cách là cơ sở hạ tầng, đã trở thành ngành đầu tiên được hưởng lợi.
Tuy nhiên, các vấn đề như nhu cầu cao về sức mạnh tính toán và chi phí cao đã trở thành điểm chung của các doanh nghiệp khi triển khai các mô hình lớn và có nhiều khả năng hạn chế sự phát triển của AI: thông số của các mô hình lớn ngày càng tăng và khả năng tính toán Nút thắt cung cấp điện sắp xảy ra, tạo ra mâu thuẫn rất lớn giữa hai bên.
Cách khám phá các giải pháp sức mạnh điện toán mô hình lớn tốt hơn là trọng tâm chung trong ngành.
Mới đây, tổ chức đánh giá có thẩm quyền toàn cầu MLPerf đã công bố kết quả đánh giá suy luận mới nhất. Đây là lần đầu tiên MLPerf giới thiệu thử nghiệm suy luận mô hình lớn GPT. Tỷ lệ tham gia đã đạt kỷ lục mới, với hơn 13.500 kết quả hiệu suất do Nvidia, Intel đệ trình. , Google, Qualcomm và các công ty khác.
Trong MLPerf Inference 3.1, card điện toán Moffet AI S30 đứng đầu về khả năng tính toán của một card đơn, 4 card và 8 card trên model cỡ lớn GPT-J (6 tỷ tham số).
Đây là lần bảo vệ danh hiệu thứ ba liên tiếp của Mo Xin tại MLPerf.
Lõi mực trước đó đã giành vị trí đầu tiên trong MLPerf Inference 2.0 và 2.1 trong hai năm liên tiếp.
Thẻ máy tính lõi mực S30
Những thành tựu của lõi mực đã mang lại những hướng đổi mới khả thi cho các giải pháp sức mạnh tính toán mô hình quy mô lớn.
Thực tế đã chứng minh rằng sự hợp tác đổi mới phần cứng và phần mềm kết hợp các mô hình AI với nền tảng điện toán có thể giải phóng tiềm năng sức mạnh tính toán lớn hơn. Điều này cũng một lần nữa chứng minh rằng các công nghệ tiên tiến được thể hiện bằng điện toán thưa thớt sẽ là chìa khóa cho sự phát triển sức mạnh tính toán trong kỷ nguyên của các mô hình lớn.
Ink Core tham gia vào bộ phận mở MLPerf, theo nhà tổ chức MLCommons, nhằm mục đích khuyến khích sự đổi mới. Do đó, thí sinh có thể khám phá các cách cải thiện sức mạnh tính toán thông qua sự cộng tác giữa phần mềm và phần cứng.
Trên model lớn GPT-J trong MLPerf, so với giải pháp tăng tốc phần cứng thuần túy H100 của quy trình 4nm, card máy tính Ink Core S30 của quy trình 12nm đạt tốc độ gấp 1,8 lần thông qua "thuật toán thưa kép gốc + cộng tác phần cứng" "Phương pháp. Ưu điểm.
Mô hình GPT-J dùng cho đánh giá này là mô hình Generative AI, ở các chế độ 8 thẻ, 4 thẻ và 1 thẻ, hiệu năng của card máy tính Ink Core S30 là 170,59, 91,57 và 23,28 (Sample/s) lần lượt đạt hiệu năng của NVIDIA H100 là 1,6 lần, 1,8 lần và 1,8 lần, thể hiện khả năng của sản phẩm lõi mực trong các tác vụ AIGC.
Giành chức vô địch ba lần, sức mạnh tính toán mô hình lớn là người đầu tiên "thử nghiệm" và sự hợp tác giữa phần mềm và phần cứng tiếp tục đổi mới - Sức mạnh sản phẩm của Ink Core đã được MLPerf kiểm tra nghiêm ngặt nhiều lần và nó cũng đã khám phá những con đường mới để phát triển sức mạnh tính toán mô hình lớn.
Máy tính thưa thớt——Các "cổ phiếu tiềm năng" mô hình lớn được thị trường công nhận
Kết quả xuất sắc liên tục của lõi mực chủ yếu là do sự hợp tác thiết kế của phần mềm và phần cứng dựa trên thuật toán phân tán.
Trong thời đại của các mô hình lớn, tầm quan trọng của tính toán thưa thớt là hiển nhiên: kích thước của mô hình AI tỷ lệ thuận với tiềm năng phân tán của nó.
Nói cách khác, khi mô hình càng lớn thì khả năng xảy ra độ thưa trong thuật toán càng lớn và mức độ tăng tốc của các phép tính thưa cũng cao hơn. Đối với các mô hình ngôn ngữ lớn nói chung, tính toán thưa thớt có thể mang lại khả năng tăng tốc gấp hàng chục lần.
Thuật toán thưa kép ban đầu của Inkcore, kết hợp với thiết kế hợp tác phần mềm và phần cứng, biến chip Antoum® của Inkcore trở thành chip AI có độ phóng đại thưa thớt cao đầu tiên trên thế giới, hỗ trợ độ thưa thớt lên tới 32 lần—đó là điều mà Inkcore lập kỷ lục mới trong khóa MLPerf này.
Mô hình càng lớn thì ưu điểm của tính toán thưa thớt càng rõ ràng - nhất là trong tình hình hiện nay thông số của các mô hình lớn như GPT thường lên tới hàng chục tỷ hoặc hàng trăm tỷ khiến hào lõi mực ổn định hơn.
Thế mạnh sản phẩm của Ink Core và xu hướng chung của điện toán thưa thớt cũng đã được ngành công nhận: Quá trình thương mại hóa của Ink Core lần lượt có những bước đột phá quan trọng, giúp doanh nghiệp tăng tốc ứng dụng AI.
Mới đây, Ink Core đã chính thức trở thành một trong những nhà cung cấp hỗ trợ Byte MLPerf.
Nguồn: Trang web Byte MLPerf
địa chỉ dự án:
Hiện tại, nền tảng điện toán Ink Core AI có thể hỗ trợ các mô hình lớn với các mức tham số khác nhau, bao gồm BLOOM, OPT, GPT-J, LLaMA, StableDiffusion, v.v.
Đồng thời, nó có đặc tính thông lượng cao, độ trễ thấp và tiêu thụ điện năng thấp, giúp giảm bớt khó khăn về sức mạnh tính toán và thực sự mang lại giải pháp sức mạnh tính toán mô hình lớn “dễ sử dụng” và “giá cả phải chăng” cho doanh nghiệp .
Mang đến những thay đổi căn bản về sức mạnh tính toán, tính toán thưa thớt giúp phát triển các mô hình lớn
Giải pháp điện toán thưa thớt của Ink Core không chỉ có thể giảm bớt vấn đề về sức mạnh tính toán hiện tại mà còn mở ra không gian mới cho sự phát triển liên tục của AI.
Tính toán thưa thớt làm giảm lượng tính toán của các mô hình AI, điều đó có nghĩa là các mô hình lớn có thể tăng số lượng tham số lên nhiều bậc độ lớn mà không tạo ra quá nhiều lượng tính toán. . về cơ bản đã được giải quyết.
Đồng thời, do giảm khối lượng tính toán nên các điểm yếu của mô hình lớn như yêu cầu năng lực tính toán cao, tiêu thụ điện năng cao và chi phí cao cũng được giải quyết, đạt được hiệu quả “đôi bên cùng có lợi”.
Chip Antoum: chip AI có tỷ lệ thưa thớt cao đầu tiên trên thế giới, hỗ trợ thưa thớt lên tới 32 lần
Kết quả xuất sắc của ba MLPerf liên tiếp không chỉ chứng minh sức mạnh của các sản phẩm lõi mực mà còn mang đến những phát hiện mới cho ngành: với sự trợ giúp của các công nghệ như điện toán thưa thớt, việc phát triển và ứng dụng các mô hình lớn dự kiến sẽ mở ra một phạm vi rộng hơn không gian để phát triển. Các ứng dụng như AIGC được tăng tốc đang nở rộ ở mọi tầng lớp xã hội.
Giới thiệu về MLPerf
MLPerf được thành lập bởi người đoạt giải Turing David Patterson kết hợp với các tổ chức học thuật hàng đầu như Google, Stanford và Đại học Harvard. Đây là bài kiểm tra điểm chuẩn hiệu suất AI quốc tế có thẩm quyền nhất và có ảnh hưởng nhất để đo lường sự phát triển nhanh chóng. Tiến hành theo dõi và đánh giá kịp thời AI yêu cầu tính toán và hiệu suất.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
MLPerf công bố bảng xếp hạng và các công ty chip AI của Trung Quốc lại đứng đầu thế giới! Ba nhà vô địch suy luận mô hình lớn, hiệu năng vượt H100
Khi các ứng dụng AIGC như ChatGPT tạo ra một làn sóng các mô hình lớn, lớp sức mạnh tính toán, với tư cách là cơ sở hạ tầng, đã trở thành ngành đầu tiên được hưởng lợi.
Tuy nhiên, các vấn đề như nhu cầu cao về sức mạnh tính toán và chi phí cao đã trở thành điểm chung của các doanh nghiệp khi triển khai các mô hình lớn và có nhiều khả năng hạn chế sự phát triển của AI: thông số của các mô hình lớn ngày càng tăng và khả năng tính toán Nút thắt cung cấp điện sắp xảy ra, tạo ra mâu thuẫn rất lớn giữa hai bên.
Cách khám phá các giải pháp sức mạnh điện toán mô hình lớn tốt hơn là trọng tâm chung trong ngành.
Mới đây, tổ chức đánh giá có thẩm quyền toàn cầu MLPerf đã công bố kết quả đánh giá suy luận mới nhất. Đây là lần đầu tiên MLPerf giới thiệu thử nghiệm suy luận mô hình lớn GPT. Tỷ lệ tham gia đã đạt kỷ lục mới, với hơn 13.500 kết quả hiệu suất do Nvidia, Intel đệ trình. , Google, Qualcomm và các công ty khác.
Trong MLPerf Inference 3.1, card điện toán Moffet AI S30 đứng đầu về khả năng tính toán của một card đơn, 4 card và 8 card trên model cỡ lớn GPT-J (6 tỷ tham số).
Lõi mực trước đó đã giành vị trí đầu tiên trong MLPerf Inference 2.0 và 2.1 trong hai năm liên tiếp.
Những thành tựu của lõi mực đã mang lại những hướng đổi mới khả thi cho các giải pháp sức mạnh tính toán mô hình quy mô lớn.
Thực tế đã chứng minh rằng sự hợp tác đổi mới phần cứng và phần mềm kết hợp các mô hình AI với nền tảng điện toán có thể giải phóng tiềm năng sức mạnh tính toán lớn hơn. Điều này cũng một lần nữa chứng minh rằng các công nghệ tiên tiến được thể hiện bằng điện toán thưa thớt sẽ là chìa khóa cho sự phát triển sức mạnh tính toán trong kỷ nguyên của các mô hình lớn.
Ink Core tham gia vào bộ phận mở MLPerf, theo nhà tổ chức MLCommons, nhằm mục đích khuyến khích sự đổi mới. Do đó, thí sinh có thể khám phá các cách cải thiện sức mạnh tính toán thông qua sự cộng tác giữa phần mềm và phần cứng.
Trên model lớn GPT-J trong MLPerf, so với giải pháp tăng tốc phần cứng thuần túy H100 của quy trình 4nm, card máy tính Ink Core S30 của quy trình 12nm đạt tốc độ gấp 1,8 lần thông qua "thuật toán thưa kép gốc + cộng tác phần cứng" "Phương pháp. Ưu điểm.
Mô hình GPT-J dùng cho đánh giá này là mô hình Generative AI, ở các chế độ 8 thẻ, 4 thẻ và 1 thẻ, hiệu năng của card máy tính Ink Core S30 là 170,59, 91,57 và 23,28 (Sample/s) lần lượt đạt hiệu năng của NVIDIA H100 là 1,6 lần, 1,8 lần và 1,8 lần, thể hiện khả năng của sản phẩm lõi mực trong các tác vụ AIGC.
Máy tính thưa thớt——Các "cổ phiếu tiềm năng" mô hình lớn được thị trường công nhận
Kết quả xuất sắc liên tục của lõi mực chủ yếu là do sự hợp tác thiết kế của phần mềm và phần cứng dựa trên thuật toán phân tán.
Trong thời đại của các mô hình lớn, tầm quan trọng của tính toán thưa thớt là hiển nhiên: kích thước của mô hình AI tỷ lệ thuận với tiềm năng phân tán của nó.
Nói cách khác, khi mô hình càng lớn thì khả năng xảy ra độ thưa trong thuật toán càng lớn và mức độ tăng tốc của các phép tính thưa cũng cao hơn. Đối với các mô hình ngôn ngữ lớn nói chung, tính toán thưa thớt có thể mang lại khả năng tăng tốc gấp hàng chục lần.
Thuật toán thưa kép ban đầu của Inkcore, kết hợp với thiết kế hợp tác phần mềm và phần cứng, biến chip Antoum® của Inkcore trở thành chip AI có độ phóng đại thưa thớt cao đầu tiên trên thế giới, hỗ trợ độ thưa thớt lên tới 32 lần—đó là điều mà Inkcore lập kỷ lục mới trong khóa MLPerf này.
Mô hình càng lớn thì ưu điểm của tính toán thưa thớt càng rõ ràng - nhất là trong tình hình hiện nay thông số của các mô hình lớn như GPT thường lên tới hàng chục tỷ hoặc hàng trăm tỷ khiến hào lõi mực ổn định hơn.
Thế mạnh sản phẩm của Ink Core và xu hướng chung của điện toán thưa thớt cũng đã được ngành công nhận: Quá trình thương mại hóa của Ink Core lần lượt có những bước đột phá quan trọng, giúp doanh nghiệp tăng tốc ứng dụng AI.
Mới đây, Ink Core đã chính thức trở thành một trong những nhà cung cấp hỗ trợ Byte MLPerf.
địa chỉ dự án:
Hiện tại, nền tảng điện toán Ink Core AI có thể hỗ trợ các mô hình lớn với các mức tham số khác nhau, bao gồm BLOOM, OPT, GPT-J, LLaMA, StableDiffusion, v.v.
Đồng thời, nó có đặc tính thông lượng cao, độ trễ thấp và tiêu thụ điện năng thấp, giúp giảm bớt khó khăn về sức mạnh tính toán và thực sự mang lại giải pháp sức mạnh tính toán mô hình lớn “dễ sử dụng” và “giá cả phải chăng” cho doanh nghiệp .
Mang đến những thay đổi căn bản về sức mạnh tính toán, tính toán thưa thớt giúp phát triển các mô hình lớn
Giải pháp điện toán thưa thớt của Ink Core không chỉ có thể giảm bớt vấn đề về sức mạnh tính toán hiện tại mà còn mở ra không gian mới cho sự phát triển liên tục của AI.
Tính toán thưa thớt làm giảm lượng tính toán của các mô hình AI, điều đó có nghĩa là các mô hình lớn có thể tăng số lượng tham số lên nhiều bậc độ lớn mà không tạo ra quá nhiều lượng tính toán. . về cơ bản đã được giải quyết.
Đồng thời, do giảm khối lượng tính toán nên các điểm yếu của mô hình lớn như yêu cầu năng lực tính toán cao, tiêu thụ điện năng cao và chi phí cao cũng được giải quyết, đạt được hiệu quả “đôi bên cùng có lợi”.
Kết quả xuất sắc của ba MLPerf liên tiếp không chỉ chứng minh sức mạnh của các sản phẩm lõi mực mà còn mang đến những phát hiện mới cho ngành: với sự trợ giúp của các công nghệ như điện toán thưa thớt, việc phát triển và ứng dụng các mô hình lớn dự kiến sẽ mở ra một phạm vi rộng hơn không gian để phát triển. Các ứng dụng như AIGC được tăng tốc đang nở rộ ở mọi tầng lớp xã hội.
Giới thiệu về MLPerf
MLPerf được thành lập bởi người đoạt giải Turing David Patterson kết hợp với các tổ chức học thuật hàng đầu như Google, Stanford và Đại học Harvard. Đây là bài kiểm tra điểm chuẩn hiệu suất AI quốc tế có thẩm quyền nhất và có ảnh hưởng nhất để đo lường sự phát triển nhanh chóng. Tiến hành theo dõi và đánh giá kịp thời AI yêu cầu tính toán và hiệu suất.