Triển vọng của một tuyến đường hứa hẹn: Thị trường Khả năng tính toán phi tập trung (Phần 1)

Nâng cao1/4/2024, 6:39:54 PM
Bài viết này khám phá tiềm năng và thách thức của thị trường khả năng tính toán phi tập trung, nhấn mạnh những khó khăn mà nó đối diện và giới thiệu hai dự án điển hình - Gensyn và Together.AI.

Lời nói đầu

Kể từ khi GPT-3 ra đời, AI đã mở ra một bước ngoặt bùng nổ trong lĩnh vực trí tuệ nhân tạo với hiệu suất đáng kinh ngạc và các kịch bản ứng dụng rộng rãi. Điều này đã dẫn đến việc những gã khổng lồ công nghệ đổ xô vào đường đua AI. Tuy nhiên, sự gia tăng này đã mang đến nhiều vấn đề. Các hoạt động đào tạo và suy luận của các mô hình ngôn ngữ lớn (LLM) đòi hỏi nhiều sức mạnh tính toán. Với việc nâng cấp lặp đi lặp lại của các mô hình này, nhu cầu và chi phí cho sức mạnh tính toán đang tăng theo cấp số nhân. Lấy GPT-2 và GPT-3 làm ví dụ, sự khác biệt về số lượng thông số giữa GPT-2 và GPT-3 là 1166 lần (GPT-2 có 150 triệu tham số trong khi GPT-3 có 175 tỷ). Chi phí cho một buổi đào tạo GPT-3 được tính toán dựa trên các mô hình định giá của các đám mây GPU công cộng vào thời điểm đó, lên tới 12 triệu đô la. Con số này gấp 200 lần GPT-2. Trong sử dụng thực tế, mọi truy vấn của người dùng đều yêu cầu tính toán suy luận. Dựa trên 13 triệu người dùng độc lập vào đầu năm nay, nhu cầu tương ứng về chip sẽ là hơn 30.000 GPU A100. Chi phí đầu tư ban đầu sau đó sẽ là 800 triệu đô la đáng kinh ngạc, với chi phí suy luận mô hình hàng ngày ước tính là 700.000 đô la.

Khả năng tính toán không đủ và chi phí cao đã trở thành những thách thức nghiêm trọng mà toàn bộ ngành công nghiệp trí tuệ nhân tạo đang phải đối mặt. Đáng chú ý, một vấn đề tương tự dường như đang đối diện với ngành công nghiệp blockchain. Một mặt, sự kiện halving Bitcoin lần thứ tư và việc phê duyệt ETFs sẽ sớm diễn ra. Khi giá cả tương lai tăng lên, nhu cầu của các máy đào về phần cứng tính toán sẽ tăng đáng kể. Mặt khác, công nghệ Zero-Knowledge Proof (ZKP) đang phát triển mạnh mẽ, và Vitalik đã nhấn mạnh nhiều lần rằng tác động của ZK đối với lĩnh vực blockchain trong 10 năm tới sẽ quan trọng không kém so với blockchain chính nó. Mặc dù công nghệ này hứa hẹn cho tương lai của ngành công nghiệp blockchain, ZK cũng tiêu tốn rất nhiều khả năng tính toán và thời gian trong việc tạo ra bằng chứng do quá trình tính toán phức tạp của nó, giống như trí tuệ nhân tạo.

Trong tương lai gần, sự thiếu hụt khả năng tính toán sẽ trở nên không thể tránh khỏi. Vậy, thị trường khả năng tính toán phi tập trung có phải là một cơ hội kinh doanh sinh lời?

Định nghĩa Thị trường Khả năng tính toán phi tập trung

Thị trường khả năng tính toán phi tập trung thực sự tương đương với theo dõi điện toán đám mây phi tập trung, nhưng tôi cá nhân cho rằng thuật ngữ này phù hợp hơn để mô tả các dự án mới sẽ được thảo luận sau này. Thị trường khả năng tính toán phi tập trung nên được coi là một phần của DePIN (Mạng lưới Cơ sở Hạ tầng Vật lý Phi tập trung), mục tiêu của nó là tạo ra một thị trường khả năng tính toán mở, nơi mà bất kỳ ai có tài nguyên khả năng tính toán không sử dụng có thể cung cấp tài nguyên của họ được khuyến khích bằng token, chủ yếu phục vụ cho khách hàng B2B và cộng đồng phát triển viên. Về các dự án quen thuộc hơn, các mạng lưới như Mạng Render, dựa trên các giải pháp kết xuất GPU phi tập trung, và Mạng Akash, một thị trường phân tán ngang hàng cho điện toán đám mây, đều thuộc về theo dõi này.

Văn bản sau đây sẽ bắt đầu với các khái niệm cơ bản và sau đó thảo luận về ba thị trường mới nổi theo dõi này: thị trường điện toán AGI, thị trường điện toán Bitcoin và thị trường điện toán AGI trong thị trường tăng tốc phần cứng ZK. Hai phần sau sẽ được thảo luận trong "Triển vọng của một đường đua đầy hứa hẹn: Thị trường điện toán phi tập trung (Phần 2)".

Khả năng tính toán Tổng quan

Khái niệm về khả năng tính toán có thể được truy nguồn từ việc phát minh ra máy tính. Máy tính ban đầu sử dụng các thiết bị cơ khí để hoàn thành các nhiệm vụ tính toán, và khả năng tính toán đề cập đến khả năng tính toán của thiết bị cơ khí. Với sự phát triển của công nghệ máy tính, khái niệm về khả năng tính toán cũng đã tiến triển. Khả năng tính toán ngày nay thường đề cập đến công việc cộng tác của phần cứng máy tính (CPU, GPU, FPGA, vv.) và phần mềm (hệ điều hành, trình biên dịch, ứng dụng, vv.).

Định nghĩa

Khả năng tính toán đề cập đến lượng dữ liệu mà một máy tính hoặc thiết bị tính toán khác có thể xử lý trong một khoảng thời gian nhất định hoặc số lượng nhiệm vụ tính toán mà nó có thể hoàn thành. Khả năng tính toán thường được sử dụng để mô tả hiệu suất của một máy tính hoặc các thiết bị tính toán khác. Đó là một đại lượng quan trọng của khả năng xử lý của một thiết bị tính toán.

Chỉ số

Khả năng tính toán có thể được đo bằng nhiều cách khác nhau, như tốc độ tính toán, tiêu thụ năng lượng, độ chính xác tính toán và song song. Trong lĩnh vực tính toán, các chỉ số về khả năng tính toán thường được sử dụng bao gồm FLOPS (phép tính dấu chấm động mỗi giây), IPS (hướng dẫn mỗi giây), TPS (giao dịch mỗi giây), v.v.

FLOPS đo khả năng xử lý các phép toán dấu chấm động của máy tính (các phép toán toán học với dấu thập phân đòi hỏi sự cân nhắc về vấn đề độ chính xác và lỗi làm tròn). Nó đo lường số lượng phép toán dấu chấm động mà máy tính có thể hoàn thành mỗi giây. FLOPS là một chỉ số đo khả năng tính toán cao của máy tính và thường được sử dụng để đo lường khả năng tính toán của siêu máy tính, máy chủ tính toán hiệu suất cao, đơn vị xử lý đồ họa (GPU), v.v. Ví dụ, nếu hệ thống máy tính có 1 TFLOPS (một nghìn tỷ phép toán dấu chấm động mỗi giây), điều đó có nghĩa là nó có thể hoàn thành 1 nghìn tỷ phép toán dấu chấm động mỗi giây.

IPS đo tốc độ mà máy tính xử lý các hướng dẫn. Đó là một đơn vị đo lường cho biết máy tính có thể thực thi bao nhiêu hướng dẫn mỗi giây và là một đơn vị đo lường hiệu suất thực thi một hướng dẫn duy nhất của máy tính, thường được sử dụng để đo hiệu suất của bộ xử lý trung tâm (CPU). Ví dụ, một CPU có IPS là 3 GHz (3 tỷ hướng dẫn mỗi giây) có nghĩa là nó có thể thực thi 3 tỷ hướng dẫn mỗi giây.

TPS đo lường khả năng của một máy tính xử lý giao dịch. Nó đo lường được bao nhiêu giao dịch mà một máy tính có thể hoàn thành mỗi giây, thường được sử dụng để đo lường hiệu suất của máy chủ cơ sở dữ liệu. Ví dụ, một máy chủ cơ sở dữ liệu có TPS là 1.000, có nghĩa là nó có thể xử lý 1.000 giao dịch cơ sở dữ liệu mỗi giây.

Ngoài ra, còn có một số chỉ số về khả năng tính toán cho các kịch bản ứng dụng cụ thể, như tốc độ suy luận, tốc độ xử lý hình ảnh và độ chính xác nhận dạng giọng nói.

Loại Khả năng tính toán

Khả năng tính toán của GPU đề cập đến khả năng tính toán của các đơn vị xử lý đồ họa (GPU). Khác với các đơn vị xử lý trung tâm (CPU), GPU là phần cứng được thiết kế đặc biệt để xử lý dữ liệu đồ họa như hình ảnh và video. Chúng có một số lượng lớn các đơn vị xử lý và khả năng tính toán song song hiệu quả, và có thể thực hiện một lượng lớn các phép tính dấu chấm động đồng thời. Kể từ khi GPU được thiết kế ban đầu cho việc xử lý đồ họa trong game, chúng thường có tốc độ xử lý cao hơn và băng thông bộ nhớ lớn hơn so với CPU để hỗ trợ các phép tính đồ họa phức tạp.

Sự khác biệt giữa CPUs và GPUs

Kiến trúc: CPUs và GPUs có các kiến trúc tính toán khác nhau. CPUs thường có một hoặc nhiều lõi, mỗi lõi là bộ xử lý đa năng có khả năng thực hiện nhiều loại hoạt động khác nhau. GPUs, ngược lại, có một số lượng lớn Stream Processors và Shaders, được sử dụng đặc biệt để thực hiện các phép tính liên quan đến xử lý hình ảnh;

Tính toán song song: GPU thường có khả năng tính toán song song cao hơn. Một CPU có một số lõi hạn chế, và mỗi lõi chỉ có thể thực hiện một hướng dẫn, nhưng một GPU có thể có hàng nghìn bộ xử lý luồng có thể thực hiện nhiều hướng dẫn và hoạt động đồng thời. Do đó, GPU thường phù hợp hơn CPU để thực hiện các nhiệm vụ tính toán song song, như học máy và học sâu, đòi hỏi các tính toán song song phức tạp;

Thiết kế Lập trình: Lập trình cho GPU tương đối phức tạp hơn so với CPU. Điều này đòi hỏi việc sử dụng các ngôn ngữ lập trình cụ thể (như CUDA hoặc OpenCL) và các kỹ thuật lập trình cụ thể để tận dụng khả năng tính toán song song của GPU. Ngược lại, lập trình CPU đơn giản hơn và có thể sử dụng các ngôn ngữ lập trình và công cụ đa năng.

Tầm quan trọng của Khả năng tính toán

Trong thời đại Cách mạng Công nghiệp, dầu là huyết mạch của thế giới và xâm nhập vào mọi ngành công nghiệp. Trong thời đại AI sắp tới, khả năng tính toán sẽ là “dầu số” của thế giới. Từ việc các công ty lớn đua nhau theo đuổi chip AI và cổ phiếu Nvidia vượt quá một nghìn tỷ đô la, đến lệnh cấm mới đây của Mỹ về các chip cao cấp từ Trung Quốc, bao gồm khả năng tính toán, kích thước chip, và thậm chí kế hoạch cấm đám mây GPU, tầm quan trọng của khả năng tính toán là rõ ràng. Khả năng tính toán sẽ là hàng hóa của thời đại tiếp theo.

Tổng quan về Trí tuệ Nhân tạo Tổng quát

Trí tuệ nhân tạo (AI) là một ngành khoa học kỹ thuật mới nghiên cứu, phát triển và áp dụng các lý thuyết, phương pháp, công nghệ để mô phỏng, mở rộng và mở rộng trí tuệ con người. Nó bắt nguồn từ những năm 1950 và 1960 và, sau hơn nửa thế kỷ tiến hóa, nó đã trải qua sự phát triển xen kẽ qua ba làn sóng: biểu tượng, kết nối và tiếp cận dựa trên đại lý. Ngày nay, với tư cách là một công nghệ tổng quát mới nổi, AI đang thúc đẩy những thay đổi sâu sắc trong cuộc sống xã hội và trên tất cả các ngành công nghiệp. Một định nghĩa cụ thể hơn về AI tạo ra hiện nay là: Trí tuệ Nhân tạo Tổng quát (AGI), một hệ thống trí tuệ nhân tạo với khả năng hiểu rộng lớn có thể thực hiện nhiệm vụ và hoạt động trong các lĩnh vực khác nhau với trí tuệ tương tự hoặc vượt qua trình độ của con người. AGI cơ bản cần ba yếu tố, học sâu (DL), dữ liệu lớn và khả năng tính toán đáng kể.

Học sâu

Deep learning là một phần của học máy (ML), và các thuật toán học sâu là mạng nơ-ron được mô phỏng theo não người. Ví dụ, não người chứa hàng triệu nơ-ron kết nối với nhau để học và xử lý thông tin. Tương tự, mạng nơ-ron học sâu (hoặc mạng nơ-ron nhân tạo) bao gồm nhiều lớp nơ-ron nhân tạo làm việc cùng nhau trong một máy tính. Những nơ-ron nhân tạo này, được gọi là node, sử dụng các phép tính toán toán học để xử lý dữ liệu. Mạng nơ-ron nhân tạo là các thuật toán học sâu sử dụng các node này để giải quyết các vấn đề phức tạp.

Mạng thần kinh có thể được chia thành lớp đầu vào, các lớp ẩn và lớp đầu ra. Các kết nối giữa những lớp khác nhau này được tạo thành từ các tham số.

Lớp Đầu vào: Lớp đầu vào là lớp đầu tiên của mạng thần kinh và chịu trách nhiệm nhận dữ liệu đầu vào từ bên ngoài. Mỗi tế bào thần kinh trong lớp đầu vào tương ứng với một đặc trưng của dữ liệu đầu vào. Ví dụ, trong xử lý hình ảnh, mỗi tế bào thần kinh có thể tương ứng với giá trị của một pixel trong hình ảnh.

Các Lớp Ẩn: Lớp đầu vào xử lý dữ liệu và chuyển tiếp cho các lớp sâu hơn trong mạng. Những lớp ẩn này xử lý thông tin ở các cấp độ khác nhau, điều chỉnh hành vi của chúng khi nhận thông tin mới. Các mạng học sâu có thể có hàng trăm lớp ẩn, cho phép họ phân tích vấn đề từ nhiều góc độ khác nhau. Ví dụ, nếu bạn được cho một bức ảnh về một loài động vật chưa biết cần phân loại, bạn có thể so sánh nó với những loài động vật bạn đã biết. Ví dụ, bạn có thể biết loài động vật đó là gì dựa trên hình dạng của tai, số chân và kích thước của đồng tử của nó. Các lớp ẩn trong các mạng nơ-ron sâu hoạt động theo cách tương tự. Nếu một thuật toán học sâu đang cố gắng phân loại một bức ảnh của một con vật, mỗi lớp ẩn sẽ xử lý các đặc điểm khác nhau của các loài vật và cố gắng phân loại chúng một cách chính xác.

Lớp đầu ra: Lớp đầu ra là lớp cuối cùng của mạng nơron và chịu trách nhiệm tạo ra đầu ra của mạng. Mỗi nơron trong lớp đầu ra đại diện cho một danh mục hoặc giá trị đầu ra có thể có. Ví dụ, trong một vấn đề phân loại, mỗi nơron trong lớp đầu ra có thể tương ứng với một danh mục, trong khi trong một vấn đề hồi quy, lớp đầu ra có thể chỉ có một nơron mà giá trị đại diện cho kết quả dự đoán;

Tham số: Trong mạng neural, các kết nối giữa các lớp khác nhau được biểu diễn bằng trọng số và sai số, được tối ưu hóa trong quá trình huấn luyện để cho phép mạng xác định chính xác các mẫu trong dữ liệu và đưa ra dự đoán. Sự tăng về tham số có thể cải thiện khả năng của mô hình mạng neural, tức là khả năng của mô hình để học và biểu diễn các mẫu phức tạp trong dữ liệu. Nhưng tương ứng, sự tăng về tham số cũng đồng nghĩa với việc tăng nhu cầu về khả năng tính toán.

Dữ liệu lớn

Để được đào tạo một cách hiệu quả, các mạng neural thường cần dữ liệu lớn, đa dạng và chất lượng cao từ nhiều nguồn khác nhau. Dữ liệu này là cơ sở cho việc huấn luyện và xác nhận mô hình học máy. Bằng cách phân tích dữ liệu lớn, các mô hình học máy có thể học các mẫu và mối quan hệ trong dữ liệu, từ đó cho phép chúng thực hiện dự đoán hoặc phân loại.

Khả năng tính toán lớn

Nhu cầu về sức mạnh tính toán đáng kể phát sinh từ một số khía cạnh của mạng thần kinh: cấu trúc nhiều lớp phức tạp, số lượng lớn tham số, nhu cầu xử lý lượng dữ liệu khổng lồ và phương pháp đào tạo lặp đi lặp lại (trong giai đoạn đào tạo, mô hình phải lặp đi lặp lại, thực hiện các tính toán lan truyền tiến và lùi cho từng lớp, bao gồm tính toán cho các chức năng kích hoạt, chức năng tổn thất, độ dốc và cập nhật trọng lượng), nend cho các tính toán có độ chính xác cao, khả năng tính toán song song, kỹ thuật tối ưu hóa và chính quy hóa, cũng như các quy trình đánh giá và xác minh mô hình. Khi deep learning tiến triển, yêu cầu về sức mạnh tính toán lớn cho AGI đang tăng khoảng 10 lần mỗi năm. Mô hình mới nhất cho đến nay, GPT-4, chứa 1,8 nghìn tỷ tham số, với chi phí đào tạo duy nhất hơn 60 triệu đô la và yêu cầu sức mạnh tính toán là 2,15e25 FLOPS (21,5 triệu tỷ phép toán dấu phẩy động). Nhu cầu về sức mạnh tính toán cho đào tạo mô hình trong tương lai vẫn đang mở rộng và các mô hình mới đang được phát triển với tốc độ ngày càng tăng.

Kinh tế Khả năng tính toán AI

Kích thước thị trường trong tương lai

Theo ước lượng uy tín nhất, “Báo cáo Đánh giá Chỉ số Sức mạnh Tính toán Toàn cầu 2022-2023” do Tập đoàn Dữ liệu Quốc tế (IDC), Thông tin Inspur và Viện Nghiên cứu Công nghiệp Toàn cầu của Đại học Tsinghua cùng biên soạn, kích thước thị trường tính toán trí tuệ AI toàn cầu dự kiến sẽ tăng từ 19,5 tỷ đô la vào năm 2022 lên 34,66 tỷ đô la vào năm 2026. Thị trường tính toán AI sáng tạo được dự báo sẽ tăng từ 820 triệu đô la vào năm 2022 lên 10,99 tỷ đô la vào năm 2026. Phần trăm thị trường tính toán AI sáng tạo trong tổng thị trường tính toán AI dự kiến sẽ tăng từ 4,2% lên 31,7%.

Độc quyền trong Nền kinh tế Khả năng tính toán

Việc sản xuất GPU AI đã bị NVIDIA độc quyền hoàn toàn và chúng rất đắt đỏ (phiên bản mới nhất H100 đã được bán với giá $40,000 mỗi đơn vị). Ngay khi GPU được phát hành, chúng được mua hết sạch bởi các gigantech công nghệ tại Silicon Valley. Một số thiết bị này được sử dụng để huấn luyện các mô hình mới của riêng họ. Phần còn lại được cho thuê cho các nhà phát triển AI thông qua các nền tảng đám mây, như những nền tảng thuộc sở hữu của Google, Amazon và Microsoft, các nền tảng này kiểm soát một lượng lớn tài nguyên tính toán như máy chủ, GPU và TPU. Khả năng tính toán đã trở thành một tài nguyên mới bị các gigantech này độc quyền. Nhiều nhà phát triển AI thậm chí không thể mua được GPU riêng mà không bị chênh lệch giá. Để sử dụng trang thiết bị mới nhất, nhà phát triển phải thuê máy chủ đám mây của AWS hoặc Microsoft. Báo cáo tài chính cho thấy rằng ngành này có lợi nhuận cực kỳ cao. Dịch vụ đám mây của AWS tự hào với biên lợi nhuận gộp là 61%, trong khi biên lợi nhuận gộp của Microsoft còn cao hơn, lên tới 72%.

Vậy chúng ta có phải chấp nhận quyền lực trung ương và kiểm soát này, và trả 72% lợi nhuận cho tài nguyên tính toán? Những người khổng lồ đã độc quyền Web2 cũng sẽ chiếm ưu thế trong thời đại tiếp theo sao?

Thách thức của Khả năng tính toán AGI Phi tập trung

Khi nói đến chống độc quyền, phân quyền thường được coi là giải pháp tối ưu. Nhìn vào các dự án hiện có, chúng ta có thể đạt được sức mạnh tính toán khổng lồ cần thiết cho trí tuệ nhân tạo thông qua các dự án lưu trữ DePIN kết hợp với các giao thức như RDNR để tận dụng GPU không hoạt động? Câu trả lời là không. Con đường đánh bại con rồng không phải là dễ dàng như vậy. Các dự án sớm không được thiết kế đặc biệt cho sức mạnh tính toán AGI và không khả thi. Mang sức mạnh tính toán lên blockchain đối mặt ít nhất với năm thách thức sau:

  1. Xác minh công việc: Để xây dựng một mạng tính toán không tin cậy thật sự cung cấp động lực kinh tế cho các thành viên, mạng phải có cách để xác minh xem các tính toán học sâu đã được thực sự thực hiện. Vấn đề cốt lõi ở đây là sự phụ thuộc vào trạng thái của các mô hình học sâu; trong những mô hình này, đầu vào cho mỗi lớp phụ thuộc vào đầu ra từ lớp trước đó. Điều này có nghĩa là bạn không thể chỉ xác minh một lớp duy nhất trong một mô hình mà không xem xét tất cả các lớp trước đó. Việc tính toán cho mỗi lớp dựa trên kết quả của tất cả các lớp trước đó. Do đó, để xác minh công việc hoàn thành tại một điểm cụ thể (như một lớp cụ thể), tất cả công việc từ đầu của mô hình đến điểm cụ thể đó phải được thực hiện;

  2. Thị trường: Là một thị trường mới nổi, thị trường điện toán AI phải chịu những tình huống khó xử về cung và cầu, chẳng hạn như vấn đề khởi động lạnh. Thanh khoản cung và cầu cần được khớp gần như ngay từ đầu để thị trường có thể tăng trưởng thành công. Để nắm bắt được nguồn cung cấp tiềm năng của sức mạnh tính toán, người tham gia phải được cung cấp các ưu đãi rõ ràng để đổi lấy tài nguyên máy tính của họ. Thị trường cần một cơ chế để theo dõi các tính toán đã hoàn thành và thanh toán cho các nhà cung cấp phù hợp một cách kịp thời. Trong các thị trường truyền thống, các trung gian xử lý các nhiệm vụ như quản lý và giới thiệu, đồng thời giảm chi phí hoạt động bằng cách đặt ngưỡng thanh toán tối thiểu. Tuy nhiên, cách tiếp cận này rất tốn kém khi mở rộng quy mô thị trường. Chỉ một phần nhỏ nguồn cung có thể nắm bắt được về mặt kinh tế, dẫn đến trạng thái cân bằng ngưỡng, trong đó thị trường chỉ có thể nắm bắt và duy trì nguồn cung hạn chế mà không thể tăng trưởng thêm;

  3. Vấn đề dừng: Vấn đề dừng là một vấn đề cơ bản trong lý thuyết tính toán, liên quan đến việc xác định liệu một nhiệm vụ tính toán cụ thể sẽ hoàn thành trong một khoảng thời gian hữu hạn hay chạy vô tận. Vấn đề này là vấn đề không thể giải quyết, có nghĩa là không có thuật toán chung nào có thể dự đoán liệu bất kỳ tính toán cụ thể nào sẽ dừng lại trong một khoảng thời gian hữu hạn. Ví dụ, việc thực thi hợp đồng thông minh trên Ethereum cũng đối mặt với một vấn đề dừng tương tự. Không thể xác định trước được bao nhiêu tài nguyên tính toán thực thi của một hợp đồng thông minh sẽ cần, hoặc liệu nó sẽ hoàn thành trong thời gian hợp lý hay không.

(Trong ngữ cảnh của học sâu, vấn đề này sẽ phức tạp hơn khi các mô hình và khung công cụ sẽ chuyển từ việc xây dựng đồ thị tĩnh sang việc xây dựng và thực thi động.)

  1. Quyền riêng tư: Việc thiết kế và phát triển với ý thức về quyền riêng tư là bắt buộc đối với các nhóm dự án. Mặc dù một lượng lớn nghiên cứu học máy có thể được tiến hành trên các bộ dữ liệu công khai, nhưng để cải thiện hiệu suất của mô hình và thích nghi với các ứng dụng cụ thể, mô hình thường cần được điều chỉnh tinh chỉnh trên dữ liệu người dùng độc quyền. Quá trình điều chỉnh này có thể liên quan đến việc xử lý dữ liệu cá nhân, vì vậy yêu cầu bảo vệ quyền riêng tư cần được xem xét.

  2. Song song hóa: Đây là một yếu tố quan trọng dẫn đến sự không khả thi của các dự án hiện tại. Các mô hình học sâu thường được đào tạo song song trên các cụm phần cứng lớn với kiến trúc độc quyền và độ trễ cực thấp, và GPU trong các mạng tính toán phân tán sẽ gây ra độ trễ do việc trao đổi dữ liệu thường xuyên và sẽ bị hạn chế bởi hiệu suất của GPU chậm nhất. Khi các nguồn tính toán không đáng tin cậy và không tin cậy, cách thức để đạt được song song hóa không đồng nhất là một vấn đề cần phải giải quyết. Phương pháp khả thi hiện tại để đạt được song song hóa là thông qua các mô hình biến áp, chẳng hạn như Switch Transformers, hiện có các đặc điểm được song song hóa mạnh mẽ.

Các giải pháp: Mặc dù các nỗ lực hiện tại trong việc xây dựng một thị trường sức mạnh tính toán AGI phi tập trung vẫn đang ở giai đoạn đầu, có hai dự án đã giải quyết ban đầu vấn đề thiết kế đồng thuận của các mạng phi tập trung và triển khai các mạng sức mạnh tính toán phi tập trung trong việc huấn luyện mô hình và suy luận phi tập trung. Dưới đây sẽ sử dụng Gensyn và Together như các ví dụ để phân tích các phương pháp thiết kế và vấn đề của thị trường sức mạnh tính toán AGI phi tập trung.

Gensyn

Gensyn là một thị trường sức mạnh tính toán AGI đang ở giai đoạn xây dựng, nhằm giải quyết những thách thức khác nhau của tính toán học sâu phi tập trung và giảm chi phí liên quan đến tính toán học sâu hiện tại. Gensyn về cơ bản là một giao thức cổ phần lớp đầu tiên dựa trên mạng Polkadot, trực tiếp thưởng cho người giải quyết (những người giải quyết các nhiệm vụ tính toán) thông qua hợp đồng thông minh trao đổi cho các thiết bị GPU không hoạt động của họ để tính toán và thực hiện các nhiệm vụ học máy.

Quay trở lại câu hỏi trước, cốt lõi của việc xây dựng mạng máy tính không cần tin cậy thật sự nằm ở việc xác minh công việc học máy đã hoàn thành. Đây là một vấn đề rất phức tạp đòi hỏi tìm ra sự cân bằng giữa sự giao lưu của lý thuyết phức tạp, lý thuyết trò chơi, mật mã và tối ưu hóa.

Gensyn đề xuất một giải pháp đơn giản trong đó người giải gửi kết quả của các tác vụ học máy mà họ đã hoàn thành. Để xác minh rằng những kết quả này là chính xác, một người xác minh độc lập khác cố gắng thực hiện lại cùng một công việc. Cách tiếp cận này có thể được gọi là sao chép đơn vì chỉ có một trình xác minh sẽ thực hiện lại tác vụ. Điều này có nghĩa là chỉ có một tác phẩm bổ sung để xác minh tính chính xác của tác phẩm gốc. Tuy nhiên, nếu người xác minh tác phẩm không phải là người yêu cầu ban đầu, thì vấn đề ủy thác vẫn tồn tại. Bản thân người xác minh có thể không trung thực và công việc của họ cần được xác minh. Điều này dẫn đến một vấn đề tiềm ẩn trong đó nếu người xác minh tác phẩm không phải là người yêu cầu ban đầu, thì sẽ cần một người xác minh khác để xác minh công việc của họ. Nhưng trình xác minh mới này cũng có thể không đáng tin cậy, vì vậy cần có một trình xác minh khác để xác minh công việc của họ, có thể tiếp tục mãi mãi, tạo ra một chuỗi sao chép vô hạn. Ở đây chúng ta cần giới thiệu ba khái niệm chính và đan xen chúng để xây dựng một hệ thống người tham gia với bốn vai trò để giải quyết vấn đề chuỗi vô hạn.

Chứng minh học xác suất: Xây dựng chứng chỉ của công việc đã hoàn thành bằng cách sử dụng siêu dữ liệu từ quá trình tối ưu hóa dựa trên độ dốc. Bằng cách sao chép các giai đoạn cụ thể, những chứng chỉ này có thể được xác minh nhanh chóng để đảm bảo rằng công việc đã được hoàn thành như mong đợi.

Giao thức định vị chính xác dựa trên đồ thị: Sử dụng giao thức định vị chính xác dựa trên đồ thị với đa độ tinh tế và thực thi nhất quán của các bộ đánh giá chéo. Điều này cho phép chạy lại và so sánh công việc xác minh để đảm bảo tính nhất quán, điều này cuối cùng được xác nhận bởi blockchain chính nó.

Trò chơi động lực theo phong cách Truebit: Sử dụng cược và cắt giảm để xây dựng một trò chơi động lực để đảm bảo rằng mọi người tham gia có khả năng kinh tế hợp lý sẽ hành động trung thực và thực hiện nhiệm vụ được mong đợi của họ.

Hệ thống người tham gia bao gồm người gửi, người giải quyết, người xác minh và người tố cáo.

Người gửi:

Người gửi là người dùng cuối cùng của hệ thống cung cấp các nhiệm vụ cần tính toán và thanh toán cho các đơn vị công việc đã hoàn thành;

Solvers:

Solvers are the primary workers of the system, performing model training and generating proofs that are checked by the verifier;

Người xác minh:

Verifiers are key to linking the non-deterministic training process with deterministic linear computations, replicating parts of the solver’s proof and comparing distances with expected thresholds;

Người tiết lộ thông tin:

Người tố giác là đường chính cuối cùng, kiểm tra công việc của người xác minh và đưa ra thách thức với hy vọng nhận được thanh toán khoản thưởng hậu hĩnh.

Hoạt động hệ thống

Hệ thống trò chơi được thiết kế bởi giao thức hoạt động thông qua tám giai đoạn, bao gồm bốn vai trò chính của người tham gia, để hoàn thành toàn bộ quy trình từ việc nộp nhiệm vụ đến xác minh cuối cùng.

Gửi Nhiệm vụ: Nhiệm vụ bao gồm ba phần thông tin cụ thể:

Dữ liệu mô tả công việc và siêu tham số;

Một tệp nhị phân mô hình (hoặc kiến trúc cơ bản);

Dữ liệu huấn luyện được xử lý trước công khai, có thể truy cập được.

Để nộp một nhiệm vụ, người nộp chỉ định các chi tiết của nhiệm vụ dưới dạng có thể đọc được bằng máy và nộp nó lên chuỗi cùng với tệp nhị phân mô hình (hoặc kiến trúc có thể đọc được bằng máy) và một vị trí có thể truy cập công khai của dữ liệu huấn luyện đã được tiền xử lý. Dữ liệu công cộng có thể được lưu trữ trong bộ nhớ đối tượng đơn giản như S3 của AWS hoặc trong bộ nhớ phân cấp như IPFS, Arweave hoặc Subspace.

Xác định hồ sơ: Quá trình xác định hồ sơ thiết lập ngưỡng khoảng cách cơ sở cho việc xác minh bằng chứng học tập. Người xác minh sẽ định kỳ lấy các nhiệm vụ xác định hồ sơ và tạo ngưỡng biến động để so sánh chứng minh học tập. Để tạo ra ngưỡng, người xác minh sẽ chạy và chạy lại một cách xác định các phần của quá trình đào tạo bằng các hạt ngẫu nhiên khác nhau, tạo ra và kiểm tra chứng minh của họ. Trong quá trình này, người xác minh xác định một ngưỡng khoảng cách dự kiến tổng thể cho công việc phi xác định của giải pháp mà có thể được sử dụng cho việc xác minh.

Đào tạo: Sau khi lập hồ sơ, các nhiệm vụ nhập vào hồ bơi nhiệm vụ công cộng (tương tự như Mempool của Ethereum). Chọn một trình giải để thực hiện nhiệm vụ và loại bỏ nhiệm vụ khỏi hồ bơi nhiệm vụ. Các trình giải thực hiện nhiệm vụ dựa trên siêu dữ liệu được gửi bởi người gửi và mô hình và dữ liệu đào tạo đã cung cấp. Khi thực hiện các nhiệm vụ đào tạo, các trình giải cũng tạo ra bằng chứng học bằng cách kiểm tra định kỳ điểm và lưu trữ siêu dữ liệu (bao gồm tham số) trong quá trình đào tạo, để mà người xác minh có thể tái tạo các bước tối ưu hóa sau một cách chính xác nhất có thể.

Tạo chứng minh: Solver định kỳ lưu trữ trọng số hoặc cập nhật mô hình và chỉ số tương ứng của bộ dữ liệu huấn luyện để xác định các mẫu được sử dụng để tạo ra cập nhật trọng số. Tần suất kiểm tra có thể được điều chỉnh để cung cấp các cam kết mạnh hơn hoặc để tiết kiệm không gian lưu trữ. Chứng minh có thể được “xếp chồng”, có nghĩa là chúng có thể bắt đầu từ một phân phối ngẫu nhiên được sử dụng để khởi tạo trọng số, hoặc từ trọng số được huấn luyện trước được tạo ra bằng cách sử dụng chứng minh của chính họ. Điều này cho phép giao thức xây dựng một bộ mô hình cơ sở đã được chứng minh, có thể được điều chỉnh cho các nhiệm vụ cụ thể hơn.

Xác minh bằng chứng: Sau khi nhiệm vụ hoàn thành, những người giải quyết đăng ký hoàn thành nhiệm vụ trên chuỗi và hiển thị bằng chứng học tập của họ tại một vị trí có thể truy cập công khai để người xác minh truy cập. Người xác minh kéo các nhiệm vụ xác minh từ hồ bơi nhiệm vụ công cộng và thực hiện công việc tính toán để chạy lại một phần của bằng chứng và thực hiện tính toán khoảng cách. Sau đó, chuỗi cùng với ngưỡng tính toán trong giai đoạn làm việc, sử dụng khoảng cách kết quả để xác định xem việc xác minh có khớp với bằng chứng hay không.

Thử thách xác định dựa trên đồ thị: Sau khi xác minh bằng chứng học tập, người tố cáo có thể sao chép công việc của người xác minh để kiểm tra xem công việc xác minh có được thực hiện chính xác hay không. Nếu người tố cáo tin rằng việc xác minh đã được thực hiện không chính xác (ác ý hay không), họ có thể thách thức nó để ký hợp đồng trọng tài để nhận phần thưởng. Phần thưởng này có thể đến từ tiền gửi của người giải và người xác thực (trong trường hợp dương tính thật) hoặc từ tiền thưởng nhóm xổ số (trong trường hợp dương tính giả), với trọng tài được thực hiện bằng cách sử dụng chính chuỗi. Người tố cáo (đóng vai trò là người xác minh trong trường hợp của họ) sẽ chỉ xác minh và sau đó thách thức công việc chỉ khi họ mong muốn nhận được khoản bồi thường thích hợp. Trong thực tế, điều này có nghĩa là những người tố cáo dự kiến sẽ tham gia và rời khỏi mạng dựa trên số lượng người tố giác đang hoạt động khác (tức là với tiền gửi và thách thức trực tiếp). Do đó, chiến lược mặc định dự kiến cho bất kỳ người tố giác nào là tham gia mạng khi có ít người tố giác khác, gửi tiền gửi, chọn ngẫu nhiên một nhiệm vụ đang hoạt động và bắt đầu quá trình xác minh của họ. Sau một nhiệm vụ, họ sẽ lấy một nhiệm vụ hoạt động ngẫu nhiên khác và lặp lại cho đến khi số lượng người tố giác vượt quá ngưỡng thanh toán đã xác định của họ, tại thời điểm đó họ sẽ rời khỏi mạng (hoặc nhiều khả năng, chuyển sang vai trò khác trong mạng - người xác minh hoặc người giải quyết - dựa trên khả năng phần cứng của họ) cho đến khi tình hình đảo ngược trở lại.

Trọng tài hợp đồng: Khi các máy xác minh bị người tiết lộ thông tin tố giác đề nghị thách thức, họ tham gia vào một quy trình với chuỗi để tìm ra vị trí của hoạt động hoặc đầu vào bị tranh chấp, và cuối cùng chuỗi sẽ thực hiện hoạt động cơ bản cuối cùng và xác định xem thách thức có được chứng minh đúng hay không. Để giữ cho người tiết lộ thông tin trung thực và để vượt qua thách thức của máy xác minh, ở đây đã được giới thiệu các lỗi bắt buộc định kỳ và các khoản thanh toán jackpot.

Quyết toán: Trong quá trình quyết toán, các bên tham gia được thanh toán dựa trên kết luận của các kiểm tra xác suất và xác định. Có các kịch bản thanh toán khác nhau phát sinh tùy thuộc vào kết quả của các kiểm tra và thách thức trước đó. Nếu công việc được xem là đã được thực hiện đúng và tất cả các kiểm tra đã được thông qua, cả người cung cấp giải pháp và người xác minh đều được thưởng dựa trên các hoạt động đã thực hiện.

Đánh giá nhanh dự án

Gensyn đã thiết kế một hệ thống lý thuyết trò chơi phức tạp trên lớp xác minh và lớp khuyến khích, cho phép xác định và sửa lỗi nhanh chóng bằng cách xác định sự phân kỳ trong mạng lưới. Tuy nhiên, vẫn còn nhiều chi tiết thiếu sót trong hệ thống hiện tại. Ví dụ, làm thế nào để thiết lập các thông số để đảm bảo rằng phần thưởng và phạt là hợp lý mà không đặt ngưỡng quá cao? Bạn đã xem xét các tình huống cực đoan và sự khác biệt về khả năng tính toán của người giải quyết trong các khía cạnh lý thuyết trò chơi chưa? Hiện tại không có mô tả chi tiết về thực thi song song không đồng nhất trong phiên bản hiện tại của bản whitepaper. Gensyn vẫn còn một chặng đường dài phía trước.

Together.ai

Together.ai là một công ty tập trung vào các giải pháp tính toán trí tuệ nhân tạo phân tán mã nguồn mở cho các mô hình lớn. Mục tiêu của họ là để bất kỳ ai cũng có thể truy cập trí tuệ nhân tạo ở bất kỳ đâu. Nói một cách chính xác, Together không phải là dự án blockchain, nhưng họ đã giải quyết sơ bộ vấn đề độ trễ trong các mạng tính toán trí tuệ nhân tạo phân tán. Do đó, bài viết dưới đây chỉ phân tích các giải pháp của Together và không đánh giá chính dự án.

Làm thế nào để đạt được việc huấn luyện và suy luận của các mô hình lớn khi mạng phân tán chậm hơn trung tâm dữ liệu 100 lần?

Hãy tưởng tượng sự phân phối của các GPU tham gia mạng phân cấp. Các thiết bị này sẽ được phân bố trên các lục địa và thành phố khác nhau, mỗi thiết bị cần kết nối với các độ trễ và băng thông khác nhau. Như được thể hiện trong hình dưới đây, một kịch bản phân tán mô phỏng cho thấy các thiết bị đặt tại Bắc Mỹ, Châu Âu và Châu Á, với các băng thông và độ trễ khác nhau giữa chúng. Cần phải làm gì để kết nối chúng một cách hiệu quả?

Mô hình tính toán đào tạo phân tán: Biểu đồ dưới đây cho thấy tình hình đào tạo một mô hình cơ sở trên nhiều thiết bị, với ba loại giao tiếp: Kích hoạt tiến, Độ dốc ngược và Giao tiếp bên cạnh.

Kết hợp băng thông truyền thông và độ trễ, cần xem xét hai hình thức song song: song song đường ống và song song dữ liệu, tương ứng với ba loại truyền thông trong kịch bản đa thiết bị:

Trong song song đường ống, tất cả các lớp của mô hình được chia thành nhiều giai đoạn, trong đó mỗi thiết bị xử lý một giai đoạn, đó là một chuỗi các lớp liên tiếp, chẳng hạn như nhiều khối Transformer. Trong quá trình lan truyền xuôi, các kích hoạt được truyền cho giai đoạn tiếp theo, và trong quá trình lan truyền ngược, độ dốc của các kích hoạt được truyền lại cho giai đoạn trước đó.

Trong song song dữ liệu, thiết bị tính toán độ dốc độc lập cho các micro-batch khác nhau nhưng cần đồng bộ hóa các độ dốc này thông qua giao tiếp.

Tối ưu lịch trình:

Trong môi trường phi tập trung, quá trình đào tạo thường bị ràng buộc bởi giao tiếp. Thuật toán lập lịch thường gán các nhiệm vụ đòi hỏi giao tiếp mở rộng cho thiết bị có kết nối nhanh hơn. Xét đến sự phụ thuộc giữa các nhiệm vụ và sự đa dạng của mạng, đầu tiên cần phải mô hình hóa chi phí của các chiến lược lập lịch cụ thể. Để nắm bắt chi phí giao tiếp phức tạp của các mô hình cơ sở đào tạo, Together đề xuất một công thức mới và phân rã mô hình chi phí thành hai cấp độ sử dụng lý thuyết đồ thị:

Lý thuyết đồ thị là một nhánh của toán học nghiên cứu về các tính chất và cấu trúc của đồ thị (mạng). Một đồ thị bao gồm các đỉnh (nút) và cạnh (đường nối các nút). Mục đích chính của lý thuyết đồ thị là nghiên cứu các tính chất khác nhau của đồ thị, như tính kết nối, màu sắc và tính chất của các đường đi và chu trình trong đồ thị.

Cấp độ đầu tiên là một vấn đề phân chia đồ thị cân bằng (chia tập đỉnh của một đồ thị thành một số tập con có kích thước bằng nhau hoặc gần bằng nhau trong khi giảm thiểu số cạnh giữa các tập). Trong quá trình phân chia này, mỗi tập con đại diện cho một phân vùng, và chi phí giao tiếp được giảm bằng cách tối thiểu hóa số cạnh giữa các phân vùng, tương ứng với chi phí giao tiếp của đa dạng dữ liệu.

Cấp độ thứ hai liên quan đến việc kết hợp việc khớp đồ thị và vấn đề người bán hàng du lịch (một vấn đề tối ưu hóa tổ hợp kết hợp các yếu tố của việc khớp đồ thị và vấn đề người bán hàng du lịch). Vấn đề khớp đồ thị liên quan đến việc tìm một kết hợp trong đồ thị mà giảm thiểu hoặc tối đa hóa một số chi phí nào đó. Vấn đề người bán hàng du lịch tìm kiếm con đường ngắn nhất đi qua tất cả các nút trong đồ thị, tương ứng với các chi phí liên lạc của song song ống dẫn.

Biểu đồ trên là một sơ đồ của quy trình. Do các phép tính phức tạp được thực hiện trong việc triển khai thực tế, quy trình mô tả trong biểu đồ được đơn giản hóa để dễ hiểu hơn. Để biết thông tin triển khai chi tiết, bạn có thể tham khảo tài liệu trên trang web chính thức của Together.

Giả sử có một tập hợp NN thiết bị, DD, với độ trễ trong giao tiếp không chắc chắn (ma trận AA) và băng thông (ma trận BB), dựa trên tập hợp thiết bị DD, chúng tôi đầu tiên tạo ra một phân vùng đồ thị cân bằng. Mỗi phân vùng hoặc nhóm thiết bị chứa khoảng một số lượng thiết bị tương đương, và tất cả chúng đều xử lý cùng một giai đoạn ống dẫn. Điều này đảm bảo rằng trong song song dữ liệu, mỗi nhóm thiết bị thực hiện một lượng công việc tương tự. Dựa trên độ trễ giao tiếp và băng thông, một công thức có thể tính toán “chi phí” của việc truyền dữ liệu giữa các nhóm thiết bị. Mỗi nhóm cân bằng được hợp nhất để tạo ra một đồ thị thô hoàn toàn kết nối, trong đó mỗi nút đại diện cho một giai đoạn ống dẫn, và các cạnh đại diện cho chi phí giao tiếp giữa hai giai đoạn. Để giảm thiểu chi phí giao tiếp, một thuật toán gắn kết được sử dụng để xác định nhóm thiết bị nào nên làm việc cùng nhau.

Để tối ưu hóa hơn, vấn đề này cũng có thể được mô hình hóa như một vấn đề người bán hàng du lịch mở (open-loop có nghĩa là không cần quay trở lại điểm xuất phát của con đường) để tìm đường đi tối ưu để truyền dữ liệu qua tất cả thiết bị. Cuối cùng, Together sử dụng một thuật toán lập lịch sáng tạo để tìm chiến lược phân bổ tối ưu cho mô hình chi phí đã cho, từ đó giảm thiểu chi phí giao tiếp và tối đa hóa lưu lượng đào tạo. Theo các bài kiểm tra, ngay cả khi mạng chậm 100 lần dưới sự tối ưu hóa lập lịch này, lưu lượng đào tạo từ đầu đến cuối chỉ chậm khoảng 1,7 đến 2,3 lần.

Tối Ưu Nén Truyền Thông:

Để tối ưu hóa việc nén giao tiếp, Together đã giới thiệu thuật toán AQ-SGD (để biết quy trình tính toán chi tiết, vui lòng tham khảo bài viết "Mô hình ngôn ngữ tinh chỉnh trên mạng chậm bằng cách sử dụng nén kích hoạt với đảm bảo"). Thuật toán AQ-SGD là một kỹ thuật nén kích hoạt mới được thiết kế để giải quyết các vấn đề hiệu quả truyền thông trong quá trình đào tạo song song đường ống qua các mạng chậm. Khác với các phương pháp nén trực tiếp giá trị kích hoạt trước đây, AQ-SGD tập trung vào việc nén các thay đổi về giá trị kích hoạt của cùng một mẫu đào tạo trong các giai đoạn khác nhau. Phương pháp độc đáo này giới thiệu một động lực "tự thực hiện" thú vị, trong đó hiệu suất của thuật toán dự kiến sẽ dần dần cải thiện khi đào tạo ổn định. Thuật toán AQ-SGD đã được phân tích chặt chẽ về mặt lý thuyết và được chứng minh là có tốc độ hội tụ tốt trong các điều kiện kỹ thuật nhất định và các chức năng lượng tử hóa lỗi bị ràng buộc. Thuật toán có thể được triển khai hiệu quả mà không cần thêm chi phí thời gian chạy end-to-end bổ sung, mặc dù nó yêu cầu sử dụng nhiều bộ nhớ và SSD hơn để lưu trữ các giá trị kích hoạt. Thông qua các thí nghiệm mở rộng về phân loại trình tự và bộ dữ liệu mô hình hóa ngôn ngữ, AQ-SGD đã được chứng minh là nén các giá trị kích hoạt xuống 2-4 bit mà không làm giảm hiệu suất hội tụ. Hơn nữa, AQ-SGD có thể được tích hợp với các thuật toán nén gradient hiện đại để đạt được "nén giao tiếp đầu cuối", có nghĩa là trao đổi dữ liệu giữa tất cả các máy, bao gồm gradient mô hình, giá trị kích hoạt chuyển tiếp và gradient ngược, được nén đến độ chính xác thấp, do đó cải thiện đáng kể hiệu quả truyền thông của đào tạo phân tán. So với hiệu suất đào tạo đầu cuối trong mạng máy tính tập trung (chẳng hạn như 10 Gbps) mà không nén, hiện tại nó chỉ chậm hơn 31%. Kết hợp với dữ liệu về tối ưu hóa lịch trình, mặc dù vẫn còn một khoảng cách nhất định giữa các mạng máy tính tập trung, nhưng có hy vọng lớn để bắt kịp trong tương lai.

Kết luận

Trong giai đoạn cổ tức mang lại bởi làn sóng trí tuệ nhân tạo, thị trường khả năng tính toán AGI không thể chối từ là thị trường có tiềm năng lớn nhất và nhu cầu lớn nhất giữa các thị trường khả năng tính toán khác. Tuy nhiên, khó khăn phát triển cao nhất, yêu cầu phần cứng và vốn đầu tư đang mang lại thách thức cho ngành công nghiệp này. Kết hợp hai dự án được giới thiệu ở trên, chúng ta vẫn còn một thời gian trước khi thị trường khả năng tính toán AGI được khởi đầu. Mạng lưới phi tập trung thực sự cũng phức tạp hơn nhiều so với kịch bản lý tưởng. Hiện tại chưa đủ để cạnh tranh với các ông lớn đám mây.

Tại thời điểm viết, tôi cũng quan sát thấy rằng một số dự án quy mô nhỏ vẫn còn trong giai đoạn ban đầu (giai đoạn PPT) đã bắt đầu khám phá một số điểm nhập mới, chẳng hạn như tập trung vào giai đoạn suy luận AGI ít thách thức hơn thay vì giai đoạn đào tạo. Tuy nhiên, trong dài hạn, ý nghĩa của phân cấp và các hệ thống không cần quyền năng là sâu sắc. Quyền truy cập và đào tạo khả năng tính toán AGI không nên tập trung trong tay của một số ông trùm tập trung. Nhân loại không cần một “thần thánh mới” hay một “giáo hoàng” mới, cũng không nên phải trả các phí thành viên đắt đỏ.

Tuyên bố:

  1. Bài viết này được sao chép từ [YBB Capital]. Tất cả bản quyền thuộc về tác giả gốc [Zeke]. Nếu có bất kỳ ý kiến ​​phản đối nào về việc tái in này, vui lòng liên hệ với Cổng Họcđội, và họ sẽ xử lý nó ngay lập tức.
  2. Bảo Miễn Trách Nhiệm: Quan điểm và ý kiến được thể hiện trong bài viết này chỉ là của tác giả và không cấu thành bất kỳ lời khuyên đầu tư nào.
  3. Các bản dịch của bài viết sang các ngôn ngữ khác được thực hiện bởi nhóm Gate Learn. Trừ khi được đề cập, việc sao chép, phân phối hoặc đạo văn các bài viết dịch là cấm.

Triển vọng của một tuyến đường hứa hẹn: Thị trường Khả năng tính toán phi tập trung (Phần 1)

Nâng cao1/4/2024, 6:39:54 PM
Bài viết này khám phá tiềm năng và thách thức của thị trường khả năng tính toán phi tập trung, nhấn mạnh những khó khăn mà nó đối diện và giới thiệu hai dự án điển hình - Gensyn và Together.AI.

Lời nói đầu

Kể từ khi GPT-3 ra đời, AI đã mở ra một bước ngoặt bùng nổ trong lĩnh vực trí tuệ nhân tạo với hiệu suất đáng kinh ngạc và các kịch bản ứng dụng rộng rãi. Điều này đã dẫn đến việc những gã khổng lồ công nghệ đổ xô vào đường đua AI. Tuy nhiên, sự gia tăng này đã mang đến nhiều vấn đề. Các hoạt động đào tạo và suy luận của các mô hình ngôn ngữ lớn (LLM) đòi hỏi nhiều sức mạnh tính toán. Với việc nâng cấp lặp đi lặp lại của các mô hình này, nhu cầu và chi phí cho sức mạnh tính toán đang tăng theo cấp số nhân. Lấy GPT-2 và GPT-3 làm ví dụ, sự khác biệt về số lượng thông số giữa GPT-2 và GPT-3 là 1166 lần (GPT-2 có 150 triệu tham số trong khi GPT-3 có 175 tỷ). Chi phí cho một buổi đào tạo GPT-3 được tính toán dựa trên các mô hình định giá của các đám mây GPU công cộng vào thời điểm đó, lên tới 12 triệu đô la. Con số này gấp 200 lần GPT-2. Trong sử dụng thực tế, mọi truy vấn của người dùng đều yêu cầu tính toán suy luận. Dựa trên 13 triệu người dùng độc lập vào đầu năm nay, nhu cầu tương ứng về chip sẽ là hơn 30.000 GPU A100. Chi phí đầu tư ban đầu sau đó sẽ là 800 triệu đô la đáng kinh ngạc, với chi phí suy luận mô hình hàng ngày ước tính là 700.000 đô la.

Khả năng tính toán không đủ và chi phí cao đã trở thành những thách thức nghiêm trọng mà toàn bộ ngành công nghiệp trí tuệ nhân tạo đang phải đối mặt. Đáng chú ý, một vấn đề tương tự dường như đang đối diện với ngành công nghiệp blockchain. Một mặt, sự kiện halving Bitcoin lần thứ tư và việc phê duyệt ETFs sẽ sớm diễn ra. Khi giá cả tương lai tăng lên, nhu cầu của các máy đào về phần cứng tính toán sẽ tăng đáng kể. Mặt khác, công nghệ Zero-Knowledge Proof (ZKP) đang phát triển mạnh mẽ, và Vitalik đã nhấn mạnh nhiều lần rằng tác động của ZK đối với lĩnh vực blockchain trong 10 năm tới sẽ quan trọng không kém so với blockchain chính nó. Mặc dù công nghệ này hứa hẹn cho tương lai của ngành công nghiệp blockchain, ZK cũng tiêu tốn rất nhiều khả năng tính toán và thời gian trong việc tạo ra bằng chứng do quá trình tính toán phức tạp của nó, giống như trí tuệ nhân tạo.

Trong tương lai gần, sự thiếu hụt khả năng tính toán sẽ trở nên không thể tránh khỏi. Vậy, thị trường khả năng tính toán phi tập trung có phải là một cơ hội kinh doanh sinh lời?

Định nghĩa Thị trường Khả năng tính toán phi tập trung

Thị trường khả năng tính toán phi tập trung thực sự tương đương với theo dõi điện toán đám mây phi tập trung, nhưng tôi cá nhân cho rằng thuật ngữ này phù hợp hơn để mô tả các dự án mới sẽ được thảo luận sau này. Thị trường khả năng tính toán phi tập trung nên được coi là một phần của DePIN (Mạng lưới Cơ sở Hạ tầng Vật lý Phi tập trung), mục tiêu của nó là tạo ra một thị trường khả năng tính toán mở, nơi mà bất kỳ ai có tài nguyên khả năng tính toán không sử dụng có thể cung cấp tài nguyên của họ được khuyến khích bằng token, chủ yếu phục vụ cho khách hàng B2B và cộng đồng phát triển viên. Về các dự án quen thuộc hơn, các mạng lưới như Mạng Render, dựa trên các giải pháp kết xuất GPU phi tập trung, và Mạng Akash, một thị trường phân tán ngang hàng cho điện toán đám mây, đều thuộc về theo dõi này.

Văn bản sau đây sẽ bắt đầu với các khái niệm cơ bản và sau đó thảo luận về ba thị trường mới nổi theo dõi này: thị trường điện toán AGI, thị trường điện toán Bitcoin và thị trường điện toán AGI trong thị trường tăng tốc phần cứng ZK. Hai phần sau sẽ được thảo luận trong "Triển vọng của một đường đua đầy hứa hẹn: Thị trường điện toán phi tập trung (Phần 2)".

Khả năng tính toán Tổng quan

Khái niệm về khả năng tính toán có thể được truy nguồn từ việc phát minh ra máy tính. Máy tính ban đầu sử dụng các thiết bị cơ khí để hoàn thành các nhiệm vụ tính toán, và khả năng tính toán đề cập đến khả năng tính toán của thiết bị cơ khí. Với sự phát triển của công nghệ máy tính, khái niệm về khả năng tính toán cũng đã tiến triển. Khả năng tính toán ngày nay thường đề cập đến công việc cộng tác của phần cứng máy tính (CPU, GPU, FPGA, vv.) và phần mềm (hệ điều hành, trình biên dịch, ứng dụng, vv.).

Định nghĩa

Khả năng tính toán đề cập đến lượng dữ liệu mà một máy tính hoặc thiết bị tính toán khác có thể xử lý trong một khoảng thời gian nhất định hoặc số lượng nhiệm vụ tính toán mà nó có thể hoàn thành. Khả năng tính toán thường được sử dụng để mô tả hiệu suất của một máy tính hoặc các thiết bị tính toán khác. Đó là một đại lượng quan trọng của khả năng xử lý của một thiết bị tính toán.

Chỉ số

Khả năng tính toán có thể được đo bằng nhiều cách khác nhau, như tốc độ tính toán, tiêu thụ năng lượng, độ chính xác tính toán và song song. Trong lĩnh vực tính toán, các chỉ số về khả năng tính toán thường được sử dụng bao gồm FLOPS (phép tính dấu chấm động mỗi giây), IPS (hướng dẫn mỗi giây), TPS (giao dịch mỗi giây), v.v.

FLOPS đo khả năng xử lý các phép toán dấu chấm động của máy tính (các phép toán toán học với dấu thập phân đòi hỏi sự cân nhắc về vấn đề độ chính xác và lỗi làm tròn). Nó đo lường số lượng phép toán dấu chấm động mà máy tính có thể hoàn thành mỗi giây. FLOPS là một chỉ số đo khả năng tính toán cao của máy tính và thường được sử dụng để đo lường khả năng tính toán của siêu máy tính, máy chủ tính toán hiệu suất cao, đơn vị xử lý đồ họa (GPU), v.v. Ví dụ, nếu hệ thống máy tính có 1 TFLOPS (một nghìn tỷ phép toán dấu chấm động mỗi giây), điều đó có nghĩa là nó có thể hoàn thành 1 nghìn tỷ phép toán dấu chấm động mỗi giây.

IPS đo tốc độ mà máy tính xử lý các hướng dẫn. Đó là một đơn vị đo lường cho biết máy tính có thể thực thi bao nhiêu hướng dẫn mỗi giây và là một đơn vị đo lường hiệu suất thực thi một hướng dẫn duy nhất của máy tính, thường được sử dụng để đo hiệu suất của bộ xử lý trung tâm (CPU). Ví dụ, một CPU có IPS là 3 GHz (3 tỷ hướng dẫn mỗi giây) có nghĩa là nó có thể thực thi 3 tỷ hướng dẫn mỗi giây.

TPS đo lường khả năng của một máy tính xử lý giao dịch. Nó đo lường được bao nhiêu giao dịch mà một máy tính có thể hoàn thành mỗi giây, thường được sử dụng để đo lường hiệu suất của máy chủ cơ sở dữ liệu. Ví dụ, một máy chủ cơ sở dữ liệu có TPS là 1.000, có nghĩa là nó có thể xử lý 1.000 giao dịch cơ sở dữ liệu mỗi giây.

Ngoài ra, còn có một số chỉ số về khả năng tính toán cho các kịch bản ứng dụng cụ thể, như tốc độ suy luận, tốc độ xử lý hình ảnh và độ chính xác nhận dạng giọng nói.

Loại Khả năng tính toán

Khả năng tính toán của GPU đề cập đến khả năng tính toán của các đơn vị xử lý đồ họa (GPU). Khác với các đơn vị xử lý trung tâm (CPU), GPU là phần cứng được thiết kế đặc biệt để xử lý dữ liệu đồ họa như hình ảnh và video. Chúng có một số lượng lớn các đơn vị xử lý và khả năng tính toán song song hiệu quả, và có thể thực hiện một lượng lớn các phép tính dấu chấm động đồng thời. Kể từ khi GPU được thiết kế ban đầu cho việc xử lý đồ họa trong game, chúng thường có tốc độ xử lý cao hơn và băng thông bộ nhớ lớn hơn so với CPU để hỗ trợ các phép tính đồ họa phức tạp.

Sự khác biệt giữa CPUs và GPUs

Kiến trúc: CPUs và GPUs có các kiến trúc tính toán khác nhau. CPUs thường có một hoặc nhiều lõi, mỗi lõi là bộ xử lý đa năng có khả năng thực hiện nhiều loại hoạt động khác nhau. GPUs, ngược lại, có một số lượng lớn Stream Processors và Shaders, được sử dụng đặc biệt để thực hiện các phép tính liên quan đến xử lý hình ảnh;

Tính toán song song: GPU thường có khả năng tính toán song song cao hơn. Một CPU có một số lõi hạn chế, và mỗi lõi chỉ có thể thực hiện một hướng dẫn, nhưng một GPU có thể có hàng nghìn bộ xử lý luồng có thể thực hiện nhiều hướng dẫn và hoạt động đồng thời. Do đó, GPU thường phù hợp hơn CPU để thực hiện các nhiệm vụ tính toán song song, như học máy và học sâu, đòi hỏi các tính toán song song phức tạp;

Thiết kế Lập trình: Lập trình cho GPU tương đối phức tạp hơn so với CPU. Điều này đòi hỏi việc sử dụng các ngôn ngữ lập trình cụ thể (như CUDA hoặc OpenCL) và các kỹ thuật lập trình cụ thể để tận dụng khả năng tính toán song song của GPU. Ngược lại, lập trình CPU đơn giản hơn và có thể sử dụng các ngôn ngữ lập trình và công cụ đa năng.

Tầm quan trọng của Khả năng tính toán

Trong thời đại Cách mạng Công nghiệp, dầu là huyết mạch của thế giới và xâm nhập vào mọi ngành công nghiệp. Trong thời đại AI sắp tới, khả năng tính toán sẽ là “dầu số” của thế giới. Từ việc các công ty lớn đua nhau theo đuổi chip AI và cổ phiếu Nvidia vượt quá một nghìn tỷ đô la, đến lệnh cấm mới đây của Mỹ về các chip cao cấp từ Trung Quốc, bao gồm khả năng tính toán, kích thước chip, và thậm chí kế hoạch cấm đám mây GPU, tầm quan trọng của khả năng tính toán là rõ ràng. Khả năng tính toán sẽ là hàng hóa của thời đại tiếp theo.

Tổng quan về Trí tuệ Nhân tạo Tổng quát

Trí tuệ nhân tạo (AI) là một ngành khoa học kỹ thuật mới nghiên cứu, phát triển và áp dụng các lý thuyết, phương pháp, công nghệ để mô phỏng, mở rộng và mở rộng trí tuệ con người. Nó bắt nguồn từ những năm 1950 và 1960 và, sau hơn nửa thế kỷ tiến hóa, nó đã trải qua sự phát triển xen kẽ qua ba làn sóng: biểu tượng, kết nối và tiếp cận dựa trên đại lý. Ngày nay, với tư cách là một công nghệ tổng quát mới nổi, AI đang thúc đẩy những thay đổi sâu sắc trong cuộc sống xã hội và trên tất cả các ngành công nghiệp. Một định nghĩa cụ thể hơn về AI tạo ra hiện nay là: Trí tuệ Nhân tạo Tổng quát (AGI), một hệ thống trí tuệ nhân tạo với khả năng hiểu rộng lớn có thể thực hiện nhiệm vụ và hoạt động trong các lĩnh vực khác nhau với trí tuệ tương tự hoặc vượt qua trình độ của con người. AGI cơ bản cần ba yếu tố, học sâu (DL), dữ liệu lớn và khả năng tính toán đáng kể.

Học sâu

Deep learning là một phần của học máy (ML), và các thuật toán học sâu là mạng nơ-ron được mô phỏng theo não người. Ví dụ, não người chứa hàng triệu nơ-ron kết nối với nhau để học và xử lý thông tin. Tương tự, mạng nơ-ron học sâu (hoặc mạng nơ-ron nhân tạo) bao gồm nhiều lớp nơ-ron nhân tạo làm việc cùng nhau trong một máy tính. Những nơ-ron nhân tạo này, được gọi là node, sử dụng các phép tính toán toán học để xử lý dữ liệu. Mạng nơ-ron nhân tạo là các thuật toán học sâu sử dụng các node này để giải quyết các vấn đề phức tạp.

Mạng thần kinh có thể được chia thành lớp đầu vào, các lớp ẩn và lớp đầu ra. Các kết nối giữa những lớp khác nhau này được tạo thành từ các tham số.

Lớp Đầu vào: Lớp đầu vào là lớp đầu tiên của mạng thần kinh và chịu trách nhiệm nhận dữ liệu đầu vào từ bên ngoài. Mỗi tế bào thần kinh trong lớp đầu vào tương ứng với một đặc trưng của dữ liệu đầu vào. Ví dụ, trong xử lý hình ảnh, mỗi tế bào thần kinh có thể tương ứng với giá trị của một pixel trong hình ảnh.

Các Lớp Ẩn: Lớp đầu vào xử lý dữ liệu và chuyển tiếp cho các lớp sâu hơn trong mạng. Những lớp ẩn này xử lý thông tin ở các cấp độ khác nhau, điều chỉnh hành vi của chúng khi nhận thông tin mới. Các mạng học sâu có thể có hàng trăm lớp ẩn, cho phép họ phân tích vấn đề từ nhiều góc độ khác nhau. Ví dụ, nếu bạn được cho một bức ảnh về một loài động vật chưa biết cần phân loại, bạn có thể so sánh nó với những loài động vật bạn đã biết. Ví dụ, bạn có thể biết loài động vật đó là gì dựa trên hình dạng của tai, số chân và kích thước của đồng tử của nó. Các lớp ẩn trong các mạng nơ-ron sâu hoạt động theo cách tương tự. Nếu một thuật toán học sâu đang cố gắng phân loại một bức ảnh của một con vật, mỗi lớp ẩn sẽ xử lý các đặc điểm khác nhau của các loài vật và cố gắng phân loại chúng một cách chính xác.

Lớp đầu ra: Lớp đầu ra là lớp cuối cùng của mạng nơron và chịu trách nhiệm tạo ra đầu ra của mạng. Mỗi nơron trong lớp đầu ra đại diện cho một danh mục hoặc giá trị đầu ra có thể có. Ví dụ, trong một vấn đề phân loại, mỗi nơron trong lớp đầu ra có thể tương ứng với một danh mục, trong khi trong một vấn đề hồi quy, lớp đầu ra có thể chỉ có một nơron mà giá trị đại diện cho kết quả dự đoán;

Tham số: Trong mạng neural, các kết nối giữa các lớp khác nhau được biểu diễn bằng trọng số và sai số, được tối ưu hóa trong quá trình huấn luyện để cho phép mạng xác định chính xác các mẫu trong dữ liệu và đưa ra dự đoán. Sự tăng về tham số có thể cải thiện khả năng của mô hình mạng neural, tức là khả năng của mô hình để học và biểu diễn các mẫu phức tạp trong dữ liệu. Nhưng tương ứng, sự tăng về tham số cũng đồng nghĩa với việc tăng nhu cầu về khả năng tính toán.

Dữ liệu lớn

Để được đào tạo một cách hiệu quả, các mạng neural thường cần dữ liệu lớn, đa dạng và chất lượng cao từ nhiều nguồn khác nhau. Dữ liệu này là cơ sở cho việc huấn luyện và xác nhận mô hình học máy. Bằng cách phân tích dữ liệu lớn, các mô hình học máy có thể học các mẫu và mối quan hệ trong dữ liệu, từ đó cho phép chúng thực hiện dự đoán hoặc phân loại.

Khả năng tính toán lớn

Nhu cầu về sức mạnh tính toán đáng kể phát sinh từ một số khía cạnh của mạng thần kinh: cấu trúc nhiều lớp phức tạp, số lượng lớn tham số, nhu cầu xử lý lượng dữ liệu khổng lồ và phương pháp đào tạo lặp đi lặp lại (trong giai đoạn đào tạo, mô hình phải lặp đi lặp lại, thực hiện các tính toán lan truyền tiến và lùi cho từng lớp, bao gồm tính toán cho các chức năng kích hoạt, chức năng tổn thất, độ dốc và cập nhật trọng lượng), nend cho các tính toán có độ chính xác cao, khả năng tính toán song song, kỹ thuật tối ưu hóa và chính quy hóa, cũng như các quy trình đánh giá và xác minh mô hình. Khi deep learning tiến triển, yêu cầu về sức mạnh tính toán lớn cho AGI đang tăng khoảng 10 lần mỗi năm. Mô hình mới nhất cho đến nay, GPT-4, chứa 1,8 nghìn tỷ tham số, với chi phí đào tạo duy nhất hơn 60 triệu đô la và yêu cầu sức mạnh tính toán là 2,15e25 FLOPS (21,5 triệu tỷ phép toán dấu phẩy động). Nhu cầu về sức mạnh tính toán cho đào tạo mô hình trong tương lai vẫn đang mở rộng và các mô hình mới đang được phát triển với tốc độ ngày càng tăng.

Kinh tế Khả năng tính toán AI

Kích thước thị trường trong tương lai

Theo ước lượng uy tín nhất, “Báo cáo Đánh giá Chỉ số Sức mạnh Tính toán Toàn cầu 2022-2023” do Tập đoàn Dữ liệu Quốc tế (IDC), Thông tin Inspur và Viện Nghiên cứu Công nghiệp Toàn cầu của Đại học Tsinghua cùng biên soạn, kích thước thị trường tính toán trí tuệ AI toàn cầu dự kiến sẽ tăng từ 19,5 tỷ đô la vào năm 2022 lên 34,66 tỷ đô la vào năm 2026. Thị trường tính toán AI sáng tạo được dự báo sẽ tăng từ 820 triệu đô la vào năm 2022 lên 10,99 tỷ đô la vào năm 2026. Phần trăm thị trường tính toán AI sáng tạo trong tổng thị trường tính toán AI dự kiến sẽ tăng từ 4,2% lên 31,7%.

Độc quyền trong Nền kinh tế Khả năng tính toán

Việc sản xuất GPU AI đã bị NVIDIA độc quyền hoàn toàn và chúng rất đắt đỏ (phiên bản mới nhất H100 đã được bán với giá $40,000 mỗi đơn vị). Ngay khi GPU được phát hành, chúng được mua hết sạch bởi các gigantech công nghệ tại Silicon Valley. Một số thiết bị này được sử dụng để huấn luyện các mô hình mới của riêng họ. Phần còn lại được cho thuê cho các nhà phát triển AI thông qua các nền tảng đám mây, như những nền tảng thuộc sở hữu của Google, Amazon và Microsoft, các nền tảng này kiểm soát một lượng lớn tài nguyên tính toán như máy chủ, GPU và TPU. Khả năng tính toán đã trở thành một tài nguyên mới bị các gigantech này độc quyền. Nhiều nhà phát triển AI thậm chí không thể mua được GPU riêng mà không bị chênh lệch giá. Để sử dụng trang thiết bị mới nhất, nhà phát triển phải thuê máy chủ đám mây của AWS hoặc Microsoft. Báo cáo tài chính cho thấy rằng ngành này có lợi nhuận cực kỳ cao. Dịch vụ đám mây của AWS tự hào với biên lợi nhuận gộp là 61%, trong khi biên lợi nhuận gộp của Microsoft còn cao hơn, lên tới 72%.

Vậy chúng ta có phải chấp nhận quyền lực trung ương và kiểm soát này, và trả 72% lợi nhuận cho tài nguyên tính toán? Những người khổng lồ đã độc quyền Web2 cũng sẽ chiếm ưu thế trong thời đại tiếp theo sao?

Thách thức của Khả năng tính toán AGI Phi tập trung

Khi nói đến chống độc quyền, phân quyền thường được coi là giải pháp tối ưu. Nhìn vào các dự án hiện có, chúng ta có thể đạt được sức mạnh tính toán khổng lồ cần thiết cho trí tuệ nhân tạo thông qua các dự án lưu trữ DePIN kết hợp với các giao thức như RDNR để tận dụng GPU không hoạt động? Câu trả lời là không. Con đường đánh bại con rồng không phải là dễ dàng như vậy. Các dự án sớm không được thiết kế đặc biệt cho sức mạnh tính toán AGI và không khả thi. Mang sức mạnh tính toán lên blockchain đối mặt ít nhất với năm thách thức sau:

  1. Xác minh công việc: Để xây dựng một mạng tính toán không tin cậy thật sự cung cấp động lực kinh tế cho các thành viên, mạng phải có cách để xác minh xem các tính toán học sâu đã được thực sự thực hiện. Vấn đề cốt lõi ở đây là sự phụ thuộc vào trạng thái của các mô hình học sâu; trong những mô hình này, đầu vào cho mỗi lớp phụ thuộc vào đầu ra từ lớp trước đó. Điều này có nghĩa là bạn không thể chỉ xác minh một lớp duy nhất trong một mô hình mà không xem xét tất cả các lớp trước đó. Việc tính toán cho mỗi lớp dựa trên kết quả của tất cả các lớp trước đó. Do đó, để xác minh công việc hoàn thành tại một điểm cụ thể (như một lớp cụ thể), tất cả công việc từ đầu của mô hình đến điểm cụ thể đó phải được thực hiện;

  2. Thị trường: Là một thị trường mới nổi, thị trường điện toán AI phải chịu những tình huống khó xử về cung và cầu, chẳng hạn như vấn đề khởi động lạnh. Thanh khoản cung và cầu cần được khớp gần như ngay từ đầu để thị trường có thể tăng trưởng thành công. Để nắm bắt được nguồn cung cấp tiềm năng của sức mạnh tính toán, người tham gia phải được cung cấp các ưu đãi rõ ràng để đổi lấy tài nguyên máy tính của họ. Thị trường cần một cơ chế để theo dõi các tính toán đã hoàn thành và thanh toán cho các nhà cung cấp phù hợp một cách kịp thời. Trong các thị trường truyền thống, các trung gian xử lý các nhiệm vụ như quản lý và giới thiệu, đồng thời giảm chi phí hoạt động bằng cách đặt ngưỡng thanh toán tối thiểu. Tuy nhiên, cách tiếp cận này rất tốn kém khi mở rộng quy mô thị trường. Chỉ một phần nhỏ nguồn cung có thể nắm bắt được về mặt kinh tế, dẫn đến trạng thái cân bằng ngưỡng, trong đó thị trường chỉ có thể nắm bắt và duy trì nguồn cung hạn chế mà không thể tăng trưởng thêm;

  3. Vấn đề dừng: Vấn đề dừng là một vấn đề cơ bản trong lý thuyết tính toán, liên quan đến việc xác định liệu một nhiệm vụ tính toán cụ thể sẽ hoàn thành trong một khoảng thời gian hữu hạn hay chạy vô tận. Vấn đề này là vấn đề không thể giải quyết, có nghĩa là không có thuật toán chung nào có thể dự đoán liệu bất kỳ tính toán cụ thể nào sẽ dừng lại trong một khoảng thời gian hữu hạn. Ví dụ, việc thực thi hợp đồng thông minh trên Ethereum cũng đối mặt với một vấn đề dừng tương tự. Không thể xác định trước được bao nhiêu tài nguyên tính toán thực thi của một hợp đồng thông minh sẽ cần, hoặc liệu nó sẽ hoàn thành trong thời gian hợp lý hay không.

(Trong ngữ cảnh của học sâu, vấn đề này sẽ phức tạp hơn khi các mô hình và khung công cụ sẽ chuyển từ việc xây dựng đồ thị tĩnh sang việc xây dựng và thực thi động.)

  1. Quyền riêng tư: Việc thiết kế và phát triển với ý thức về quyền riêng tư là bắt buộc đối với các nhóm dự án. Mặc dù một lượng lớn nghiên cứu học máy có thể được tiến hành trên các bộ dữ liệu công khai, nhưng để cải thiện hiệu suất của mô hình và thích nghi với các ứng dụng cụ thể, mô hình thường cần được điều chỉnh tinh chỉnh trên dữ liệu người dùng độc quyền. Quá trình điều chỉnh này có thể liên quan đến việc xử lý dữ liệu cá nhân, vì vậy yêu cầu bảo vệ quyền riêng tư cần được xem xét.

  2. Song song hóa: Đây là một yếu tố quan trọng dẫn đến sự không khả thi của các dự án hiện tại. Các mô hình học sâu thường được đào tạo song song trên các cụm phần cứng lớn với kiến trúc độc quyền và độ trễ cực thấp, và GPU trong các mạng tính toán phân tán sẽ gây ra độ trễ do việc trao đổi dữ liệu thường xuyên và sẽ bị hạn chế bởi hiệu suất của GPU chậm nhất. Khi các nguồn tính toán không đáng tin cậy và không tin cậy, cách thức để đạt được song song hóa không đồng nhất là một vấn đề cần phải giải quyết. Phương pháp khả thi hiện tại để đạt được song song hóa là thông qua các mô hình biến áp, chẳng hạn như Switch Transformers, hiện có các đặc điểm được song song hóa mạnh mẽ.

Các giải pháp: Mặc dù các nỗ lực hiện tại trong việc xây dựng một thị trường sức mạnh tính toán AGI phi tập trung vẫn đang ở giai đoạn đầu, có hai dự án đã giải quyết ban đầu vấn đề thiết kế đồng thuận của các mạng phi tập trung và triển khai các mạng sức mạnh tính toán phi tập trung trong việc huấn luyện mô hình và suy luận phi tập trung. Dưới đây sẽ sử dụng Gensyn và Together như các ví dụ để phân tích các phương pháp thiết kế và vấn đề của thị trường sức mạnh tính toán AGI phi tập trung.

Gensyn

Gensyn là một thị trường sức mạnh tính toán AGI đang ở giai đoạn xây dựng, nhằm giải quyết những thách thức khác nhau của tính toán học sâu phi tập trung và giảm chi phí liên quan đến tính toán học sâu hiện tại. Gensyn về cơ bản là một giao thức cổ phần lớp đầu tiên dựa trên mạng Polkadot, trực tiếp thưởng cho người giải quyết (những người giải quyết các nhiệm vụ tính toán) thông qua hợp đồng thông minh trao đổi cho các thiết bị GPU không hoạt động của họ để tính toán và thực hiện các nhiệm vụ học máy.

Quay trở lại câu hỏi trước, cốt lõi của việc xây dựng mạng máy tính không cần tin cậy thật sự nằm ở việc xác minh công việc học máy đã hoàn thành. Đây là một vấn đề rất phức tạp đòi hỏi tìm ra sự cân bằng giữa sự giao lưu của lý thuyết phức tạp, lý thuyết trò chơi, mật mã và tối ưu hóa.

Gensyn đề xuất một giải pháp đơn giản trong đó người giải gửi kết quả của các tác vụ học máy mà họ đã hoàn thành. Để xác minh rằng những kết quả này là chính xác, một người xác minh độc lập khác cố gắng thực hiện lại cùng một công việc. Cách tiếp cận này có thể được gọi là sao chép đơn vì chỉ có một trình xác minh sẽ thực hiện lại tác vụ. Điều này có nghĩa là chỉ có một tác phẩm bổ sung để xác minh tính chính xác của tác phẩm gốc. Tuy nhiên, nếu người xác minh tác phẩm không phải là người yêu cầu ban đầu, thì vấn đề ủy thác vẫn tồn tại. Bản thân người xác minh có thể không trung thực và công việc của họ cần được xác minh. Điều này dẫn đến một vấn đề tiềm ẩn trong đó nếu người xác minh tác phẩm không phải là người yêu cầu ban đầu, thì sẽ cần một người xác minh khác để xác minh công việc của họ. Nhưng trình xác minh mới này cũng có thể không đáng tin cậy, vì vậy cần có một trình xác minh khác để xác minh công việc của họ, có thể tiếp tục mãi mãi, tạo ra một chuỗi sao chép vô hạn. Ở đây chúng ta cần giới thiệu ba khái niệm chính và đan xen chúng để xây dựng một hệ thống người tham gia với bốn vai trò để giải quyết vấn đề chuỗi vô hạn.

Chứng minh học xác suất: Xây dựng chứng chỉ của công việc đã hoàn thành bằng cách sử dụng siêu dữ liệu từ quá trình tối ưu hóa dựa trên độ dốc. Bằng cách sao chép các giai đoạn cụ thể, những chứng chỉ này có thể được xác minh nhanh chóng để đảm bảo rằng công việc đã được hoàn thành như mong đợi.

Giao thức định vị chính xác dựa trên đồ thị: Sử dụng giao thức định vị chính xác dựa trên đồ thị với đa độ tinh tế và thực thi nhất quán của các bộ đánh giá chéo. Điều này cho phép chạy lại và so sánh công việc xác minh để đảm bảo tính nhất quán, điều này cuối cùng được xác nhận bởi blockchain chính nó.

Trò chơi động lực theo phong cách Truebit: Sử dụng cược và cắt giảm để xây dựng một trò chơi động lực để đảm bảo rằng mọi người tham gia có khả năng kinh tế hợp lý sẽ hành động trung thực và thực hiện nhiệm vụ được mong đợi của họ.

Hệ thống người tham gia bao gồm người gửi, người giải quyết, người xác minh và người tố cáo.

Người gửi:

Người gửi là người dùng cuối cùng của hệ thống cung cấp các nhiệm vụ cần tính toán và thanh toán cho các đơn vị công việc đã hoàn thành;

Solvers:

Solvers are the primary workers of the system, performing model training and generating proofs that are checked by the verifier;

Người xác minh:

Verifiers are key to linking the non-deterministic training process with deterministic linear computations, replicating parts of the solver’s proof and comparing distances with expected thresholds;

Người tiết lộ thông tin:

Người tố giác là đường chính cuối cùng, kiểm tra công việc của người xác minh và đưa ra thách thức với hy vọng nhận được thanh toán khoản thưởng hậu hĩnh.

Hoạt động hệ thống

Hệ thống trò chơi được thiết kế bởi giao thức hoạt động thông qua tám giai đoạn, bao gồm bốn vai trò chính của người tham gia, để hoàn thành toàn bộ quy trình từ việc nộp nhiệm vụ đến xác minh cuối cùng.

Gửi Nhiệm vụ: Nhiệm vụ bao gồm ba phần thông tin cụ thể:

Dữ liệu mô tả công việc và siêu tham số;

Một tệp nhị phân mô hình (hoặc kiến trúc cơ bản);

Dữ liệu huấn luyện được xử lý trước công khai, có thể truy cập được.

Để nộp một nhiệm vụ, người nộp chỉ định các chi tiết của nhiệm vụ dưới dạng có thể đọc được bằng máy và nộp nó lên chuỗi cùng với tệp nhị phân mô hình (hoặc kiến trúc có thể đọc được bằng máy) và một vị trí có thể truy cập công khai của dữ liệu huấn luyện đã được tiền xử lý. Dữ liệu công cộng có thể được lưu trữ trong bộ nhớ đối tượng đơn giản như S3 của AWS hoặc trong bộ nhớ phân cấp như IPFS, Arweave hoặc Subspace.

Xác định hồ sơ: Quá trình xác định hồ sơ thiết lập ngưỡng khoảng cách cơ sở cho việc xác minh bằng chứng học tập. Người xác minh sẽ định kỳ lấy các nhiệm vụ xác định hồ sơ và tạo ngưỡng biến động để so sánh chứng minh học tập. Để tạo ra ngưỡng, người xác minh sẽ chạy và chạy lại một cách xác định các phần của quá trình đào tạo bằng các hạt ngẫu nhiên khác nhau, tạo ra và kiểm tra chứng minh của họ. Trong quá trình này, người xác minh xác định một ngưỡng khoảng cách dự kiến tổng thể cho công việc phi xác định của giải pháp mà có thể được sử dụng cho việc xác minh.

Đào tạo: Sau khi lập hồ sơ, các nhiệm vụ nhập vào hồ bơi nhiệm vụ công cộng (tương tự như Mempool của Ethereum). Chọn một trình giải để thực hiện nhiệm vụ và loại bỏ nhiệm vụ khỏi hồ bơi nhiệm vụ. Các trình giải thực hiện nhiệm vụ dựa trên siêu dữ liệu được gửi bởi người gửi và mô hình và dữ liệu đào tạo đã cung cấp. Khi thực hiện các nhiệm vụ đào tạo, các trình giải cũng tạo ra bằng chứng học bằng cách kiểm tra định kỳ điểm và lưu trữ siêu dữ liệu (bao gồm tham số) trong quá trình đào tạo, để mà người xác minh có thể tái tạo các bước tối ưu hóa sau một cách chính xác nhất có thể.

Tạo chứng minh: Solver định kỳ lưu trữ trọng số hoặc cập nhật mô hình và chỉ số tương ứng của bộ dữ liệu huấn luyện để xác định các mẫu được sử dụng để tạo ra cập nhật trọng số. Tần suất kiểm tra có thể được điều chỉnh để cung cấp các cam kết mạnh hơn hoặc để tiết kiệm không gian lưu trữ. Chứng minh có thể được “xếp chồng”, có nghĩa là chúng có thể bắt đầu từ một phân phối ngẫu nhiên được sử dụng để khởi tạo trọng số, hoặc từ trọng số được huấn luyện trước được tạo ra bằng cách sử dụng chứng minh của chính họ. Điều này cho phép giao thức xây dựng một bộ mô hình cơ sở đã được chứng minh, có thể được điều chỉnh cho các nhiệm vụ cụ thể hơn.

Xác minh bằng chứng: Sau khi nhiệm vụ hoàn thành, những người giải quyết đăng ký hoàn thành nhiệm vụ trên chuỗi và hiển thị bằng chứng học tập của họ tại một vị trí có thể truy cập công khai để người xác minh truy cập. Người xác minh kéo các nhiệm vụ xác minh từ hồ bơi nhiệm vụ công cộng và thực hiện công việc tính toán để chạy lại một phần của bằng chứng và thực hiện tính toán khoảng cách. Sau đó, chuỗi cùng với ngưỡng tính toán trong giai đoạn làm việc, sử dụng khoảng cách kết quả để xác định xem việc xác minh có khớp với bằng chứng hay không.

Thử thách xác định dựa trên đồ thị: Sau khi xác minh bằng chứng học tập, người tố cáo có thể sao chép công việc của người xác minh để kiểm tra xem công việc xác minh có được thực hiện chính xác hay không. Nếu người tố cáo tin rằng việc xác minh đã được thực hiện không chính xác (ác ý hay không), họ có thể thách thức nó để ký hợp đồng trọng tài để nhận phần thưởng. Phần thưởng này có thể đến từ tiền gửi của người giải và người xác thực (trong trường hợp dương tính thật) hoặc từ tiền thưởng nhóm xổ số (trong trường hợp dương tính giả), với trọng tài được thực hiện bằng cách sử dụng chính chuỗi. Người tố cáo (đóng vai trò là người xác minh trong trường hợp của họ) sẽ chỉ xác minh và sau đó thách thức công việc chỉ khi họ mong muốn nhận được khoản bồi thường thích hợp. Trong thực tế, điều này có nghĩa là những người tố cáo dự kiến sẽ tham gia và rời khỏi mạng dựa trên số lượng người tố giác đang hoạt động khác (tức là với tiền gửi và thách thức trực tiếp). Do đó, chiến lược mặc định dự kiến cho bất kỳ người tố giác nào là tham gia mạng khi có ít người tố giác khác, gửi tiền gửi, chọn ngẫu nhiên một nhiệm vụ đang hoạt động và bắt đầu quá trình xác minh của họ. Sau một nhiệm vụ, họ sẽ lấy một nhiệm vụ hoạt động ngẫu nhiên khác và lặp lại cho đến khi số lượng người tố giác vượt quá ngưỡng thanh toán đã xác định của họ, tại thời điểm đó họ sẽ rời khỏi mạng (hoặc nhiều khả năng, chuyển sang vai trò khác trong mạng - người xác minh hoặc người giải quyết - dựa trên khả năng phần cứng của họ) cho đến khi tình hình đảo ngược trở lại.

Trọng tài hợp đồng: Khi các máy xác minh bị người tiết lộ thông tin tố giác đề nghị thách thức, họ tham gia vào một quy trình với chuỗi để tìm ra vị trí của hoạt động hoặc đầu vào bị tranh chấp, và cuối cùng chuỗi sẽ thực hiện hoạt động cơ bản cuối cùng và xác định xem thách thức có được chứng minh đúng hay không. Để giữ cho người tiết lộ thông tin trung thực và để vượt qua thách thức của máy xác minh, ở đây đã được giới thiệu các lỗi bắt buộc định kỳ và các khoản thanh toán jackpot.

Quyết toán: Trong quá trình quyết toán, các bên tham gia được thanh toán dựa trên kết luận của các kiểm tra xác suất và xác định. Có các kịch bản thanh toán khác nhau phát sinh tùy thuộc vào kết quả của các kiểm tra và thách thức trước đó. Nếu công việc được xem là đã được thực hiện đúng và tất cả các kiểm tra đã được thông qua, cả người cung cấp giải pháp và người xác minh đều được thưởng dựa trên các hoạt động đã thực hiện.

Đánh giá nhanh dự án

Gensyn đã thiết kế một hệ thống lý thuyết trò chơi phức tạp trên lớp xác minh và lớp khuyến khích, cho phép xác định và sửa lỗi nhanh chóng bằng cách xác định sự phân kỳ trong mạng lưới. Tuy nhiên, vẫn còn nhiều chi tiết thiếu sót trong hệ thống hiện tại. Ví dụ, làm thế nào để thiết lập các thông số để đảm bảo rằng phần thưởng và phạt là hợp lý mà không đặt ngưỡng quá cao? Bạn đã xem xét các tình huống cực đoan và sự khác biệt về khả năng tính toán của người giải quyết trong các khía cạnh lý thuyết trò chơi chưa? Hiện tại không có mô tả chi tiết về thực thi song song không đồng nhất trong phiên bản hiện tại của bản whitepaper. Gensyn vẫn còn một chặng đường dài phía trước.

Together.ai

Together.ai là một công ty tập trung vào các giải pháp tính toán trí tuệ nhân tạo phân tán mã nguồn mở cho các mô hình lớn. Mục tiêu của họ là để bất kỳ ai cũng có thể truy cập trí tuệ nhân tạo ở bất kỳ đâu. Nói một cách chính xác, Together không phải là dự án blockchain, nhưng họ đã giải quyết sơ bộ vấn đề độ trễ trong các mạng tính toán trí tuệ nhân tạo phân tán. Do đó, bài viết dưới đây chỉ phân tích các giải pháp của Together và không đánh giá chính dự án.

Làm thế nào để đạt được việc huấn luyện và suy luận của các mô hình lớn khi mạng phân tán chậm hơn trung tâm dữ liệu 100 lần?

Hãy tưởng tượng sự phân phối của các GPU tham gia mạng phân cấp. Các thiết bị này sẽ được phân bố trên các lục địa và thành phố khác nhau, mỗi thiết bị cần kết nối với các độ trễ và băng thông khác nhau. Như được thể hiện trong hình dưới đây, một kịch bản phân tán mô phỏng cho thấy các thiết bị đặt tại Bắc Mỹ, Châu Âu và Châu Á, với các băng thông và độ trễ khác nhau giữa chúng. Cần phải làm gì để kết nối chúng một cách hiệu quả?

Mô hình tính toán đào tạo phân tán: Biểu đồ dưới đây cho thấy tình hình đào tạo một mô hình cơ sở trên nhiều thiết bị, với ba loại giao tiếp: Kích hoạt tiến, Độ dốc ngược và Giao tiếp bên cạnh.

Kết hợp băng thông truyền thông và độ trễ, cần xem xét hai hình thức song song: song song đường ống và song song dữ liệu, tương ứng với ba loại truyền thông trong kịch bản đa thiết bị:

Trong song song đường ống, tất cả các lớp của mô hình được chia thành nhiều giai đoạn, trong đó mỗi thiết bị xử lý một giai đoạn, đó là một chuỗi các lớp liên tiếp, chẳng hạn như nhiều khối Transformer. Trong quá trình lan truyền xuôi, các kích hoạt được truyền cho giai đoạn tiếp theo, và trong quá trình lan truyền ngược, độ dốc của các kích hoạt được truyền lại cho giai đoạn trước đó.

Trong song song dữ liệu, thiết bị tính toán độ dốc độc lập cho các micro-batch khác nhau nhưng cần đồng bộ hóa các độ dốc này thông qua giao tiếp.

Tối ưu lịch trình:

Trong môi trường phi tập trung, quá trình đào tạo thường bị ràng buộc bởi giao tiếp. Thuật toán lập lịch thường gán các nhiệm vụ đòi hỏi giao tiếp mở rộng cho thiết bị có kết nối nhanh hơn. Xét đến sự phụ thuộc giữa các nhiệm vụ và sự đa dạng của mạng, đầu tiên cần phải mô hình hóa chi phí của các chiến lược lập lịch cụ thể. Để nắm bắt chi phí giao tiếp phức tạp của các mô hình cơ sở đào tạo, Together đề xuất một công thức mới và phân rã mô hình chi phí thành hai cấp độ sử dụng lý thuyết đồ thị:

Lý thuyết đồ thị là một nhánh của toán học nghiên cứu về các tính chất và cấu trúc của đồ thị (mạng). Một đồ thị bao gồm các đỉnh (nút) và cạnh (đường nối các nút). Mục đích chính của lý thuyết đồ thị là nghiên cứu các tính chất khác nhau của đồ thị, như tính kết nối, màu sắc và tính chất của các đường đi và chu trình trong đồ thị.

Cấp độ đầu tiên là một vấn đề phân chia đồ thị cân bằng (chia tập đỉnh của một đồ thị thành một số tập con có kích thước bằng nhau hoặc gần bằng nhau trong khi giảm thiểu số cạnh giữa các tập). Trong quá trình phân chia này, mỗi tập con đại diện cho một phân vùng, và chi phí giao tiếp được giảm bằng cách tối thiểu hóa số cạnh giữa các phân vùng, tương ứng với chi phí giao tiếp của đa dạng dữ liệu.

Cấp độ thứ hai liên quan đến việc kết hợp việc khớp đồ thị và vấn đề người bán hàng du lịch (một vấn đề tối ưu hóa tổ hợp kết hợp các yếu tố của việc khớp đồ thị và vấn đề người bán hàng du lịch). Vấn đề khớp đồ thị liên quan đến việc tìm một kết hợp trong đồ thị mà giảm thiểu hoặc tối đa hóa một số chi phí nào đó. Vấn đề người bán hàng du lịch tìm kiếm con đường ngắn nhất đi qua tất cả các nút trong đồ thị, tương ứng với các chi phí liên lạc của song song ống dẫn.

Biểu đồ trên là một sơ đồ của quy trình. Do các phép tính phức tạp được thực hiện trong việc triển khai thực tế, quy trình mô tả trong biểu đồ được đơn giản hóa để dễ hiểu hơn. Để biết thông tin triển khai chi tiết, bạn có thể tham khảo tài liệu trên trang web chính thức của Together.

Giả sử có một tập hợp NN thiết bị, DD, với độ trễ trong giao tiếp không chắc chắn (ma trận AA) và băng thông (ma trận BB), dựa trên tập hợp thiết bị DD, chúng tôi đầu tiên tạo ra một phân vùng đồ thị cân bằng. Mỗi phân vùng hoặc nhóm thiết bị chứa khoảng một số lượng thiết bị tương đương, và tất cả chúng đều xử lý cùng một giai đoạn ống dẫn. Điều này đảm bảo rằng trong song song dữ liệu, mỗi nhóm thiết bị thực hiện một lượng công việc tương tự. Dựa trên độ trễ giao tiếp và băng thông, một công thức có thể tính toán “chi phí” của việc truyền dữ liệu giữa các nhóm thiết bị. Mỗi nhóm cân bằng được hợp nhất để tạo ra một đồ thị thô hoàn toàn kết nối, trong đó mỗi nút đại diện cho một giai đoạn ống dẫn, và các cạnh đại diện cho chi phí giao tiếp giữa hai giai đoạn. Để giảm thiểu chi phí giao tiếp, một thuật toán gắn kết được sử dụng để xác định nhóm thiết bị nào nên làm việc cùng nhau.

Để tối ưu hóa hơn, vấn đề này cũng có thể được mô hình hóa như một vấn đề người bán hàng du lịch mở (open-loop có nghĩa là không cần quay trở lại điểm xuất phát của con đường) để tìm đường đi tối ưu để truyền dữ liệu qua tất cả thiết bị. Cuối cùng, Together sử dụng một thuật toán lập lịch sáng tạo để tìm chiến lược phân bổ tối ưu cho mô hình chi phí đã cho, từ đó giảm thiểu chi phí giao tiếp và tối đa hóa lưu lượng đào tạo. Theo các bài kiểm tra, ngay cả khi mạng chậm 100 lần dưới sự tối ưu hóa lập lịch này, lưu lượng đào tạo từ đầu đến cuối chỉ chậm khoảng 1,7 đến 2,3 lần.

Tối Ưu Nén Truyền Thông:

Để tối ưu hóa việc nén giao tiếp, Together đã giới thiệu thuật toán AQ-SGD (để biết quy trình tính toán chi tiết, vui lòng tham khảo bài viết "Mô hình ngôn ngữ tinh chỉnh trên mạng chậm bằng cách sử dụng nén kích hoạt với đảm bảo"). Thuật toán AQ-SGD là một kỹ thuật nén kích hoạt mới được thiết kế để giải quyết các vấn đề hiệu quả truyền thông trong quá trình đào tạo song song đường ống qua các mạng chậm. Khác với các phương pháp nén trực tiếp giá trị kích hoạt trước đây, AQ-SGD tập trung vào việc nén các thay đổi về giá trị kích hoạt của cùng một mẫu đào tạo trong các giai đoạn khác nhau. Phương pháp độc đáo này giới thiệu một động lực "tự thực hiện" thú vị, trong đó hiệu suất của thuật toán dự kiến sẽ dần dần cải thiện khi đào tạo ổn định. Thuật toán AQ-SGD đã được phân tích chặt chẽ về mặt lý thuyết và được chứng minh là có tốc độ hội tụ tốt trong các điều kiện kỹ thuật nhất định và các chức năng lượng tử hóa lỗi bị ràng buộc. Thuật toán có thể được triển khai hiệu quả mà không cần thêm chi phí thời gian chạy end-to-end bổ sung, mặc dù nó yêu cầu sử dụng nhiều bộ nhớ và SSD hơn để lưu trữ các giá trị kích hoạt. Thông qua các thí nghiệm mở rộng về phân loại trình tự và bộ dữ liệu mô hình hóa ngôn ngữ, AQ-SGD đã được chứng minh là nén các giá trị kích hoạt xuống 2-4 bit mà không làm giảm hiệu suất hội tụ. Hơn nữa, AQ-SGD có thể được tích hợp với các thuật toán nén gradient hiện đại để đạt được "nén giao tiếp đầu cuối", có nghĩa là trao đổi dữ liệu giữa tất cả các máy, bao gồm gradient mô hình, giá trị kích hoạt chuyển tiếp và gradient ngược, được nén đến độ chính xác thấp, do đó cải thiện đáng kể hiệu quả truyền thông của đào tạo phân tán. So với hiệu suất đào tạo đầu cuối trong mạng máy tính tập trung (chẳng hạn như 10 Gbps) mà không nén, hiện tại nó chỉ chậm hơn 31%. Kết hợp với dữ liệu về tối ưu hóa lịch trình, mặc dù vẫn còn một khoảng cách nhất định giữa các mạng máy tính tập trung, nhưng có hy vọng lớn để bắt kịp trong tương lai.

Kết luận

Trong giai đoạn cổ tức mang lại bởi làn sóng trí tuệ nhân tạo, thị trường khả năng tính toán AGI không thể chối từ là thị trường có tiềm năng lớn nhất và nhu cầu lớn nhất giữa các thị trường khả năng tính toán khác. Tuy nhiên, khó khăn phát triển cao nhất, yêu cầu phần cứng và vốn đầu tư đang mang lại thách thức cho ngành công nghiệp này. Kết hợp hai dự án được giới thiệu ở trên, chúng ta vẫn còn một thời gian trước khi thị trường khả năng tính toán AGI được khởi đầu. Mạng lưới phi tập trung thực sự cũng phức tạp hơn nhiều so với kịch bản lý tưởng. Hiện tại chưa đủ để cạnh tranh với các ông lớn đám mây.

Tại thời điểm viết, tôi cũng quan sát thấy rằng một số dự án quy mô nhỏ vẫn còn trong giai đoạn ban đầu (giai đoạn PPT) đã bắt đầu khám phá một số điểm nhập mới, chẳng hạn như tập trung vào giai đoạn suy luận AGI ít thách thức hơn thay vì giai đoạn đào tạo. Tuy nhiên, trong dài hạn, ý nghĩa của phân cấp và các hệ thống không cần quyền năng là sâu sắc. Quyền truy cập và đào tạo khả năng tính toán AGI không nên tập trung trong tay của một số ông trùm tập trung. Nhân loại không cần một “thần thánh mới” hay một “giáo hoàng” mới, cũng không nên phải trả các phí thành viên đắt đỏ.

Tuyên bố:

  1. Bài viết này được sao chép từ [YBB Capital]. Tất cả bản quyền thuộc về tác giả gốc [Zeke]. Nếu có bất kỳ ý kiến ​​phản đối nào về việc tái in này, vui lòng liên hệ với Cổng Họcđội, và họ sẽ xử lý nó ngay lập tức.
  2. Bảo Miễn Trách Nhiệm: Quan điểm và ý kiến được thể hiện trong bài viết này chỉ là của tác giả và không cấu thành bất kỳ lời khuyên đầu tư nào.
  3. Các bản dịch của bài viết sang các ngôn ngữ khác được thực hiện bởi nhóm Gate Learn. Trừ khi được đề cập, việc sao chép, phân phối hoặc đạo văn các bài viết dịch là cấm.
Lancez-vous
Inscrivez-vous et obtenez un bon de
100$
!