Ngày nay, trong khi mô hình AI cỡ lớn mà ChatGPT đại diện đã mang lại những thay đổi lớn cho xã hội loài người thì nó cũng gây tranh cãi vì tiêu tốn năng lượng.
Ấn phẩm mới nhất của The Economist cho biết: Các cơ sở tính toán hiệu năng cao, bao gồm cả siêu máy tính, đang trở thành những thiết bị tiêu thụ năng lượng lớn. **Theo Cơ quan Năng lượng Quốc tế, các trung tâm dữ liệu chiếm 1,5% đến 2% lượng điện tiêu thụ toàn cầu, gần tương đương với lượng điện tiêu thụ của toàn bộ nền kinh tế Vương quốc Anh. **Con số này dự kiến sẽ tăng lên 4% vào năm 2030.
**Trí tuệ nhân tạo không chỉ tiêu thụ điện mà còn cả nước. ** Theo báo cáo môi trường năm 2023 do Google công bố, nó sẽ tiêu thụ 5,6 tỷ gallon (khoảng 21,2 tỷ lít) nước vào năm 2022, tương đương với lượng nước của 37 sân golf. Trong đó, 5,2 tỷ gallon đã được chuyển đến các trung tâm dữ liệu của công ty, tăng 20% so với năm 2021.
Trước chi phí tiêu thụ năng lượng khổng lồ, trí tuệ nhân tạo (AI) muốn hướng tới tương lai, và nền kinh tế đã trở thành bài toán thực sự mà ChatGPT cần giải quyết gấp. Và nếu vấn đề tiêu thụ năng lượng cần được giải quyết, mọi biện pháp tối ưu hóa dựa trên công nghệ và kiến trúc hiện có sẽ ngăn nước sôi. Trong bối cảnh này, sự đột phá của công nghệ tiên tiến có thể là giải pháp tối ưu cho việc tiêu thụ năng lượng AI vấn đề nan giải. .
AI đang ăn năng lượng
Xét về bản chất của điện toán, điện toán là quá trình thay đổi dữ liệu từ hỗn loạn sang trật tự và quá trình này đòi hỏi một lượng năng lượng đầu vào nhất định.
Chỉ xét về mặt số lượng, theo thống kê chưa đầy đủ, khoảng 5% sản lượng điện toàn cầu vào năm 2020 sẽ được sử dụng để tính toán mức tiêu thụ điện năng, và con số này có thể tăng lên khoảng 15% đến 25% vào năm 2030, tức là người ta nói rằng tỷ trọng tiêu thụ điện trong ngành điện toán sẽ ngang bằng với các ngành tiêu thụ nhiều năng lượng như công nghiệp.
Năm 2020, mức tiêu thụ điện năng của các trung tâm dữ liệu của Trung Quốc sẽ vượt 200 tỷ kWh, gấp đôi sản lượng điện của Đập Tam Hiệp và Nhà máy điện Gezhouba (khoảng 100 tỷ kWh).
Trên thực tế, đối với ngành điện toán, chi phí điện cũng là chi phí cốt lõi bên cạnh chi phí chip.
**Nếu lượng điện tiêu thụ không được tạo ra bằng năng lượng tái tạo thì sẽ có lượng khí thải carbon. Đây là lý do tại sao các mô hình học máy cũng tạo ra lượng khí thải carbon. ChatGPT cũng không ngoại lệ. **
Dữ liệu cho thấy GPT-3 huấn luyện tiêu thụ 1287MWh (megawatt giờ), tương đương với việc thải ra 552 tấn carbon. Về vấn đề này, nhà nghiên cứu dữ liệu bền vững Caspar Ludwigsen cũng phân tích: “Lượng khí thải lớn của GPT-3 có thể giải thích một phần là do nó được đào tạo trên phần cứng cũ, kém hiệu quả hơn, nhưng do không có cách tiêu chuẩn hóa để đo lượng khí thải CO2 nên những con số này Ngoài ra, tiêu chuẩn về việc phân bổ bao nhiêu phần giá trị phát thải carbon này cho việc đào tạo ChatGPT cũng tương đối mơ hồ. Cần lưu ý rằng vì bản thân việc học tăng cường đòi hỏi phải tiêu thụ thêm điện nên lượng carbon lượng khí thải do ChatGPT tạo ra trong giai đoạn đào tạo mô hình phải lớn hơn giá trị này.” Chỉ tính bằng 552 tấn khí thải, tương đương với mức tiêu thụ năng lượng hàng năm của 126 hộ gia đình Đan Mạch.
**Trong giai đoạn vận hành, mặc dù mức tiêu thụ năng lượng từ hành động của con người khi vận hành ChatGPT rất nhỏ nhưng nó cũng có thể trở thành nguồn phát thải carbon lớn thứ hai do có thể có một tỷ lần mỗi ngày trên thế giới. **
Người đồng sáng lập Databoxer, Chris Bolton đã giải thích một phương pháp tính toán: "Đầu tiên, chúng tôi ước tính rằng mỗi từ phản hồi mất 0,35 giây trên GPU A100, giả sử có 1 triệu người dùng với 10 câu hỏi cho mỗi người dùng, tạo ra 1000 10.000 câu trả lời và 300 triệu từ mỗi ngày, mỗi từ word là 0,35 giây thì có thể tính được rằng GPU A100 chạy được 29167 giờ mỗi ngày."
Cloud Carbon Footprint liệt kê mức tiêu thụ điện năng tối thiểu của GPU A100 trong trung tâm dữ liệu Azure là 46W và mức tiêu thụ điện năng tối đa là 407W. Vì có khả năng không có nhiều bộ xử lý ChatGPT không hoạt động nên mức tiêu thụ điện năng hàng ngày sẽ đạt mức cao nhất là 11870kWh. phạm vi.
Chris Bolton cho biết: "Hệ số phát thải ở miền Tây Hoa Kỳ là 0,000322167 tấn/kWh, do đó nơi đây sẽ tạo ra 3,82 tấn carbon dioxide tương đương mỗi ngày. Trung bình một người Mỹ thải ra khoảng 15 tấn carbon dioxide tương đương mỗi năm. Nói cách khác, con số này tương đương với lượng khí thải carbon dioxide hàng năm của 93 người Mỹ. Tỷ lệ này có thể so sánh được.”
Mặc dù thuộc tính “ảo” khiến người ta dễ bỏ qua sổ carbon của các sản phẩm kỹ thuật số nhưng trên thực tế, Internet từ lâu đã là một trong những cỗ máy chạy bằng than lớn nhất hành tinh. **Một nghiên cứu của Berkeley về chủ đề tiêu thụ điện năng và trí tuệ nhân tạo cho rằng trí tuệ nhân tạo gần như ăn năng lượng. **
Ví dụ: mô hình ngôn ngữ được đào tạo trước T5 của Google đã sử dụng 86 megawatt điện và tạo ra 47 tấn khí thải CO2; chatbot Meena trường mở đa vòng của Google đã sử dụng 232 megawatt điện và tạo ra 96 tấn khí thải CO2; Bản dịch ngôn ngữ khuôn khổ do Google phát triển - GShard đã sử dụng 24 megawatt điện và tạo ra 4,3 tấn khí thải carbon dioxide; thuật toán định tuyến Switch Transformer do Google phát triển đã sử dụng 179 megawatt điện và tạo ra 59 tấn khí thải carbon dioxide.
Sức mạnh tính toán được sử dụng trong học sâu đã tăng theo hệ số 300.000 từ năm 2012 đến năm 2018, khiến GPT-3 trông giống như GPT-3 có tác động lớn nhất đến khí hậu. Tuy nhiên, khi hoạt động đồng thời với bộ não con người thì mức tiêu thụ năng lượng của bộ não con người chỉ bằng 0,002% năng lượng của máy.
Không chỉ tiêu thụ điện mà còn tiêu thụ nước
Ngoài mức tiêu thụ điện năng đáng kinh ngạc, trí tuệ nhân tạo còn tiêu tốn rất nhiều nước.
Trên thực tế, dù là điện năng hay lượng nước tiêu thụ, nó đều không thể tách rời khỏi trung tâm số, trụ cột của thế giới số. Là máy chủ và thiết bị mạng cung cấp năng lượng cho Internet và lưu trữ lượng dữ liệu khổng lồ, các trung tâm dữ liệu toàn cầu cần rất nhiều năng lượng để hoạt động và hệ thống làm mát là một trong những động lực chính tiêu thụ năng lượng. **
Sự thật là một trung tâm dữ liệu siêu lớn tiêu thụ gần 100 triệu kilowatt giờ điện mỗi năm và sự phát triển của AI thế hệ đã làm tăng thêm mức tiêu thụ năng lượng của trung tâm dữ liệu. Bởi vì các mô hình quy mô lớn thường yêu cầu hàng chục nghìn GPU nên thời gian đào tạo có thể kéo dài từ vài tuần đến vài tháng và cần một lượng điện năng lớn trong quá trình này.
Các máy chủ của trung tâm dữ liệu tạo ra rất nhiều năng lượng nhiệt trong quá trình hoạt động và làm mát bằng nước là phương pháp phổ biến nhất cho các máy chủ, điều này dẫn đến việc tiêu thụ lượng nước rất lớn. Dữ liệu cho thấy GPT-3 tiêu thụ gần 700 tấn nước trong quá trình luyện tập, sau đó tiêu thụ 500 ml nước cho mỗi 20-50 câu hỏi được trả lời.
Theo nghiên cứu của Virginia Tech, các trung tâm dữ liệu tiêu thụ trung bình 401 tấn nước mỗi ngày để làm mát, tương đương với lượng nước tiêu thụ của 100.000 hộ gia đình. Meta đã sử dụng hơn 2,6 triệu mét khối (khoảng 697 triệu gallon) nước vào năm 2022, chủ yếu dành cho các trung tâm dữ liệu. Mô hình ngôn ngữ quy mô lớn mới nhất của hãng, "Llama 2", cũng cần rất nhiều nước để đào tạo. Dù vậy, vào năm 2022, 1/5 trung tâm dữ liệu của Meta sẽ gặp tình trạng “thiếu nước”.
Ngoài ra, một con chip cơ sở hạ tầng quan trọng khác dành cho trí tuệ nhân tạo, quy trình sản xuất của nó cũng là quy trình tiêu tốn nhiều năng lượng và tài nguyên nước. Về mặt năng lượng, quy trình sản xuất chip đòi hỏi rất nhiều năng lượng, đặc biệt là các chip xử lý tiên tiến. Báo cáo "Dự báo mức tiêu thụ điện và phát thải carbon của chuỗi cung ứng điện tử tiêu dùng" của tổ chức môi trường quốc tế Greenpeace Đông Á đã nghiên cứu lượng khí thải carbon của 13 công ty sản xuất điện tử hàng đầu ở Đông Á, bao gồm Samsung Electronics và TSMC, đồng thời cho biết ngành sản xuất điện tử, đặc biệt là ngành công nghiệp điện tử Ngành công nghiệp bán dẫn Lượng khí thải carbon đang tăng vọt và mức tiêu thụ điện của ngành bán dẫn toàn cầu sẽ tăng vọt lên 237 terawatt giờ vào năm 2030.
Về mức tiêu thụ tài nguyên nước, quy trình sản xuất tấm bán dẫn silicon yêu cầu làm sạch bằng "nước siêu tinh khiết", quy trình sản xuất chip càng cao thì lượng nước tiêu thụ càng nhiều. Cần khoảng 32 kg nước để sản xuất một con chip máy tính nặng 2 gram. Sản xuất tấm wafer 8 inch tiêu thụ khoảng 250 tấn nước mỗi giờ và tấm wafer 12 inch có thể đạt tới 500 tấn.
**TSMC có công suất sản xuất tấm bán dẫn hàng năm là khoảng 30 triệu tấm bán dẫn và việc sản xuất chip tiêu thụ khoảng 80 triệu tấn nước. Nguồn nước đầy đủ đã trở thành điều kiện cần thiết cho sự phát triển của ngành công nghiệp chip. **Tháng 7 năm 2023, Bộ Kinh tế, Thương mại và Công nghiệp Nhật Bản quyết định thiết lập hệ thống mới trợ cấp cho việc xây dựng các cơ sở cung cấp nước công nghiệp cho các nhà máy bán dẫn nhằm đảm bảo lượng nước công nghiệp cần thiết cho sản xuất chất bán dẫn.
Về lâu dài, việc thúc đẩy và ứng dụng AI tổng hợp và lái xe không người lái sẽ dẫn đến sự tăng trưởng hơn nữa của ngành sản xuất chip, kéo theo đó là mức tiêu thụ lớn tài nguyên năng lượng.
**Ai có thể tiết kiệm năng lượng cho AI? **
Có thể nói, ngày nay, việc tiêu thụ năng lượng đã trở thành điểm yếu hạn chế sự phát triển của AI. Theo lộ trình kỹ thuật và mô hình phát triển hiện tại, tiến bộ AI sẽ gây ra hai vấn đề:
**Một mặt, quy mô của trung tâm dữ liệu sẽ ngày càng lớn hơn và mức tiêu thụ điện năng của nó cũng sẽ tăng theo và hoạt động sẽ ngày càng chậm hơn. **
Rõ ràng, với sự phổ biến của các ứng dụng AI, nhu cầu về tài nguyên trung tâm dữ liệu của AI sẽ tăng lên đáng kể. Các trung tâm dữ liệu quy mô lớn cần lượng điện lớn để chạy máy chủ, thiết bị lưu trữ và hệ thống làm mát. Điều này dẫn đến mức tiêu thụ năng lượng tăng lên, đồng thời đặt ra các vấn đề về ổn định nguồn cung cấp năng lượng và tác động đến môi trường. Sự phát triển liên tục của các trung tâm dữ liệu cũng có thể gây áp lực lên nguồn cung cấp năng lượng và việc phụ thuộc vào các nguồn năng lượng truyền thống để đáp ứng nhu cầu năng lượng của trung tâm dữ liệu có thể dẫn đến giá năng lượng tăng cao và nguồn cung không ổn định. Tất nhiên, mức tiêu thụ năng lượng cao của các trung tâm dữ liệu cũng có tác động đến môi trường, bao gồm lượng khí thải CO2 và mức tiêu thụ năng lượng.
**Mặt khác, chip AI đang phát triển theo hướng sức mạnh tính toán cao và khả năng tích hợp cao, dựa vào các quy trình sản xuất để hỗ trợ sự phát triển của sức mạnh tính toán đỉnh cao. Khi các quy trình sản xuất trở nên tiên tiến hơn, mức tiêu thụ điện năng và lượng nước tiêu thụ cũng tăng lên. **
Vậy trước mức tiêu thụ năng lượng AI khổng lồ như vậy, chúng ta có cách nào tốt hơn không? Trên thực tế, cách tốt nhất để giải quyết vấn đề nan giải về mặt kỹ thuật là phát triển các công nghệ mới.
Một mặt, sự tiến bộ của AI trong thời kỳ hậu Moore đòi hỏi phải tìm ra các mô hình và phương pháp mới, đáng tin cậy hơn.
Trên thực tế, ngày nay, lý do trí tuệ nhân tạo sẽ mang lại vấn đề tiêu thụ năng lượng rất lớn có liên quan chặt chẽ đến cách trí tuệ nhân tạo hiện thực hóa trí thông minh.
Chúng ta có thể so sánh việc xây dựng và vận hành mạng lưới thần kinh nhân tạo ở giai đoạn này với một nhóm các “tế bào thần kinh” nhân tạo độc lập làm việc cùng nhau. Mỗi nơ-ron giống như một đơn vị tính toán nhỏ có nhiệm vụ tiếp nhận thông tin, thực hiện một số phép tính và tạo ra kết quả đầu ra. Mạng lưới thần kinh nhân tạo ngày nay được xây dựng bằng cách thiết kế khéo léo cách các đơn vị tính toán này được kết nối để sau khi được đào tạo, chúng có thể thực hiện các nhiệm vụ cụ thể.
Nhưng mạng lưới thần kinh nhân tạo cũng có những hạn chế. Ví dụ: nếu chúng ta cần sử dụng mạng nơ-ron để phân biệt hình tròn với hình vuông. Một cách tiếp cận là đặt hai nơ-ron ở lớp đầu ra, một cho hình tròn và một cho hình vuông. Tuy nhiên, nếu chúng ta muốn mạng nơ-ron cũng có thể phân biệt màu sắc của các hình dạng, chẳng hạn như màu xanh lam và màu đỏ, thì chúng ta cần bốn nơ-ron đầu ra: hình tròn màu xanh, hình vuông màu xanh, hình tròn màu đỏ và hình vuông màu đỏ.
Có nghĩa là, khi độ phức tạp của nhiệm vụ tăng lên, cấu trúc của mạng lưới thần kinh cũng đòi hỏi nhiều nơ-ron hơn để xử lý nhiều thông tin hơn. Lý do là cách mạng lưới thần kinh nhân tạo đạt được trí thông minh không phải là cách bộ não con người nhận thức về thế giới tự nhiên, mà “trong mọi sự kết hợp, hệ thần kinh trí tuệ nhân tạo phải có một nơ-ron tương ứng”.
Ngược lại, bộ não con người có thể thực hiện hầu hết việc học một cách dễ dàng vì thông tin trong não được thể hiện bằng hoạt động của một số lượng lớn tế bào thần kinh. Điều đó có nghĩa là, nhận thức của bộ não con người về hình vuông màu đỏ không được mã hóa dưới dạng hoạt động của một nơ-ron đơn lẻ mà được mã hóa dưới dạng hoạt động của hàng nghìn nơ-ron. Cùng một tập hợp các tế bào thần kinh, hoạt động theo những cách khác nhau, có thể biểu thị một khái niệm hoàn toàn khác.
**Như bạn có thể thấy, điện toán não người là một phương pháp tính toán hoàn toàn khác. Và nếu phương pháp tính toán này được áp dụng vào công nghệ trí tuệ nhân tạo sẽ giảm đáng kể mức tiêu thụ năng lượng của trí tuệ nhân tạo. **Và phương pháp tính toán này được gọi là "phép tính siêu chiều". Đó là bắt chước phương pháp tính toán của bộ não con người và sử dụng không gian toán học nhiều chiều để thực hiện các phép tính nhằm đạt được quy trình tính toán thông minh và hiệu quả hơn.
Ví dụ: mô hình thiết kế kiến trúc truyền thống là mô hình hai chiều, chúng ta chỉ có thể vẽ các bản vẽ trên một mặt phẳng, mỗi bản vẽ thể hiện một khía cạnh khác nhau của tòa nhà, chẳng hạn như bố trí tầng và định tuyến dây. Nhưng khi các tòa nhà ngày càng trở nên phức tạp hơn, chúng ta cần ngày càng nhiều bản vẽ để thể hiện tất cả các chi tiết, việc này chiếm rất nhiều thời gian và giấy tờ.
Và điện toán siêu chiều dường như cung cấp cho chúng ta một phương pháp thiết kế mới. Chúng ta có thể thiết kế các tòa nhà theo ba chiều, với mỗi chiều đại diện cho một thuộc tính như chiều dài, chiều rộng, chiều cao, chất liệu, màu sắc, v.v. Hơn nữa, chúng ta cũng có thể thiết kế trong không gian có chiều cao hơn, chẳng hạn như chiều thứ tư thể hiện sự thay đổi của các tòa nhà tại các thời điểm khác nhau. Điều này cho phép chúng tôi hoàn thành tất cả các thiết kế trên một siêu bản vẽ, loại bỏ nhu cầu sử dụng nhiều bản vẽ 2D, giúp cải thiện đáng kể hiệu quả.
Tương tự như vậy, mức tiêu thụ năng lượng trong đào tạo AI có thể được so sánh với thiết kế tòa nhà. Học sâu truyền thống yêu cầu một lượng lớn tài nguyên máy tính để xử lý từng tính năng hoặc thuộc tính, trong khi điện toán siêu chiều đặt tất cả các tính năng vào không gian nhiều chiều để xử lý. Bằng cách này, AI có thể nhận biết nhiều tính năng cùng lúc chỉ bằng cách thực hiện các phép tính một lần, do đó tiết kiệm được nhiều thời gian tính toán và tiêu thụ năng lượng.
** Mặt khác, tìm giải pháp mới về nguồn năng lượng, ví dụ như công nghệ nhiệt hạch hạt nhân. **Công nghệ sản xuất điện nhiệt hạch hạt nhân được coi là một trong những giải pháp tối ưu cho vấn đề phát thải carbon toàn cầu vì về cơ bản nó không tạo ra chất thải hạt nhân và không gây ô nhiễm khí thải carbon trong quá trình sản xuất.
Vào tháng 5 năm 2023, Microsoft đã ký thỏa thuận mua bán với Helion Energy, một công ty khởi nghiệp về phản ứng tổng hợp hạt nhân, trở thành khách hàng đầu tiên của công ty và sẽ mua điện của hãng này khi công ty xây dựng nhà máy điện nhiệt hạch hạt nhân đầu tiên trên thế giới vào năm 2028. Hơn nữa, về lâu dài, ngay cả khi AI đạt được mức giảm tiêu thụ năng lượng trên một đơn vị sức mạnh tính toán thông qua đèn điện toán siêu chiều, những đột phá trong công nghệ nhiệt hạch hạt nhân hoặc các công nghệ năng lượng carbon thấp khác vẫn có thể khiến sự phát triển AI không còn bị hạn chế bởi carbon. vẫn có ý nghĩa hỗ trợ và khuyến khích rất lớn.
Suy cho cùng, vấn đề tiêu thụ năng lượng và tài nguyên do công nghệ mang lại vẫn chỉ có thể được giải quyết cơ bản ở trình độ kỹ thuật. Công nghệ hạn chế sự phát triển của công nghệ và cũng thúc đẩy sự phát triển của công nghệ, điều này đã xảy ra từ xa xưa.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Tiêu thụ điện năng và tiêu thụ nước, ai có thể tiết kiệm năng lượng tiêu thụ AI?
Nguồn gốc: Chen Gen nói về công nghệ
Ngày nay, trong khi mô hình AI cỡ lớn mà ChatGPT đại diện đã mang lại những thay đổi lớn cho xã hội loài người thì nó cũng gây tranh cãi vì tiêu tốn năng lượng.
Ấn phẩm mới nhất của The Economist cho biết: Các cơ sở tính toán hiệu năng cao, bao gồm cả siêu máy tính, đang trở thành những thiết bị tiêu thụ năng lượng lớn. **Theo Cơ quan Năng lượng Quốc tế, các trung tâm dữ liệu chiếm 1,5% đến 2% lượng điện tiêu thụ toàn cầu, gần tương đương với lượng điện tiêu thụ của toàn bộ nền kinh tế Vương quốc Anh. **Con số này dự kiến sẽ tăng lên 4% vào năm 2030.
**Trí tuệ nhân tạo không chỉ tiêu thụ điện mà còn cả nước. ** Theo báo cáo môi trường năm 2023 do Google công bố, nó sẽ tiêu thụ 5,6 tỷ gallon (khoảng 21,2 tỷ lít) nước vào năm 2022, tương đương với lượng nước của 37 sân golf. Trong đó, 5,2 tỷ gallon đã được chuyển đến các trung tâm dữ liệu của công ty, tăng 20% so với năm 2021.
Trước chi phí tiêu thụ năng lượng khổng lồ, trí tuệ nhân tạo (AI) muốn hướng tới tương lai, và nền kinh tế đã trở thành bài toán thực sự mà ChatGPT cần giải quyết gấp. Và nếu vấn đề tiêu thụ năng lượng cần được giải quyết, mọi biện pháp tối ưu hóa dựa trên công nghệ và kiến trúc hiện có sẽ ngăn nước sôi. Trong bối cảnh này, sự đột phá của công nghệ tiên tiến có thể là giải pháp tối ưu cho việc tiêu thụ năng lượng AI vấn đề nan giải. .
AI đang ăn năng lượng
Xét về bản chất của điện toán, điện toán là quá trình thay đổi dữ liệu từ hỗn loạn sang trật tự và quá trình này đòi hỏi một lượng năng lượng đầu vào nhất định.
Chỉ xét về mặt số lượng, theo thống kê chưa đầy đủ, khoảng 5% sản lượng điện toàn cầu vào năm 2020 sẽ được sử dụng để tính toán mức tiêu thụ điện năng, và con số này có thể tăng lên khoảng 15% đến 25% vào năm 2030, tức là người ta nói rằng tỷ trọng tiêu thụ điện trong ngành điện toán sẽ ngang bằng với các ngành tiêu thụ nhiều năng lượng như công nghiệp.
Năm 2020, mức tiêu thụ điện năng của các trung tâm dữ liệu của Trung Quốc sẽ vượt 200 tỷ kWh, gấp đôi sản lượng điện của Đập Tam Hiệp và Nhà máy điện Gezhouba (khoảng 100 tỷ kWh).
Trên thực tế, đối với ngành điện toán, chi phí điện cũng là chi phí cốt lõi bên cạnh chi phí chip.
**Nếu lượng điện tiêu thụ không được tạo ra bằng năng lượng tái tạo thì sẽ có lượng khí thải carbon. Đây là lý do tại sao các mô hình học máy cũng tạo ra lượng khí thải carbon. ChatGPT cũng không ngoại lệ. **
Dữ liệu cho thấy GPT-3 huấn luyện tiêu thụ 1287MWh (megawatt giờ), tương đương với việc thải ra 552 tấn carbon. Về vấn đề này, nhà nghiên cứu dữ liệu bền vững Caspar Ludwigsen cũng phân tích: “Lượng khí thải lớn của GPT-3 có thể giải thích một phần là do nó được đào tạo trên phần cứng cũ, kém hiệu quả hơn, nhưng do không có cách tiêu chuẩn hóa để đo lượng khí thải CO2 nên những con số này Ngoài ra, tiêu chuẩn về việc phân bổ bao nhiêu phần giá trị phát thải carbon này cho việc đào tạo ChatGPT cũng tương đối mơ hồ. Cần lưu ý rằng vì bản thân việc học tăng cường đòi hỏi phải tiêu thụ thêm điện nên lượng carbon lượng khí thải do ChatGPT tạo ra trong giai đoạn đào tạo mô hình phải lớn hơn giá trị này.” Chỉ tính bằng 552 tấn khí thải, tương đương với mức tiêu thụ năng lượng hàng năm của 126 hộ gia đình Đan Mạch.
**Trong giai đoạn vận hành, mặc dù mức tiêu thụ năng lượng từ hành động của con người khi vận hành ChatGPT rất nhỏ nhưng nó cũng có thể trở thành nguồn phát thải carbon lớn thứ hai do có thể có một tỷ lần mỗi ngày trên thế giới. **
Người đồng sáng lập Databoxer, Chris Bolton đã giải thích một phương pháp tính toán: "Đầu tiên, chúng tôi ước tính rằng mỗi từ phản hồi mất 0,35 giây trên GPU A100, giả sử có 1 triệu người dùng với 10 câu hỏi cho mỗi người dùng, tạo ra 1000 10.000 câu trả lời và 300 triệu từ mỗi ngày, mỗi từ word là 0,35 giây thì có thể tính được rằng GPU A100 chạy được 29167 giờ mỗi ngày."
Cloud Carbon Footprint liệt kê mức tiêu thụ điện năng tối thiểu của GPU A100 trong trung tâm dữ liệu Azure là 46W và mức tiêu thụ điện năng tối đa là 407W. Vì có khả năng không có nhiều bộ xử lý ChatGPT không hoạt động nên mức tiêu thụ điện năng hàng ngày sẽ đạt mức cao nhất là 11870kWh. phạm vi.
Chris Bolton cho biết: "Hệ số phát thải ở miền Tây Hoa Kỳ là 0,000322167 tấn/kWh, do đó nơi đây sẽ tạo ra 3,82 tấn carbon dioxide tương đương mỗi ngày. Trung bình một người Mỹ thải ra khoảng 15 tấn carbon dioxide tương đương mỗi năm. Nói cách khác, con số này tương đương với lượng khí thải carbon dioxide hàng năm của 93 người Mỹ. Tỷ lệ này có thể so sánh được.”
Mặc dù thuộc tính “ảo” khiến người ta dễ bỏ qua sổ carbon của các sản phẩm kỹ thuật số nhưng trên thực tế, Internet từ lâu đã là một trong những cỗ máy chạy bằng than lớn nhất hành tinh. **Một nghiên cứu của Berkeley về chủ đề tiêu thụ điện năng và trí tuệ nhân tạo cho rằng trí tuệ nhân tạo gần như ăn năng lượng. **
Ví dụ: mô hình ngôn ngữ được đào tạo trước T5 của Google đã sử dụng 86 megawatt điện và tạo ra 47 tấn khí thải CO2; chatbot Meena trường mở đa vòng của Google đã sử dụng 232 megawatt điện và tạo ra 96 tấn khí thải CO2; Bản dịch ngôn ngữ khuôn khổ do Google phát triển - GShard đã sử dụng 24 megawatt điện và tạo ra 4,3 tấn khí thải carbon dioxide; thuật toán định tuyến Switch Transformer do Google phát triển đã sử dụng 179 megawatt điện và tạo ra 59 tấn khí thải carbon dioxide.
Sức mạnh tính toán được sử dụng trong học sâu đã tăng theo hệ số 300.000 từ năm 2012 đến năm 2018, khiến GPT-3 trông giống như GPT-3 có tác động lớn nhất đến khí hậu. Tuy nhiên, khi hoạt động đồng thời với bộ não con người thì mức tiêu thụ năng lượng của bộ não con người chỉ bằng 0,002% năng lượng của máy.
Không chỉ tiêu thụ điện mà còn tiêu thụ nước
Ngoài mức tiêu thụ điện năng đáng kinh ngạc, trí tuệ nhân tạo còn tiêu tốn rất nhiều nước.
Trên thực tế, dù là điện năng hay lượng nước tiêu thụ, nó đều không thể tách rời khỏi trung tâm số, trụ cột của thế giới số. Là máy chủ và thiết bị mạng cung cấp năng lượng cho Internet và lưu trữ lượng dữ liệu khổng lồ, các trung tâm dữ liệu toàn cầu cần rất nhiều năng lượng để hoạt động và hệ thống làm mát là một trong những động lực chính tiêu thụ năng lượng. **
Sự thật là một trung tâm dữ liệu siêu lớn tiêu thụ gần 100 triệu kilowatt giờ điện mỗi năm và sự phát triển của AI thế hệ đã làm tăng thêm mức tiêu thụ năng lượng của trung tâm dữ liệu. Bởi vì các mô hình quy mô lớn thường yêu cầu hàng chục nghìn GPU nên thời gian đào tạo có thể kéo dài từ vài tuần đến vài tháng và cần một lượng điện năng lớn trong quá trình này.
Các máy chủ của trung tâm dữ liệu tạo ra rất nhiều năng lượng nhiệt trong quá trình hoạt động và làm mát bằng nước là phương pháp phổ biến nhất cho các máy chủ, điều này dẫn đến việc tiêu thụ lượng nước rất lớn. Dữ liệu cho thấy GPT-3 tiêu thụ gần 700 tấn nước trong quá trình luyện tập, sau đó tiêu thụ 500 ml nước cho mỗi 20-50 câu hỏi được trả lời.
Theo nghiên cứu của Virginia Tech, các trung tâm dữ liệu tiêu thụ trung bình 401 tấn nước mỗi ngày để làm mát, tương đương với lượng nước tiêu thụ của 100.000 hộ gia đình. Meta đã sử dụng hơn 2,6 triệu mét khối (khoảng 697 triệu gallon) nước vào năm 2022, chủ yếu dành cho các trung tâm dữ liệu. Mô hình ngôn ngữ quy mô lớn mới nhất của hãng, "Llama 2", cũng cần rất nhiều nước để đào tạo. Dù vậy, vào năm 2022, 1/5 trung tâm dữ liệu của Meta sẽ gặp tình trạng “thiếu nước”.
Ngoài ra, một con chip cơ sở hạ tầng quan trọng khác dành cho trí tuệ nhân tạo, quy trình sản xuất của nó cũng là quy trình tiêu tốn nhiều năng lượng và tài nguyên nước. Về mặt năng lượng, quy trình sản xuất chip đòi hỏi rất nhiều năng lượng, đặc biệt là các chip xử lý tiên tiến. Báo cáo "Dự báo mức tiêu thụ điện và phát thải carbon của chuỗi cung ứng điện tử tiêu dùng" của tổ chức môi trường quốc tế Greenpeace Đông Á đã nghiên cứu lượng khí thải carbon của 13 công ty sản xuất điện tử hàng đầu ở Đông Á, bao gồm Samsung Electronics và TSMC, đồng thời cho biết ngành sản xuất điện tử, đặc biệt là ngành công nghiệp điện tử Ngành công nghiệp bán dẫn Lượng khí thải carbon đang tăng vọt và mức tiêu thụ điện của ngành bán dẫn toàn cầu sẽ tăng vọt lên 237 terawatt giờ vào năm 2030.
Về mức tiêu thụ tài nguyên nước, quy trình sản xuất tấm bán dẫn silicon yêu cầu làm sạch bằng "nước siêu tinh khiết", quy trình sản xuất chip càng cao thì lượng nước tiêu thụ càng nhiều. Cần khoảng 32 kg nước để sản xuất một con chip máy tính nặng 2 gram. Sản xuất tấm wafer 8 inch tiêu thụ khoảng 250 tấn nước mỗi giờ và tấm wafer 12 inch có thể đạt tới 500 tấn.
**TSMC có công suất sản xuất tấm bán dẫn hàng năm là khoảng 30 triệu tấm bán dẫn và việc sản xuất chip tiêu thụ khoảng 80 triệu tấn nước. Nguồn nước đầy đủ đã trở thành điều kiện cần thiết cho sự phát triển của ngành công nghiệp chip. **Tháng 7 năm 2023, Bộ Kinh tế, Thương mại và Công nghiệp Nhật Bản quyết định thiết lập hệ thống mới trợ cấp cho việc xây dựng các cơ sở cung cấp nước công nghiệp cho các nhà máy bán dẫn nhằm đảm bảo lượng nước công nghiệp cần thiết cho sản xuất chất bán dẫn.
Về lâu dài, việc thúc đẩy và ứng dụng AI tổng hợp và lái xe không người lái sẽ dẫn đến sự tăng trưởng hơn nữa của ngành sản xuất chip, kéo theo đó là mức tiêu thụ lớn tài nguyên năng lượng.
**Ai có thể tiết kiệm năng lượng cho AI? **
Có thể nói, ngày nay, việc tiêu thụ năng lượng đã trở thành điểm yếu hạn chế sự phát triển của AI. Theo lộ trình kỹ thuật và mô hình phát triển hiện tại, tiến bộ AI sẽ gây ra hai vấn đề:
**Một mặt, quy mô của trung tâm dữ liệu sẽ ngày càng lớn hơn và mức tiêu thụ điện năng của nó cũng sẽ tăng theo và hoạt động sẽ ngày càng chậm hơn. **
Rõ ràng, với sự phổ biến của các ứng dụng AI, nhu cầu về tài nguyên trung tâm dữ liệu của AI sẽ tăng lên đáng kể. Các trung tâm dữ liệu quy mô lớn cần lượng điện lớn để chạy máy chủ, thiết bị lưu trữ và hệ thống làm mát. Điều này dẫn đến mức tiêu thụ năng lượng tăng lên, đồng thời đặt ra các vấn đề về ổn định nguồn cung cấp năng lượng và tác động đến môi trường. Sự phát triển liên tục của các trung tâm dữ liệu cũng có thể gây áp lực lên nguồn cung cấp năng lượng và việc phụ thuộc vào các nguồn năng lượng truyền thống để đáp ứng nhu cầu năng lượng của trung tâm dữ liệu có thể dẫn đến giá năng lượng tăng cao và nguồn cung không ổn định. Tất nhiên, mức tiêu thụ năng lượng cao của các trung tâm dữ liệu cũng có tác động đến môi trường, bao gồm lượng khí thải CO2 và mức tiêu thụ năng lượng.
**Mặt khác, chip AI đang phát triển theo hướng sức mạnh tính toán cao và khả năng tích hợp cao, dựa vào các quy trình sản xuất để hỗ trợ sự phát triển của sức mạnh tính toán đỉnh cao. Khi các quy trình sản xuất trở nên tiên tiến hơn, mức tiêu thụ điện năng và lượng nước tiêu thụ cũng tăng lên. **
Vậy trước mức tiêu thụ năng lượng AI khổng lồ như vậy, chúng ta có cách nào tốt hơn không? Trên thực tế, cách tốt nhất để giải quyết vấn đề nan giải về mặt kỹ thuật là phát triển các công nghệ mới.
Một mặt, sự tiến bộ của AI trong thời kỳ hậu Moore đòi hỏi phải tìm ra các mô hình và phương pháp mới, đáng tin cậy hơn.
Trên thực tế, ngày nay, lý do trí tuệ nhân tạo sẽ mang lại vấn đề tiêu thụ năng lượng rất lớn có liên quan chặt chẽ đến cách trí tuệ nhân tạo hiện thực hóa trí thông minh.
Chúng ta có thể so sánh việc xây dựng và vận hành mạng lưới thần kinh nhân tạo ở giai đoạn này với một nhóm các “tế bào thần kinh” nhân tạo độc lập làm việc cùng nhau. Mỗi nơ-ron giống như một đơn vị tính toán nhỏ có nhiệm vụ tiếp nhận thông tin, thực hiện một số phép tính và tạo ra kết quả đầu ra. Mạng lưới thần kinh nhân tạo ngày nay được xây dựng bằng cách thiết kế khéo léo cách các đơn vị tính toán này được kết nối để sau khi được đào tạo, chúng có thể thực hiện các nhiệm vụ cụ thể.
Nhưng mạng lưới thần kinh nhân tạo cũng có những hạn chế. Ví dụ: nếu chúng ta cần sử dụng mạng nơ-ron để phân biệt hình tròn với hình vuông. Một cách tiếp cận là đặt hai nơ-ron ở lớp đầu ra, một cho hình tròn và một cho hình vuông. Tuy nhiên, nếu chúng ta muốn mạng nơ-ron cũng có thể phân biệt màu sắc của các hình dạng, chẳng hạn như màu xanh lam và màu đỏ, thì chúng ta cần bốn nơ-ron đầu ra: hình tròn màu xanh, hình vuông màu xanh, hình tròn màu đỏ và hình vuông màu đỏ.
Có nghĩa là, khi độ phức tạp của nhiệm vụ tăng lên, cấu trúc của mạng lưới thần kinh cũng đòi hỏi nhiều nơ-ron hơn để xử lý nhiều thông tin hơn. Lý do là cách mạng lưới thần kinh nhân tạo đạt được trí thông minh không phải là cách bộ não con người nhận thức về thế giới tự nhiên, mà “trong mọi sự kết hợp, hệ thần kinh trí tuệ nhân tạo phải có một nơ-ron tương ứng”.
Ngược lại, bộ não con người có thể thực hiện hầu hết việc học một cách dễ dàng vì thông tin trong não được thể hiện bằng hoạt động của một số lượng lớn tế bào thần kinh. Điều đó có nghĩa là, nhận thức của bộ não con người về hình vuông màu đỏ không được mã hóa dưới dạng hoạt động của một nơ-ron đơn lẻ mà được mã hóa dưới dạng hoạt động của hàng nghìn nơ-ron. Cùng một tập hợp các tế bào thần kinh, hoạt động theo những cách khác nhau, có thể biểu thị một khái niệm hoàn toàn khác.
**Như bạn có thể thấy, điện toán não người là một phương pháp tính toán hoàn toàn khác. Và nếu phương pháp tính toán này được áp dụng vào công nghệ trí tuệ nhân tạo sẽ giảm đáng kể mức tiêu thụ năng lượng của trí tuệ nhân tạo. **Và phương pháp tính toán này được gọi là "phép tính siêu chiều". Đó là bắt chước phương pháp tính toán của bộ não con người và sử dụng không gian toán học nhiều chiều để thực hiện các phép tính nhằm đạt được quy trình tính toán thông minh và hiệu quả hơn.
Ví dụ: mô hình thiết kế kiến trúc truyền thống là mô hình hai chiều, chúng ta chỉ có thể vẽ các bản vẽ trên một mặt phẳng, mỗi bản vẽ thể hiện một khía cạnh khác nhau của tòa nhà, chẳng hạn như bố trí tầng và định tuyến dây. Nhưng khi các tòa nhà ngày càng trở nên phức tạp hơn, chúng ta cần ngày càng nhiều bản vẽ để thể hiện tất cả các chi tiết, việc này chiếm rất nhiều thời gian và giấy tờ.
Và điện toán siêu chiều dường như cung cấp cho chúng ta một phương pháp thiết kế mới. Chúng ta có thể thiết kế các tòa nhà theo ba chiều, với mỗi chiều đại diện cho một thuộc tính như chiều dài, chiều rộng, chiều cao, chất liệu, màu sắc, v.v. Hơn nữa, chúng ta cũng có thể thiết kế trong không gian có chiều cao hơn, chẳng hạn như chiều thứ tư thể hiện sự thay đổi của các tòa nhà tại các thời điểm khác nhau. Điều này cho phép chúng tôi hoàn thành tất cả các thiết kế trên một siêu bản vẽ, loại bỏ nhu cầu sử dụng nhiều bản vẽ 2D, giúp cải thiện đáng kể hiệu quả.
Tương tự như vậy, mức tiêu thụ năng lượng trong đào tạo AI có thể được so sánh với thiết kế tòa nhà. Học sâu truyền thống yêu cầu một lượng lớn tài nguyên máy tính để xử lý từng tính năng hoặc thuộc tính, trong khi điện toán siêu chiều đặt tất cả các tính năng vào không gian nhiều chiều để xử lý. Bằng cách này, AI có thể nhận biết nhiều tính năng cùng lúc chỉ bằng cách thực hiện các phép tính một lần, do đó tiết kiệm được nhiều thời gian tính toán và tiêu thụ năng lượng.
** Mặt khác, tìm giải pháp mới về nguồn năng lượng, ví dụ như công nghệ nhiệt hạch hạt nhân. **Công nghệ sản xuất điện nhiệt hạch hạt nhân được coi là một trong những giải pháp tối ưu cho vấn đề phát thải carbon toàn cầu vì về cơ bản nó không tạo ra chất thải hạt nhân và không gây ô nhiễm khí thải carbon trong quá trình sản xuất.
Vào tháng 5 năm 2023, Microsoft đã ký thỏa thuận mua bán với Helion Energy, một công ty khởi nghiệp về phản ứng tổng hợp hạt nhân, trở thành khách hàng đầu tiên của công ty và sẽ mua điện của hãng này khi công ty xây dựng nhà máy điện nhiệt hạch hạt nhân đầu tiên trên thế giới vào năm 2028. Hơn nữa, về lâu dài, ngay cả khi AI đạt được mức giảm tiêu thụ năng lượng trên một đơn vị sức mạnh tính toán thông qua đèn điện toán siêu chiều, những đột phá trong công nghệ nhiệt hạch hạt nhân hoặc các công nghệ năng lượng carbon thấp khác vẫn có thể khiến sự phát triển AI không còn bị hạn chế bởi carbon. vẫn có ý nghĩa hỗ trợ và khuyến khích rất lớn.
Suy cho cùng, vấn đề tiêu thụ năng lượng và tài nguyên do công nghệ mang lại vẫn chỉ có thể được giải quyết cơ bản ở trình độ kỹ thuật. Công nghệ hạn chế sự phát triển của công nghệ và cũng thúc đẩy sự phát triển của công nghệ, điều này đã xảy ra từ xa xưa.