Meta đã hợp tác với Microsoft để thách thức mô hình quy mô lớn. Llama 2 mới nhất là nguồn mở và miễn phí, đồng thời có thể được sử dụng trực tiếp cho mục đích thương mại
Chỉ sau một đêm, mô hình của các mô hình lớn về trí tuệ nhân tạo (AI) lại trải qua những thay đổi to lớn.
**Titanium Media App được biết rằng vào sáng sớm ngày 19 tháng 7 theo giờ Bắc Kinh, gã khổng lồ công nghệ Meta (trước đây là Facebook, NASDAQ: META), một gã khổng lồ công nghệ với giá trị thị trường gần 800 tỷ đô la Mỹ, đã phát hành AI lớn mới nhất Sê-ri mô hình ngôn ngữ Llama 2, bao gồm 7 tỷ và 13 tỷ Và 70 tỷ ba phiên bản tham số, thông tin mô hình và mã bắt đầu đều là mã nguồn mở và hỗ trợ sử dụng thương mại miễn phí, đồng thời bao gồm phiên bản mô hình Llama 2-CHAT được tinh chỉnh cho kịch bản trò chuyện đàm thoại.
So với Llama 1 được phát hành vào tháng 2 năm nay, mã thông báo được sử dụng cho đợt đào tạo Llama 2 mới nhất đã tăng gấp đôi lên 2 nghìn tỷ. Theo Meta, Llama 2 vượt trội hơn tất cả các mô hình Trò chuyện nguồn mở trong nhiều bài kiểm tra điểm chuẩn bên ngoài bao gồm các bài kiểm tra lý luận, viết mã, trình độ và kiến thức.
Đồng thời, Meta cũng đã công bố sáng nay rằng họ sẽ hợp tác với Microsoft và Qualcomm, Llama 2 sẽ được triển khai trên dịch vụ đám mây Azure của Microsoft và Llama 2 sẽ có thể chạy trên chip Qualcomm, phá vỡ thị trường điện toán AI giữa bộ vi xử lý Nvidia và AMD trên thị trường.
“Microsoft là đối tác được chúng tôi lựa chọn cho Llama 2 và đang mở rộng nỗ lực của chúng tôi trong lĩnh vực trí tuệ nhân tạo tổng quát (AIGC).” Meta tin rằng cách tiếp cận mở là cách tiếp cận phù hợp để phát triển mô hình AI ngày nay, đặc biệt là những mô hình lớn trong các công nghệ đang phát triển nhanh chóng. Công ty cũng lập luận trong bài báo rằng Llama 2 có thể là sự thay thế phù hợp cho mô hình khép kín, dựa trên đánh giá của con người về tính hữu dụng và an toàn của Meta.
CEO Microsoft Satya Nadella và CEO Meta Zuckerberg (Nguồn: Zuckerberg ins)
Yann LeCun, người chiến thắng Giải thưởng Turing 2018 và là nhà khoa học AI chính của Meta, đã tweet thẳng thừng: "Điều này sẽ thay đổi cục diện của thị trường mô hình ngôn ngữ lớn (LLM)."
Meta thách thức OpenAI: Hiệu suất trò chuyện mạnh hơn và an toàn hơn, và toàn bộ gần với GPT-3.5
Trong hơn một thập kỷ, Meta không chỉ chơi trong "Metaverse" mà còn luôn có bố cục nghiên cứu công nghệ AI, đặc biệt là Instagram, Facebook và các sản phẩm xã hội khác đang rất cần thuật toán để hỗ trợ quảng cáo.
Vào tháng 2 năm nay, Meta đã phát hành mô hình lớn AI Llama 1. Theo công ty, các nhà nghiên cứu bị sốc trước nhu cầu quá lớn đối với Llama 1, với hơn 100.000 yêu cầu truy cập và nhiều nhà phát triển đã đạt được những thành tựu đáng kinh ngạc khi xây dựng các ứng dụng mô hình trên Llama. Tuy nhiên, Llama không miễn phí cho mục đích thương mại do thỏa thuận nguồn mở.
Năm tháng sau, vào ngày 18 tháng 7 theo giờ địa phương, Meta đã phát hành mô hình quy mô lớn mã nguồn mở Llama 2, không chỉ miễn phí cho mục đích thương mại mà còn xuất bản một báo cáo kỹ thuật dạng giấy, thể hiện đầy đủ khả năng kỹ thuật và thông tin đánh giá của Lạc đà 2.
(Ghi chú: Địa chỉ giấy tờ: ; Địa chỉ dự án:
Được biết, Llama 2 là phiên bản cập nhật của Llama 1. So với Llama 1, mô hình đào tạo trước của Llama 2 được đào tạo trên 2 nghìn tỷ mã thông báo (đơn vị dữ liệu văn bản), lớn hơn 40% so với kích thước dữ liệu của Llama 1 (tăng 1,4 lần) và độ dài ngữ cảnh cũng tăng gấp đôi và sử dụng Nhóm Cơ chế Truy vấn Chú ý (GQA), trong khi mô hình Trò chuyện tinh chỉnh được đào tạo trên 1 triệu dữ liệu do con người dán nhãn.
Về mặt kỹ thuật, Llama 2 mới sử dụng khung Transformer tự hồi quy được tối ưu hóa và tất nhiên hỗ trợ PyTorch, thực hiện làm sạch dữ liệu mạnh mẽ hơn và cập nhật dữ liệu hỗn hợp.
Hiện tại, các mẫu Llama 2 series là 7B, 13B và 70B. Và Meta AI nói rằng họ vẫn đang đào tạo phiên bản 34B, nhưng nó sẽ không được phát hành vào thời điểm hiện tại. Phiên bản tinh chỉnh của meta của mô hình lớn LLAMA 2-chat dựa trên phiên bản tinh chỉnh của LLAMA 2 cho các cảnh đối thoại. Nó cũng hỗ trợ ba phiên bản tham số 7B, 13B và 70B, sử dụng RLHF và được giám sát tinh chỉnh (SFT) và các kỹ thuật khác để lặp đi lặp lại tối ưu hóa mô hình.
Theo nhiều thông tin đánh giá mà Meta hiển thị, tính đến thời điểm hiện tại, hiệu năng của Llama 2 70B đã tiệm cận với GPT-3.5, bằng hoặc tốt hơn Google PaLM (540B), nhưng Meta cũng thừa nhận rằng Llama 2 kém xa GPT-4 và Google PaLM- Vẫn còn một khoảng cách lớn về hiệu suất của các mô hình nguồn không mở hàng đầu như 2-L.
"Nhưng đối với nhiều tình huống, bạn không cần GPT-4," Percy Liang, giám đốc Trung tâm Nghiên cứu Mô hình Cơ bản Stanford thuộc nhóm nghiên cứu Alpaca cho biết.
Ngoài ra, bài báo cũng đề cập đến nỗ lực bảo mật của Llama 2. Trong số đó, Meta sử dụng các kỹ thuật như tinh chỉnh bảo mật được giám sát, RLHF bảo mật và chắt lọc ngữ cảnh bảo mật trong tinh chỉnh bảo mật và sử dụng ba tiêu chuẩn thường được sử dụng để đánh giá tính bảo mật của Llama 2. Hiệu suất tổng thể là tốt và nó là ổn định hơn và an toàn hơn so với các mô hình ngôn ngữ lớn khác.
Microsoft "hai thuyền": không chỉ cưới Meta mà còn tăng giá bản office GPT
Microsoft, công ty đang dẫn đầu làn sóng AI này, cuối cùng đã tiết lộ chiến lược mới của mình tại Hội nghị Đối tác Toàn cầu (Inspire 2023) hôm nay.
Vào ngày 18 tháng 7 theo giờ địa phương, Meta và Microsoft đã cùng nhau thông báo rằng bắt đầu từ hôm nay, Meta's Llama 2 sẽ có sẵn trên nền tảng Azure và Windows của Microsoft.
Giám đốc điều hành Microsoft Satya Nadella cho biết Llama 2 sẽ cho phép các nhà phát triển Microsoft Azure xây dựng trên đó và tận dụng các công cụ gốc trên đám mây của họ để lọc nội dung và các tính năng bảo mật. Nó cũng được tối ưu hóa để chạy tự nhiên trên Windows, cung cấp quy trình làm việc liền mạch cho các nhà phát triển.
Meta cho biết Llama 2 sẽ được khởi chạy trên đám mây Azure của Microsoft và sẽ được phân phối trên các nền tảng khác như Amazon AWS và Hugging Face trong tương lai và dịch vụ đám mây dựa trên mô hình Llama 2 sẽ được phát hành cho các nhà phát triển trên toàn thế giới.
Giám đốc điều hành Microsoft Satya Nadella
**Vì vậy, hiện tại có hai tùy chọn mô hình lớn trên nền tảng phát triển của Microsoft: không chỉ mô hình lớn dòng GPT của OpenAI mà còn cả mô hình lớn Llama 2 của Meta. **
Đồng thời, Microsoft cũng đã công bố vào thứ Ba rằng Microsoft 365 Copilot sẽ có giá 30 USD/người dùng/tháng cho những người bán đăng ký Office 365 E3, E5, Business Standard Edition và Business Advanced Edition. Theo giá trên trang web chính thức, các dịch vụ đăng ký này dành cho người dùng doanh nghiệp dao động từ 12,5 đô la đến 38 đô la mỗi tháng cho mỗi người dùng, điều đó có nghĩa là Microsoft đã tăng giá dịch vụ Office cho người dùng doanh nghiệp lên 1-3 lần.
Yusuf Mehdi, phó chủ tịch tập đoàn của Microsoft kiêm giám đốc tiếp thị của lĩnh vực tiêu dùng, cho biết trong vài tháng qua, 600 công ty trên khắp thế giới đã tham gia chương trình tiếp cận sớm sản phẩm, bao gồm cả các tổ chức nổi tiếng như KPMG và Ngân hàng Phát triển Quốc gia của Các Tiểu vương quốc Ả Rập Thống nhất. Ông nhấn mạnh rằng càng nhiều khách hàng** sử dụng Copilot, họ càng trở nên hào hứng hơn với Copilot. Chẳng mấy chốc, sẽ không ai muốn làm việc mà không có nó. **
Điều này đủ cho thấy sức mạnh định giá và sức hấp dẫn của Microsoft và OpenAI trong việc hiện thực hóa các sản phẩm Office AI trên thị trường.
Microsoft đã tiết lộ rằng tính đến quý đầu tiên của năm 2023, có tổng cộng 382 triệu người trên toàn thế giới đang sử dụng phiên bản thương mại của phần mềm Microsoft (Office) 365.
Tuy nhiên, Microsoft không công bố ngày ra mắt chính thức của sản phẩm vào hôm nay. Ngoài Microsoft, Google cũng đã công bố vào đầu năm nay rằng họ sẽ tích hợp các chức năng AI vào Google Workspace, một bộ ứng dụng văn phòng đám mây. Các nhà cung cấp dịch vụ phần mềm Internet trong các ngành được chia nhỏ, bao gồm cả Zoom, cũng đang gấp rút tung ra các chức năng AI.
Điều đáng chú ý là gã khổng lồ chip Qualcomm đã cùng nhau công bố vào sáng nay rằng họ có kế hoạch hỗ trợ triển khai AI dựa trên Meta Llama 2 trên các điện thoại thông minh và PC hàng đầu từ năm 2024, cho phép các nhà phát triển sử dụng khả năng AI của nền tảng Snapdragon và ra mắt một nền tảng mới. thế hệ ứng dụng AI.
Biểu đồ chứng khoán hàng ngày của Microsoft (Nguồn: TradingView)
Bị ảnh hưởng bởi tin tức mới, tính đến thứ Ba, giá cổ phiếu của Microsoft đóng cửa tăng 3,98%, đạt mức cao kỷ lục. Kể từ năm 2023, mức tăng tích lũy của Microsoft đã đạt 50,05%.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Meta đã hợp tác với Microsoft để thách thức mô hình quy mô lớn. Llama 2 mới nhất là nguồn mở và miễn phí, đồng thời có thể được sử dụng trực tiếp cho mục đích thương mại
Nguồn: Titanium Media App, Tác giả: Lin Zhijia
Chỉ sau một đêm, mô hình của các mô hình lớn về trí tuệ nhân tạo (AI) lại trải qua những thay đổi to lớn.
**Titanium Media App được biết rằng vào sáng sớm ngày 19 tháng 7 theo giờ Bắc Kinh, gã khổng lồ công nghệ Meta (trước đây là Facebook, NASDAQ: META), một gã khổng lồ công nghệ với giá trị thị trường gần 800 tỷ đô la Mỹ, đã phát hành AI lớn mới nhất Sê-ri mô hình ngôn ngữ Llama 2, bao gồm 7 tỷ và 13 tỷ Và 70 tỷ ba phiên bản tham số, thông tin mô hình và mã bắt đầu đều là mã nguồn mở và hỗ trợ sử dụng thương mại miễn phí, đồng thời bao gồm phiên bản mô hình Llama 2-CHAT được tinh chỉnh cho kịch bản trò chuyện đàm thoại.
So với Llama 1 được phát hành vào tháng 2 năm nay, mã thông báo được sử dụng cho đợt đào tạo Llama 2 mới nhất đã tăng gấp đôi lên 2 nghìn tỷ. Theo Meta, Llama 2 vượt trội hơn tất cả các mô hình Trò chuyện nguồn mở trong nhiều bài kiểm tra điểm chuẩn bên ngoài bao gồm các bài kiểm tra lý luận, viết mã, trình độ và kiến thức.
Đồng thời, Meta cũng đã công bố sáng nay rằng họ sẽ hợp tác với Microsoft và Qualcomm, Llama 2 sẽ được triển khai trên dịch vụ đám mây Azure của Microsoft và Llama 2 sẽ có thể chạy trên chip Qualcomm, phá vỡ thị trường điện toán AI giữa bộ vi xử lý Nvidia và AMD trên thị trường.
“Microsoft là đối tác được chúng tôi lựa chọn cho Llama 2 và đang mở rộng nỗ lực của chúng tôi trong lĩnh vực trí tuệ nhân tạo tổng quát (AIGC).” Meta tin rằng cách tiếp cận mở là cách tiếp cận phù hợp để phát triển mô hình AI ngày nay, đặc biệt là những mô hình lớn trong các công nghệ đang phát triển nhanh chóng. Công ty cũng lập luận trong bài báo rằng Llama 2 có thể là sự thay thế phù hợp cho mô hình khép kín, dựa trên đánh giá của con người về tính hữu dụng và an toàn của Meta.
Yann LeCun, người chiến thắng Giải thưởng Turing 2018 và là nhà khoa học AI chính của Meta, đã tweet thẳng thừng: "Điều này sẽ thay đổi cục diện của thị trường mô hình ngôn ngữ lớn (LLM)."
Meta thách thức OpenAI: Hiệu suất trò chuyện mạnh hơn và an toàn hơn, và toàn bộ gần với GPT-3.5
Trong hơn một thập kỷ, Meta không chỉ chơi trong "Metaverse" mà còn luôn có bố cục nghiên cứu công nghệ AI, đặc biệt là Instagram, Facebook và các sản phẩm xã hội khác đang rất cần thuật toán để hỗ trợ quảng cáo.
Vào tháng 2 năm nay, Meta đã phát hành mô hình lớn AI Llama 1. Theo công ty, các nhà nghiên cứu bị sốc trước nhu cầu quá lớn đối với Llama 1, với hơn 100.000 yêu cầu truy cập và nhiều nhà phát triển đã đạt được những thành tựu đáng kinh ngạc khi xây dựng các ứng dụng mô hình trên Llama. Tuy nhiên, Llama không miễn phí cho mục đích thương mại do thỏa thuận nguồn mở.
Năm tháng sau, vào ngày 18 tháng 7 theo giờ địa phương, Meta đã phát hành mô hình quy mô lớn mã nguồn mở Llama 2, không chỉ miễn phí cho mục đích thương mại mà còn xuất bản một báo cáo kỹ thuật dạng giấy, thể hiện đầy đủ khả năng kỹ thuật và thông tin đánh giá của Lạc đà 2.
(Ghi chú: Địa chỉ giấy tờ: ; Địa chỉ dự án:
Được biết, Llama 2 là phiên bản cập nhật của Llama 1. So với Llama 1, mô hình đào tạo trước của Llama 2 được đào tạo trên 2 nghìn tỷ mã thông báo (đơn vị dữ liệu văn bản), lớn hơn 40% so với kích thước dữ liệu của Llama 1 (tăng 1,4 lần) và độ dài ngữ cảnh cũng tăng gấp đôi và sử dụng Nhóm Cơ chế Truy vấn Chú ý (GQA), trong khi mô hình Trò chuyện tinh chỉnh được đào tạo trên 1 triệu dữ liệu do con người dán nhãn.
Về mặt kỹ thuật, Llama 2 mới sử dụng khung Transformer tự hồi quy được tối ưu hóa và tất nhiên hỗ trợ PyTorch, thực hiện làm sạch dữ liệu mạnh mẽ hơn và cập nhật dữ liệu hỗn hợp.
Hiện tại, các mẫu Llama 2 series là 7B, 13B và 70B. Và Meta AI nói rằng họ vẫn đang đào tạo phiên bản 34B, nhưng nó sẽ không được phát hành vào thời điểm hiện tại. Phiên bản tinh chỉnh của meta của mô hình lớn LLAMA 2-chat dựa trên phiên bản tinh chỉnh của LLAMA 2 cho các cảnh đối thoại. Nó cũng hỗ trợ ba phiên bản tham số 7B, 13B và 70B, sử dụng RLHF và được giám sát tinh chỉnh (SFT) và các kỹ thuật khác để lặp đi lặp lại tối ưu hóa mô hình.
Theo nhiều thông tin đánh giá mà Meta hiển thị, tính đến thời điểm hiện tại, hiệu năng của Llama 2 70B đã tiệm cận với GPT-3.5, bằng hoặc tốt hơn Google PaLM (540B), nhưng Meta cũng thừa nhận rằng Llama 2 kém xa GPT-4 và Google PaLM- Vẫn còn một khoảng cách lớn về hiệu suất của các mô hình nguồn không mở hàng đầu như 2-L.
Ngoài ra, bài báo cũng đề cập đến nỗ lực bảo mật của Llama 2. Trong số đó, Meta sử dụng các kỹ thuật như tinh chỉnh bảo mật được giám sát, RLHF bảo mật và chắt lọc ngữ cảnh bảo mật trong tinh chỉnh bảo mật và sử dụng ba tiêu chuẩn thường được sử dụng để đánh giá tính bảo mật của Llama 2. Hiệu suất tổng thể là tốt và nó là ổn định hơn và an toàn hơn so với các mô hình ngôn ngữ lớn khác.
Microsoft "hai thuyền": không chỉ cưới Meta mà còn tăng giá bản office GPT
Microsoft, công ty đang dẫn đầu làn sóng AI này, cuối cùng đã tiết lộ chiến lược mới của mình tại Hội nghị Đối tác Toàn cầu (Inspire 2023) hôm nay.
Vào ngày 18 tháng 7 theo giờ địa phương, Meta và Microsoft đã cùng nhau thông báo rằng bắt đầu từ hôm nay, Meta's Llama 2 sẽ có sẵn trên nền tảng Azure và Windows của Microsoft.
Giám đốc điều hành Microsoft Satya Nadella cho biết Llama 2 sẽ cho phép các nhà phát triển Microsoft Azure xây dựng trên đó và tận dụng các công cụ gốc trên đám mây của họ để lọc nội dung và các tính năng bảo mật. Nó cũng được tối ưu hóa để chạy tự nhiên trên Windows, cung cấp quy trình làm việc liền mạch cho các nhà phát triển.
Meta cho biết Llama 2 sẽ được khởi chạy trên đám mây Azure của Microsoft và sẽ được phân phối trên các nền tảng khác như Amazon AWS và Hugging Face trong tương lai và dịch vụ đám mây dựa trên mô hình Llama 2 sẽ được phát hành cho các nhà phát triển trên toàn thế giới.
**Vì vậy, hiện tại có hai tùy chọn mô hình lớn trên nền tảng phát triển của Microsoft: không chỉ mô hình lớn dòng GPT của OpenAI mà còn cả mô hình lớn Llama 2 của Meta. **
Đồng thời, Microsoft cũng đã công bố vào thứ Ba rằng Microsoft 365 Copilot sẽ có giá 30 USD/người dùng/tháng cho những người bán đăng ký Office 365 E3, E5, Business Standard Edition và Business Advanced Edition. Theo giá trên trang web chính thức, các dịch vụ đăng ký này dành cho người dùng doanh nghiệp dao động từ 12,5 đô la đến 38 đô la mỗi tháng cho mỗi người dùng, điều đó có nghĩa là Microsoft đã tăng giá dịch vụ Office cho người dùng doanh nghiệp lên 1-3 lần.
Yusuf Mehdi, phó chủ tịch tập đoàn của Microsoft kiêm giám đốc tiếp thị của lĩnh vực tiêu dùng, cho biết trong vài tháng qua, 600 công ty trên khắp thế giới đã tham gia chương trình tiếp cận sớm sản phẩm, bao gồm cả các tổ chức nổi tiếng như KPMG và Ngân hàng Phát triển Quốc gia của Các Tiểu vương quốc Ả Rập Thống nhất. Ông nhấn mạnh rằng càng nhiều khách hàng** sử dụng Copilot, họ càng trở nên hào hứng hơn với Copilot. Chẳng mấy chốc, sẽ không ai muốn làm việc mà không có nó. **
Điều này đủ cho thấy sức mạnh định giá và sức hấp dẫn của Microsoft và OpenAI trong việc hiện thực hóa các sản phẩm Office AI trên thị trường.
Microsoft đã tiết lộ rằng tính đến quý đầu tiên của năm 2023, có tổng cộng 382 triệu người trên toàn thế giới đang sử dụng phiên bản thương mại của phần mềm Microsoft (Office) 365.
Tuy nhiên, Microsoft không công bố ngày ra mắt chính thức của sản phẩm vào hôm nay. Ngoài Microsoft, Google cũng đã công bố vào đầu năm nay rằng họ sẽ tích hợp các chức năng AI vào Google Workspace, một bộ ứng dụng văn phòng đám mây. Các nhà cung cấp dịch vụ phần mềm Internet trong các ngành được chia nhỏ, bao gồm cả Zoom, cũng đang gấp rút tung ra các chức năng AI.
Điều đáng chú ý là gã khổng lồ chip Qualcomm đã cùng nhau công bố vào sáng nay rằng họ có kế hoạch hỗ trợ triển khai AI dựa trên Meta Llama 2 trên các điện thoại thông minh và PC hàng đầu từ năm 2024, cho phép các nhà phát triển sử dụng khả năng AI của nền tảng Snapdragon và ra mắt một nền tảng mới. thế hệ ứng dụng AI.
Bị ảnh hưởng bởi tin tức mới, tính đến thứ Ba, giá cổ phiếu của Microsoft đóng cửa tăng 3,98%, đạt mức cao kỷ lục. Kể từ năm 2023, mức tăng tích lũy của Microsoft đã đạt 50,05%.