Meta bekerja sama dengan Microsoft untuk menantang pola model skala besar Llama 2 terbaru gratis dan open source, dan dapat digunakan langsung untuk penggunaan komersial
Dalam semalam, pola model besar kecerdasan buatan (AI) telah mengalami perubahan yang luar biasa lagi.
** Aplikasi Media Titanium mengetahui bahwa pada dini hari tanggal 19 Juli, waktu Beijing, raksasa teknologi Meta (sebelumnya Facebook, NASDAQ: META), raksasa teknologi dengan nilai pasar hampir 800 miliar dolar AS, merilis AI besar terbaru model bahasa seri Llama 2, termasuk 7 miliar dan 13 miliar Dan 70 miliar tiga versi parameter, informasi model dan kode awal semuanya open source, dan mendukung penggunaan komersial gratis, dan juga menyertakan versi model Llama 2-CHAT yang disesuaikan untuk skenario obrolan percakapan.
Dibandingkan dengan Llama 1 yang dirilis pada Februari tahun ini, token yang digunakan untuk pelatihan Llama 2 terbaru naik dua kali lipat menjadi 2 triliun. Menurut Meta, Llama 2 mengungguli semua model Obrolan sumber terbuka dalam berbagai tes penilaian benchmark eksternal termasuk tes penalaran, pengkodean, kecakapan, dan pengetahuan.
Pada saat yang sama, Meta juga mengumumkan pagi ini bahwa ia akan bekerja sama dengan Microsoft dan Qualcomm Llama 2 akan ditempatkan di layanan cloud Microsoft Azure, dan Llama 2 akan dapat berjalan di chip Qualcomm, mematahkan pasar daya komputasi AI. antara prosesor Nvidia dan AMD di pasar monopoli.
“Microsoft adalah mitra pilihan kami untuk Llama 2 dan memperluas upaya kami dalam kecerdasan buatan generatif (AIGC).” Meta percaya bahwa pendekatan terbuka adalah pendekatan yang tepat untuk pengembangan model AI saat ini, terutama untuk teknologi model besar yang berkembang pesat. Perusahaan juga berpendapat dalam makalah bahwa Llama 2 mungkin merupakan pengganti yang cocok untuk model tertutup, berdasarkan penilaian manusia Meta tentang kegunaan dan keamanan.
CEO Microsoft Satya Nadella dan CEO Meta Zuckerberg (Sumber: Zuckerberg ins)
Yann LeCun, pemenang Turing Award 2018 dan kepala ilmuwan AI Meta, men-tweet terus terang, "Ini akan mengubah lanskap pasar model bahasa besar (LLM)."
Meta menantang OpenAI: Performa obrolan lebih kuat dan lebih aman, dan secara keseluruhan mendekati GPT-3.5
Selama lebih dari satu dekade, Meta tidak hanya bermain di "Metaverse", tetapi selalu memiliki tata letak untuk penelitian teknologi AI, terutama Instagram, Facebook, dan produk sosial lainnya yang sangat membutuhkan algoritme untuk menghadirkan dukungan iklan.
Pada bulan Februari tahun ini, Meta merilis AI model besar Llama 1. Menurut perusahaan, para peneliti dikejutkan oleh permintaan yang sangat besar untuk Llama 1, dengan lebih dari 100.000 permintaan akses, dan semakin banyak pengembang yang mencapai pencapaian luar biasa dengan membangun aplikasi model di Llama. Namun, Llama belum bebas untuk penggunaan komersial karena perjanjian open source.
Lima bulan kemudian, pada 18 Juli waktu setempat, Meta merilis model skala besar open-source Llama 2, yang tidak hanya gratis untuk penggunaan komersial, tetapi juga menerbitkan laporan teknis bergaya kertas, yang sepenuhnya mendemonstrasikan kemampuan teknis dan informasi evaluasi. dari Llama 2.
(Catatan: Alamat kertas: ; Alamat proyek:
Dilaporkan bahwa Llama 2 adalah versi terbaru dari Llama 1. Dibandingkan dengan Llama 1, model pra-pelatihan Llama 2 dilatih pada 2 triliun token (unit data teks), yang 40% lebih besar dari ukuran data Llama 1 (peningkatan 1,4 kali), dan panjang konteksnya juga dua kali lipat, dan menggunakan Grouped Mekanisme Query Attention (GQA), sedangkan model Obrolan yang disempurnakan dilatih pada 1 juta data berlabel manusia.
Secara teknis, Llama 2 baru menggunakan kerangka Transformer autoregresif yang dioptimalkan, dan tentu saja mendukung PyTorch, melakukan pembersihan data yang lebih kuat, dan memperbarui data campuran.
Saat ini, model seri Llama 2 adalah 7B, 13B dan 70B tiga. Dan Meta AI mengatakan bahwa mereka masih melatih versi 34B, tetapi untuk saat ini tidak akan dirilis. Versi fine-tuned Meta dari model besar LLAMA 2-chat didasarkan pada versi fine-tuned LLAMA 2 untuk adegan dialog. Ini juga mendukung tiga versi parameter 7B, 13B dan 70B, menggunakan RLHF dan diawasi fine-tuning (SFT) dan teknik lain untuk mengoptimalkan model secara iteratif.
Menurut berbagai informasi evaluasi yang ditampilkan oleh Meta, sampai saat ini performa Llama 2 70B mendekati GPT-3.5, sama atau lebih baik dari Google PaLM (540B), namun Meta juga mengakui bahwa Llama 2 jauh dari GPT-4 dan Google PaLM- Masih ada celah besar dalam performa model non-open source terkemuka seperti 2-L.
"Tetapi untuk banyak skenario, Anda tidak memerlukan GPT-4," kata Percy Liang, direktur Stanford Center for Fundamental Modeling Research di tim peneliti Alpaca.
Selain itu, makalah tersebut juga menyebutkan upaya pengamanan Llama 2. Diantaranya, Meta menggunakan teknik seperti penyempurnaan keamanan yang diawasi, RLHF aman, dan penyulingan konteks keamanan dalam penyempurnaan keamanan, dan menggunakan tiga tolok ukur yang umum digunakan untuk mengevaluasi keamanan Llama 2. Performa keseluruhannya bagus, dan memang demikian lebih stabil dan lebih aman daripada model bahasa besar lainnya.
Microsoft "menginjak dua perahu": tidak hanya menikahi Meta, tetapi juga menaikkan harga kantor versi GPT
Microsoft, yang memimpin gelombang AI ini, akhirnya mengungkapkan strategi barunya pada Konferensi Mitra Global hari ini (Inspire 2023).
Pada 18 Juli waktu setempat, Meta dan Microsoft bersama-sama mengumumkan bahwa mulai hari ini, Meta's Llama 2 akan tersedia di platform Microsoft Azure dan Windows.
CEO Microsoft Satya Nadella mengatakan bahwa Llama 2 akan memungkinkan pengembang Microsoft Azure untuk mengembangkannya dan memanfaatkan alat cloud-native mereka untuk penyaringan konten dan fitur keamanan. Itu juga dioptimalkan untuk berjalan secara native di Windows, memberikan alur kerja yang mulus untuk pengembang.
Meta mengatakan bahwa Llama 2 akan diluncurkan di cloud Azure Microsoft, dan akan didistribusikan di platform lain seperti Amazon AWS dan Hugging Face di masa mendatang, dan layanan cloud berdasarkan model Llama 2 akan dirilis ke pengembang di seluruh dunia.
CEO Microsoft Satya Nadella
**Jadi, saat ini ada dua opsi model besar pada platform pengembangan Microsoft: tidak hanya model besar seri GPT OpenAI, tetapi juga model besar Meta Llama 2. **
Pada saat yang sama, Microsoft juga mengumumkan pada hari Selasa bahwa Microsoft 365 Copilot akan dihargai $30 per pengguna per bulan untuk pedagang langganan Office 365 E3, E5, Business Standard Edition dan Business Advanced Edition. Menurut harga di situs web resmi, layanan berlangganan untuk pengguna bisnis ini berkisar dari $12,5 hingga $38 per bulan per pengguna, yang berarti bahwa Microsoft telah menaikkan harga layanan Office untuk pengguna bisnis sebanyak 1-3 kali lipat.
Yusuf Mehdi, wakil presiden korporat Microsoft dan kepala pemasaran sektor konsumen, mengatakan dalam beberapa bulan terakhir, 600 perusahaan di seluruh dunia telah berpartisipasi dalam program akses awal produk tersebut, termasuk lembaga ternama seperti KPMG dan Bank Pembangunan Nasional Uni Emirat Arab. Dia menekankan bahwa semakin banyak pelanggan** menggunakan Copilot, semakin antusias mereka terhadap Copilot. Segera, tidak ada yang mau bekerja tanpanya. **
Ini cukup untuk menunjukkan kekuatan harga dan daya tarik Microsoft dan OpenAI untuk mewujudkan produk Office AI di pasar.
Microsoft telah mengungkapkan bahwa pada kuartal pertama tahun 2023, total 382 juta orang di seluruh dunia menggunakan perangkat lunak Microsoft (Office) 365 versi komersial.
Namun, Microsoft tidak mengumumkan tanggal peluncuran resmi produk tersebut hari ini. Selain Microsoft, Google juga mengumumkan awal tahun ini akan mengintegrasikan fungsi AI ke dalam Google Workspace, cloud office suite. Penyedia layanan perangkat lunak internet di industri yang terbagi, termasuk Zoom, juga bergegas meluncurkan fungsi AI.
Perlu dicatat bahwa raksasa chip Qualcomm bersama-sama mengumumkan pagi ini bahwa mereka berencana untuk mendukung penyebaran AI berdasarkan Meta Llama 2 pada smartphone dan PC andalan mulai tahun 2024, memungkinkan pengembang untuk menggunakan kemampuan AI dari platform Snapdragon dan meluncurkan yang baru. aplikasi generasi AI.
Grafik harian saham Microsoft (Sumber: TradingView)
Dipengaruhi oleh berita baru, pada hari Selasa, harga saham Microsoft ditutup naik 3,98%, mencapai rekor tertinggi. Sejak 2023, peningkatan kumulatif Microsoft mencapai 50,05%.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Meta bekerja sama dengan Microsoft untuk menantang pola model skala besar Llama 2 terbaru gratis dan open source, dan dapat digunakan langsung untuk penggunaan komersial
Sumber: Titanium Media App, Penulis: Lin Zhijia
Dalam semalam, pola model besar kecerdasan buatan (AI) telah mengalami perubahan yang luar biasa lagi.
** Aplikasi Media Titanium mengetahui bahwa pada dini hari tanggal 19 Juli, waktu Beijing, raksasa teknologi Meta (sebelumnya Facebook, NASDAQ: META), raksasa teknologi dengan nilai pasar hampir 800 miliar dolar AS, merilis AI besar terbaru model bahasa seri Llama 2, termasuk 7 miliar dan 13 miliar Dan 70 miliar tiga versi parameter, informasi model dan kode awal semuanya open source, dan mendukung penggunaan komersial gratis, dan juga menyertakan versi model Llama 2-CHAT yang disesuaikan untuk skenario obrolan percakapan.
Dibandingkan dengan Llama 1 yang dirilis pada Februari tahun ini, token yang digunakan untuk pelatihan Llama 2 terbaru naik dua kali lipat menjadi 2 triliun. Menurut Meta, Llama 2 mengungguli semua model Obrolan sumber terbuka dalam berbagai tes penilaian benchmark eksternal termasuk tes penalaran, pengkodean, kecakapan, dan pengetahuan.
Pada saat yang sama, Meta juga mengumumkan pagi ini bahwa ia akan bekerja sama dengan Microsoft dan Qualcomm Llama 2 akan ditempatkan di layanan cloud Microsoft Azure, dan Llama 2 akan dapat berjalan di chip Qualcomm, mematahkan pasar daya komputasi AI. antara prosesor Nvidia dan AMD di pasar monopoli.
“Microsoft adalah mitra pilihan kami untuk Llama 2 dan memperluas upaya kami dalam kecerdasan buatan generatif (AIGC).” Meta percaya bahwa pendekatan terbuka adalah pendekatan yang tepat untuk pengembangan model AI saat ini, terutama untuk teknologi model besar yang berkembang pesat. Perusahaan juga berpendapat dalam makalah bahwa Llama 2 mungkin merupakan pengganti yang cocok untuk model tertutup, berdasarkan penilaian manusia Meta tentang kegunaan dan keamanan.
Yann LeCun, pemenang Turing Award 2018 dan kepala ilmuwan AI Meta, men-tweet terus terang, "Ini akan mengubah lanskap pasar model bahasa besar (LLM)."
Meta menantang OpenAI: Performa obrolan lebih kuat dan lebih aman, dan secara keseluruhan mendekati GPT-3.5
Selama lebih dari satu dekade, Meta tidak hanya bermain di "Metaverse", tetapi selalu memiliki tata letak untuk penelitian teknologi AI, terutama Instagram, Facebook, dan produk sosial lainnya yang sangat membutuhkan algoritme untuk menghadirkan dukungan iklan.
Pada bulan Februari tahun ini, Meta merilis AI model besar Llama 1. Menurut perusahaan, para peneliti dikejutkan oleh permintaan yang sangat besar untuk Llama 1, dengan lebih dari 100.000 permintaan akses, dan semakin banyak pengembang yang mencapai pencapaian luar biasa dengan membangun aplikasi model di Llama. Namun, Llama belum bebas untuk penggunaan komersial karena perjanjian open source.
Lima bulan kemudian, pada 18 Juli waktu setempat, Meta merilis model skala besar open-source Llama 2, yang tidak hanya gratis untuk penggunaan komersial, tetapi juga menerbitkan laporan teknis bergaya kertas, yang sepenuhnya mendemonstrasikan kemampuan teknis dan informasi evaluasi. dari Llama 2.
(Catatan: Alamat kertas: ; Alamat proyek:
Dilaporkan bahwa Llama 2 adalah versi terbaru dari Llama 1. Dibandingkan dengan Llama 1, model pra-pelatihan Llama 2 dilatih pada 2 triliun token (unit data teks), yang 40% lebih besar dari ukuran data Llama 1 (peningkatan 1,4 kali), dan panjang konteksnya juga dua kali lipat, dan menggunakan Grouped Mekanisme Query Attention (GQA), sedangkan model Obrolan yang disempurnakan dilatih pada 1 juta data berlabel manusia.
Secara teknis, Llama 2 baru menggunakan kerangka Transformer autoregresif yang dioptimalkan, dan tentu saja mendukung PyTorch, melakukan pembersihan data yang lebih kuat, dan memperbarui data campuran.
Saat ini, model seri Llama 2 adalah 7B, 13B dan 70B tiga. Dan Meta AI mengatakan bahwa mereka masih melatih versi 34B, tetapi untuk saat ini tidak akan dirilis. Versi fine-tuned Meta dari model besar LLAMA 2-chat didasarkan pada versi fine-tuned LLAMA 2 untuk adegan dialog. Ini juga mendukung tiga versi parameter 7B, 13B dan 70B, menggunakan RLHF dan diawasi fine-tuning (SFT) dan teknik lain untuk mengoptimalkan model secara iteratif.
Menurut berbagai informasi evaluasi yang ditampilkan oleh Meta, sampai saat ini performa Llama 2 70B mendekati GPT-3.5, sama atau lebih baik dari Google PaLM (540B), namun Meta juga mengakui bahwa Llama 2 jauh dari GPT-4 dan Google PaLM- Masih ada celah besar dalam performa model non-open source terkemuka seperti 2-L.
Selain itu, makalah tersebut juga menyebutkan upaya pengamanan Llama 2. Diantaranya, Meta menggunakan teknik seperti penyempurnaan keamanan yang diawasi, RLHF aman, dan penyulingan konteks keamanan dalam penyempurnaan keamanan, dan menggunakan tiga tolok ukur yang umum digunakan untuk mengevaluasi keamanan Llama 2. Performa keseluruhannya bagus, dan memang demikian lebih stabil dan lebih aman daripada model bahasa besar lainnya.
Microsoft "menginjak dua perahu": tidak hanya menikahi Meta, tetapi juga menaikkan harga kantor versi GPT
Microsoft, yang memimpin gelombang AI ini, akhirnya mengungkapkan strategi barunya pada Konferensi Mitra Global hari ini (Inspire 2023).
Pada 18 Juli waktu setempat, Meta dan Microsoft bersama-sama mengumumkan bahwa mulai hari ini, Meta's Llama 2 akan tersedia di platform Microsoft Azure dan Windows.
CEO Microsoft Satya Nadella mengatakan bahwa Llama 2 akan memungkinkan pengembang Microsoft Azure untuk mengembangkannya dan memanfaatkan alat cloud-native mereka untuk penyaringan konten dan fitur keamanan. Itu juga dioptimalkan untuk berjalan secara native di Windows, memberikan alur kerja yang mulus untuk pengembang.
Meta mengatakan bahwa Llama 2 akan diluncurkan di cloud Azure Microsoft, dan akan didistribusikan di platform lain seperti Amazon AWS dan Hugging Face di masa mendatang, dan layanan cloud berdasarkan model Llama 2 akan dirilis ke pengembang di seluruh dunia.
**Jadi, saat ini ada dua opsi model besar pada platform pengembangan Microsoft: tidak hanya model besar seri GPT OpenAI, tetapi juga model besar Meta Llama 2. **
Pada saat yang sama, Microsoft juga mengumumkan pada hari Selasa bahwa Microsoft 365 Copilot akan dihargai $30 per pengguna per bulan untuk pedagang langganan Office 365 E3, E5, Business Standard Edition dan Business Advanced Edition. Menurut harga di situs web resmi, layanan berlangganan untuk pengguna bisnis ini berkisar dari $12,5 hingga $38 per bulan per pengguna, yang berarti bahwa Microsoft telah menaikkan harga layanan Office untuk pengguna bisnis sebanyak 1-3 kali lipat.
Yusuf Mehdi, wakil presiden korporat Microsoft dan kepala pemasaran sektor konsumen, mengatakan dalam beberapa bulan terakhir, 600 perusahaan di seluruh dunia telah berpartisipasi dalam program akses awal produk tersebut, termasuk lembaga ternama seperti KPMG dan Bank Pembangunan Nasional Uni Emirat Arab. Dia menekankan bahwa semakin banyak pelanggan** menggunakan Copilot, semakin antusias mereka terhadap Copilot. Segera, tidak ada yang mau bekerja tanpanya. **
Ini cukup untuk menunjukkan kekuatan harga dan daya tarik Microsoft dan OpenAI untuk mewujudkan produk Office AI di pasar.
Microsoft telah mengungkapkan bahwa pada kuartal pertama tahun 2023, total 382 juta orang di seluruh dunia menggunakan perangkat lunak Microsoft (Office) 365 versi komersial.
Namun, Microsoft tidak mengumumkan tanggal peluncuran resmi produk tersebut hari ini. Selain Microsoft, Google juga mengumumkan awal tahun ini akan mengintegrasikan fungsi AI ke dalam Google Workspace, cloud office suite. Penyedia layanan perangkat lunak internet di industri yang terbagi, termasuk Zoom, juga bergegas meluncurkan fungsi AI.
Perlu dicatat bahwa raksasa chip Qualcomm bersama-sama mengumumkan pagi ini bahwa mereka berencana untuk mendukung penyebaran AI berdasarkan Meta Llama 2 pada smartphone dan PC andalan mulai tahun 2024, memungkinkan pengembang untuk menggunakan kemampuan AI dari platform Snapdragon dan meluncurkan yang baru. aplikasi generasi AI.
Dipengaruhi oleh berita baru, pada hari Selasa, harga saham Microsoft ditutup naik 3,98%, mencapai rekor tertinggi. Sejak 2023, peningkatan kumulatif Microsoft mencapai 50,05%.