İyi adam, HUAWEI HarmonyOS Access Büyük Model, akıllı asistan böyle oynayabilir mi?
Yalnızca bir Çince komutla Huawei Xiaoyi, İngilizce bir e-posta yazacak:
Kendi fotoğraflarınızı farklı stillerde oluşturmak için yapay zekayı kullanabilirsiniz:
Ayrıca uzun bir talimat listesi konuşabilir, karmaşık sahneleri kendi kendine oluşturmasına izin verebilir ve bunu sade bir dille anlayabilirsiniz:
Bu, HUAWEI HarmonyOS 4 içindeki Yeni Xiaoyi'dir.
Büyük miktarda sahne verisi içeren, modelde ince ayar yapan ve son olarak L1 katmanlı diyalog modelini iyileştiren Huawei'nin Pangu L0 tabanının büyük modelini temel alır.
Metin oluşturma, bilgi arama, veri özeti, akıllı düzenleme ve bulanık/karmaşık niyet anlayışı gibi görevlerin üstesinden gelebilir.
Ayrıca, sistem düzeyinde akıllı bir deneyim gerçekleştirmek için çeşitli APP hizmetleri de çağrılabilir.
Peki, yeni Huawei Xiaoyi neler yapabilir?
Daha akıllı, daha yetenekli, daha ilgili
Büyük modellerin yeteneklerine bağlı olarak, Huawei Xiaoyi bu sefer esas olarak üç açıdan yükseltti:
Akıllı etkileşim
Yüksek verimlilik
Kişiselleştirilmiş servis
Spesifik yetenek geliştirmeleri, daha doğal dil diyaloglarını, oyun makinelerinde bilgi sınavlarını, yaşam servislerini aramayı, diyalog tanıma ekran içeriğini, özet metin yazarlığı resimlerinin oluşturulmasını vb. içerir.
**Her şeyden önce, akıllı etkileşim yükseltmesi, diyaloğu ve etkileşimi daha doğal ve pürüzsüz hale getirir. **
Huawei Xiaoyi yerel dili anlayabilir, belirsiz niyetleri ve karmaşık komutları anlayabilir.
En son duvar kağıdı ayarı işlevini bulamıyorsanız ve işlevin adını bilmiyorsanız, doğrudan sorabilirsiniz:
Hava durumuna göre gerçek zamanlı olarak değişebilen duvar kağıdı nasıl değiştirilir?
Veya birden çok gereksinimi olan karmaşık bir komut:
Songshan Gölü yakınında, tercihen dört kişilik indirimli set yemek sunan yüksek puanlı bir deniz ürünleri restoranı bulun.
Xiaoyi, gereksinimleri karşılayan bir restoran bulmak için servisi de arayabilir.
Aynı zamanda Xiaoyi'nin çok modlu yetenekleri vardır, görüntü içeriğini anlayabilir. Bu şekilde, kullanıcıların okuması ve ardından manuel olarak çalıştırması gereken adımlar da Xiaoyi'ye devredilebilir.
Örneğin bir davet mektubuna baksın ve şöyle desin:
Haritadaki adrese gidin.
Haritadaki adres bilgilerini çıkarabilir ve navigasyon için harita servisini çağırabilir.
Veya davetiyedeki iletişim bilgilerini kaydedin ve görseldeki metin bilgilerini çok iyi anlayabildiğini görebilirsiniz.
Bir adım daha ileri giderek, artık Xiaoyi aracılığıyla karmaşık görev düzenlemeleri gerçekleştirebiliyoruz, bu nedenle tekrar tekrar manuel olarak ayarlamamız gerekmiyor.
Örneğin, bir sabah koşu sahnesi oluşturmasına izin verebilirsiniz:
Sabah koşusu sahnesini oluşturmama yardım et. Her pazartesiden cumaya sabah 6:30'da günün hava durumunu benim için yayınlayacağım. Bluetooth kulaklıklarımı taktığımda en sevdiğim şarkıları çalıyorum ve telefonumu sessiz moda alıyorum.
Xiaoyi, bu uzun gereksinimler listesini anlayabilir ve ardından farklı işlevleri çağırabilir. Ve cep telefonunun durumuna göre (Bluetooth kulaklığın bağlı olup olmadığı), belirli işlemlerin yapılıp yapılmayacağına karar verebilir.
İkincisi, büyük modeller gibi yetenekler sayesinde Xiaoyi artık daha verimli üretkenlik araçları sağlayabilir.
Görmenize, okumanıza ve yazmanıza yardımcı olur.
Örneğin, ona İngilizce bir makale gösterin ve ardından bu makalede ne söylendiğini sorun.
Xiaoyi, Çince basit ve özlü açıklamalar yapabilir.
Kullanıcı geçmişte bazı bilgileri hatırlamasını istediyse, ilgili içeriği oluşturmak için de çağrılabilir.
Birkaç gün içinde projeyi tartışmak için David ile bir randevu ayarlayacağım.Son toplantıdaki bilgileri birleştirerek bir İngilizce toplantı randevusu e-postası yazacağım.
Başlangıçta bahsedilenler dahil olmak üzere Xiaoyi, çeşitli stillerde fotoğraflar oluşturmak için AI görsel yeteneğini de kullanabilir.
**Son olarak, akıllı bir asistan olarak Xiaoyi artık daha kişiselleştirilmiş hizmetleri destekliyor ve sizi daha iyi anlayabiliyor. **
Not defteri ve muhtıra olarak kullanılabilir ve bazı küçük şeyler sözlü olarak kaydedilebilir.
Huawei, ** tüm bellek içeriğinin kullanıcının yetkilendirmesi altında tamamlandığını ve kullanıcı gizliliğini tamamen koruyacağını belirtti. **
Ek olarak, Xiaoyi Suggestion artık kullanıcıların daha yüksek frekanslı sahnelerini algılayabilir ve aktif olarak tek elden akıllı kombinasyon önerileri sunarak birçok manuel arama işleminden tasarruf sağlayabilir.
Örneğin, giden seyahat senaryosunda Xiaoyi, kalkıştan önce gerçek zamanlı olarak en son döviz kurunu hatırlatabilir, döviz bozdurabilir ve kullanıcıların gerçek zamanlı olarak varış noktasındaki seyahat stratejilerini elde etmelerine yardımcı olabilir; Gerçek zamanlı çeviri araçları ve daha fazlası.
Raporlara göre, Yeni Xiaoyi akıllı sahnesi 3 kat arttı ve İÇN'lerin sayısı 7 kat arttı, bu da ana yemek ve alışveriş mağazalarını, iş bölgelerini, havaalanı yüksek hızlı tren istasyonlarını ve diğerlerini kapsayabilir. senaryolar.
Özetlemek gerekirse, yeni Xiaoyi yalnızca en son AIGC yeteneklerini elde etmekle kalmadı, aynı zamanda cep telefonu sesli asistanlarının geçmişte sıklıkla eleştirilen bazı eksikliklerini de iyileştirdi.
Bütün bunlar elbette büyük modelin kutsamasından yararlandı, ama Xiaoyi bunu nasıl yaptı?
Xiaoyi büyük modeli kucaklıyor
Xiaoyi'nin güvendiği temel model Huawei Pangu Serisi'dir.
Bu yılın Temmuz ayında Huawei, Pangu Large Model 3.0'ı resmi olarak piyasaya sürdü ve üç katmanlı bir model mimarisi önerdi.
L0: Doğal dil, görme, çok modluluk, tahmin ve bilimsel bilgi işlem dahil olmak üzere temel büyük modeller;
L1: Devlet işleri, finans, imalat, madencilik, meteoroloji vb. gibi N adet endüstrinin geniş modelleri;
L2: Sahnenin daha ayrıntılı bir modeli, "kullanıma hazır" model hizmetleri sağlar
Bunlar arasında, L0 katmanlı temel büyük modelin en büyük versiyonu 100 milyar parametre içerir ve eğitim öncesi 3 trilyondan fazla belirteç kullanır.
Huawei'nin Pangu L0 tabanının büyük modelini temel alan Xiaoyi, son tüketici senaryoları için büyük miktarda sahne verisi oluşturdu, modelde ince ayar yaptı ve sonunda L1 katmanlı diyalog modelini geliştirdi.
İnce ayarda Xiaoyi, konuşmalar, seyahat rehberleri, ekipman kontrolü, yiyecek, giyecek, barınma ve ulaşım gibi son tüketicileri kapsayan ana veri türlerini ekledi.
Bu, sıradan kullanıcıların günlük konuşmalarının bilgi aralığını iyi bir şekilde kapsayabilir ve modelin diyalog sürecindeki olgusallığı, gerçek zamanlı performansı, güvenlik uyumluluğunu vb. geliştirebilir.
Ancak, hepimizin bildiği gibi, büyük modeller, büyük ölçekli özelliklerinden dolayı dağıtım ve hızlı yanıt açısından çok zordur.
Dağıtım açısından Huawei, büyük ölçekli cihaz-bulut işbirliği modelinin kapasitesini sürekli olarak geliştirmektedir. Cihaz tarafındaki büyük model, kullanıcı istekleri ve bağlam bilgileri üzerinde bir ön işleme katmanı gerçekleştirebilir ve ardından önceden işlenmiş talebi gönderebilir bulut tarafına.
Bunu yapmanın avantajı, yalnızca uç modelin hızlı yanıtından yararlanabilmesi değil, aynı zamanda bulut modeli aracılığıyla soru-cevap ve yanıt kalitesini iyileştirebilmesi ve aynı zamanda kullanıcı gizliliğini daha fazla koruyabilmesidir. veri.
Çıkarım gecikmesini azaltma açısından Huawei Xiaoyi, temeldeki çipten tüm bağlantı, çıkarım çerçevesi, model operatörü ve giriş ve çıkış uzunluğu dahil olmak üzere sistematik mühendislik optimizasyonu yaptı.
Ar-Ge ekibi, her bir modülün zaman gecikmesini ortadan kaldırarak her bir parçanın optimizasyon hedeflerini netleştirdi ve operatör birleştirme, bellek optimizasyonu ve boru hattı optimizasyonu aracılığıyla zaman gecikmesini azalttı.
Aynı zamanda, uzunluk ve çıkış uzunluğu da büyük modellerin çıkarım hızını etkileyecektir.
Bu bağlamda Huawei, farklı senaryolar ve çıktı formatları için kelime kelime analiz ve sıkıştırma yaptı ve sonunda akıl yürütme gecikmesini yarıya indirdi gerçekleştirdi.
Genel teknik mimari açısından bakıldığında, Huawei Xiaoyi ve büyük modelin entegrasyonu, yalnızca sohbet, AIGC ve yanıtlama gibi görevleri geliştirmek için değil, çekirdek olarak büyük modelle sistem düzeyinde geliştirmeler gerçekleştirmek içindir.
**Başka bir deyişle, büyük model sistemin "beyni" olsun. **
Temel mantığı şudur: kullanıcı görevlerini uygun sistemlere atayın, her sistem kendi görevlerini yerine getirir ve aynı zamanda karmaşık senaryolardaki deneyimi geliştirir.
Özellikle Xiaoyi'nin tipik diyalog sürecine bakıldığında, bu üç adıma ayrılabilir:
İlk adım, kullanıcı sorularını almak ve bağlamsal anlayışa/Xiaoyi'nin hatırlama yeteneğine dayalı olarak bunlarla nasıl başa çıkılacağını analiz etmektir.
İkinci adım, istek türüne göre meta hizmet alma, fikir oluşturma ve bilgi alma dahil olmak üzere farklı yetenekler çağırın.
Kullanıcı tarafından başlatılan istek meta hizmetleri içeriyorsa, örneğin, yakınlardaki buluşabilecek restoranları sorarsa, bu, gurme APP hizmetinin çağrısını içerir. Sistemin bir API oluşturması ve son olarak da hizmet tarafı tavsiye mekanizmasına dayalı olarak yanıt verecektir.
Kullanıcı, Pangu modelinin kaç parametreye sahip olduğunu sormak gibi bir bilgi sorusu sorarsa. Bu sırada sistem arama motorunu, karşılık gelen alan bilgisini ve vektör bilgisini sorgulayacak ve ardından füzyon yoluyla bir yanıt üretecektir.
Kullanıcının isteği üretken bir görevse, büyük model kendi yeteneğiyle yanıt verebilir.
Son adımda, oluşturulan tüm cevaplar risk kontrolü tarafından değerlendirilecek ve kullanıcıya geri dönecektir.
Ek olarak, Xiaoyi ayrıntıları daha da kontrol etti ve soru-cevap ve görev yürütmenin etkisini sağlamak için bir dizi düşük seviyeli geliştirme gerçekleştirdi.
Veri yönüne bakabilirsiniz.
Xiaoyi, 2017'de HarmonyOS'ta çevrimiçi olduğundan beri, sıradan kullanıcılar için belirli miktarda diyalog alışkanlığı biriktirdi. Bunun da ötesinde, Huawei, büyük modelin eğitim öncesi aşamada çeşitli ifadelerde yeterli olabilmesi için mümkün olduğunca çok sayıda yazılı ve sözlü ifadeyi kapsayacak şekilde farklı türde ifadelerden oluşan geniş bir yapı oluşturmuştur.
Xiaoyi'nin yeteneğini daha iyi değerlendirmek ve geliştirmek için Huawei eksiksiz bir test veri seti oluşturdu.
Bu, yalnızca mevcut açık büyük modellerin yeteneklerini değerlendirmekle kalmaz, aynı zamanda Xiaoyi'ye değerlendirme sonuçlarına dayalı olarak veri ve yetenekler oluşturması için rehberlik eder.
Xiaoyi'nin çok zorlu olan alet çağrısında ustalaşmasını istiyorum.
Ekipman kontrolü, yüzlerce jeton içeren karmaşık formatlı bir metin oluşturmak için büyük bir model gerektirir ve format hatası olmamalıdır, aksi takdirde merkezi kontrol sistemi ayrıştıramaz ve bağlanamaz.
Büyük modelin böyle bir nesil standardını karşılamasını sağlamak için Huawei, bir yandan büyük modelin "mizacını" anlıyor ve aynı zamanda büyük modelin kod kapasitesini güçlendiriyor ve ardından formatı geliştiriyordu. modelin uyum yeteneği ve sonunda ** biçiminin neredeyse %100 uyumlu ** olduğunu fark etti.
Karmaşık senaryolar için Xiaoyi'nin yöntemi, araç senaryolarını tam olarak öğrenmek ve anlamak ve ardından akıl yürütmek için büyük modellerin yeteneğini kullanmaktır.
Ekibin, model ekipmanın kontrol etkisini tamamen kullanılamaz durumdan %80'in üzerinde kullanılabilirliğe optimize ettiği anlaşılmaktadır.
Ayrıca native HarmonyOS, mevcut API'yi optimize etmeyi de mümkün kılar ve bu ters uyarlama sayesinde büyük modellerin avantajlarından da daha iyi yararlanılabilir.
Mobil terminalle sınırlı olmamak üzere tüm sahneye bakan
Peki, Huawei neden büyük ölçekli model yeteneklerini akıllı asistanlara bu kadar hızlı bir şekilde dağıtabiliyor?
Altta yatan temel araştırma ve geliştirme birikimi ve araştırması esastır, ancak dikkate değer bir şey daha var——
Huawei, büyük modeli akıllı asistan ve hatta tüm işletim sistemi ile nasıl birleştireceğini belirlemek için gerçek sahneden başlamayı seçti.
Huawei'nin kendi sözleriyle:
Konuşma ucuzdur. Demoyu göster.
Yukarıda gösterilen deneyimlerin çoğu, Huawei Ar-Ge ekibi üyelerinin günlük algılarından da kaynaklanmaktadır.
Örneğin, bazı insanlar işe giderken ve işten çıkarken haber almaya alışkındır ve çok uzun bilgileri okumak ve dinlemek sakıncalıdır, bu nedenle Huawei Xiaoyi'de bilgi özeti işlevi görünür.
Bazı insanlar, alışveriş incelemeleri ve doğum günü dilekleri yazarken her zaman yetersiz kaldıklarını fark eder, bu nedenle Huawei Xiaoyi bir metin yazarlığı işlevi sağlar.
Ve sahne deneyimine bu odaklanma, HarmonyOS'un doğal avantajıdır.
HarmonyOS, doğduğu günden bu yana cep telefonlarıyla sınırlı kalmamış, çeşitli terminallere ve tüm senaryolara yöneliktir.
Şimdi bir "1+8+N" tam senaryo ekolojisi yarattı.
Huawei Xiaoyi ayrıca 1+8 cihazlara dağıtıldı. Gelecekte, tam senaryo cihazlarının iş biçimini birleştirecek ve Xiaoyi'yi tüketicilerin tam senaryo deneyimi için büyük ölçekli model yetenekleriyle kademeli olarak dağıtacak.
Yapay zeka güdümlü bir akıllı asistan olarak Xiaoyi, doğumundan bu yana yapay zeka altyazıları ve Xiaoyi'nin sesli okuması gibi çeşitli yapay zeka yeteneklerini entegre ediyor. Arkasındaki Ar-Ge ekibi, yapay zeka ve akıllı asistanların daha fazla olanağına her zaman dikkat etmiştir.
Raporlara göre, geçen yıl ekip, hızlı teknolojiyle birleştirilmiş on milyarlarca ön eğitim modelinin zaten çok iyi metin anlama ve oluşturma yetenekleri sağlayabildiğini ve küçük sohbetlerde, soru-cevapta ve görevlerde kullanılabileceğini fark etti. dayalı diyalogdur.
En son AI trendlerinin patlak vermesiyle birlikte, RLHF büyük modellerde önemli iyileştirmeler getirdi ve endüstriyel iniş kapısı resmen açıldı.
Bu yıl üretken AI trendinin ortaya çıkmasından bu yana, birçok uygulama büyük model yeteneklerine ve yerleşik akıllı asistanlara erişmeyi seçti.
Bununla birlikte, dünyanın en işletim sistemi üreticilerinden biri olarak Huawei, işletim sistemini yeniden şekillendirmek için daha düşük bir seviyeden devreye girmeyi ve büyük bir model kullanmayı seçti.
Düşük seviye, daha ayrıntılı ve kapsamlı anlamına gelir.
Ancak araştırma ve geliştirme için zorluk daha da büyük.
Bu, yalnızca yeterince sağlam bir model temeli gerektirmekle kalmaz, aynı zamanda sistem düzeyinde füzyon optimizasyonu gerektirir ve ayrıca sahne anlayışı ve kullanıcı talep algılaması için gereksinimleri ortaya koyar.
Buna bağlı olarak, Huawei, büyük ölçekli model yeteneklerine sahip en eski yerli üreticilerden biridir; tam yığın AI geliştirme yetenekleri oluşturur; HarmonyOS, 700 milyondan fazla cihazı kapsar...
Bu nedenle, Huawei Xiaoyi'nin neden büyük modellerin yeteneğine hızlı bir şekilde erişerek HarmonyOS 4'ü büyük modellere tam olarak erişen ilk işletim sistemi yaptığını anlamak zor değil.
Dünyadaki en ilgili işletim sistemlerinden biri olan HarmonyOS, büyük ölçekli modelleri ilk benimseyen sistemdir ve ayrıca herkesin telefonlarını açarak büyük ölçekli modellerin yeteneklerini deneyimlemesine izin vererek yeni bir paradigma açabilir. artık hayal gücüyle sınırlı.
Şu anda Huawei, Xiaoyi test planını duyurdu:
Yepyeni Xiaoyi, bu yıl Ağustos ayının sonunda teste davet edilecek ve daha sonra HarmonyOS 4.0 ve üstü ile donatılmış bazı modellerde OTA aracılığıyla yükseltilecek.Spesifik yükseltme planı daha sonra duyurulacak.
Çocuk ayakkabılarına ilginiz varsa gelip bakabilirsiniz~
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Büyük modelleri cep telefonlarına ilk entegre eden Huawei! Xiaoyi + büyük model, akıllı asistan IQ +++
Kaynak: Xinzhiyuan
İyi adam, HUAWEI HarmonyOS Access Büyük Model, akıllı asistan böyle oynayabilir mi?
Yalnızca bir Çince komutla Huawei Xiaoyi, İngilizce bir e-posta yazacak:
Büyük miktarda sahne verisi içeren, modelde ince ayar yapan ve son olarak L1 katmanlı diyalog modelini iyileştiren Huawei'nin Pangu L0 tabanının büyük modelini temel alır.
Metin oluşturma, bilgi arama, veri özeti, akıllı düzenleme ve bulanık/karmaşık niyet anlayışı gibi görevlerin üstesinden gelebilir.
Ayrıca, sistem düzeyinde akıllı bir deneyim gerçekleştirmek için çeşitli APP hizmetleri de çağrılabilir.
Peki, yeni Huawei Xiaoyi neler yapabilir?
Daha akıllı, daha yetenekli, daha ilgili
Büyük modellerin yeteneklerine bağlı olarak, Huawei Xiaoyi bu sefer esas olarak üç açıdan yükseltti:
Spesifik yetenek geliştirmeleri, daha doğal dil diyaloglarını, oyun makinelerinde bilgi sınavlarını, yaşam servislerini aramayı, diyalog tanıma ekran içeriğini, özet metin yazarlığı resimlerinin oluşturulmasını vb. içerir.
**Her şeyden önce, akıllı etkileşim yükseltmesi, diyaloğu ve etkileşimi daha doğal ve pürüzsüz hale getirir. **
Huawei Xiaoyi yerel dili anlayabilir, belirsiz niyetleri ve karmaşık komutları anlayabilir.
En son duvar kağıdı ayarı işlevini bulamıyorsanız ve işlevin adını bilmiyorsanız, doğrudan sorabilirsiniz:
Xiaoyi, gereksinimleri karşılayan bir restoran bulmak için servisi de arayabilir.
Örneğin bir davet mektubuna baksın ve şöyle desin:
Haritadaki adres bilgilerini çıkarabilir ve navigasyon için harita servisini çağırabilir.
Örneğin, bir sabah koşu sahnesi oluşturmasına izin verebilirsiniz:
Xiaoyi, bu uzun gereksinimler listesini anlayabilir ve ardından farklı işlevleri çağırabilir. Ve cep telefonunun durumuna göre (Bluetooth kulaklığın bağlı olup olmadığı), belirli işlemlerin yapılıp yapılmayacağına karar verebilir.
Görmenize, okumanıza ve yazmanıza yardımcı olur.
Örneğin, ona İngilizce bir makale gösterin ve ardından bu makalede ne söylendiğini sorun.
Xiaoyi, Çince basit ve özlü açıklamalar yapabilir.
**Son olarak, akıllı bir asistan olarak Xiaoyi artık daha kişiselleştirilmiş hizmetleri destekliyor ve sizi daha iyi anlayabiliyor. **
Not defteri ve muhtıra olarak kullanılabilir ve bazı küçük şeyler sözlü olarak kaydedilebilir.
Ek olarak, Xiaoyi Suggestion artık kullanıcıların daha yüksek frekanslı sahnelerini algılayabilir ve aktif olarak tek elden akıllı kombinasyon önerileri sunarak birçok manuel arama işleminden tasarruf sağlayabilir.
Örneğin, giden seyahat senaryosunda Xiaoyi, kalkıştan önce gerçek zamanlı olarak en son döviz kurunu hatırlatabilir, döviz bozdurabilir ve kullanıcıların gerçek zamanlı olarak varış noktasındaki seyahat stratejilerini elde etmelerine yardımcı olabilir; Gerçek zamanlı çeviri araçları ve daha fazlası.
Raporlara göre, Yeni Xiaoyi akıllı sahnesi 3 kat arttı ve İÇN'lerin sayısı 7 kat arttı, bu da ana yemek ve alışveriş mağazalarını, iş bölgelerini, havaalanı yüksek hızlı tren istasyonlarını ve diğerlerini kapsayabilir. senaryolar.
Hafıza eksikliği, donuk diyaloglar, anadilin anlaşılmaması gibi...
Bütün bunlar elbette büyük modelin kutsamasından yararlandı, ama Xiaoyi bunu nasıl yaptı?
Xiaoyi büyük modeli kucaklıyor
Xiaoyi'nin güvendiği temel model Huawei Pangu Serisi'dir.
Bu yılın Temmuz ayında Huawei, Pangu Large Model 3.0'ı resmi olarak piyasaya sürdü ve üç katmanlı bir model mimarisi önerdi.
Bunlar arasında, L0 katmanlı temel büyük modelin en büyük versiyonu 100 milyar parametre içerir ve eğitim öncesi 3 trilyondan fazla belirteç kullanır.
Huawei'nin Pangu L0 tabanının büyük modelini temel alan Xiaoyi, son tüketici senaryoları için büyük miktarda sahne verisi oluşturdu, modelde ince ayar yaptı ve sonunda L1 katmanlı diyalog modelini geliştirdi.
Bu, sıradan kullanıcıların günlük konuşmalarının bilgi aralığını iyi bir şekilde kapsayabilir ve modelin diyalog sürecindeki olgusallığı, gerçek zamanlı performansı, güvenlik uyumluluğunu vb. geliştirebilir.
Ancak, hepimizin bildiği gibi, büyük modeller, büyük ölçekli özelliklerinden dolayı dağıtım ve hızlı yanıt açısından çok zordur.
Dağıtım açısından Huawei, büyük ölçekli cihaz-bulut işbirliği modelinin kapasitesini sürekli olarak geliştirmektedir. Cihaz tarafındaki büyük model, kullanıcı istekleri ve bağlam bilgileri üzerinde bir ön işleme katmanı gerçekleştirebilir ve ardından önceden işlenmiş talebi gönderebilir bulut tarafına.
Bunu yapmanın avantajı, yalnızca uç modelin hızlı yanıtından yararlanabilmesi değil, aynı zamanda bulut modeli aracılığıyla soru-cevap ve yanıt kalitesini iyileştirebilmesi ve aynı zamanda kullanıcı gizliliğini daha fazla koruyabilmesidir. veri.
Çıkarım gecikmesini azaltma açısından Huawei Xiaoyi, temeldeki çipten tüm bağlantı, çıkarım çerçevesi, model operatörü ve giriş ve çıkış uzunluğu dahil olmak üzere sistematik mühendislik optimizasyonu yaptı.
Ar-Ge ekibi, her bir modülün zaman gecikmesini ortadan kaldırarak her bir parçanın optimizasyon hedeflerini netleştirdi ve operatör birleştirme, bellek optimizasyonu ve boru hattı optimizasyonu aracılığıyla zaman gecikmesini azalttı.
Aynı zamanda, uzunluk ve çıkış uzunluğu da büyük modellerin çıkarım hızını etkileyecektir.
Bu bağlamda Huawei, farklı senaryolar ve çıktı formatları için kelime kelime analiz ve sıkıştırma yaptı ve sonunda akıl yürütme gecikmesini yarıya indirdi gerçekleştirdi.
**Başka bir deyişle, büyük model sistemin "beyni" olsun. **
Temel mantığı şudur: kullanıcı görevlerini uygun sistemlere atayın, her sistem kendi görevlerini yerine getirir ve aynı zamanda karmaşık senaryolardaki deneyimi geliştirir.
Özellikle Xiaoyi'nin tipik diyalog sürecine bakıldığında, bu üç adıma ayrılabilir:
İlk adım, kullanıcı sorularını almak ve bağlamsal anlayışa/Xiaoyi'nin hatırlama yeteneğine dayalı olarak bunlarla nasıl başa çıkılacağını analiz etmektir.
İkinci adım, istek türüne göre meta hizmet alma, fikir oluşturma ve bilgi alma dahil olmak üzere farklı yetenekler çağırın.
Kullanıcı tarafından başlatılan istek meta hizmetleri içeriyorsa, örneğin, yakınlardaki buluşabilecek restoranları sorarsa, bu, gurme APP hizmetinin çağrısını içerir. Sistemin bir API oluşturması ve son olarak da hizmet tarafı tavsiye mekanizmasına dayalı olarak yanıt verecektir.
Kullanıcı, Pangu modelinin kaç parametreye sahip olduğunu sormak gibi bir bilgi sorusu sorarsa. Bu sırada sistem arama motorunu, karşılık gelen alan bilgisini ve vektör bilgisini sorgulayacak ve ardından füzyon yoluyla bir yanıt üretecektir.
Kullanıcının isteği üretken bir görevse, büyük model kendi yeteneğiyle yanıt verebilir.
Son adımda, oluşturulan tüm cevaplar risk kontrolü tarafından değerlendirilecek ve kullanıcıya geri dönecektir.
Veri yönüne bakabilirsiniz.
Xiaoyi, 2017'de HarmonyOS'ta çevrimiçi olduğundan beri, sıradan kullanıcılar için belirli miktarda diyalog alışkanlığı biriktirdi. Bunun da ötesinde, Huawei, büyük modelin eğitim öncesi aşamada çeşitli ifadelerde yeterli olabilmesi için mümkün olduğunca çok sayıda yazılı ve sözlü ifadeyi kapsayacak şekilde farklı türde ifadelerden oluşan geniş bir yapı oluşturmuştur.
Xiaoyi'nin yeteneğini daha iyi değerlendirmek ve geliştirmek için Huawei eksiksiz bir test veri seti oluşturdu.
Bu, yalnızca mevcut açık büyük modellerin yeteneklerini değerlendirmekle kalmaz, aynı zamanda Xiaoyi'ye değerlendirme sonuçlarına dayalı olarak veri ve yetenekler oluşturması için rehberlik eder.
Xiaoyi'nin çok zorlu olan alet çağrısında ustalaşmasını istiyorum.
Ekipman kontrolü, yüzlerce jeton içeren karmaşık formatlı bir metin oluşturmak için büyük bir model gerektirir ve format hatası olmamalıdır, aksi takdirde merkezi kontrol sistemi ayrıştıramaz ve bağlanamaz.
Büyük modelin böyle bir nesil standardını karşılamasını sağlamak için Huawei, bir yandan büyük modelin "mizacını" anlıyor ve aynı zamanda büyük modelin kod kapasitesini güçlendiriyor ve ardından formatı geliştiriyordu. modelin uyum yeteneği ve sonunda ** biçiminin neredeyse %100 uyumlu ** olduğunu fark etti.
Karmaşık senaryolar için Xiaoyi'nin yöntemi, araç senaryolarını tam olarak öğrenmek ve anlamak ve ardından akıl yürütmek için büyük modellerin yeteneğini kullanmaktır.
Ekibin, model ekipmanın kontrol etkisini tamamen kullanılamaz durumdan %80'in üzerinde kullanılabilirliğe optimize ettiği anlaşılmaktadır.
Ayrıca native HarmonyOS, mevcut API'yi optimize etmeyi de mümkün kılar ve bu ters uyarlama sayesinde büyük modellerin avantajlarından da daha iyi yararlanılabilir.
Mobil terminalle sınırlı olmamak üzere tüm sahneye bakan
Peki, Huawei neden büyük ölçekli model yeteneklerini akıllı asistanlara bu kadar hızlı bir şekilde dağıtabiliyor?
Altta yatan temel araştırma ve geliştirme birikimi ve araştırması esastır, ancak dikkate değer bir şey daha var——
Huawei, büyük modeli akıllı asistan ve hatta tüm işletim sistemi ile nasıl birleştireceğini belirlemek için gerçek sahneden başlamayı seçti.
Huawei'nin kendi sözleriyle:
Örneğin, bazı insanlar işe giderken ve işten çıkarken haber almaya alışkındır ve çok uzun bilgileri okumak ve dinlemek sakıncalıdır, bu nedenle Huawei Xiaoyi'de bilgi özeti işlevi görünür.
Bazı insanlar, alışveriş incelemeleri ve doğum günü dilekleri yazarken her zaman yetersiz kaldıklarını fark eder, bu nedenle Huawei Xiaoyi bir metin yazarlığı işlevi sağlar.
Ve sahne deneyimine bu odaklanma, HarmonyOS'un doğal avantajıdır.
HarmonyOS, doğduğu günden bu yana cep telefonlarıyla sınırlı kalmamış, çeşitli terminallere ve tüm senaryolara yöneliktir.
Şimdi bir "1+8+N" tam senaryo ekolojisi yarattı.
Huawei Xiaoyi ayrıca 1+8 cihazlara dağıtıldı. Gelecekte, tam senaryo cihazlarının iş biçimini birleştirecek ve Xiaoyi'yi tüketicilerin tam senaryo deneyimi için büyük ölçekli model yetenekleriyle kademeli olarak dağıtacak.
Raporlara göre, geçen yıl ekip, hızlı teknolojiyle birleştirilmiş on milyarlarca ön eğitim modelinin zaten çok iyi metin anlama ve oluşturma yetenekleri sağlayabildiğini ve küçük sohbetlerde, soru-cevapta ve görevlerde kullanılabileceğini fark etti. dayalı diyalogdur.
En son AI trendlerinin patlak vermesiyle birlikte, RLHF büyük modellerde önemli iyileştirmeler getirdi ve endüstriyel iniş kapısı resmen açıldı.
Bu yıl üretken AI trendinin ortaya çıkmasından bu yana, birçok uygulama büyük model yeteneklerine ve yerleşik akıllı asistanlara erişmeyi seçti.
Bununla birlikte, dünyanın en işletim sistemi üreticilerinden biri olarak Huawei, işletim sistemini yeniden şekillendirmek için daha düşük bir seviyeden devreye girmeyi ve büyük bir model kullanmayı seçti.
Düşük seviye, daha ayrıntılı ve kapsamlı anlamına gelir.
Ancak araştırma ve geliştirme için zorluk daha da büyük.
Bu, yalnızca yeterince sağlam bir model temeli gerektirmekle kalmaz, aynı zamanda sistem düzeyinde füzyon optimizasyonu gerektirir ve ayrıca sahne anlayışı ve kullanıcı talep algılaması için gereksinimleri ortaya koyar.
Buna bağlı olarak, Huawei, büyük ölçekli model yeteneklerine sahip en eski yerli üreticilerden biridir; tam yığın AI geliştirme yetenekleri oluşturur; HarmonyOS, 700 milyondan fazla cihazı kapsar...
Bu nedenle, Huawei Xiaoyi'nin neden büyük modellerin yeteneğine hızlı bir şekilde erişerek HarmonyOS 4'ü büyük modellere tam olarak erişen ilk işletim sistemi yaptığını anlamak zor değil.
Dünyadaki en ilgili işletim sistemlerinden biri olan HarmonyOS, büyük ölçekli modelleri ilk benimseyen sistemdir ve ayrıca herkesin telefonlarını açarak büyük ölçekli modellerin yeteneklerini deneyimlemesine izin vererek yeni bir paradigma açabilir. artık hayal gücüyle sınırlı.
Yepyeni Xiaoyi, bu yıl Ağustos ayının sonunda teste davet edilecek ve daha sonra HarmonyOS 4.0 ve üstü ile donatılmış bazı modellerde OTA aracılığıyla yükseltilecek.Spesifik yükseltme planı daha sonra duyurulacak.
Çocuk ayakkabılarına ilginiz varsa gelip bakabilirsiniz~