“İnternet çağında daha mı tehlikeliyiz yoksa daha mı güvenli?”
İnternetin hızla geliştiği 2016 yılında asansör reklamlarında da bu büyük karakterler ve iki satır slogan sıklıkla yer aldı.Virüslerden Truva atlarına, çevrimiçi dolandırıcılığa kadar güvenlik düşüncesi ve güvenlik önleme teknolojilerinin oluşturulması birbiriyle yarışıyor. bilim ve teknolojinin gelişmesi. Benzer şekilde, büyük model çağının ilk günleri de birçok güvenlik hususunun gündeme gelmesine neden oldu.
İnternetin icadından on yıl sonra, İnternet koruma teknolojisi ve endüstriyel zincir tamamlanmaya başlandı.Geçen birkaç on yılın deneyimine dayanarak, model güvenliği ve veri etrafında büyük modelin doğuşundan altı aydan kısa bir süre sonra güvenlik, içerik güvenliği tartışmaları bitmek bilmiyor.
Geçtiğimiz hafta Şangay Bund Konferansı, Pujiang İnovasyon Forumu, Ulusal Siber Güvenlik Haftası ve diğer etkinliklerde endüstri, akademi ve araştırma toplulukları veri güvenliği sorunlarına (veri zehirlenmesi, bilgi sızıntısı, telif hakkı riskleri vb. dahil) odaklandı. .) büyük model uygulamaların uygulanmasından kaynaklanan, modelin güvenlik sorunları (modelin kendisindeki güvenlik açıkları, kötü niyetli kullanım vb.), içerik güvenliği sorunları (ihlaller, yasa dışılık gibi hassas bilgiler içeren oluşturulan içerikler) üzerine bir dizi tartışma gerçekleştirildi. , pornografi vb.), yapay zeka etik sorunları vb.
Büyük modeller nasıl korunur?
360, Ant, Sangfor, Qi'anxin, Shanshi Technology vb. gibi bazı yerli güvenlik üreticileri aktif olarak büyük model güvenlik teknolojileri geliştiriyor.
Büyük modellerin "doktora" ve "korumaya" ihtiyacı var
Büyük bir modelin yeni bir tür olarak doğuşu, eğitim sürecinde güvenlik takibini gerektirir. Büyük model nihayet pazara sunulduğunda aynı zamanda bir "kalite kontrolüne" de ihtiyaç duyar. Kalite kontrolünden sonra pazara girer ve piyasaya sürülmesi gerekir. Kontrol edilebilir bir şekilde kullanılır.Hepsi bu kadar Güvenlik sorunlarının çözümüne yönelik makro bir yaklaşımdır.
İster genel bir büyük model, ister dikey alanlar için endüstri büyük bir model olsun, şu anda model güvenlik koruması temel olarak üç bölüme ayrılmıştır:
Bunlardan ilki, eğitim aşamasındaki veri sorunudur: eğer veriler yanlış toplanırsa, önyargılı veya yanlış etiketlenirse veya veriler zehirlenirse, büyük modelin hatalı çıktı üretmesine, ayrımcılığa veya diğer olumsuz etkilere neden olabilir. veriler başvuru sürecinde de etkilenecektir.Veri sızıntısı ve mahremiyetin açığa çıkması gibi risklerle karşı karşıya kalmak;
İkincisi, modelin kendisinin kontrol edilebilirlik sorunudur: Modelin güvenilirliği, kararlılığı, sağlamlığı vb. , ayrımcılık ve politika Eğilim ve diğer risk içerikleri;
Üçüncüsü, büyük modellerin gerçek senaryolarda uygulanmasının güvenlik sorunudur: Fiili kullanım sırasında, özellikle finans ve tıbbi bakım gibi son derece yüksek gereksinimleri olan alanlarda, farklı kullanıcı gruplarının etkileşimlerinin ve uygulamalarının dikkatle değerlendirilmesi gerekir. model çıktısının doğruluğu.Yanlış kullanıldığında bir taş kolaylıkla binlerce dalgaya neden olabilir.
Sektörden pek çok kişi Guangcone Intelligence'a şunları söyledi: "Model güvenliği, entegre bir teknik koruma sistemi gerektirir ve tek bir bağlantının kontrolü, temel sorunu tek başına çözemez."
İnternet güvenliğinin gelişim yoluna bakıldığında, birçok "virüs tespit etme ve öldürme" yazılım şirketi doğmuştur.Genellikle sorunların tespit edilmesi ve yerinin belirlenmesi çoğu zaman ilk adımdır.
Light Cone Intelligence, Ant'ın "Yitianjian"ının, tespitten yönetişime ve savunmaya kadar tüm zinciri kapsayan büyük model güvenlik tespit platformu "Yitianjian 2.0" ve büyük model risk savunma platformu "Tianjian"ı içerdiğini öğrendi. Antjian 2.0, mevcut veri güvenliği risklerini, içerik risk noktalarını ve diğer sorunları kontrol etmek için büyük modellerde çok boyutlu güvenlik taramaları gerçekleştirebilir. Bu, "kara endüstri" perspektifinde durmaya ve milyonlarca tümevarımsal soruyu otomatik olarak oluşturmak, büyük üretken model üzerinde tümevarımsal soru ve yanıtlar yürütmek ve büyük modelin zayıf yönlerini ve boşluklarını bulmak için akıllı saldırı ve yüzleşme teknolojisini kullanmakla eşdeğerdir. .
Teknik açıdan bakıldığında Yijian, büyük modellere sürekli olarak "soruları yansıtmak", model tarafından oluşturulan yanıtları gözlemlemek ve risklerin olup olmadığını belirlemek için akıllı rakip teknolojiyi kullanarak en son "rakip zeka" teknoloji rotasını benimsiyor. Platform, sürekli "işkence" yoluyla, tıpkı bir doktorun hastanın semptomlarını defalarca sorması gibi, büyük modelin sağlık durumunu sorgulayıp analiz edebiliyor.
Rakip örnekler üreterek ve rakip örnekleri tespit etmek için algoritma sistemleri geliştirerek büyük modellerin güvenliğini artırmak ana akım bir teknoloji trendi haline geldi. Sektörde OpenAI, Google, Microsoft ve NVIDIA gibi dev şirketler, karşı istihbarat teknolojisini ürün ve hizmetlerine uyguladı.
Örneğin, bu teknik fikir kapsamında, Toronto Üniversitesi tarafından geliştirilen CleverHans sistemi, hırsızlık önleme sistemini test etmek için özel olarak tasarlanmış bir "hırsız" gibidir. Yapay zeka güvenlik sistemini aldatmaya çalışmak için kasıtlı olarak bazı küçük müdahaleler ekleyecektir. . Normal koşullar altında, AI sistemi bir "yavru kedi" resmini doğru bir şekilde tanımlayabilir, ancak CleverHan sisteminin, AI'ya öyle bir yanılsama vermek için bir "yavru kedi" resmindeki birkaç pikseli hafifçe değiştirmesi gerekir. bir köpek yavrusu resmidir. Yapay zeka sistemi kandırılıyorsa güvenlik açığı var demektir.
Tespit ve "teşhis" ile karşılaştırıldığında "önleme ve tedavi" de çok önemlidir. Ant Tianjian, sorunları ortaya çıkmadan önleyebilen akıllı bir kalkan gibidir. Tianjian, kullanıcıların savunma amaçlı soru sorma niyetlerini akıllıca analiz ederek, modeli hassas içerik üretmeye teşvik eden bazı kötü niyetli soruları engelleyebilir ve büyük modele harici kötü niyetli girişimin dahil edilmemesini sağlayabilir. Aynı zamanda, risk bilgilerini otomatik olarak tanımlamak ve büyük modelin içerik çıktısının spesifikasyonlara uygun olmasını sağlamak amacıyla müdahale etmek için model çıktı içeriğine ikincil filtreleme uygulanır.
Daha da önemlisi, veri sorunları model güvenliğinin kaynağıdır. Çin Bilgi ve İletişim Teknolojileri Akademisi Bulut Bilişim ve Büyük Veri Enstitüsü müdürü Shi Lin, bir zamanlar akademik bir değişim toplantısında şunu paylaşmıştı: "Birçok güvenlik sağlayıcısı artık model güvenliğini benimsedi Eğitim verilerinin bir kısmını temizleyeceğiz, giriş ve çıkış içeriğini filtreleyeceğiz ve ayrıca izleme ve tanımlama gibi güvenlik önleme ve kontrol tedbirlerini de alacağız.”
Bu, savunma platformunun, toksik veri kaynakları ve kontrol edilemeyen model derinliği kara kutuları gibi sorunları çözmek için veri kaynağında hareket etmesini gerektirir. Ant Group'un Büyük Güvenlik Makinesi İstihbaratı Departmanı içerik algoritması direktörü Zhu Huijia, Tianjian'ın şu anda veri detoksifikasyonu, hizalama eğitimi ve yorumlanabilirlik araştırmaları yoluyla model güvenliğini sağlamaya çalıştığını söyledi.
Sihri yenmek için sihri, yapay zekayla savaşmak için yapay zekayı kullanın
Dijital dünyadaki içerik özellikleri ile insan gözüyle görülen dünyadaki içerik özellikleri farklıdır.
Büyük modeller çağının gelişiyle birlikte güçlü yetenekleri, güvenlik koruma teknolojisinin dönüşümü için de yeni fikirler sağladı. “Yapay zekayla savaşmak için yapay zekanın gücünü kullanmak” sıcak bir konu haline geldi.
Aslında düşmanca saldırı ve savunma fikirleri model güvenliğine özel değildir. Son on yıl gibi erken bir tarihte, çeşitli güvenlik tehditleri karşısında yapay zeka alanı, yavaş yavaş "saldırı, test ve savunma - savunmayı teşvik etmek için saldırı - saldırı ve savunma entegrasyonunu" içeren güvenlik konseptini oluşturdu. Algoritma ve mühendislik tarafında savunma yeteneklerinin güçlendirilmesini teşvik etmek için kullanılan model ve sistemlerdeki zayıflıkları keşfetmeye devam ediyoruz.
Ancak geçmişte güvenlik koruması, büyük miktarda profesyonel veri bilgisinin birikmesini gerektiren makine öğrenimi algoritma modellerine dayanıyordu ve bilgi kör noktaları ve küçük örneklerin zamansız soğuk başlatılması sorunlarıyla karşı karşıyaydı. Büyük model teknolojisi kullanılarak daha akıllı güvenlik önleme ve kontrolü elde edilebilir.
Bu, çeşitli yönlere yansıyor. Birincisi, büyük modeller akıllı güvenlik “danışmanları” sağlayabilir. Büyük metinlere dayalı olarak önceden eğitilmiş büyük modeller mükemmel “danışmanlar” haline gelebilir ve uygun analiz ve savunma stratejileri önerebilir. Örneğin, basit doğal dil açıklamasıyla güvenlik durumu hızlı bir şekilde analiz edilebilir, karşı önlemler için önerilerde bulunulabilir ve güvenlik ekibine çözüm planlamasında yardımcı olunabilir. Bu, akıllı güvenlik "küçük asistanına" benzer.
Sektördeki mevcut duruma bakıldığında, yapay zekanın güvenliğinin nasıl değerlendirileceğine ilişkin kullanımı kolay ve standartlaştırılmış bir dizi değerlendirme aracı ve kuralının hâlâ eksik olduğu görülüyor.
Bu aynı zamanda büyük model savunmasında desteklenebilecek başka bir husustur. Yapay zekanın risklere ilişkin bilişsel anlayışını geliştirmek amacıyla risk bilgisini ve standart kuralları öğrenmek için büyük model teknolojisini kullanır, böylece büyük modelleri karşı karşıya getirerek son derece hızlı savunma ve hızlı soğuk başlatma elde eder. büyük modeller hedefi.
Büyük model güvenliği hem "hızlı" hem de "yavaş" olmayı gerektirir.Bu iki mantık birbiriyle çelişmez. Büyük model güvenlik savunması açısından, hizmetin zehirsiz olmasını sağlamak için "hızlı" olmamız ve virüsleri hızlı bir şekilde tespit edip öldürebilmemiz gerekiyor.Bu, "veri detoksifikasyonu", "güvenlik korkulukları" gibi birçok temel savunmayı içerir. ve "AIGC risk tespiti". Büyük modellerin güvenliği ve güvenilirliği açısından "yavaş" olmamız ve tüm sistem ortamının kontrol edilebilirliğini ve güvenilirliğini uzun vadeli ve sistematik bir şekilde sağlamamız gerekiyor. Buna "güvenlik değerlendirmesi" de dahildir. , "yapıbozum ve kontrol edilebilirlik", "insan toplumunun ortak yönetimi" ve diğer hususlar.
Metin güvenliğini örnek olarak alırsak, büyük modeller, modelin risk standartları ve içeriğine ilişkin anlayışını geliştirmek ve böylece risk algılama yeteneklerini geliştirmek için güvenlik standardı kurallarına, risk alanı bilgisine ve geçmiş risk örneklerine dayalı olarak eğitilebilir. Ayrıca, saldırı örnekleri oluşturmak ve algılama modelini sürekli olarak yineleyerek optimize etmek için güvenlik bilgisi grafikleriyle birlikte büyük model oluşturma yeteneklerini kullanır.
Bir güvenlik uzmanı şunları söyledi: "Manuel olarak toplanan sınırlı örneklerle karşılaştırıldığında, büyük modeller tarafından oluşturulan devasa ve çeşitli örnekler, güvenlik tespit modelinin 'iyi bilgilendirilmiş' olmasını sağlayacak ve yeni tehdit yöntemlerine daha hızlı adapte olmasını sağlayacaktır."
Bu teknoloji Ant tarafından AIGC içerik tespitinde de kullanıldı. Zhu Huijia şunları söyledi: "AIGC derin sahtecilik tespiti aynı zamanda saldırı, test etme ve savunma ve savunmayı teşvik etmek için saldırı kullanma fikrini de benimsiyor. Farklı yöntemler, farklı stiller ve farklı nesil modelleri aracılığıyla üretiyor ve onlarcaya yakın sahtecilik oluşturuyor. Modeli eğitmek için milyonlarca derin sahtecilik verisi. İçeriğin makine tarafından mı yoksa yapay olarak mı oluşturulduğunu hızla ayırt edin, böylece daha iyi genelleme ve sağlamlığa sahip bir tespit modeli elde edin."
AIGC'nin uygulanması sırasında ortaya çıkan sorunlara yanıt olarak dünyanın önde gelen bazı şirketleri planlar yapmaya başladı.
OpenAI daha önce modelin kötüye kullanılmasının olumsuz etkisini azaltmak için ChatGPT'ye dijital filigran teknolojisi eklemeyi düşündüğünü belirtmişti; Google bu yılki geliştirici konferansında şirketin AI tarafından oluşturulan her görselinin gömülü bir filigrana sahip olmasını sağlayacağını belirtti; bu yıl Ocak ayının başlarında Nvidia, videodaki yüzlerin sahte olup olmadığını öğrenmek için FakeCatcher adlı bir yazılımı da yayınladı.
İnternetin gelişim tarihine bakıldığında, kaos ve hızlı gelişme genellikle "ikiz kardeşlerdir". İnternet, ağ güvenliğinin sanayileşmesi olgunlaştıktan sonra, yüz çiçeğin uygulanmasına gerçekten öncülük etti.
Benzer şekilde, model güvenliği yalnızca bir güvenlik üreticisinin görevi değildir; ancak güvenlik teknolojisi güvenilir bir çit oluşturduğunda büyük model teknolojisi gerçekten "sıradan insanların evlerine uçabilir."
"Büyük modeller çok karmaşık konulardır. Etik, veri, eğitim ve diğer alanların karmaşıklığı emsalsizdir. Bu yeni bir alan ve herkesin önünde bir öneridir. Büyük model güvenliği perspektifinde Ant'ın 'Yitianjian'ı üzerine bazı araştırmalar yaptık. ancak cevapların özgünlüğü ve doğruluğu gibi hala araştırılıp çözülmesi gereken birçok sorun var. Aynı zamanda sürekli yineleme ve iyileştirmeye ihtiyaç duyuyor ve tüm toplumun ortak çabalarını gerektiriyor." Zhu Huijia sonunda söyledi.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Yapay zeka ile yapay zekayla mücadele, büyük model güvenliğinin "evrim teorisi"
Metin丨Liu Yuqi
Editör｜Wang Yisu
Kaynak丨Işık Konisi İstihbaratı
“İnternet çağında daha mı tehlikeliyiz yoksa daha mı güvenli?”
İnternetin hızla geliştiği 2016 yılında asansör reklamlarında da bu büyük karakterler ve iki satır slogan sıklıkla yer aldı.Virüslerden Truva atlarına, çevrimiçi dolandırıcılığa kadar güvenlik düşüncesi ve güvenlik önleme teknolojilerinin oluşturulması birbiriyle yarışıyor. bilim ve teknolojinin gelişmesi. Benzer şekilde, büyük model çağının ilk günleri de birçok güvenlik hususunun gündeme gelmesine neden oldu.
İnternetin icadından on yıl sonra, İnternet koruma teknolojisi ve endüstriyel zincir tamamlanmaya başlandı.Geçen birkaç on yılın deneyimine dayanarak, model güvenliği ve veri etrafında büyük modelin doğuşundan altı aydan kısa bir süre sonra güvenlik, içerik güvenliği tartışmaları bitmek bilmiyor.
Geçtiğimiz hafta Şangay Bund Konferansı, Pujiang İnovasyon Forumu, Ulusal Siber Güvenlik Haftası ve diğer etkinliklerde endüstri, akademi ve araştırma toplulukları veri güvenliği sorunlarına (veri zehirlenmesi, bilgi sızıntısı, telif hakkı riskleri vb. dahil) odaklandı. .) büyük model uygulamaların uygulanmasından kaynaklanan, modelin güvenlik sorunları (modelin kendisindeki güvenlik açıkları, kötü niyetli kullanım vb.), içerik güvenliği sorunları (ihlaller, yasa dışılık gibi hassas bilgiler içeren oluşturulan içerikler) üzerine bir dizi tartışma gerçekleştirildi. , pornografi vb.), yapay zeka etik sorunları vb.
Büyük modeller nasıl korunur?
360, Ant, Sangfor, Qi'anxin, Shanshi Technology vb. gibi bazı yerli güvenlik üreticileri aktif olarak büyük model güvenlik teknolojileri geliştiriyor.
Büyük modellerin "doktora" ve "korumaya" ihtiyacı var
Büyük bir modelin yeni bir tür olarak doğuşu, eğitim sürecinde güvenlik takibini gerektirir. Büyük model nihayet pazara sunulduğunda aynı zamanda bir "kalite kontrolüne" de ihtiyaç duyar. Kalite kontrolünden sonra pazara girer ve piyasaya sürülmesi gerekir. Kontrol edilebilir bir şekilde kullanılır.Hepsi bu kadar Güvenlik sorunlarının çözümüne yönelik makro bir yaklaşımdır.
İster genel bir büyük model, ister dikey alanlar için endüstri büyük bir model olsun, şu anda model güvenlik koruması temel olarak üç bölüme ayrılmıştır:
İkincisi, modelin kendisinin kontrol edilebilirlik sorunudur: Modelin güvenilirliği, kararlılığı, sağlamlığı vb. , ayrımcılık ve politika Eğilim ve diğer risk içerikleri;
Üçüncüsü, büyük modellerin gerçek senaryolarda uygulanmasının güvenlik sorunudur: Fiili kullanım sırasında, özellikle finans ve tıbbi bakım gibi son derece yüksek gereksinimleri olan alanlarda, farklı kullanıcı gruplarının etkileşimlerinin ve uygulamalarının dikkatle değerlendirilmesi gerekir. model çıktısının doğruluğu.Yanlış kullanıldığında bir taş kolaylıkla binlerce dalgaya neden olabilir.
Sektörden pek çok kişi Guangcone Intelligence'a şunları söyledi: "Model güvenliği, entegre bir teknik koruma sistemi gerektirir ve tek bir bağlantının kontrolü, temel sorunu tek başına çözemez."
İnternet güvenliğinin gelişim yoluna bakıldığında, birçok "virüs tespit etme ve öldürme" yazılım şirketi doğmuştur.Genellikle sorunların tespit edilmesi ve yerinin belirlenmesi çoğu zaman ilk adımdır.
Light Cone Intelligence, Ant'ın "Yitianjian"ının, tespitten yönetişime ve savunmaya kadar tüm zinciri kapsayan büyük model güvenlik tespit platformu "Yitianjian 2.0" ve büyük model risk savunma platformu "Tianjian"ı içerdiğini öğrendi. Antjian 2.0, mevcut veri güvenliği risklerini, içerik risk noktalarını ve diğer sorunları kontrol etmek için büyük modellerde çok boyutlu güvenlik taramaları gerçekleştirebilir. Bu, "kara endüstri" perspektifinde durmaya ve milyonlarca tümevarımsal soruyu otomatik olarak oluşturmak, büyük üretken model üzerinde tümevarımsal soru ve yanıtlar yürütmek ve büyük modelin zayıf yönlerini ve boşluklarını bulmak için akıllı saldırı ve yüzleşme teknolojisini kullanmakla eşdeğerdir. .
Teknik açıdan bakıldığında Yijian, büyük modellere sürekli olarak "soruları yansıtmak", model tarafından oluşturulan yanıtları gözlemlemek ve risklerin olup olmadığını belirlemek için akıllı rakip teknolojiyi kullanarak en son "rakip zeka" teknoloji rotasını benimsiyor. Platform, sürekli "işkence" yoluyla, tıpkı bir doktorun hastanın semptomlarını defalarca sorması gibi, büyük modelin sağlık durumunu sorgulayıp analiz edebiliyor.
Rakip örnekler üreterek ve rakip örnekleri tespit etmek için algoritma sistemleri geliştirerek büyük modellerin güvenliğini artırmak ana akım bir teknoloji trendi haline geldi. Sektörde OpenAI, Google, Microsoft ve NVIDIA gibi dev şirketler, karşı istihbarat teknolojisini ürün ve hizmetlerine uyguladı.
Örneğin, bu teknik fikir kapsamında, Toronto Üniversitesi tarafından geliştirilen CleverHans sistemi, hırsızlık önleme sistemini test etmek için özel olarak tasarlanmış bir "hırsız" gibidir. Yapay zeka güvenlik sistemini aldatmaya çalışmak için kasıtlı olarak bazı küçük müdahaleler ekleyecektir. . Normal koşullar altında, AI sistemi bir "yavru kedi" resmini doğru bir şekilde tanımlayabilir, ancak CleverHan sisteminin, AI'ya öyle bir yanılsama vermek için bir "yavru kedi" resmindeki birkaç pikseli hafifçe değiştirmesi gerekir. bir köpek yavrusu resmidir. Yapay zeka sistemi kandırılıyorsa güvenlik açığı var demektir.
Daha da önemlisi, veri sorunları model güvenliğinin kaynağıdır. Çin Bilgi ve İletişim Teknolojileri Akademisi Bulut Bilişim ve Büyük Veri Enstitüsü müdürü Shi Lin, bir zamanlar akademik bir değişim toplantısında şunu paylaşmıştı: "Birçok güvenlik sağlayıcısı artık model güvenliğini benimsedi Eğitim verilerinin bir kısmını temizleyeceğiz, giriş ve çıkış içeriğini filtreleyeceğiz ve ayrıca izleme ve tanımlama gibi güvenlik önleme ve kontrol tedbirlerini de alacağız.”
Bu, savunma platformunun, toksik veri kaynakları ve kontrol edilemeyen model derinliği kara kutuları gibi sorunları çözmek için veri kaynağında hareket etmesini gerektirir. Ant Group'un Büyük Güvenlik Makinesi İstihbaratı Departmanı içerik algoritması direktörü Zhu Huijia, Tianjian'ın şu anda veri detoksifikasyonu, hizalama eğitimi ve yorumlanabilirlik araştırmaları yoluyla model güvenliğini sağlamaya çalıştığını söyledi.
Sihri yenmek için sihri, yapay zekayla savaşmak için yapay zekayı kullanın
Dijital dünyadaki içerik özellikleri ile insan gözüyle görülen dünyadaki içerik özellikleri farklıdır.
Büyük modeller çağının gelişiyle birlikte güçlü yetenekleri, güvenlik koruma teknolojisinin dönüşümü için de yeni fikirler sağladı. “Yapay zekayla savaşmak için yapay zekanın gücünü kullanmak” sıcak bir konu haline geldi.
Aslında düşmanca saldırı ve savunma fikirleri model güvenliğine özel değildir. Son on yıl gibi erken bir tarihte, çeşitli güvenlik tehditleri karşısında yapay zeka alanı, yavaş yavaş "saldırı, test ve savunma - savunmayı teşvik etmek için saldırı - saldırı ve savunma entegrasyonunu" içeren güvenlik konseptini oluşturdu. Algoritma ve mühendislik tarafında savunma yeteneklerinin güçlendirilmesini teşvik etmek için kullanılan model ve sistemlerdeki zayıflıkları keşfetmeye devam ediyoruz.
Ancak geçmişte güvenlik koruması, büyük miktarda profesyonel veri bilgisinin birikmesini gerektiren makine öğrenimi algoritma modellerine dayanıyordu ve bilgi kör noktaları ve küçük örneklerin zamansız soğuk başlatılması sorunlarıyla karşı karşıyaydı. Büyük model teknolojisi kullanılarak daha akıllı güvenlik önleme ve kontrolü elde edilebilir.
Bu, çeşitli yönlere yansıyor. Birincisi, büyük modeller akıllı güvenlik “danışmanları” sağlayabilir. Büyük metinlere dayalı olarak önceden eğitilmiş büyük modeller mükemmel “danışmanlar” haline gelebilir ve uygun analiz ve savunma stratejileri önerebilir. Örneğin, basit doğal dil açıklamasıyla güvenlik durumu hızlı bir şekilde analiz edilebilir, karşı önlemler için önerilerde bulunulabilir ve güvenlik ekibine çözüm planlamasında yardımcı olunabilir. Bu, akıllı güvenlik "küçük asistanına" benzer.
Sektördeki mevcut duruma bakıldığında, yapay zekanın güvenliğinin nasıl değerlendirileceğine ilişkin kullanımı kolay ve standartlaştırılmış bir dizi değerlendirme aracı ve kuralının hâlâ eksik olduğu görülüyor.
Bu aynı zamanda büyük model savunmasında desteklenebilecek başka bir husustur. Yapay zekanın risklere ilişkin bilişsel anlayışını geliştirmek amacıyla risk bilgisini ve standart kuralları öğrenmek için büyük model teknolojisini kullanır, böylece büyük modelleri karşı karşıya getirerek son derece hızlı savunma ve hızlı soğuk başlatma elde eder. büyük modeller hedefi.
Metin güvenliğini örnek olarak alırsak, büyük modeller, modelin risk standartları ve içeriğine ilişkin anlayışını geliştirmek ve böylece risk algılama yeteneklerini geliştirmek için güvenlik standardı kurallarına, risk alanı bilgisine ve geçmiş risk örneklerine dayalı olarak eğitilebilir. Ayrıca, saldırı örnekleri oluşturmak ve algılama modelini sürekli olarak yineleyerek optimize etmek için güvenlik bilgisi grafikleriyle birlikte büyük model oluşturma yeteneklerini kullanır.
Bir güvenlik uzmanı şunları söyledi: "Manuel olarak toplanan sınırlı örneklerle karşılaştırıldığında, büyük modeller tarafından oluşturulan devasa ve çeşitli örnekler, güvenlik tespit modelinin 'iyi bilgilendirilmiş' olmasını sağlayacak ve yeni tehdit yöntemlerine daha hızlı adapte olmasını sağlayacaktır."
Bu teknoloji Ant tarafından AIGC içerik tespitinde de kullanıldı. Zhu Huijia şunları söyledi: "AIGC derin sahtecilik tespiti aynı zamanda saldırı, test etme ve savunma ve savunmayı teşvik etmek için saldırı kullanma fikrini de benimsiyor. Farklı yöntemler, farklı stiller ve farklı nesil modelleri aracılığıyla üretiyor ve onlarcaya yakın sahtecilik oluşturuyor. Modeli eğitmek için milyonlarca derin sahtecilik verisi. İçeriğin makine tarafından mı yoksa yapay olarak mı oluşturulduğunu hızla ayırt edin, böylece daha iyi genelleme ve sağlamlığa sahip bir tespit modeli elde edin."
AIGC'nin uygulanması sırasında ortaya çıkan sorunlara yanıt olarak dünyanın önde gelen bazı şirketleri planlar yapmaya başladı.
OpenAI daha önce modelin kötüye kullanılmasının olumsuz etkisini azaltmak için ChatGPT'ye dijital filigran teknolojisi eklemeyi düşündüğünü belirtmişti; Google bu yılki geliştirici konferansında şirketin AI tarafından oluşturulan her görselinin gömülü bir filigrana sahip olmasını sağlayacağını belirtti; bu yıl Ocak ayının başlarında Nvidia, videodaki yüzlerin sahte olup olmadığını öğrenmek için FakeCatcher adlı bir yazılımı da yayınladı.
İnternetin gelişim tarihine bakıldığında, kaos ve hızlı gelişme genellikle "ikiz kardeşlerdir". İnternet, ağ güvenliğinin sanayileşmesi olgunlaştıktan sonra, yüz çiçeğin uygulanmasına gerçekten öncülük etti.
Benzer şekilde, model güvenliği yalnızca bir güvenlik üreticisinin görevi değildir; ancak güvenlik teknolojisi güvenilir bir çit oluşturduğunda büyük model teknolojisi gerçekten "sıradan insanların evlerine uçabilir."
"Büyük modeller çok karmaşık konulardır. Etik, veri, eğitim ve diğer alanların karmaşıklığı emsalsizdir. Bu yeni bir alan ve herkesin önünde bir öneridir. Büyük model güvenliği perspektifinde Ant'ın 'Yitianjian'ı üzerine bazı araştırmalar yaptık. ancak cevapların özgünlüğü ve doğruluğu gibi hala araştırılıp çözülmesi gereken birçok sorun var. Aynı zamanda sürekli yineleme ve iyileştirmeye ihtiyaç duyuyor ve tüm toplumun ortak çabalarını gerektiriyor." Zhu Huijia sonunda söyledi.