“Apakah kita lebih berbahaya atau lebih aman di era Internet?”
Pada tahun 2016, ketika Internet berkembang pesat, karakter besar dan dua baris slogan ini sering muncul di iklan elevator.Dari virus dan Trojan hingga penipuan online, pemikiran tentang keamanan dan pembentukan teknologi pencegahan keamanan telah berpacu dengan perkembangan ilmu pengetahuan dan teknologi. Demikian pula, masa-masa awal era model besar juga memunculkan banyak pertimbangan keamanan.
Sepuluh tahun setelah penemuan Internet, teknologi perlindungan Internet dan rantai industri mulai selesai Berdasarkan pengalaman beberapa dekade terakhir, dalam waktu kurang dari setengah tahun setelah lahirnya model besar, seputar model keamanan dan data keamanan, , diskusi keamanan konten tidak ada habisnya.
Dalam seminggu terakhir, di Konferensi Shanghai Bund, Forum Inovasi Pujiang, Pekan Keamanan Siber Nasional dan acara lainnya, industri, akademisi, dan komunitas penelitian berfokus pada masalah keamanan data (termasuk keracunan data, kebocoran informasi, risiko hak cipta, dll. .) disebabkan oleh penerapan aplikasi model besar, serangkaian diskusi model A diadakan mengenai masalah keamanan (kerentanan keamanan dalam model itu sendiri, eksploitasi berbahaya, dll.), masalah keamanan konten (konten yang dihasilkan berisi informasi sensitif seperti pelanggaran, ilegalitas , pornografi, dll.), masalah etika AI, dll.
Bagaimana cara melindungi model besar?
Beberapa produsen keamanan dalam negeri, seperti 360, Ant, Sangfor, Qi'anxin, Shanshi Technology, dll., secara aktif mengembangkan teknologi keamanan model besar.
Model besar membutuhkan "dokter" dan "pengawal"
Kelahiran model besar sebagai spesies baru memerlukan pemantauan keamanan selama proses pelatihan. Ketika model besar akhirnya diperkenalkan ke pasar, juga memerlukan "pemeriksaan kualitas". Setelah pemeriksaan kualitas, ia memasuki pasar dan perlu dilakukan digunakan dengan cara yang terkendali. Ini semua adalah pendekatan makro untuk memecahkan masalah keamanan.
Baik itu model besar umum atau model industri besar untuk bidang vertikal, saat ini, perlindungan keamanan model terutama dibagi menjadi tiga bagian:
Yang pertama adalah masalah data pada tahap pelatihan: jika data dikumpulkan secara tidak tepat, bias atau diberi label yang salah, atau data diracuni, hal ini dapat menyebabkan model besar menghasilkan keluaran yang salah, diskriminasi, atau dampak negatif lainnya. data juga akan terpengaruh selama proses aplikasi.Menghadapi risiko seperti kebocoran data dan paparan privasi;
Yang kedua adalah masalah pengendalian model itu sendiri: keandalan, stabilitas, ketahanan, dll dari model perlu diuji.Misalnya, pengguna sebelumnya telah membuat pernyataan yang ditargetkan untuk menginduksi model, dan model besar mungkin menghasilkan informasi yang mengandung penipuan. , diskriminasi, dan politik Tendensi dan konten risiko lainnya;
Yang ketiga adalah masalah keamanan penerapan model besar dalam skenario aktual: Selama penggunaan sebenarnya, interaksi dan aplikasi dari kelompok pengguna yang berbeda perlu dievaluasi secara cermat, terutama di bidang seperti keuangan dan perawatan medis, yang memiliki persyaratan sangat tinggi pada model tersebut. kebenaran keluaran model. Jika digunakan secara tidak tepat, satu batu dapat dengan mudah menimbulkan ribuan gelombang.
Banyak orang dalam industri mengatakan kepada Guangcone Intelligence: "Keamanan model memerlukan sistem perlindungan teknis yang terintegrasi, dan kendali satu tautan saja tidak dapat menyelesaikan masalah mendasar."
Mengacu pada jalur pengembangan keamanan Internet, banyak perusahaan perangkat lunak "pendeteksi dan pembunuh virus" telah lahir.Umumnya, mendeteksi dan menemukan masalah sering kali merupakan langkah pertama.
Lightcone Intelligence mengetahui bahwa “Yitianjian” Ant mencakup platform deteksi keamanan model besar “Yitianjian 2.0” dan platform pertahanan risiko model besar “Tianjian”, yang mencakup seluruh rantai mulai dari deteksi hingga tata kelola hingga pertahanan. Antjian 2.0 dapat melakukan pemindaian keamanan multi-dimensi pada model besar untuk memeriksa risiko keamanan data yang ada, titik risiko konten, dan masalah lainnya. Hal ini setara dengan berdiri dalam perspektif "industri gelap" dan menggunakan teknologi serangan dan konfrontasi yang cerdas untuk secara otomatis menghasilkan jutaan pertanyaan induktif, melakukan tanya jawab induktif pada model generatif besar, dan mencari tahu kelemahan dan celah model besar. .
Dari perspektif teknis, Yijian mengadopsi jalur teknologi "kecerdasan adversarial" terbaru, menggunakan teknologi adversarial cerdas untuk terus "memproyeksikan pertanyaan" ke model besar, mengamati jawaban yang dihasilkan oleh model, dan menentukan apakah terdapat risiko. Melalui "penyiksaan" yang terus menerus, seperti seorang dokter yang menanyakan gejala pasiennya berkali-kali, platform ini dapat menginterogasi dan menganalisis status kesehatan model besar tersebut.
Sudah menjadi tren teknologi arus utama untuk meningkatkan keamanan model besar dengan menghasilkan sampel permusuhan dan mengembangkan sistem algoritma untuk mendeteksi sampel permusuhan. Di industri, perusahaan raksasa seperti OpenAI, Google, Microsoft, dan NVIDIA telah menerapkan teknologi kontra-intelijen pada produk dan layanan mereka.
Misalnya, di bawah ide teknis ini, sistem CleverHans yang dikembangkan oleh University of Toronto seperti "pencuri" yang dirancang khusus untuk menguji sistem anti-pencurian, dengan sengaja menambahkan beberapa gangguan kecil untuk mencoba menipu sistem keamanan AI . Dalam keadaan normal, sistem AI dapat secara akurat mengidentifikasi gambar "anak kucing", tetapi sistem CleverHan harus sedikit memodifikasi beberapa piksel pada gambar "anak kucing" untuk memberikan ilusi kepada AI bahwa itu adalah gambar anak anjing. Jika sistem AI tertipu, berarti ada kerentanan keamanan.
Dibandingkan dengan deteksi dan “diagnosis”, “pencegahan dan pengobatan” juga sangat penting. Semut Tianjian ibarat tameng pintar yang mampu mencegah masalah sebelum terjadi. Dengan menganalisis secara cerdas niat pengguna untuk mengajukan pertanyaan untuk pembelaan, Tianjian dapat mencegat pertanyaan jahat tertentu yang mencoba mendorong model untuk menghasilkan konten sensitif, memastikan bahwa induksi jahat eksternal tidak dapat dimasukkan ke dalam model besar. Pada saat yang sama, pemfilteran sekunder diterapkan pada konten keluaran model untuk secara otomatis mengidentifikasi informasi risiko dan melakukan intervensi untuk memastikan bahwa keluaran konten oleh model besar sesuai dengan spesifikasi.
Yang lebih penting lagi, masalah data adalah sumber dari model keamanan. Shi Lin, direktur Institut Komputasi Awan dan Data Besar dari Akademi Teknologi Informasi dan Komunikasi Tiongkok, pernah menyampaikan pada pertemuan pertukaran akademis: "Banyak vendor keamanan kini telah mengadopsi langkah-langkah keamanan, termasuk Kami akan melakukan pembersihan data pelatihan, menyaring konten masukan dan keluaran, dan juga mengambil tindakan pencegahan dan pengendalian keamanan seperti pemantauan dan identifikasi.”
Hal ini mengharuskan platform pertahanan untuk bertindak berdasarkan sumber data untuk mengatasi masalah seperti sumber data beracun dan kotak hitam kedalaman model yang tidak terkendali. Zhu Huijia, direktur algoritme konten di Departemen Intelijen Mesin Keamanan Besar Ant Group, mengatakan bahwa Tianjian saat ini mencoba memastikan keamanan model melalui detoksifikasi data, pelatihan penyelarasan, dan penelitian interpretabilitas.
Gunakan sihir untuk mengalahkan sihir, AI untuk melawan AI
Karakteristik konten di dunia digital dan dunia yang dilihat manusia berbeda.
Dengan munculnya era model besar, kemampuannya yang kuat juga memberikan ide-ide baru untuk transformasi teknologi perlindungan keamanan. “Menggunakan kekuatan AI untuk melawan AI” telah menjadi topik hangat.
Faktanya, gagasan serangan dan pertahanan yang bermusuhan tidak eksklusif untuk model keamanan. Pada awal dekade terakhir, dalam menghadapi berbagai ancaman keamanan, bidang kecerdasan buatan secara bertahap membentuk konsep keamanan "menyerang, menguji, dan mempertahankan - menyerang untuk mempromosikan pertahanan - serangan dan integrasi pertahanan", dan terus dieksplorasi oleh mensimulasikan berbagai skenario serangan.Kelemahan dalam model dan sistem digunakan untuk mendorong penguatan kemampuan pertahanan di sisi algoritma dan rekayasa.
Namun, di masa lalu, perlindungan keamanan terutama mengandalkan model algoritme pembelajaran mesin, yang memerlukan akumulasi sejumlah besar pengetahuan data profesional, dan menghadapi masalah titik buta pengetahuan dan cold start sampel kecil yang terlalu dini. Dengan menggunakan teknologi model besar, pencegahan dan pengendalian keamanan yang lebih cerdas dapat dicapai.
Hal ini tercermin dalam beberapa aspek. Pertama, model besar dapat menyediakan “konsultan” keamanan yang cerdas. Model-model besar yang telah dilatih sebelumnya berdasarkan teks-teks berukuran besar dapat menjadi “konsultan” yang hebat dan mengusulkan analisis dan strategi pertahanan yang tepat. Misalnya, melalui deskripsi bahasa alami yang sederhana, situasi keamanan dapat dianalisis dengan cepat, saran tindakan pencegahan dapat diberikan, dan tim keamanan dapat dibantu dalam merencanakan solusi. Ini mirip dengan "asisten kecil" keamanan cerdas.
Dilihat dari situasi industri saat ini, masih kurangnya seperangkat alat evaluasi dan aturan yang mudah digunakan dan terstandarisasi mengenai cara mengevaluasi keamanan AI.
Ini juga merupakan aspek lain yang dapat ditambahkan dalam pertahanan model besar. Ia menggunakan teknologi model besar untuk mempelajari pengetahuan risiko dan aturan standar guna meningkatkan pemahaman kognitif AI tentang risiko, sehingga mencapai pertahanan yang sangat cepat dan start dingin yang cepat dengan menggunakan model besar untuk melawan model besar tujuan dari.
Keamanan model besar memerlukan "cepat" dan "lambat". Kedua logika ini tidak bertentangan. Dalam hal pertahanan keamanan model besar, kita harus "cepat" dan mampu mendeteksi dan membunuh virus dengan cepat untuk memastikan bahwa layanan ini bebas dari racun. Hal ini mencakup beberapa pertahanan utama seperti "detoksifikasi data", "pagar pengaman" dan "Deteksi risiko AIGC". Dalam hal keamanan dan kepercayaan model besar, kita harus "lambat" dan memastikan pengendalian dan kepercayaan seluruh lingkungan sistem dalam jangka panjang dan sistematis. Hal ini termasuk "evaluasi keamanan". , "dekonstruksi dan pengendalian", "pemerintahan bersama masyarakat manusia" dan aspek lainnya.
Dengan mengambil contoh keamanan teks, model besar dapat dilatih berdasarkan aturan standar keamanan, pengetahuan domain risiko, dan sampel risiko historis untuk meningkatkan pemahaman model tentang standar dan konten risiko, sehingga meningkatkan kemampuan deteksi risiko. Ia juga menggunakan kemampuan pembuatan model besar yang dikombinasikan dengan grafik pengetahuan keamanan untuk membuat sampel serangan dan terus mengoptimalkan model deteksi secara berulang.
Seorang pakar keamanan mengatakan: "Dibandingkan dengan sampel terbatas yang dikumpulkan secara manual, sampel besar dan beragam yang dihasilkan oleh model besar akan membuat model deteksi keamanan 'terinformasi dengan baik' dan beradaptasi dengan metode ancaman baru dengan lebih cepat."
Teknologi ini juga telah digunakan Ant dalam pendeteksian konten AIGC. Zhu Huijia menyebutkan: "Deteksi pemalsuan mendalam AIGC juga mengadopsi gagasan menyerang, menguji dan mempertahankan, serta menggunakan serangan untuk meningkatkan pertahanan. Ini dihasilkan melalui metode yang berbeda, gaya yang berbeda, dan model generasi yang berbeda, dan menetapkan hampir puluhan jutaan data pemalsuan mendalam untuk melatih model. Dengan cepat membedakan apakah konten dibuat oleh mesin atau dibuat secara artifisial, sehingga mencapai model deteksi dengan generalisasi dan ketahanan yang lebih baik.”
Menanggapi permasalahan yang ditimbulkan AIGC pada penerapannya, beberapa perusahaan terkemuka di dunia sudah mulai membuat rencana.
OpenAI sebelumnya telah menyatakan bahwa mereka sedang mempertimbangkan untuk menambahkan teknologi tanda air digital ke ChatGPT untuk mengurangi dampak negatif penyalahgunaan model; Google menyatakan pada konferensi pengembang tahun ini bahwa mereka akan memastikan bahwa setiap gambar perusahaan yang dihasilkan AI memiliki tanda air yang tertanam; tahun ini Pada awal Januari, Nvidia juga merilis perangkat lunak bernama FakeCatcher untuk mengetahui apakah wajah-wajah dalam video tersebut benar-benar palsu.
Melihat kembali sejarah perkembangan Internet, kekacauan dan perkembangan pesat sering kali merupakan "saudara kembar".Setelah industrialisasi keamanan jaringan matang, Internet benar-benar mengantarkan penerapan seratus bunga.
Demikian pula, model keamanan bukan hanya tugas produsen keamanan tertentu, tetapi hanya ketika teknologi keamanan membentuk pagar yang tepercaya barulah teknologi model besar benar-benar "terbang ke rumah orang biasa".
"Model besar adalah masalah yang sangat kompleks. Kompleksitas etika, data, pelatihan, dan bidang lainnya belum pernah terjadi sebelumnya. Ini adalah bidang baru dan proposisi di hadapan semua orang. 'Yitianjian' Ant dari perspektif keamanan model besar Kami telah melakukan beberapa eksplorasi pada itu, namun masih banyak permasalahan yang harus diteliti dan dipecahkan, seperti keaslian dan keakuratan jawaban. Hal ini juga memerlukan pengulangan dan perbaikan yang berkelanjutan, serta memerlukan upaya bersama dari seluruh masyarakat." Zhu Huijia akhirnya berkata.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Melawan AI dengan AI, “teori evolusi” keamanan model besar
Teks丨Liu Yuqi
Editor｜Wang Yisu
Sumber丨Kecerdasan Kerucut Cahaya
“Apakah kita lebih berbahaya atau lebih aman di era Internet?”
Pada tahun 2016, ketika Internet berkembang pesat, karakter besar dan dua baris slogan ini sering muncul di iklan elevator.Dari virus dan Trojan hingga penipuan online, pemikiran tentang keamanan dan pembentukan teknologi pencegahan keamanan telah berpacu dengan perkembangan ilmu pengetahuan dan teknologi. Demikian pula, masa-masa awal era model besar juga memunculkan banyak pertimbangan keamanan.
Sepuluh tahun setelah penemuan Internet, teknologi perlindungan Internet dan rantai industri mulai selesai Berdasarkan pengalaman beberapa dekade terakhir, dalam waktu kurang dari setengah tahun setelah lahirnya model besar, seputar model keamanan dan data keamanan, , diskusi keamanan konten tidak ada habisnya.
Dalam seminggu terakhir, di Konferensi Shanghai Bund, Forum Inovasi Pujiang, Pekan Keamanan Siber Nasional dan acara lainnya, industri, akademisi, dan komunitas penelitian berfokus pada masalah keamanan data (termasuk keracunan data, kebocoran informasi, risiko hak cipta, dll. .) disebabkan oleh penerapan aplikasi model besar, serangkaian diskusi model A diadakan mengenai masalah keamanan (kerentanan keamanan dalam model itu sendiri, eksploitasi berbahaya, dll.), masalah keamanan konten (konten yang dihasilkan berisi informasi sensitif seperti pelanggaran, ilegalitas , pornografi, dll.), masalah etika AI, dll.
Bagaimana cara melindungi model besar?
Beberapa produsen keamanan dalam negeri, seperti 360, Ant, Sangfor, Qi'anxin, Shanshi Technology, dll., secara aktif mengembangkan teknologi keamanan model besar.
Model besar membutuhkan "dokter" dan "pengawal"
Kelahiran model besar sebagai spesies baru memerlukan pemantauan keamanan selama proses pelatihan. Ketika model besar akhirnya diperkenalkan ke pasar, juga memerlukan "pemeriksaan kualitas". Setelah pemeriksaan kualitas, ia memasuki pasar dan perlu dilakukan digunakan dengan cara yang terkendali. Ini semua adalah pendekatan makro untuk memecahkan masalah keamanan.
Baik itu model besar umum atau model industri besar untuk bidang vertikal, saat ini, perlindungan keamanan model terutama dibagi menjadi tiga bagian:
Yang kedua adalah masalah pengendalian model itu sendiri: keandalan, stabilitas, ketahanan, dll dari model perlu diuji.Misalnya, pengguna sebelumnya telah membuat pernyataan yang ditargetkan untuk menginduksi model, dan model besar mungkin menghasilkan informasi yang mengandung penipuan. , diskriminasi, dan politik Tendensi dan konten risiko lainnya;
Yang ketiga adalah masalah keamanan penerapan model besar dalam skenario aktual: Selama penggunaan sebenarnya, interaksi dan aplikasi dari kelompok pengguna yang berbeda perlu dievaluasi secara cermat, terutama di bidang seperti keuangan dan perawatan medis, yang memiliki persyaratan sangat tinggi pada model tersebut. kebenaran keluaran model. Jika digunakan secara tidak tepat, satu batu dapat dengan mudah menimbulkan ribuan gelombang.
Banyak orang dalam industri mengatakan kepada Guangcone Intelligence: "Keamanan model memerlukan sistem perlindungan teknis yang terintegrasi, dan kendali satu tautan saja tidak dapat menyelesaikan masalah mendasar."
Mengacu pada jalur pengembangan keamanan Internet, banyak perusahaan perangkat lunak "pendeteksi dan pembunuh virus" telah lahir.Umumnya, mendeteksi dan menemukan masalah sering kali merupakan langkah pertama.
Lightcone Intelligence mengetahui bahwa “Yitianjian” Ant mencakup platform deteksi keamanan model besar “Yitianjian 2.0” dan platform pertahanan risiko model besar “Tianjian”, yang mencakup seluruh rantai mulai dari deteksi hingga tata kelola hingga pertahanan. Antjian 2.0 dapat melakukan pemindaian keamanan multi-dimensi pada model besar untuk memeriksa risiko keamanan data yang ada, titik risiko konten, dan masalah lainnya. Hal ini setara dengan berdiri dalam perspektif "industri gelap" dan menggunakan teknologi serangan dan konfrontasi yang cerdas untuk secara otomatis menghasilkan jutaan pertanyaan induktif, melakukan tanya jawab induktif pada model generatif besar, dan mencari tahu kelemahan dan celah model besar. .
Dari perspektif teknis, Yijian mengadopsi jalur teknologi "kecerdasan adversarial" terbaru, menggunakan teknologi adversarial cerdas untuk terus "memproyeksikan pertanyaan" ke model besar, mengamati jawaban yang dihasilkan oleh model, dan menentukan apakah terdapat risiko. Melalui "penyiksaan" yang terus menerus, seperti seorang dokter yang menanyakan gejala pasiennya berkali-kali, platform ini dapat menginterogasi dan menganalisis status kesehatan model besar tersebut.
Sudah menjadi tren teknologi arus utama untuk meningkatkan keamanan model besar dengan menghasilkan sampel permusuhan dan mengembangkan sistem algoritma untuk mendeteksi sampel permusuhan. Di industri, perusahaan raksasa seperti OpenAI, Google, Microsoft, dan NVIDIA telah menerapkan teknologi kontra-intelijen pada produk dan layanan mereka.
Misalnya, di bawah ide teknis ini, sistem CleverHans yang dikembangkan oleh University of Toronto seperti "pencuri" yang dirancang khusus untuk menguji sistem anti-pencurian, dengan sengaja menambahkan beberapa gangguan kecil untuk mencoba menipu sistem keamanan AI . Dalam keadaan normal, sistem AI dapat secara akurat mengidentifikasi gambar "anak kucing", tetapi sistem CleverHan harus sedikit memodifikasi beberapa piksel pada gambar "anak kucing" untuk memberikan ilusi kepada AI bahwa itu adalah gambar anak anjing. Jika sistem AI tertipu, berarti ada kerentanan keamanan.
Yang lebih penting lagi, masalah data adalah sumber dari model keamanan. Shi Lin, direktur Institut Komputasi Awan dan Data Besar dari Akademi Teknologi Informasi dan Komunikasi Tiongkok, pernah menyampaikan pada pertemuan pertukaran akademis: "Banyak vendor keamanan kini telah mengadopsi langkah-langkah keamanan, termasuk Kami akan melakukan pembersihan data pelatihan, menyaring konten masukan dan keluaran, dan juga mengambil tindakan pencegahan dan pengendalian keamanan seperti pemantauan dan identifikasi.”
Hal ini mengharuskan platform pertahanan untuk bertindak berdasarkan sumber data untuk mengatasi masalah seperti sumber data beracun dan kotak hitam kedalaman model yang tidak terkendali. Zhu Huijia, direktur algoritme konten di Departemen Intelijen Mesin Keamanan Besar Ant Group, mengatakan bahwa Tianjian saat ini mencoba memastikan keamanan model melalui detoksifikasi data, pelatihan penyelarasan, dan penelitian interpretabilitas.
Gunakan sihir untuk mengalahkan sihir, AI untuk melawan AI
Karakteristik konten di dunia digital dan dunia yang dilihat manusia berbeda.
Dengan munculnya era model besar, kemampuannya yang kuat juga memberikan ide-ide baru untuk transformasi teknologi perlindungan keamanan. “Menggunakan kekuatan AI untuk melawan AI” telah menjadi topik hangat.
Faktanya, gagasan serangan dan pertahanan yang bermusuhan tidak eksklusif untuk model keamanan. Pada awal dekade terakhir, dalam menghadapi berbagai ancaman keamanan, bidang kecerdasan buatan secara bertahap membentuk konsep keamanan "menyerang, menguji, dan mempertahankan - menyerang untuk mempromosikan pertahanan - serangan dan integrasi pertahanan", dan terus dieksplorasi oleh mensimulasikan berbagai skenario serangan.Kelemahan dalam model dan sistem digunakan untuk mendorong penguatan kemampuan pertahanan di sisi algoritma dan rekayasa.
Namun, di masa lalu, perlindungan keamanan terutama mengandalkan model algoritme pembelajaran mesin, yang memerlukan akumulasi sejumlah besar pengetahuan data profesional, dan menghadapi masalah titik buta pengetahuan dan cold start sampel kecil yang terlalu dini. Dengan menggunakan teknologi model besar, pencegahan dan pengendalian keamanan yang lebih cerdas dapat dicapai.
Hal ini tercermin dalam beberapa aspek. Pertama, model besar dapat menyediakan “konsultan” keamanan yang cerdas. Model-model besar yang telah dilatih sebelumnya berdasarkan teks-teks berukuran besar dapat menjadi “konsultan” yang hebat dan mengusulkan analisis dan strategi pertahanan yang tepat. Misalnya, melalui deskripsi bahasa alami yang sederhana, situasi keamanan dapat dianalisis dengan cepat, saran tindakan pencegahan dapat diberikan, dan tim keamanan dapat dibantu dalam merencanakan solusi. Ini mirip dengan "asisten kecil" keamanan cerdas.
Dilihat dari situasi industri saat ini, masih kurangnya seperangkat alat evaluasi dan aturan yang mudah digunakan dan terstandarisasi mengenai cara mengevaluasi keamanan AI.
Ini juga merupakan aspek lain yang dapat ditambahkan dalam pertahanan model besar. Ia menggunakan teknologi model besar untuk mempelajari pengetahuan risiko dan aturan standar guna meningkatkan pemahaman kognitif AI tentang risiko, sehingga mencapai pertahanan yang sangat cepat dan start dingin yang cepat dengan menggunakan model besar untuk melawan model besar tujuan dari.
Dengan mengambil contoh keamanan teks, model besar dapat dilatih berdasarkan aturan standar keamanan, pengetahuan domain risiko, dan sampel risiko historis untuk meningkatkan pemahaman model tentang standar dan konten risiko, sehingga meningkatkan kemampuan deteksi risiko. Ia juga menggunakan kemampuan pembuatan model besar yang dikombinasikan dengan grafik pengetahuan keamanan untuk membuat sampel serangan dan terus mengoptimalkan model deteksi secara berulang.
Seorang pakar keamanan mengatakan: "Dibandingkan dengan sampel terbatas yang dikumpulkan secara manual, sampel besar dan beragam yang dihasilkan oleh model besar akan membuat model deteksi keamanan 'terinformasi dengan baik' dan beradaptasi dengan metode ancaman baru dengan lebih cepat."
Teknologi ini juga telah digunakan Ant dalam pendeteksian konten AIGC. Zhu Huijia menyebutkan: "Deteksi pemalsuan mendalam AIGC juga mengadopsi gagasan menyerang, menguji dan mempertahankan, serta menggunakan serangan untuk meningkatkan pertahanan. Ini dihasilkan melalui metode yang berbeda, gaya yang berbeda, dan model generasi yang berbeda, dan menetapkan hampir puluhan jutaan data pemalsuan mendalam untuk melatih model. Dengan cepat membedakan apakah konten dibuat oleh mesin atau dibuat secara artifisial, sehingga mencapai model deteksi dengan generalisasi dan ketahanan yang lebih baik.”
Menanggapi permasalahan yang ditimbulkan AIGC pada penerapannya, beberapa perusahaan terkemuka di dunia sudah mulai membuat rencana.
OpenAI sebelumnya telah menyatakan bahwa mereka sedang mempertimbangkan untuk menambahkan teknologi tanda air digital ke ChatGPT untuk mengurangi dampak negatif penyalahgunaan model; Google menyatakan pada konferensi pengembang tahun ini bahwa mereka akan memastikan bahwa setiap gambar perusahaan yang dihasilkan AI memiliki tanda air yang tertanam; tahun ini Pada awal Januari, Nvidia juga merilis perangkat lunak bernama FakeCatcher untuk mengetahui apakah wajah-wajah dalam video tersebut benar-benar palsu.
Melihat kembali sejarah perkembangan Internet, kekacauan dan perkembangan pesat sering kali merupakan "saudara kembar".Setelah industrialisasi keamanan jaringan matang, Internet benar-benar mengantarkan penerapan seratus bunga.
Demikian pula, model keamanan bukan hanya tugas produsen keamanan tertentu, tetapi hanya ketika teknologi keamanan membentuk pagar yang tepercaya barulah teknologi model besar benar-benar "terbang ke rumah orang biasa".
"Model besar adalah masalah yang sangat kompleks. Kompleksitas etika, data, pelatihan, dan bidang lainnya belum pernah terjadi sebelumnya. Ini adalah bidang baru dan proposisi di hadapan semua orang. 'Yitianjian' Ant dari perspektif keamanan model besar Kami telah melakukan beberapa eksplorasi pada itu, namun masih banyak permasalahan yang harus diteliti dan dipecahkan, seperti keaslian dan keakuratan jawaban. Hal ini juga memerlukan pengulangan dan perbaikan yang berkelanjutan, serta memerlukan upaya bersama dari seluruh masyarakat." Zhu Huijia akhirnya berkata.