Xia He: Halo, Flood, bisakah Anda memberikan perkenalan singkat tentang diri Anda?
Flood Sung：Halo semua, saya Flood Sung, saat ini menjabat sebagai Kepala Produk AI di QiYuan World. Sebelumnya, saya bekerja sebagai peneliti pembelajaran penguatan di ByteDance, fokus pada pengembangan teknologi terkait AI.
Xia He: Mari kita mulai dengan topik yang santai. Apakah Anda baru-baru ini melihat beberapa bentuk produk yang sangat menarik dan berkesan, bisa dibagikan?
Flood Sung: Produk paling populer baru-baru ini ada di GitHub, budaya sumber terbuka di luar negeri sangat kuat, banyak geek tidak berorientasi pada keuntungan, mereka terlebih dahulu menjalankan proyek sumber terbuka untuk bersenang-senang. Sekarang tren di GitHub, beberapa yang teratas terkait dengan ChatGPT, seperti aplikasi yang sangat populer bernama AutoGPT, yang bertujuan untuk membuat GPT berjalan sepenuhnya secara otomatis. Misalnya, seseorang menghubungkan GPT ke Siri melalui kode, dengan perintah suara mengatakan "Bantu saya membuat situs web", berinteraksi sepenuhnya dengan audio, dan akhirnya benar-benar berhasil membuat situs web. Ini sangat menarik, dari membantu manusia hingga menggantikan eksekusi, dan dalam beberapa hari telah mendapatkan 10.000 bintang.
Xia He: Apakah ini sudah dapat menjalankan tugas nyata? Sebelumnya sepertinya masih berada di tahap imajinasi.
Flood Sung：Ya, akumulasi pengetahuan dan kemampuan kognitif GPT-4 sudah melampaui mahasiswa universitas. Selama ia diberi izin untuk memanggil perangkat lunak atau antarmuka, dengan sedikit pengembangan, ia dapat terhubung ke dunia nyata untuk menangani tugas. Misalnya, "bantu saya memesan hotel", jika ia diberikan izin Alipay, ia dapat melakukan pemesanan. Ini bukan lagi fiksi ilmiah, para geek telah dengan cepat memverifikasi, kemajuan teknologi sangat cepat, dari percakapan ke membaca dokumen, hingga sekarang ke tingkat eksekusi.
Xia He: Apakah teknologi ChatGPT merupakan terobosan paradigma, ataukah perpanjangan dari teknologi sebelumnya?
Flood Sung: Ini jelas merupakan perpanjangan dari teknologi masa lalu. Ilya Sutskever, kepala ilmuwan Open AI, juga mengatakan bahwa ChatGPT tidak memiliki ide baru, dan semua ide ada di sana satu atau dua dekade yang lalu, seperti jaringan saraf dan pembelajaran penguatan. Perbedaannya ada dalam skala: sebelumnya lusinan neuron, sekarang jaringan saraf dengan ratusan miliar parameter. Transformer muncul pada tahun 2017, tetapi mekanisme perhatiannya sudah ada jauh lebih awal. Keberhasilan AlphaGo juga menjadi bukti potensi reinforcement learning di domain tertentu. Sekarang hanya masalah menggunakan metode ini pada model bahasa, mengoptimalkan output agar sesuai dengan kebutuhan manusia.
Xia He: Jadi efek sensasi ChatGPT disebabkan oleh penerapan teknologi yang sudah ada pada model bahasa besar?
Flood Sung: Ya. Dunia teks mencakup logika dan pemikiran manusia, dengan cakupan aplikasi yang sangat luas. Open AI menutup departemen robotiknya beberapa tahun yang lalu dan fokus pada model bahasa, sama seperti AlphaGo, yang pertama-tama dilatih menggunakan data ahli dan kemudian dioptimalkan melalui pembelajaran penguatan, dengan hasil yang signifikan.
Xia He: Anda menyebutkan bahwa proses belajar ChatGPT mirip dengan manusia: menghafal, mengerjakan soal, ujian. Ketiga tahap ini sesuai dengan teknologi apa?
Flood Sung: Tahap pertama dari "hafalan" adalah pembelajaran tanpa pengawasan, di mana model memprediksi kata berikutnya, mirip dengan dukungan, dan semakin akurat prediksi, semakin baik pembelajarannya. Tahap kedua dari "pemecahan masalah" adalah pembelajaran yang diawasi, menggunakan instruksi manusia (seperti menulis kode, puisi, atau laporan) untuk melatih input dan output, mirip dengan menjawab pertanyaan pada ujian. Tahap ketiga dari "ujian" adalah pembelajaran penguatan, yang mengoptimalkan jaringan saraf melalui umpan balik manusia. Misalnya, bermain tenis meja, latihan berulang untuk meningkatkan level; AI melatih model penghargaan melalui penilaian manusia, terus mengoptimalkan kinerja, dan menjadi semakin sejalan dengan kebutuhan manusia.
Xia He: Apa perbedaan antara domestik dan Open AI? Di industri ini, dikatakan bahwa ada selisih dua tahun, di langkah mana perbedaannya?
Flood Sung: Perbedaan pertama terletak pada pemahaman. Beberapa tahun yang lalu, tidak ada yang percaya bahwa hanya dengan memprediksi karakter berikutnya, AI dapat memiliki kemampuan penalaran logis. Open AI memiliki keyakinan, percaya bahwa model besar dan data besar dapat menyelesaikan masalah, dari 1,5 miliar parameter GPT-2 hingga 175 miliar GPT-3, investasi yang besar. Di dalam negeri, fokus pada bidang yang menguntungkan seperti pengantaran makanan, e-commerce, dan video pendek, tidak ada energi untuk menginvestasikan pada teknologi terdepan. Sekarang perusahaan besar dan startup di dalam negeri semua mengejar, tetapi hanya mengikuti sulit untuk melampaui. Open AI tidak mengungkapkan detail algoritma terbaru, dalam negeri perlu berinovasi dengan jalannya sendiri, jika tidak akan sulit untuk bersaing.
Xia He: Open AI sebelumnya akan menerbitkan makalah untuk memperkenalkan metode pelatihan, sekarang bagian mana yang tidak diopen source?
Flood Sung: Dulu ada makalah, seperti rincian pelatihan GPT-3. Sekarang laporan teknis GPT-4 hanya menunjukkan hasil, seperti ujian masuk perguruan tinggi di AS yang mendekati nilai sempurna, tetapi arsitektur jaringan dan teknik pelatihan sepenuhnya dirahasiakan, kita hanya bisa menebak. Teknologi dasar seperti Transformer bersifat sumber terbuka, tetapi implementasi spesifik dari model terbaru adalah kotak hitam.
Xia He: Orang-orang mengatakan ChatGPT adalah momen iPhone dalam sejarah ponsel, menurut Anda bagaimana ekosistem masa depannya akan berkembang?
Banjir Sung: Dampak ChatGPT jauh lebih besar daripada iPhone, lebih seperti penemuan listrik, menciptakan media baru yang memberdayakan berbagai industri. Di masa depan, bidang apa pun dapat terhubung ke AI. Jika Open AI dominan, seperti Apple, kinerjanya memimpin; Model open source seperti Android, dengan kinerja yang sedikit lebih rendah tetapi biaya rendah, berkembang di mana-mana. Mungkin ada beberapa pemain top yang bersaing untuk itu, tetapi model open-source akan membuat AI ada di mana-mana seperti ponsel dan dapat diakses oleh semua orang.
Xia He: ChatGPT menjadi populer, Prompt Engineering juga menjadi populer. Apakah orang biasa perlu mempelajari norma bahasa ini untuk berinteraksi dengan AI?
Flood Sung: Anda tidak harus mempelajarinya, tetapi belajar menggunakan AI dapat meningkatkan efisiensi. Di masa depan, seperti pemrograman, orang biasa dapat menggunakan bahasa alami untuk mengembangkan program, dan ambang batasnya sangat berkurang. Inti dari Prompt Engineering adalah untuk mengungkapkan persyaratan dengan jelas, seperti halnya manajer produk yang mengusulkan persyaratan. Siapa pun yang tahu cara menggunakan AI lebih banyak akan memiliki keunggulan kompetitif; Sama sekali tidak mungkin untuk dihilangkan. Di masa depan, AI akan menjadi mitra manusia, tetapi hanya jika aman dan tidak bertentangan dengan keinginan manusia.
Xia He: Anda menyebutkan masalah keamanan. Sekarang banyak orang berbagi template kata kunci untuk meningkatkan produktivitas, apakah Prompt Engineering akan menghilang di masa depan seperti "ahli pencarian" di awal?
Flood Sung: Tidak akan menghilang, hanya saja ambang batasnya akan menurun. Ekspresi kebutuhan selalu ada, seperti memimpin karyawan, Anda harus menjelaskan tujuannya dengan jelas. Prompt Engineering adalah seni bertanya di tingkat logika, bukan masalah teknis. Masa depan mungkin akan lebih sederhana, tetapi tetap perlu komunikasi yang jelas.
Xia He: Anda pernah mengatakan bahwa ChatGPT mungkin menjadi ahli terkemuka di bidang profesional. Apakah kesalahan jawabannya terhadap pertanyaan profesional disebabkan oleh kurangnya data domain tertentu atau kurangnya pembelajaran penguatan?
Flood Sung: Ada dua alasan. Pertama, data di bidang profesional sedikit, misalnya, banyak soal matematika dasar di sekolah dasar, tetapi sedikit soal matematika kompetitif atau masalah matematika tingkat tinggi, sehingga pelatihan tidak cukup. Kedua, untuk melampaui tingkat manusia, AI perlu berinteraksi dengan lingkungan melalui pembelajaran penguatan dan menjelajahi bidang yang tidak diketahui. Misalnya, untuk menyelesaikan dugaan Goldbach, diperlukan banyak data vertikal dan optimasi pembelajaran penguatan.
Xia He: Jika AI melampaui manusia melalui pembelajaran penguatan diri, siapa yang akan menilai? Apakah itu akan membuang norma-norma moral yang ditetapkan oleh manusia?
Flood Sung: Secara teori, AI dapat belajar sendiri, seperti Zhou Botong yang dapat bertarung dengan kedua tangan, meningkatkan kemampuannya sendiri. Ini sangat berbahaya karena mungkin dapat melampaui batasan manusia dan bahkan mengabaikan norma moral. Saat ini, meskipun GPT-4 memiliki batasan, masih dapat menjadi karakter jahat melalui kata kunci tertentu "hitam". Keamanan AI adalah masalah serius; kesalahan pada mobil otonom mungkin hanya merusak satu mobil, tetapi kesalahan AI super kuat dapat mempengaruhi seluruh umat manusia. Saya menyerukan untuk memprioritaskan penyelesaian masalah keamanan sebelum melanjutkan penelitian.
Xia He: Apa hal menarik atau terdepan yang Anda perhatikan belakangan ini? Dari saluran mana informasi tersebut berasal?
Flood Sung: Setiap hari ada perkembangan baru, terutama melihat Twitter dan GitHub, para geek dan ilmuwan luar negeri sering membagikan dinamika terbaru. Misalnya, Microsoft mengintegrasikan model besar ke dalam robot, mengendalikan perilakunya, menjelajahi ruang yang hampir tidak terbatas. Saluran utama adalah Twitter dan GitHub, tempat berkumpulnya para ilmuwan dan geek.
Xia He: Baiklah, pertanyaan hari ini cukup sampai di sini. Terima kasih kepada Flood atas berbagi yang luar biasa!
Flood Sung: Sama-sama, sangat senang bisa diwawancarai!
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Wawancara dengan ahli AI Flood Sung dari QiYuan World: Dari otomatisasi GPT hingga RWA, mengeksplorasi masa depan AI dan Blockchain
Xia He: Halo, Flood, bisakah Anda memberikan perkenalan singkat tentang diri Anda?
Flood Sung：Halo semua, saya Flood Sung, saat ini menjabat sebagai Kepala Produk AI di QiYuan World. Sebelumnya, saya bekerja sebagai peneliti pembelajaran penguatan di ByteDance, fokus pada pengembangan teknologi terkait AI.
Xia He: Mari kita mulai dengan topik yang santai. Apakah Anda baru-baru ini melihat beberapa bentuk produk yang sangat menarik dan berkesan, bisa dibagikan?
Flood Sung: Produk paling populer baru-baru ini ada di GitHub, budaya sumber terbuka di luar negeri sangat kuat, banyak geek tidak berorientasi pada keuntungan, mereka terlebih dahulu menjalankan proyek sumber terbuka untuk bersenang-senang. Sekarang tren di GitHub, beberapa yang teratas terkait dengan ChatGPT, seperti aplikasi yang sangat populer bernama AutoGPT, yang bertujuan untuk membuat GPT berjalan sepenuhnya secara otomatis. Misalnya, seseorang menghubungkan GPT ke Siri melalui kode, dengan perintah suara mengatakan "Bantu saya membuat situs web", berinteraksi sepenuhnya dengan audio, dan akhirnya benar-benar berhasil membuat situs web. Ini sangat menarik, dari membantu manusia hingga menggantikan eksekusi, dan dalam beberapa hari telah mendapatkan 10.000 bintang.
Xia He: Apakah ini sudah dapat menjalankan tugas nyata? Sebelumnya sepertinya masih berada di tahap imajinasi.
Flood Sung：Ya, akumulasi pengetahuan dan kemampuan kognitif GPT-4 sudah melampaui mahasiswa universitas. Selama ia diberi izin untuk memanggil perangkat lunak atau antarmuka, dengan sedikit pengembangan, ia dapat terhubung ke dunia nyata untuk menangani tugas. Misalnya, "bantu saya memesan hotel", jika ia diberikan izin Alipay, ia dapat melakukan pemesanan. Ini bukan lagi fiksi ilmiah, para geek telah dengan cepat memverifikasi, kemajuan teknologi sangat cepat, dari percakapan ke membaca dokumen, hingga sekarang ke tingkat eksekusi.
Xia He: Apakah teknologi ChatGPT merupakan terobosan paradigma, ataukah perpanjangan dari teknologi sebelumnya?
Flood Sung: Ini jelas merupakan perpanjangan dari teknologi masa lalu. Ilya Sutskever, kepala ilmuwan Open AI, juga mengatakan bahwa ChatGPT tidak memiliki ide baru, dan semua ide ada di sana satu atau dua dekade yang lalu, seperti jaringan saraf dan pembelajaran penguatan. Perbedaannya ada dalam skala: sebelumnya lusinan neuron, sekarang jaringan saraf dengan ratusan miliar parameter. Transformer muncul pada tahun 2017, tetapi mekanisme perhatiannya sudah ada jauh lebih awal. Keberhasilan AlphaGo juga menjadi bukti potensi reinforcement learning di domain tertentu. Sekarang hanya masalah menggunakan metode ini pada model bahasa, mengoptimalkan output agar sesuai dengan kebutuhan manusia.
Xia He: Jadi efek sensasi ChatGPT disebabkan oleh penerapan teknologi yang sudah ada pada model bahasa besar?
Flood Sung: Ya. Dunia teks mencakup logika dan pemikiran manusia, dengan cakupan aplikasi yang sangat luas. Open AI menutup departemen robotiknya beberapa tahun yang lalu dan fokus pada model bahasa, sama seperti AlphaGo, yang pertama-tama dilatih menggunakan data ahli dan kemudian dioptimalkan melalui pembelajaran penguatan, dengan hasil yang signifikan.
Xia He: Anda menyebutkan bahwa proses belajar ChatGPT mirip dengan manusia: menghafal, mengerjakan soal, ujian. Ketiga tahap ini sesuai dengan teknologi apa?
Flood Sung: Tahap pertama dari "hafalan" adalah pembelajaran tanpa pengawasan, di mana model memprediksi kata berikutnya, mirip dengan dukungan, dan semakin akurat prediksi, semakin baik pembelajarannya. Tahap kedua dari "pemecahan masalah" adalah pembelajaran yang diawasi, menggunakan instruksi manusia (seperti menulis kode, puisi, atau laporan) untuk melatih input dan output, mirip dengan menjawab pertanyaan pada ujian. Tahap ketiga dari "ujian" adalah pembelajaran penguatan, yang mengoptimalkan jaringan saraf melalui umpan balik manusia. Misalnya, bermain tenis meja, latihan berulang untuk meningkatkan level; AI melatih model penghargaan melalui penilaian manusia, terus mengoptimalkan kinerja, dan menjadi semakin sejalan dengan kebutuhan manusia.
Xia He: Apa perbedaan antara domestik dan Open AI? Di industri ini, dikatakan bahwa ada selisih dua tahun, di langkah mana perbedaannya?
Flood Sung: Perbedaan pertama terletak pada pemahaman. Beberapa tahun yang lalu, tidak ada yang percaya bahwa hanya dengan memprediksi karakter berikutnya, AI dapat memiliki kemampuan penalaran logis. Open AI memiliki keyakinan, percaya bahwa model besar dan data besar dapat menyelesaikan masalah, dari 1,5 miliar parameter GPT-2 hingga 175 miliar GPT-3, investasi yang besar. Di dalam negeri, fokus pada bidang yang menguntungkan seperti pengantaran makanan, e-commerce, dan video pendek, tidak ada energi untuk menginvestasikan pada teknologi terdepan. Sekarang perusahaan besar dan startup di dalam negeri semua mengejar, tetapi hanya mengikuti sulit untuk melampaui. Open AI tidak mengungkapkan detail algoritma terbaru, dalam negeri perlu berinovasi dengan jalannya sendiri, jika tidak akan sulit untuk bersaing.
Xia He: Open AI sebelumnya akan menerbitkan makalah untuk memperkenalkan metode pelatihan, sekarang bagian mana yang tidak diopen source?
Flood Sung: Dulu ada makalah, seperti rincian pelatihan GPT-3. Sekarang laporan teknis GPT-4 hanya menunjukkan hasil, seperti ujian masuk perguruan tinggi di AS yang mendekati nilai sempurna, tetapi arsitektur jaringan dan teknik pelatihan sepenuhnya dirahasiakan, kita hanya bisa menebak. Teknologi dasar seperti Transformer bersifat sumber terbuka, tetapi implementasi spesifik dari model terbaru adalah kotak hitam.
Xia He: Orang-orang mengatakan ChatGPT adalah momen iPhone dalam sejarah ponsel, menurut Anda bagaimana ekosistem masa depannya akan berkembang?
Banjir Sung: Dampak ChatGPT jauh lebih besar daripada iPhone, lebih seperti penemuan listrik, menciptakan media baru yang memberdayakan berbagai industri. Di masa depan, bidang apa pun dapat terhubung ke AI. Jika Open AI dominan, seperti Apple, kinerjanya memimpin; Model open source seperti Android, dengan kinerja yang sedikit lebih rendah tetapi biaya rendah, berkembang di mana-mana. Mungkin ada beberapa pemain top yang bersaing untuk itu, tetapi model open-source akan membuat AI ada di mana-mana seperti ponsel dan dapat diakses oleh semua orang.
Xia He: ChatGPT menjadi populer, Prompt Engineering juga menjadi populer. Apakah orang biasa perlu mempelajari norma bahasa ini untuk berinteraksi dengan AI?
Flood Sung: Anda tidak harus mempelajarinya, tetapi belajar menggunakan AI dapat meningkatkan efisiensi. Di masa depan, seperti pemrograman, orang biasa dapat menggunakan bahasa alami untuk mengembangkan program, dan ambang batasnya sangat berkurang. Inti dari Prompt Engineering adalah untuk mengungkapkan persyaratan dengan jelas, seperti halnya manajer produk yang mengusulkan persyaratan. Siapa pun yang tahu cara menggunakan AI lebih banyak akan memiliki keunggulan kompetitif; Sama sekali tidak mungkin untuk dihilangkan. Di masa depan, AI akan menjadi mitra manusia, tetapi hanya jika aman dan tidak bertentangan dengan keinginan manusia.
Xia He: Anda menyebutkan masalah keamanan. Sekarang banyak orang berbagi template kata kunci untuk meningkatkan produktivitas, apakah Prompt Engineering akan menghilang di masa depan seperti "ahli pencarian" di awal?
Flood Sung: Tidak akan menghilang, hanya saja ambang batasnya akan menurun. Ekspresi kebutuhan selalu ada, seperti memimpin karyawan, Anda harus menjelaskan tujuannya dengan jelas. Prompt Engineering adalah seni bertanya di tingkat logika, bukan masalah teknis. Masa depan mungkin akan lebih sederhana, tetapi tetap perlu komunikasi yang jelas.
Xia He: Anda pernah mengatakan bahwa ChatGPT mungkin menjadi ahli terkemuka di bidang profesional. Apakah kesalahan jawabannya terhadap pertanyaan profesional disebabkan oleh kurangnya data domain tertentu atau kurangnya pembelajaran penguatan?
Flood Sung: Ada dua alasan. Pertama, data di bidang profesional sedikit, misalnya, banyak soal matematika dasar di sekolah dasar, tetapi sedikit soal matematika kompetitif atau masalah matematika tingkat tinggi, sehingga pelatihan tidak cukup. Kedua, untuk melampaui tingkat manusia, AI perlu berinteraksi dengan lingkungan melalui pembelajaran penguatan dan menjelajahi bidang yang tidak diketahui. Misalnya, untuk menyelesaikan dugaan Goldbach, diperlukan banyak data vertikal dan optimasi pembelajaran penguatan.
Xia He: Jika AI melampaui manusia melalui pembelajaran penguatan diri, siapa yang akan menilai? Apakah itu akan membuang norma-norma moral yang ditetapkan oleh manusia?
Flood Sung: Secara teori, AI dapat belajar sendiri, seperti Zhou Botong yang dapat bertarung dengan kedua tangan, meningkatkan kemampuannya sendiri. Ini sangat berbahaya karena mungkin dapat melampaui batasan manusia dan bahkan mengabaikan norma moral. Saat ini, meskipun GPT-4 memiliki batasan, masih dapat menjadi karakter jahat melalui kata kunci tertentu "hitam". Keamanan AI adalah masalah serius; kesalahan pada mobil otonom mungkin hanya merusak satu mobil, tetapi kesalahan AI super kuat dapat mempengaruhi seluruh umat manusia. Saya menyerukan untuk memprioritaskan penyelesaian masalah keamanan sebelum melanjutkan penelitian.
Xia He: Apa hal menarik atau terdepan yang Anda perhatikan belakangan ini? Dari saluran mana informasi tersebut berasal?
Flood Sung: Setiap hari ada perkembangan baru, terutama melihat Twitter dan GitHub, para geek dan ilmuwan luar negeri sering membagikan dinamika terbaru. Misalnya, Microsoft mengintegrasikan model besar ke dalam robot, mengendalikan perilakunya, menjelajahi ruang yang hampir tidak terbatas. Saluran utama adalah Twitter dan GitHub, tempat berkumpulnya para ilmuwan dan geek.
Xia He: Baiklah, pertanyaan hari ini cukup sampai di sini. Terima kasih kepada Flood atas berbagi yang luar biasa!
Flood Sung: Sama-sama, sangat senang bisa diwawancarai!