Sumber gambar: Dihasilkan oleh alat AI Tak Terbatas
Setelah meninggalkan JD.com, Zhou Bowen sudah lama tidak bersemangat.
ChatGPT ternyata menggemparkan dunia, seperti guntur musim semi yang membangunkan praktisi dari semua lapisan masyarakat, sehingga mereka semua mendengar langkah kaki AGI memasuki kenyataan.
Di bawah kebangkitan, orang melihat Wang Huiwen dan Wang Xiaochuan memulai bisnis mereka sendiri, dan juga melihat Baidu dan Alibaba mendominasi pasar. Zhou Bowen, sebagai mantan dekan Institut Riset AI IBM dan JD.com, telah mempelajari teori dasar kecerdasan buatan dan teknologi, aplikasi, dan industrialisasi inti mutakhir selama lebih dari 25 tahun. Ia mendirikan Teknologi Lianyuan sebagai paling cepat akhir tahun 2021. Model, dengan AI generatif, dialog multi-putaran, dan teknologi kolaborasi manusia-komputer, membantu perusahaan dan konsumen menyelesaikan inovasi produk dan transformasi kecerdasan digital di era baru kecerdasan buatan. "Bukan karena saya memutuskan untuk memulai bisnis di bidang ini, lebih baik mengatakan bahwa bisnis ini menemukan saya." Zhou Bowen menggambarkan ini sebagai sesuatu yang harus dilakukan, seolah-olah rasa misi mendesaknya untuk bertindak.
Zhou Bowen lulus dari University of Science and Technology of China, dan kemudian pergi ke University of Colorado di Boulder untuk mendapatkan gelar doktor. Sebagai mantan presiden lembaga penelitian dasar intelijen buatan kantor pusat IBM Research di AS, dia kembali ke China setelah memimpin pekerjaan terkait AI selama bertahun-tahun, dan berturut-turut menjabat sebagai wakil presiden senior JD Group, ketua komite teknis grup, presiden JD Cloud dan AI, dan presiden pendiri JD Artificial Intelligence Research Institute dan posisi lainnya. Sebagai pendiri JD AI, dia bertanggung jawab atas penelitian teknis dan pengembangan bisnis JD AI. Dia mendirikan Divisi AI JD, Lembaga Penelitian AI, dan Akselerator AI JD dari 0 untuk menciptakan platform terbuka nasional untuk kecerdasan buatan rantai pasokan cerdas , mewujudkan volume panggilan harian dari 0. Hingga puluhan miliar, memimpin rekonstruksi teknis layanan pelanggan kecerdasan buatan Jingdong dan meluncurkan produksi eksternal, mengelola miliaran bisnis layanan teknis, dan ribuan tim teknologi, produk, pemasaran, dan penjualan terintegrasi.
Pada tahun 2021, Zhou Bowen memperkirakan bahwa AI generatif akan meledak dalam waktu dekat, dan memutuskan untuk meninggalkan JD.com untuk mendirikan Teknologi Lianyuan, yang berkomitmen untuk membantu perusahaan vertikal melakukan inovasi produk dan transformasi digital dengan kemampuan model skala besar secara umum. dan membentuk ulang dengan nilai Komoditas AI; pada tahun 2022, ia akan menjabat sebagai Ketua Profesor Universitas Tsinghua Huiyan dan profesor tetap Departemen Teknik Elektronik, dan pada bulan Mei di tahun yang sama, ia akan mendirikan Pusat Penelitian Kecerdasan Interaktif Kolaboratif Universitas Tsinghua Secara kebetulan. **
ChatGPT akan segera hadir, dan Zhou Bowen juga memposting di Momen: "Saya yakin OpenAI China perlu menjelajahi jalur baru!" Di bawah kebanggaan, dia sangat ingin mencari bakat. Namun berbeda dengan pengusaha lain, Zhou Bowen dan Lianyuan Technology memilih untuk mengandalkan puluhan miliar parameter dan metode pelatihan unik untuk membuat model besar lebih baik dalam memahami hubungan antara manusia dan komoditas berdasarkan kemampuan umum.Teknologi cerdas membantu perusahaan merekonstruksi sistem inovasi tautan lengkap dari wawasan produk, pemosisian, desain, R&D hingga pemasaran.
Zhou Bowen pernah menyatakan di depan umum bahwa arah kewirausahaannya adalah memimpin dalam mengintegrasikan kecerdasan buatan dengan industri tradisional untuk memberikan nilai lebih tinggi pada inovasi kecerdasan digital perusahaan, yaitu mencapai terobosan dalam kemampuan model besar umum dalam skenario vertikal.
Baru-baru ini, seorang reporter dari AI Technology Review melakukan percakapan dengan Zhou Bowen. Berikut transkrip percakapannya. AI Technology Review telah mengedit konten tanpa mengubah arti aslinya:
Biarkan AI mempelajari kebijaksanaan manusia, paradigma baru interaksi dan kolaborasi
**AI Technology Review: ChatGPT telah menghadirkan metode interaksi ini, menurut Anda apa yang berbeda dari metode interaksi sebelumnya? **
Zhou Bowen: Salah satu arah penelitian saya adalah interaksi antara AI dan manusia, dan belajar dalam interaksi tersebut. Interaksi manusia-komputer berbeda dengan dialog manusia-komputer, melalui interaksi manusia-komputer, AI dapat mempelajari berbagai hal dalam prosesnya, jadi ini bukanlah tugas yang sederhana untuk dilakukan, tetapi sarana untuk mencapai pembelajaran.
Sebagaimana dicatat dalam "The Analects of Confucius", ini adalah kisah Konfusius dan tujuh puluh dua muridnya yang belajar melalui interaksi. Di Barat, mirip dengan Akademi Plato dan Aristoteles Athena, warisan pengetahuan dan kebijaksanaan tertua dicapai melalui dialog antar manusia, dan guru membantu siswa menyelesaikan studi mereka dengan lebih baik melalui interaksi dengan siswa .
Misalnya, jika guru meminta siswa untuk menuangkan segelas air, sulit untuk tindakan "eksekusi-perintah" sederhana seperti itu untuk meningkatkan kebijaksanaan; Bagaimana mengatasi kesulitan, interaksi inilah yang dapat meningkatkan kebijaksanaan, dan itu juga mencerminkan pandangan inti saya tentang interaksi kolaboratif antara manusia dan AI.
Inti dari AI adalah kolaborasi dan interaksi dengan manusia, belajar terus menerus dari interaksi, dan kemudian bekerja sama dengan manusia untuk memecahkan masalah dengan lebih baik. Sudut pandang ini akan menjadi semakin penting dalam waktu dekat, dan pada saat yang sama akan menghadapi lebih banyak tantangan teknis dan etika, pada akhirnya tidak akan mudah untuk mempertahankan intinya. Seperti Penyelarasan AI yang dikatakan semua orang, manusia dapat meneruskan keinginan mereka ke AI, dan kemudian memecah tugas dengan AI, memungkinkan AI untuk mempelajari dan mewujudkan keinginan manusia dalam prosesnya. Ini adalah cara kolaborasi baru, yaitu, kecerdasan interaktif kolaboratif.
**Tinjauan Teknologi AI: Apakah menurut Anda mencapai keselarasan nilai melalui interaksi adalah cara yang efektif bagi otak manusia dan GPT untuk berkolaborasi? Bagaimana seharusnya manusia dan AI bekerja sama dengan lebih baik? **
**Zhou Bowen: **Setelah ledakan AI generatif, AI yang belajar melalui interaksi kolaboratif dengan manusia akan menjadi semakin kuat.
Daniel Kahneman, pemenang Hadiah Nobel Ekonomi pada tahun 2002, mengusulkan dalam buku larisnya Thinking Fast And Slow bahwa ada dua cara berpikir manusia—sistem 1 dan sistem 2, dan sistem 1 adalah cepat.Berpikir, penilaian intuitif; Sistem 2 berpikir lambat, yang membutuhkan banyak penalaran dan perhitungan.
Awalnya, orang mengira bahwa AI lebih cocok untuk pekerjaan "sistem 1", seperti pengenalan wajah dan pemeriksaan kualitas, yang didasarkan pada pengenalan pola "sistem 1". Tapi saya bersikeras bahwa nilai sebenarnya dari AI terletak pada 2, yaitu membantu manusia menyelesaikan tugas penalaran logis yang kompleks dengan lebih baik. Munculnya ChatGPT telah memverifikasi kelayakan AI sebagai Sistem 2, yang berarti AI dapat menemukan pengetahuan baru, dan penemuan pengetahuan baru akan membantu manusia merancang AI yang lebih baik, seperti penemuan ilmu otak dan pengoptimalan komputasi, dan roda gila untuk menciptakan pengetahuan baru muncul. Efek roda gila berarti bahwa AI dapat mengaktifkan seluruh sistem untuk menemukan pengetahuan baru dengan lebih baik, dan pengetahuan baru ini dapat membantu merancang sistem AI yang lebih baik, sehingga membentuk lingkaran yang baik. Oleh karena itu, hubungan yang saling menguatkan telah terbentuk antara AI, pengetahuan dan inovasi, yang mengharuskan cara AI dan manusia berkolaborasi harus diubah.
Saya telah mengusulkan arah penelitian "3+1" sebelumnya, yaitu menggunakan AI yang andal sebagai basis penelitian dan tujuan jangka panjang, untuk fokus pada interaksi representasi multi-modal, interpretasi kolaboratif manusia-komputer, dan evolusi kolaboratif lingkungan. Intinya adalah menjadi manusia Kolaborasi dan kreasi bersama mesin dapat mewujudkan tujuan manusia membantu AI untuk berinovasi dan AI membantu manusia untuk berinovasi.
Salah satunya adalah interaksi representasi multimodal, di mana mungkin ada grand unified theory. Pada tahun 2022, orang masih skeptis tentang hal ini, tetapi dengan munculnya GPT-4, interaksi representasi terpadu multi-modal ini menjadi lebih meyakinkan; Poin lainnya adalah interaksi kolaboratif manusia-komputer. Orang-orang juga skeptis tentang hal ini pada tahun 2022, tetapi sekarang metode interaksi ini menjadi lebih kredibel, dan orang-orang mulai percaya bahwa hal itu mungkin terjadi; Poin ketiga adalah ko-evolusi AI dan lingkungan, Ini artinya AI tidak hanya perlu bekerja sama dengan manusia, tetapi juga harus beradaptasi dengan lingkungan sekitarnya. Kami pertama kali mengusulkan konsep ini pada awal 2022, dan sejauh ini kami belum melihat kasus yang berhasil ke arah ini, bahkan OpenAI.
Jika Anda tidak dapat mempelajari OpenAI, tetapi Anda tidak dapat menggunakan Microsoft, Anda perlu mengurangi untuk memulai bisnis domestik berskala besar
**Tinjauan Teknologi AI: Fitur khusus dari model Transformer adalah menggunakan mekanisme perhatian (Attention) untuk memodelkan teks. Kami melihat bahwa Anda telah melakukan penelitian terkait mekanisme perhatian AI sejak dini. **
Zhou Bowen: Sorotan inti dari Transformer adalah mekanisme perhatian diri dan mekanisme multi-kepala. Pada bulan Juni 2017, "Attention is All You Need" yang diterbitkan oleh Google Brain memperkenalkan konsep mekanisme perhatian diri (self-attention) dan Transformer. Belakangan, GPT OpenAI juga sangat dipengaruhi oleh makalah ini.
Sebelum ini, saya menerbitkan makalah pertama sebagai penulis yang sesuai untuk memperkenalkan mekanisme perhatian diri multi-hop untuk meningkatkan pembuat enkode - "Penyematan Kalimat Perhatian Diri Terstruktur". Makalah ini selesai dan diunggah ke arXiv pada tahun 2016, dan secara resmi diterbitkan di ICLR pada awal tahun 2017. Kami juga merupakan tim pertama yang mengusulkan mekanisme ini, dan yang lebih penting, ini adalah model representasi bahasa alami pertama yang tidak mempertimbangkan tugas hilir. sama sekali. Setiap orang telah menggunakan perhatian atau perhatian diri dalam beberapa kasus sebelumnya, tetapi semuanya bergantung pada tugas.
**Ulasan Teknologi AI: Dalam makalah ini, apa yang Anda temukan? Bagaimana penemuan ini memengaruhi perubahan teknologi Transformer berikutnya? **
Zhou Bowen: Kami mengusulkan di makalah bahwa metode representasi terbaik adalah menggunakan perhatian diri terstruktur untuk mewakili bahasa alami (NLP). Makalah ini telah dikutip lebih dari 2.300 kali sejak diterbitkan.
Sebelumnya, Ilya Sutskever, ilmuwan kepala OpenAI, percaya bahwa metode representasi terbaik adalah "urutan-ke-urutan (Seq2Seq)", yaitu melatih model untuk mengubah urutan satu domain menjadi urutan domain lain , seperti bahasa sumber yang sesuai dalam terjemahan mesin dan bahasa target; atau dalam menjawab pertanyaan, di mana pertanyaannya adalah urutan dan jawabannya adalah urutan. Atas dasar ini, hubungan pemetaan antara keduanya yang diwakili oleh jaringan saraf dalam dipelajari.
Namun kemudian, tim pakar pembelajaran mendalam dan pemenang Penghargaan Turing Yoshua Bengio mengusulkan sebuah "mekanisme perhatian", yang intinya adalah bahwa tidak semua kata sama pentingnya saat menjawab pertanyaan; Dengan mengidentifikasi bagian yang lebih penting, dan kemudian lebih memperhatikan untuk bagian ini, Anda dapat memberikan jawaban yang lebih baik. Model perhatian ini dengan cepat mendapat penerimaan yang sangat luas. Pada tahun 2015, saya memimpin tim IBM untuk memulai penelitian berdasarkan arsitektur dan ide "Seq2Seq+Attention Mechanism" pada saat yang sama, dan secara berturut-turut meluncurkan beberapa model generatif paling awal untuk penulisan AI dalam bahasa alami. dari 3000 kali.
Tetapi saya tidak puas dengan isi makalah saat itu, karena ada masalah di dalamnya, yaitu perhatian dibangun berdasarkan jawaban. AI yang dilatih dengan cara ini seperti seorang siswa yang meminta guru untuk menandai poin-poin penting sebelum ujian akhir universitas, dan kemudian meninjau poin-poin kunci dengan perhatian yang ditargetkan. Dengan cara ini, meskipun kinerja AI pada masalah tertentu dapat ditingkatkan, itu tidak universal. Oleh karena itu, kami mengusulkan bahwa itu tidak bergantung pada tugas dan output yang diberikan sama sekali, tetapi hanya berdasarkan pada struktur internal input bahasa alami, dan mempelajari bagian mana yang lebih penting dan hubungan di antara mereka melalui pembacaan ganda AI. perhatian diri plus Pembelajaran Representasi untuk Mekanisme Multi-Kepala. Mekanisme pembelajaran semacam ini hanya melihat input, lebih seperti siswa belajar dan memahami mata kuliah berkali-kali dan sistematis sebelum ujian, bukan belajar dengan cara yang terarah dan terpecah-pecah berdasarkan poin-poin kunci ujian, yang lebih dekat dengan nilai ujian. tujuan kecerdasan buatan umum, dan sangat Meningkatkan kemampuan AI untuk belajar.
**Tinjauan Teknologi AI: Apa hubungan antara makalah "Attention is All You Need" dan Anda? **
Zhou Bowen: Kita tahu bahwa semua model besar gelombang ini berasal dari Transformer, jadi jika Anda melihat huruf T di model, kemungkinan besar T tersebut mewakili Transformer. Saya sangat tersanjung telah melakukan beberapa pekerjaan berwawasan ke depan di bidang ini. Pada akhir tahun 2017, peneliti dari Google menerbitkan "Attention is All you need", sebuah makalah tonggak sejarah yang menghadirkan model Transformer ke dunia. Dan makalah kami "Penyematan Kalimat Perhatian Diri Terstruktur", yang pertama kali mengusulkan "mekanisme perhatian diri multi-hop" yang diterbitkan pada awal 2017, dikutip. Dan penulis pertama makalah ini, Ashish Vaswani, adalah seorang siswa yang saya bimbing di IBM. Judul makalah "Perhatian Adalah Yang Anda Butuhkan" juga mengungkapkan arti dari "perhatian diri sangat penting, banyak kepala sangat penting, tetapi RNN mungkin tidak sepenting yang kami pikirkan sebelumnya" yang kami usulkan.
**Tinjauan Teknologi AI: Penilaian teknis konsisten apa yang Anda dan OpenAI miliki? **
** Zhou Bowen: Makalah ini dan arsitektur Transformer benar-benar mengubah segalanya, dan memecahkan masalah memori jarak jauh model. Ilya Sutskever mengenang dalam sebuah wawancara baru-baru ini bahwa OpenAI sepenuhnya beralih ke arsitektur Transformer sehari setelah makalah itu muncul. **
Kita tahu bahwa GPT sangat berbeda dari model Bert, dan alasan mengapa Bert pada awalnya sangat sukses, tetapi kemudian tidak sebagus GPT adalah karena ia menggunakan informasi kiri-ke-kanan dan kanan-ke-kiri. . Dengan kata lain, Bert menggunakan informasi masa depan untuk membantu AI mempelajari cara merepresentasikan, sementara GPT bersikeras untuk memprediksi kata apa yang selanjutnya hanya berdasarkan informasi masa lalu. **Pendekatan OpenAI pada poin ini sejalan dengan pemikiran tim kami, yaitu: cobalah untuk tidak menggunakan jawaban untuk belajar. **Dari perhatian ke perhatian diri, dari BERT ke GPT-3, ide intinya adalah saat Anda tidak lagi mengandalkan informasi masa depan seperti keluaran atau konteks kata yang akan diprediksi, atau saat lebih banyak data dapat digunakan untuk sepenuhnya Saat melatih model AI, kami mulai melihat kemungkinan AGI.
Selain itu, OpenAI percaya bahwa model besar mempelajari pengetahuan dunia melalui bahasa alami, sehingga mengompresi pengetahuan dunia menjadi model besar Model besar seri GPT dan ChatGPT juga dipromosikan sesuai dengan konsep ini. Hal yang sama berlaku untuk konsep dan visi tim saya dan saya, yaitu membangun model skala besar dengan tujuan umum, dan memungkinkannya memberikan nilai dan kemampuan yang lebih tinggi di bidang vertikal melalui pelatihan profesional, dan mengintegrasikan konsumen. ' emosi, kebutuhan, dan pengalaman yang kompleks, serta inovasi produk, Desain, parameter produk, bahan, fungsi, dll., dikompresi menjadi model besar untuk merekonstruksi hubungan biner antara manusia dan produk, dan menggunakan AI untuk membentuk kembali nilai dari produk.
**Ulasan Teknologi AI: Selain kekuatan teknis, aspek lain apa dari OpenAI yang membuat Anda berpikir ada manfaatnya? **
Zhou Bowen: Tidak hanya dalam hal penilaian teknis, seluruh pendekatan bisnis OpenAI bersifat representatif, termasuk: pembentukan ekosistem, pengumuman Hukum Moore yang baru, pengurangan harga API sebesar 90%, dll. Perluas ruang imajinasi modal dan pengguna untuk aplikasi komersial model besar, dan mendapatkan skenario aplikasi yang hampir tak terbatas. Selain itu, rencana OpenAI untuk tata kelola etika, pengembangan bisnis, teknologi ekologis, dan pengembangan masa depan juga sangat jelas.
**Ulasan Teknologi AI: Akankah OpenAI berikutnya muncul di Cina? **
** Zhou Bowen: ** Kesulitan teknis membangun model besar sebenarnya di luar imajinasi banyak pengusaha China. Oleh karena itu, saya tidak menyarankan perusahaan domestik secara membabi buta mengikuti dan menyalin model "OpenAI+Microsoft", karena sebagian besar perusahaan teknologi China di China tidak sebaik Microsoft dalam pengambilan keputusan bisnis, dan penilaian teknologi mereka tidak sebaik OpenAI . **
Keberhasilan OpenAI adalah hasil dari banyak faktor, misalnya Ilya Sutskever membuat penilaian teknis, Greg Brockman melakukan fungsi, dan Sam Altman mengintegrasikan sumber daya, termasuk penelitian tentang dampak AI terhadap etika dan masyarakat. Jika perusahaan dalam negeri hanya meniru OpenAI, jarak antara satu sama lain hanya akan semakin jauh.
Penilaian teknis OpenAI dapat dilihat dari garis lintang data, karena tidak semua data di dunia sama pentingnya. Mengapa OpenAI memilih menggunakan bahasa pemrograman Github untuk melatih rantai pemikiran? Karena semantik dan sintaks bahasa pemrograman sangat sederhana, logika proses eksekusinya ketat. Ini juga merupakan karakteristik dan keunggulan OpenAI: ia tidak akan menyerang secara membabi buta. Oleh karena itu, menurut saya pengembangan AI China perlu mencari jalan lain, yaitu mengandalkan kemampuan model besar umum untuk memulai dari penerapan skenario vertikal, yang lebih mungkin berhasil.
AI Generatif akan mengganggu pengalaman konsumen yang ada
**Ulasan Teknologi AI: Mengapa Anda menargetkan sektor konsumen? **
Zhou Bowen: Ketika saya berada di JD.com, saya melihat peluang bisnis yang sangat besar untuk "mencocokkan permintaan konsumen dan desain produk secara dinamis dengan kecerdasan buatan". Pada tahun 2021, saya memutuskan untuk meninggalkan pekerjaan saya dan memulai bisnis untuk mengembangkan model bahasa besar umum untuk industri vertikal (model bahasa besar belum meledak pada saat itu), dengan harapan dapat mencakup semua perilaku konsumen dari skenario non-spesifik. Kita tahu bahwa adegan ruang dan waktu berbeda dari Senin hingga Jumat, dan fokus pekerja kerah putih atau pekerjaan lain juga berbeda. Di balik simbol budaya yang memengaruhi perilaku belanja ini terdapat emosi, pengalaman, dan pilihan produk konsumen yang kompleks. Logikanya , inilah informasi berharga yang dibutuhkan bisnis. Saat membuat produk di sisi penawaran, itu termasuk kreativitas, desain, parameter produk, fungsi, bahan, dan posisi merek, slogan, pemasaran, periklanan, pemasaran, gambar promosi, dll. Sebenarnya ada hubungan yang kuat di balik semua faktor ini.
Jenis hubungan yang sesuai ini belum pernah dilalui oleh manusia sebelumnya. Praktisi dalam perencanaan, pemasaran, dan penjualan hanya memahami tautan yang menjadi tanggung jawabnya. Dan kita akan membuat model skala besar tujuan umum pertama di dunia dari rantai pasokan komoditas, yaitu, untuk memadatkan semua informasi ini menjadi model tujuan umum dengan ketelitian tinggi, dan berdasarkan model skala besar ini untuk memberdayakan seluruh siklus hidup produk perusahaan, termasuk: Wawasan peluang (Temukan), definisi produk (Tentukan), desain program (Desain), dorong R&D (Kembangkan), transformasi pemasaran (Distribute). Dengan cara ini, perusahaan dapat menemukan peluang inovasi dengan lebih efisien, merancang dan memproduksi dengan lebih kreatif, melakukan promosi pemasaran, menjangkau pengguna, dan menyelesaikan transformasi dengan lebih efektif.
**Ulasan Teknologi AI: Dalam hal model bisnis, ini tampaknya lebih maju. **
Zhou Bowen: Untuk tim wirausaha mana pun, sangat penting untuk dapat mengembangkan kemampuan yang lebih profesional setelah memiliki kemampuan teknis umum model besar. Saat ini, terobosan GPT terutama dalam kemampuan umum, tetapi nilainya untuk industri tertentu dan bidang vertikal belum dikembangkan.Misalnya: GPT dapat menggambar lukisan artistik yang sangat realistis, tetapi tidak dapat menggambar diagram sirkuit, karena tidak tidak memiliki pengetahuan yang cukup tentang pengetahuan fisik Penilaian yang mendalam dan relevan tidak cukup profesional.
Oleh karena itu, menurut saya ada kebutuhan akan alat semacam itu (model besar serba guna dengan kemampuan profesional) untuk memudahkan konsumen menemukan dan lebih bersedia membeli produk yang mereka butuhkan, yang mungkin sepenuhnya mengubah jalur belanja orang yang ada. . AI generatif dapat memampatkan sejumlah besar informasi bisnis ke dalam model sebesar itu, untuk mempelajari semua aspek rantai pasokan komoditas, dan meningkatkan efisiensi tautan utama yang berpusat pada konsumen. Inilah ide dan kreativitas yang sudah dihasilkan di tahun 2021.
** Teknologi Lianyuan sedang mengembangkan model besar dengan kemampuan umum. Model besar ini memiliki keahlian dalam menghubungkan produk dan konsumen. ** Kami memiliki 37 indikator evaluasi model skala besar, 2/3 di antaranya adalah kemampuan tujuan umum seperti kemampuan penalaran dan kemampuan komputasi, dan lebih dari selusin item diterapkan secara khusus pada hubungan antara produk dan konsumen, sehingga dapat menyadari "biarkan setiap produk harus Lahir dari kebutuhan, biarkan setiap konsumen mendapatkan apa yang mereka inginkan".
**Ulasan Teknologi AI: Bagaimana AI generatif dapat berintegrasi lebih baik dengan skenario konsumsi seperti e-commerce? **
**Zhou Bowen:**Manusia hanya dapat memahami logika bisnis perencanaan, atau logika pemasaran, tetapi AI dapat membuka semua rantai bisnis.
Konsumen membutuhkan banyak kosa kata profesional untuk menemukan produk yang mereka inginkan dalam skenario seperti platform e-commerce; tetapi di sisi lain, pedagang tidak memahami kebutuhan konsumen yang sebenarnya dan hanya dapat menjangkau konsumen melalui transaksi e-commerce , Melalui konsultasi lembaga penelitian untuk lebih memahami konsumen. Setelah memperkenalkan fungsi dialog multi-putaran seperti ProductGPT, efisiensi pencocokan dinamis pedagang dan konsumen pada produk akan lebih efisien daripada riset pasar, sehingga platform e-niaga dapat berpartisipasi lebih dalam dalam inovasi produk, desain, penelitian dan pengembangan, dan pemasaran, promosi, dll.
Dalam masyarakat komersial yang sebenarnya, sebenarnya ada korespondensi yang kuat antara sisi permintaan dan sisi penawaran. Platform Inovasi Kolaboratif terkemuka kami yang dikembangkan sendiri SaaS didasarkan pada pemahaman multi-modal, penalaran, dan kemampuan generasi model besar, dan membantu perusahaan menemukan peluang bisnis dan inovasi produk melalui wawasan mendalam tentang konsumen, skenario, produk, referensi produk, dan R&D . Pada saat yang sama, platform dialog multi-putaran ProductGPT dari Teknologi Lianyuan memberi setiap karyawan perusahaan asisten pribadi yang disesuaikan secara mendalam sesuai dengan peran profesional yang berbeda, dan memenuhi kebutuhan kerja khusus mereka dengan memberikan keterampilan dan pengetahuan khusus peran. Misalnya, asisten pribadi riset konsumen Lianyuan Technology akan memberikan keterampilan profesional dan pengetahuan yang relevan seperti meneliti tren pasar, memahami kebutuhan konsumen, dan riset pasar.
**Ulasan Teknologi AI: Anda telah menggunakan AI generatif untuk menghasilkan uang di JD.com, bagaimana Anda melakukannya? **
**Zhou Bowen:**Pada tahun 2019, saya memimpin tim AI JD.com untuk menerapkan kecerdasan buatan generatif untuk membuat copywriting produk dan memilih gambar. Itu juga model skala besar generatif pertama JD.com. Pada saat itu, model AI kami terutama mencapai tiga hal:
Pertama, Anda dapat membaca sendiri konten di halaman detail produk, dan langsung menghasilkan 8-9 nilai jual produk ini melalui analisis;
Kedua, ketika konsumen melihat-lihat produk tertentu, model besar akan dengan cepat mengetahui nilai jual mana yang dapat lebih mengesankan pengguna dengan menganalisis data perilaku konsumen yang berbeda;
Ketiga, AIGC akan menghasilkan slogan-slogan eksklusif seputar titik penjualan yang paling diperhatikan konsumen berdasarkan potret pengguna.
Setelah periode implementasi, tingkat konversi rekomendasi produk meningkat sebesar 30% dibandingkan sebelumnya. Konsumen mungkin tidak menyadari bahwa ketika mereka mencari dan berbelanja di JD.com, kategori dan deskripsi produk yang mereka lihat sebenarnya dibuat secara otomatis oleh AIGC kata demi kata sesuai dengan preferensi pengguna dan nilai jual produk pada saat ia melihat-lihat produk. .
**Ulasan Teknologi AI: Apa pendapat Anda tentang API terbuka OpenAI, dan apa artinya bagi industri? **
Zhou Bowen: Berbicara dari pengalaman pribadi, saya pernah menjadi kepala ilmuwan IBM Watson Group. Pada saat itu, data beberapa industri di Amerika Serikat diatur, dan perusahaan semacam itu umumnya tidak dapat bekerja sama, dan hanya dapat menggunakan cloud pribadi. Untuk itu, pada tahun 2015-2016, saya bertekad untuk menjadi cloud publik. Untuk mencapai ini, kapabilitas AI Watson perlu API. Saat itu, saya memimpin peluncuran puluhan API termasuk dialog dan pemahaman bahasa alami. Letakkan API ini di platform cloud, dan sekarang bisnis AI IBM terutama menghasilkan uang darinya.
Saya kembali ke China pada akhir 2017, dan pada April 2018, saya merilis platform terbuka kecerdasan buatan JD.com. Pada saat itu, pada dasarnya tidak ada platform AI di China, yang juga mendatangkan pendapatan yang cukup besar bagi JD.com. Pada tahun 2019, tim AI JD.com yang saya pimpin menghasilkan pendapatan 170 juta yuan, yang lumayan untuk tim yang terdiri dari 200 orang.
**Tinjauan Teknologi AI: Ada persepsi di industri bahwa risiko membuat model besar vertikal sangat tinggi. Bagaimana menurut Anda? **
Zhou Bowen: Menurut saya, di masa mendatang, alur kerja yang terdefinisi dengan baik dan bernilai tinggi tersebut akan diselesaikan oleh model AI profesional, bukan model AI umum. Sangat mudah untuk lebih meningkatkan kemampuan dasar model besar tujuan umum setelah adegan vertikal tertentu berhasil diselesaikan. Selain itu, jika kita mulai dari skenario vertikal, akumulasi masa lalu kita dalam hal daya komputasi, data, dan algoritme dapat dimanfaatkan lebih maksimal. Oleh karena itu, dalam Teknologi Lianyuan, model besar harus memiliki kemampuan dasar teknologi model besar umum dalam kerangka dasar teknologi, dan harus dievaluasi dengan metode ilmiah, tetapi juga memerlukan pelatihan profesional.
Pada tahun 2023, karena popularitas ChatGPT yang tiba-tiba, pasar mulai menggunakan AI 2.0 untuk menggambarkan potensi besarnya. Selain itu, hampir semua raksasa teknologi telah bergabung dalam pertempuran, pasar modal ventura mencoba merebut peluang baru, dan lingkungan pasar juga berubah dengan cepat. GPT adalah peluang kewirausahaan yang sistematis, tetapi hanya menyalin, mengikuti, dan mengejar ketinggalan itu berisiko dan sulit.
Setelah mendirikan Teknologi Lianyuan, kami telah berkomunikasi dengan lebih dari 100 pelanggan, melihat kebutuhan nyata, dan meningkatkan jalur realisasi teknologi dengan terus mengoptimalkan model besar: "Pada tahun 2022, kami menunjukkan nilai komersial dan kelayakan teknis dari skenario ini, Artinya bahwa meskipun kami membuat model besar, kami berada di jalur yang berbeda dari OpenAI, dan model keuntungannya juga berbeda.
Yang ingin saya lakukan adalah kompresor pengetahuan dunia yang lebih baik daripada GPT saat ini, yang membutuhkan data yang sangat interaktif, dan data tersebut jelas terkait erat dengan pemandangan. Adapun jenis data apa yang memiliki arti kecerdasan manusia yang lebih tinggi, sebenarnya banyak pekerjaan teoretis yang harus dilakukan di dalamnya, dan itu adalah arah yang perlu ditelusuri di masa depan.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Dialog 丨 Bowen Zhou: Bagaimana model skala besar umum menembus skenario industri vertikal?
Penulis: Wang Yongang Editor: Dong Zibo
**Sumber:**Ulasan Teknologi AI
Setelah meninggalkan JD.com, Zhou Bowen sudah lama tidak bersemangat.
ChatGPT ternyata menggemparkan dunia, seperti guntur musim semi yang membangunkan praktisi dari semua lapisan masyarakat, sehingga mereka semua mendengar langkah kaki AGI memasuki kenyataan.
Di bawah kebangkitan, orang melihat Wang Huiwen dan Wang Xiaochuan memulai bisnis mereka sendiri, dan juga melihat Baidu dan Alibaba mendominasi pasar. Zhou Bowen, sebagai mantan dekan Institut Riset AI IBM dan JD.com, telah mempelajari teori dasar kecerdasan buatan dan teknologi, aplikasi, dan industrialisasi inti mutakhir selama lebih dari 25 tahun. Ia mendirikan Teknologi Lianyuan sebagai paling cepat akhir tahun 2021. Model, dengan AI generatif, dialog multi-putaran, dan teknologi kolaborasi manusia-komputer, membantu perusahaan dan konsumen menyelesaikan inovasi produk dan transformasi kecerdasan digital di era baru kecerdasan buatan. "Bukan karena saya memutuskan untuk memulai bisnis di bidang ini, lebih baik mengatakan bahwa bisnis ini menemukan saya." Zhou Bowen menggambarkan ini sebagai sesuatu yang harus dilakukan, seolah-olah rasa misi mendesaknya untuk bertindak.
Zhou Bowen lulus dari University of Science and Technology of China, dan kemudian pergi ke University of Colorado di Boulder untuk mendapatkan gelar doktor. Sebagai mantan presiden lembaga penelitian dasar intelijen buatan kantor pusat IBM Research di AS, dia kembali ke China setelah memimpin pekerjaan terkait AI selama bertahun-tahun, dan berturut-turut menjabat sebagai wakil presiden senior JD Group, ketua komite teknis grup, presiden JD Cloud dan AI, dan presiden pendiri JD Artificial Intelligence Research Institute dan posisi lainnya. Sebagai pendiri JD AI, dia bertanggung jawab atas penelitian teknis dan pengembangan bisnis JD AI. Dia mendirikan Divisi AI JD, Lembaga Penelitian AI, dan Akselerator AI JD dari 0 untuk menciptakan platform terbuka nasional untuk kecerdasan buatan rantai pasokan cerdas , mewujudkan volume panggilan harian dari 0. Hingga puluhan miliar, memimpin rekonstruksi teknis layanan pelanggan kecerdasan buatan Jingdong dan meluncurkan produksi eksternal, mengelola miliaran bisnis layanan teknis, dan ribuan tim teknologi, produk, pemasaran, dan penjualan terintegrasi.
Pada tahun 2021, Zhou Bowen memperkirakan bahwa AI generatif akan meledak dalam waktu dekat, dan memutuskan untuk meninggalkan JD.com untuk mendirikan Teknologi Lianyuan, yang berkomitmen untuk membantu perusahaan vertikal melakukan inovasi produk dan transformasi digital dengan kemampuan model skala besar secara umum. dan membentuk ulang dengan nilai Komoditas AI; pada tahun 2022, ia akan menjabat sebagai Ketua Profesor Universitas Tsinghua Huiyan dan profesor tetap Departemen Teknik Elektronik, dan pada bulan Mei di tahun yang sama, ia akan mendirikan Pusat Penelitian Kecerdasan Interaktif Kolaboratif Universitas Tsinghua Secara kebetulan. **
ChatGPT akan segera hadir, dan Zhou Bowen juga memposting di Momen: "Saya yakin OpenAI China perlu menjelajahi jalur baru!" Di bawah kebanggaan, dia sangat ingin mencari bakat. Namun berbeda dengan pengusaha lain, Zhou Bowen dan Lianyuan Technology memilih untuk mengandalkan puluhan miliar parameter dan metode pelatihan unik untuk membuat model besar lebih baik dalam memahami hubungan antara manusia dan komoditas berdasarkan kemampuan umum.Teknologi cerdas membantu perusahaan merekonstruksi sistem inovasi tautan lengkap dari wawasan produk, pemosisian, desain, R&D hingga pemasaran.
Zhou Bowen pernah menyatakan di depan umum bahwa arah kewirausahaannya adalah memimpin dalam mengintegrasikan kecerdasan buatan dengan industri tradisional untuk memberikan nilai lebih tinggi pada inovasi kecerdasan digital perusahaan, yaitu mencapai terobosan dalam kemampuan model besar umum dalam skenario vertikal.
Baru-baru ini, seorang reporter dari AI Technology Review melakukan percakapan dengan Zhou Bowen. Berikut transkrip percakapannya. AI Technology Review telah mengedit konten tanpa mengubah arti aslinya:
Biarkan AI mempelajari kebijaksanaan manusia, paradigma baru interaksi dan kolaborasi
**AI Technology Review: ChatGPT telah menghadirkan metode interaksi ini, menurut Anda apa yang berbeda dari metode interaksi sebelumnya? **
Zhou Bowen: Salah satu arah penelitian saya adalah interaksi antara AI dan manusia, dan belajar dalam interaksi tersebut. Interaksi manusia-komputer berbeda dengan dialog manusia-komputer, melalui interaksi manusia-komputer, AI dapat mempelajari berbagai hal dalam prosesnya, jadi ini bukanlah tugas yang sederhana untuk dilakukan, tetapi sarana untuk mencapai pembelajaran.
Sebagaimana dicatat dalam "The Analects of Confucius", ini adalah kisah Konfusius dan tujuh puluh dua muridnya yang belajar melalui interaksi. Di Barat, mirip dengan Akademi Plato dan Aristoteles Athena, warisan pengetahuan dan kebijaksanaan tertua dicapai melalui dialog antar manusia, dan guru membantu siswa menyelesaikan studi mereka dengan lebih baik melalui interaksi dengan siswa .
Misalnya, jika guru meminta siswa untuk menuangkan segelas air, sulit untuk tindakan "eksekusi-perintah" sederhana seperti itu untuk meningkatkan kebijaksanaan; Bagaimana mengatasi kesulitan, interaksi inilah yang dapat meningkatkan kebijaksanaan, dan itu juga mencerminkan pandangan inti saya tentang interaksi kolaboratif antara manusia dan AI.
Inti dari AI adalah kolaborasi dan interaksi dengan manusia, belajar terus menerus dari interaksi, dan kemudian bekerja sama dengan manusia untuk memecahkan masalah dengan lebih baik. Sudut pandang ini akan menjadi semakin penting dalam waktu dekat, dan pada saat yang sama akan menghadapi lebih banyak tantangan teknis dan etika, pada akhirnya tidak akan mudah untuk mempertahankan intinya. Seperti Penyelarasan AI yang dikatakan semua orang, manusia dapat meneruskan keinginan mereka ke AI, dan kemudian memecah tugas dengan AI, memungkinkan AI untuk mempelajari dan mewujudkan keinginan manusia dalam prosesnya. Ini adalah cara kolaborasi baru, yaitu, kecerdasan interaktif kolaboratif.
**Tinjauan Teknologi AI: Apakah menurut Anda mencapai keselarasan nilai melalui interaksi adalah cara yang efektif bagi otak manusia dan GPT untuk berkolaborasi? Bagaimana seharusnya manusia dan AI bekerja sama dengan lebih baik? **
**Zhou Bowen: **Setelah ledakan AI generatif, AI yang belajar melalui interaksi kolaboratif dengan manusia akan menjadi semakin kuat.
Daniel Kahneman, pemenang Hadiah Nobel Ekonomi pada tahun 2002, mengusulkan dalam buku larisnya Thinking Fast And Slow bahwa ada dua cara berpikir manusia—sistem 1 dan sistem 2, dan sistem 1 adalah cepat.Berpikir, penilaian intuitif; Sistem 2 berpikir lambat, yang membutuhkan banyak penalaran dan perhitungan.
Awalnya, orang mengira bahwa AI lebih cocok untuk pekerjaan "sistem 1", seperti pengenalan wajah dan pemeriksaan kualitas, yang didasarkan pada pengenalan pola "sistem 1". Tapi saya bersikeras bahwa nilai sebenarnya dari AI terletak pada 2, yaitu membantu manusia menyelesaikan tugas penalaran logis yang kompleks dengan lebih baik. Munculnya ChatGPT telah memverifikasi kelayakan AI sebagai Sistem 2, yang berarti AI dapat menemukan pengetahuan baru, dan penemuan pengetahuan baru akan membantu manusia merancang AI yang lebih baik, seperti penemuan ilmu otak dan pengoptimalan komputasi, dan roda gila untuk menciptakan pengetahuan baru muncul. Efek roda gila berarti bahwa AI dapat mengaktifkan seluruh sistem untuk menemukan pengetahuan baru dengan lebih baik, dan pengetahuan baru ini dapat membantu merancang sistem AI yang lebih baik, sehingga membentuk lingkaran yang baik. Oleh karena itu, hubungan yang saling menguatkan telah terbentuk antara AI, pengetahuan dan inovasi, yang mengharuskan cara AI dan manusia berkolaborasi harus diubah.
Saya telah mengusulkan arah penelitian "3+1" sebelumnya, yaitu menggunakan AI yang andal sebagai basis penelitian dan tujuan jangka panjang, untuk fokus pada interaksi representasi multi-modal, interpretasi kolaboratif manusia-komputer, dan evolusi kolaboratif lingkungan. Intinya adalah menjadi manusia Kolaborasi dan kreasi bersama mesin dapat mewujudkan tujuan manusia membantu AI untuk berinovasi dan AI membantu manusia untuk berinovasi.
Salah satunya adalah interaksi representasi multimodal, di mana mungkin ada grand unified theory. Pada tahun 2022, orang masih skeptis tentang hal ini, tetapi dengan munculnya GPT-4, interaksi representasi terpadu multi-modal ini menjadi lebih meyakinkan; Poin lainnya adalah interaksi kolaboratif manusia-komputer. Orang-orang juga skeptis tentang hal ini pada tahun 2022, tetapi sekarang metode interaksi ini menjadi lebih kredibel, dan orang-orang mulai percaya bahwa hal itu mungkin terjadi; Poin ketiga adalah ko-evolusi AI dan lingkungan, Ini artinya AI tidak hanya perlu bekerja sama dengan manusia, tetapi juga harus beradaptasi dengan lingkungan sekitarnya. Kami pertama kali mengusulkan konsep ini pada awal 2022, dan sejauh ini kami belum melihat kasus yang berhasil ke arah ini, bahkan OpenAI.
Jika Anda tidak dapat mempelajari OpenAI, tetapi Anda tidak dapat menggunakan Microsoft, Anda perlu mengurangi untuk memulai bisnis domestik berskala besar
**Tinjauan Teknologi AI: Fitur khusus dari model Transformer adalah menggunakan mekanisme perhatian (Attention) untuk memodelkan teks. Kami melihat bahwa Anda telah melakukan penelitian terkait mekanisme perhatian AI sejak dini. **
Zhou Bowen: Sorotan inti dari Transformer adalah mekanisme perhatian diri dan mekanisme multi-kepala. Pada bulan Juni 2017, "Attention is All You Need" yang diterbitkan oleh Google Brain memperkenalkan konsep mekanisme perhatian diri (self-attention) dan Transformer. Belakangan, GPT OpenAI juga sangat dipengaruhi oleh makalah ini.
Sebelum ini, saya menerbitkan makalah pertama sebagai penulis yang sesuai untuk memperkenalkan mekanisme perhatian diri multi-hop untuk meningkatkan pembuat enkode - "Penyematan Kalimat Perhatian Diri Terstruktur". Makalah ini selesai dan diunggah ke arXiv pada tahun 2016, dan secara resmi diterbitkan di ICLR pada awal tahun 2017. Kami juga merupakan tim pertama yang mengusulkan mekanisme ini, dan yang lebih penting, ini adalah model representasi bahasa alami pertama yang tidak mempertimbangkan tugas hilir. sama sekali. Setiap orang telah menggunakan perhatian atau perhatian diri dalam beberapa kasus sebelumnya, tetapi semuanya bergantung pada tugas.
**Ulasan Teknologi AI: Dalam makalah ini, apa yang Anda temukan? Bagaimana penemuan ini memengaruhi perubahan teknologi Transformer berikutnya? **
Zhou Bowen: Kami mengusulkan di makalah bahwa metode representasi terbaik adalah menggunakan perhatian diri terstruktur untuk mewakili bahasa alami (NLP). Makalah ini telah dikutip lebih dari 2.300 kali sejak diterbitkan.
Sebelumnya, Ilya Sutskever, ilmuwan kepala OpenAI, percaya bahwa metode representasi terbaik adalah "urutan-ke-urutan (Seq2Seq)", yaitu melatih model untuk mengubah urutan satu domain menjadi urutan domain lain , seperti bahasa sumber yang sesuai dalam terjemahan mesin dan bahasa target; atau dalam menjawab pertanyaan, di mana pertanyaannya adalah urutan dan jawabannya adalah urutan. Atas dasar ini, hubungan pemetaan antara keduanya yang diwakili oleh jaringan saraf dalam dipelajari.
Namun kemudian, tim pakar pembelajaran mendalam dan pemenang Penghargaan Turing Yoshua Bengio mengusulkan sebuah "mekanisme perhatian", yang intinya adalah bahwa tidak semua kata sama pentingnya saat menjawab pertanyaan; Dengan mengidentifikasi bagian yang lebih penting, dan kemudian lebih memperhatikan untuk bagian ini, Anda dapat memberikan jawaban yang lebih baik. Model perhatian ini dengan cepat mendapat penerimaan yang sangat luas. Pada tahun 2015, saya memimpin tim IBM untuk memulai penelitian berdasarkan arsitektur dan ide "Seq2Seq+Attention Mechanism" pada saat yang sama, dan secara berturut-turut meluncurkan beberapa model generatif paling awal untuk penulisan AI dalam bahasa alami. dari 3000 kali.
Tetapi saya tidak puas dengan isi makalah saat itu, karena ada masalah di dalamnya, yaitu perhatian dibangun berdasarkan jawaban. AI yang dilatih dengan cara ini seperti seorang siswa yang meminta guru untuk menandai poin-poin penting sebelum ujian akhir universitas, dan kemudian meninjau poin-poin kunci dengan perhatian yang ditargetkan. Dengan cara ini, meskipun kinerja AI pada masalah tertentu dapat ditingkatkan, itu tidak universal. Oleh karena itu, kami mengusulkan bahwa itu tidak bergantung pada tugas dan output yang diberikan sama sekali, tetapi hanya berdasarkan pada struktur internal input bahasa alami, dan mempelajari bagian mana yang lebih penting dan hubungan di antara mereka melalui pembacaan ganda AI. perhatian diri plus Pembelajaran Representasi untuk Mekanisme Multi-Kepala. Mekanisme pembelajaran semacam ini hanya melihat input, lebih seperti siswa belajar dan memahami mata kuliah berkali-kali dan sistematis sebelum ujian, bukan belajar dengan cara yang terarah dan terpecah-pecah berdasarkan poin-poin kunci ujian, yang lebih dekat dengan nilai ujian. tujuan kecerdasan buatan umum, dan sangat Meningkatkan kemampuan AI untuk belajar.
**Tinjauan Teknologi AI: Apa hubungan antara makalah "Attention is All You Need" dan Anda? **
Zhou Bowen: Kita tahu bahwa semua model besar gelombang ini berasal dari Transformer, jadi jika Anda melihat huruf T di model, kemungkinan besar T tersebut mewakili Transformer. Saya sangat tersanjung telah melakukan beberapa pekerjaan berwawasan ke depan di bidang ini. Pada akhir tahun 2017, peneliti dari Google menerbitkan "Attention is All you need", sebuah makalah tonggak sejarah yang menghadirkan model Transformer ke dunia. Dan makalah kami "Penyematan Kalimat Perhatian Diri Terstruktur", yang pertama kali mengusulkan "mekanisme perhatian diri multi-hop" yang diterbitkan pada awal 2017, dikutip. Dan penulis pertama makalah ini, Ashish Vaswani, adalah seorang siswa yang saya bimbing di IBM. Judul makalah "Perhatian Adalah Yang Anda Butuhkan" juga mengungkapkan arti dari "perhatian diri sangat penting, banyak kepala sangat penting, tetapi RNN mungkin tidak sepenting yang kami pikirkan sebelumnya" yang kami usulkan.
**Tinjauan Teknologi AI: Penilaian teknis konsisten apa yang Anda dan OpenAI miliki? **
** Zhou Bowen: Makalah ini dan arsitektur Transformer benar-benar mengubah segalanya, dan memecahkan masalah memori jarak jauh model. Ilya Sutskever mengenang dalam sebuah wawancara baru-baru ini bahwa OpenAI sepenuhnya beralih ke arsitektur Transformer sehari setelah makalah itu muncul. **
Kita tahu bahwa GPT sangat berbeda dari model Bert, dan alasan mengapa Bert pada awalnya sangat sukses, tetapi kemudian tidak sebagus GPT adalah karena ia menggunakan informasi kiri-ke-kanan dan kanan-ke-kiri. . Dengan kata lain, Bert menggunakan informasi masa depan untuk membantu AI mempelajari cara merepresentasikan, sementara GPT bersikeras untuk memprediksi kata apa yang selanjutnya hanya berdasarkan informasi masa lalu. **Pendekatan OpenAI pada poin ini sejalan dengan pemikiran tim kami, yaitu: cobalah untuk tidak menggunakan jawaban untuk belajar. **Dari perhatian ke perhatian diri, dari BERT ke GPT-3, ide intinya adalah saat Anda tidak lagi mengandalkan informasi masa depan seperti keluaran atau konteks kata yang akan diprediksi, atau saat lebih banyak data dapat digunakan untuk sepenuhnya Saat melatih model AI, kami mulai melihat kemungkinan AGI.
Selain itu, OpenAI percaya bahwa model besar mempelajari pengetahuan dunia melalui bahasa alami, sehingga mengompresi pengetahuan dunia menjadi model besar Model besar seri GPT dan ChatGPT juga dipromosikan sesuai dengan konsep ini. Hal yang sama berlaku untuk konsep dan visi tim saya dan saya, yaitu membangun model skala besar dengan tujuan umum, dan memungkinkannya memberikan nilai dan kemampuan yang lebih tinggi di bidang vertikal melalui pelatihan profesional, dan mengintegrasikan konsumen. ' emosi, kebutuhan, dan pengalaman yang kompleks, serta inovasi produk, Desain, parameter produk, bahan, fungsi, dll., dikompresi menjadi model besar untuk merekonstruksi hubungan biner antara manusia dan produk, dan menggunakan AI untuk membentuk kembali nilai dari produk.
**Ulasan Teknologi AI: Selain kekuatan teknis, aspek lain apa dari OpenAI yang membuat Anda berpikir ada manfaatnya? **
Zhou Bowen: Tidak hanya dalam hal penilaian teknis, seluruh pendekatan bisnis OpenAI bersifat representatif, termasuk: pembentukan ekosistem, pengumuman Hukum Moore yang baru, pengurangan harga API sebesar 90%, dll. Perluas ruang imajinasi modal dan pengguna untuk aplikasi komersial model besar, dan mendapatkan skenario aplikasi yang hampir tak terbatas. Selain itu, rencana OpenAI untuk tata kelola etika, pengembangan bisnis, teknologi ekologis, dan pengembangan masa depan juga sangat jelas.
**Ulasan Teknologi AI: Akankah OpenAI berikutnya muncul di Cina? **
** Zhou Bowen: ** Kesulitan teknis membangun model besar sebenarnya di luar imajinasi banyak pengusaha China. Oleh karena itu, saya tidak menyarankan perusahaan domestik secara membabi buta mengikuti dan menyalin model "OpenAI+Microsoft", karena sebagian besar perusahaan teknologi China di China tidak sebaik Microsoft dalam pengambilan keputusan bisnis, dan penilaian teknologi mereka tidak sebaik OpenAI . **
Keberhasilan OpenAI adalah hasil dari banyak faktor, misalnya Ilya Sutskever membuat penilaian teknis, Greg Brockman melakukan fungsi, dan Sam Altman mengintegrasikan sumber daya, termasuk penelitian tentang dampak AI terhadap etika dan masyarakat. Jika perusahaan dalam negeri hanya meniru OpenAI, jarak antara satu sama lain hanya akan semakin jauh.
Penilaian teknis OpenAI dapat dilihat dari garis lintang data, karena tidak semua data di dunia sama pentingnya. Mengapa OpenAI memilih menggunakan bahasa pemrograman Github untuk melatih rantai pemikiran? Karena semantik dan sintaks bahasa pemrograman sangat sederhana, logika proses eksekusinya ketat. Ini juga merupakan karakteristik dan keunggulan OpenAI: ia tidak akan menyerang secara membabi buta. Oleh karena itu, menurut saya pengembangan AI China perlu mencari jalan lain, yaitu mengandalkan kemampuan model besar umum untuk memulai dari penerapan skenario vertikal, yang lebih mungkin berhasil.
AI Generatif akan mengganggu pengalaman konsumen yang ada
**Ulasan Teknologi AI: Mengapa Anda menargetkan sektor konsumen? **
Zhou Bowen: Ketika saya berada di JD.com, saya melihat peluang bisnis yang sangat besar untuk "mencocokkan permintaan konsumen dan desain produk secara dinamis dengan kecerdasan buatan". Pada tahun 2021, saya memutuskan untuk meninggalkan pekerjaan saya dan memulai bisnis untuk mengembangkan model bahasa besar umum untuk industri vertikal (model bahasa besar belum meledak pada saat itu), dengan harapan dapat mencakup semua perilaku konsumen dari skenario non-spesifik. Kita tahu bahwa adegan ruang dan waktu berbeda dari Senin hingga Jumat, dan fokus pekerja kerah putih atau pekerjaan lain juga berbeda. Di balik simbol budaya yang memengaruhi perilaku belanja ini terdapat emosi, pengalaman, dan pilihan produk konsumen yang kompleks. Logikanya , inilah informasi berharga yang dibutuhkan bisnis. Saat membuat produk di sisi penawaran, itu termasuk kreativitas, desain, parameter produk, fungsi, bahan, dan posisi merek, slogan, pemasaran, periklanan, pemasaran, gambar promosi, dll. Sebenarnya ada hubungan yang kuat di balik semua faktor ini.
Jenis hubungan yang sesuai ini belum pernah dilalui oleh manusia sebelumnya. Praktisi dalam perencanaan, pemasaran, dan penjualan hanya memahami tautan yang menjadi tanggung jawabnya. Dan kita akan membuat model skala besar tujuan umum pertama di dunia dari rantai pasokan komoditas, yaitu, untuk memadatkan semua informasi ini menjadi model tujuan umum dengan ketelitian tinggi, dan berdasarkan model skala besar ini untuk memberdayakan seluruh siklus hidup produk perusahaan, termasuk: Wawasan peluang (Temukan), definisi produk (Tentukan), desain program (Desain), dorong R&D (Kembangkan), transformasi pemasaran (Distribute). Dengan cara ini, perusahaan dapat menemukan peluang inovasi dengan lebih efisien, merancang dan memproduksi dengan lebih kreatif, melakukan promosi pemasaran, menjangkau pengguna, dan menyelesaikan transformasi dengan lebih efektif.
**Ulasan Teknologi AI: Dalam hal model bisnis, ini tampaknya lebih maju. **
Zhou Bowen: Untuk tim wirausaha mana pun, sangat penting untuk dapat mengembangkan kemampuan yang lebih profesional setelah memiliki kemampuan teknis umum model besar. Saat ini, terobosan GPT terutama dalam kemampuan umum, tetapi nilainya untuk industri tertentu dan bidang vertikal belum dikembangkan.Misalnya: GPT dapat menggambar lukisan artistik yang sangat realistis, tetapi tidak dapat menggambar diagram sirkuit, karena tidak tidak memiliki pengetahuan yang cukup tentang pengetahuan fisik Penilaian yang mendalam dan relevan tidak cukup profesional.
Oleh karena itu, menurut saya ada kebutuhan akan alat semacam itu (model besar serba guna dengan kemampuan profesional) untuk memudahkan konsumen menemukan dan lebih bersedia membeli produk yang mereka butuhkan, yang mungkin sepenuhnya mengubah jalur belanja orang yang ada. . AI generatif dapat memampatkan sejumlah besar informasi bisnis ke dalam model sebesar itu, untuk mempelajari semua aspek rantai pasokan komoditas, dan meningkatkan efisiensi tautan utama yang berpusat pada konsumen. Inilah ide dan kreativitas yang sudah dihasilkan di tahun 2021.
** Teknologi Lianyuan sedang mengembangkan model besar dengan kemampuan umum. Model besar ini memiliki keahlian dalam menghubungkan produk dan konsumen. ** Kami memiliki 37 indikator evaluasi model skala besar, 2/3 di antaranya adalah kemampuan tujuan umum seperti kemampuan penalaran dan kemampuan komputasi, dan lebih dari selusin item diterapkan secara khusus pada hubungan antara produk dan konsumen, sehingga dapat menyadari "biarkan setiap produk harus Lahir dari kebutuhan, biarkan setiap konsumen mendapatkan apa yang mereka inginkan".
**Ulasan Teknologi AI: Bagaimana AI generatif dapat berintegrasi lebih baik dengan skenario konsumsi seperti e-commerce? **
**Zhou Bowen:**Manusia hanya dapat memahami logika bisnis perencanaan, atau logika pemasaran, tetapi AI dapat membuka semua rantai bisnis.
Konsumen membutuhkan banyak kosa kata profesional untuk menemukan produk yang mereka inginkan dalam skenario seperti platform e-commerce; tetapi di sisi lain, pedagang tidak memahami kebutuhan konsumen yang sebenarnya dan hanya dapat menjangkau konsumen melalui transaksi e-commerce , Melalui konsultasi lembaga penelitian untuk lebih memahami konsumen. Setelah memperkenalkan fungsi dialog multi-putaran seperti ProductGPT, efisiensi pencocokan dinamis pedagang dan konsumen pada produk akan lebih efisien daripada riset pasar, sehingga platform e-niaga dapat berpartisipasi lebih dalam dalam inovasi produk, desain, penelitian dan pengembangan, dan pemasaran, promosi, dll.
Dalam masyarakat komersial yang sebenarnya, sebenarnya ada korespondensi yang kuat antara sisi permintaan dan sisi penawaran. Platform Inovasi Kolaboratif terkemuka kami yang dikembangkan sendiri SaaS didasarkan pada pemahaman multi-modal, penalaran, dan kemampuan generasi model besar, dan membantu perusahaan menemukan peluang bisnis dan inovasi produk melalui wawasan mendalam tentang konsumen, skenario, produk, referensi produk, dan R&D . Pada saat yang sama, platform dialog multi-putaran ProductGPT dari Teknologi Lianyuan memberi setiap karyawan perusahaan asisten pribadi yang disesuaikan secara mendalam sesuai dengan peran profesional yang berbeda, dan memenuhi kebutuhan kerja khusus mereka dengan memberikan keterampilan dan pengetahuan khusus peran. Misalnya, asisten pribadi riset konsumen Lianyuan Technology akan memberikan keterampilan profesional dan pengetahuan yang relevan seperti meneliti tren pasar, memahami kebutuhan konsumen, dan riset pasar.
**Ulasan Teknologi AI: Anda telah menggunakan AI generatif untuk menghasilkan uang di JD.com, bagaimana Anda melakukannya? **
**Zhou Bowen:**Pada tahun 2019, saya memimpin tim AI JD.com untuk menerapkan kecerdasan buatan generatif untuk membuat copywriting produk dan memilih gambar. Itu juga model skala besar generatif pertama JD.com. Pada saat itu, model AI kami terutama mencapai tiga hal:
Pertama, Anda dapat membaca sendiri konten di halaman detail produk, dan langsung menghasilkan 8-9 nilai jual produk ini melalui analisis;
Kedua, ketika konsumen melihat-lihat produk tertentu, model besar akan dengan cepat mengetahui nilai jual mana yang dapat lebih mengesankan pengguna dengan menganalisis data perilaku konsumen yang berbeda;
Ketiga, AIGC akan menghasilkan slogan-slogan eksklusif seputar titik penjualan yang paling diperhatikan konsumen berdasarkan potret pengguna.
Setelah periode implementasi, tingkat konversi rekomendasi produk meningkat sebesar 30% dibandingkan sebelumnya. Konsumen mungkin tidak menyadari bahwa ketika mereka mencari dan berbelanja di JD.com, kategori dan deskripsi produk yang mereka lihat sebenarnya dibuat secara otomatis oleh AIGC kata demi kata sesuai dengan preferensi pengguna dan nilai jual produk pada saat ia melihat-lihat produk. .
**Ulasan Teknologi AI: Apa pendapat Anda tentang API terbuka OpenAI, dan apa artinya bagi industri? **
Zhou Bowen: Berbicara dari pengalaman pribadi, saya pernah menjadi kepala ilmuwan IBM Watson Group. Pada saat itu, data beberapa industri di Amerika Serikat diatur, dan perusahaan semacam itu umumnya tidak dapat bekerja sama, dan hanya dapat menggunakan cloud pribadi. Untuk itu, pada tahun 2015-2016, saya bertekad untuk menjadi cloud publik. Untuk mencapai ini, kapabilitas AI Watson perlu API. Saat itu, saya memimpin peluncuran puluhan API termasuk dialog dan pemahaman bahasa alami. Letakkan API ini di platform cloud, dan sekarang bisnis AI IBM terutama menghasilkan uang darinya.
Saya kembali ke China pada akhir 2017, dan pada April 2018, saya merilis platform terbuka kecerdasan buatan JD.com. Pada saat itu, pada dasarnya tidak ada platform AI di China, yang juga mendatangkan pendapatan yang cukup besar bagi JD.com. Pada tahun 2019, tim AI JD.com yang saya pimpin menghasilkan pendapatan 170 juta yuan, yang lumayan untuk tim yang terdiri dari 200 orang.
**Tinjauan Teknologi AI: Ada persepsi di industri bahwa risiko membuat model besar vertikal sangat tinggi. Bagaimana menurut Anda? **
Zhou Bowen: Menurut saya, di masa mendatang, alur kerja yang terdefinisi dengan baik dan bernilai tinggi tersebut akan diselesaikan oleh model AI profesional, bukan model AI umum. Sangat mudah untuk lebih meningkatkan kemampuan dasar model besar tujuan umum setelah adegan vertikal tertentu berhasil diselesaikan. Selain itu, jika kita mulai dari skenario vertikal, akumulasi masa lalu kita dalam hal daya komputasi, data, dan algoritme dapat dimanfaatkan lebih maksimal. Oleh karena itu, dalam Teknologi Lianyuan, model besar harus memiliki kemampuan dasar teknologi model besar umum dalam kerangka dasar teknologi, dan harus dievaluasi dengan metode ilmiah, tetapi juga memerlukan pelatihan profesional.
Pada tahun 2023, karena popularitas ChatGPT yang tiba-tiba, pasar mulai menggunakan AI 2.0 untuk menggambarkan potensi besarnya. Selain itu, hampir semua raksasa teknologi telah bergabung dalam pertempuran, pasar modal ventura mencoba merebut peluang baru, dan lingkungan pasar juga berubah dengan cepat. GPT adalah peluang kewirausahaan yang sistematis, tetapi hanya menyalin, mengikuti, dan mengejar ketinggalan itu berisiko dan sulit.
Setelah mendirikan Teknologi Lianyuan, kami telah berkomunikasi dengan lebih dari 100 pelanggan, melihat kebutuhan nyata, dan meningkatkan jalur realisasi teknologi dengan terus mengoptimalkan model besar: "Pada tahun 2022, kami menunjukkan nilai komersial dan kelayakan teknis dari skenario ini, Artinya bahwa meskipun kami membuat model besar, kami berada di jalur yang berbeda dari OpenAI, dan model keuntungannya juga berbeda.
Yang ingin saya lakukan adalah kompresor pengetahuan dunia yang lebih baik daripada GPT saat ini, yang membutuhkan data yang sangat interaktif, dan data tersebut jelas terkait erat dengan pemandangan. Adapun jenis data apa yang memiliki arti kecerdasan manusia yang lebih tinggi, sebenarnya banyak pekerjaan teoretis yang harus dilakukan di dalamnya, dan itu adalah arah yang perlu ditelusuri di masa depan.