Abstrak: Anotator data mengklasifikasikan dan melabeli data, memungkinkan kecerdasan buatan untuk belajar dengan menemukan pola dalam data dalam jumlah besar, dan dianggap sebagai "pekerja hantu" yang tersembunyi di balik mesin. Pekerjaan anotasi adalah dasar dari kecerdasan buatan, telah membentuk seluruh rantai pasokan, dan jenis pekerjaan ini akan terus ada untuk waktu yang lama.
Fokus
Kecerdasan buatan belajar dengan mencari pola dalam data dalam jumlah besar, tetapi pertama-tama data ini harus diklasifikasikan dan diberi label oleh manusia, dan anotator data muncul, mereka dianggap sebagai "pekerja hantu" yang tersembunyi di balik mesin.
Pekerjaan annotator membosankan dan membosankan, mereka sering perlu melakukan pekerjaan berulang dan dibayar berdasarkan bagian demi bagian. Gaji rata-rata per jam adalah antara 5 dan 10 dolar AS (sekitar 36 hingga 72 yuan). Pada awal tahun ini, upah per jam beberapa komentator telah dikurangi menjadi $1 sampai $3 per jam (sekitar 7 sampai 22 yuan).
Pekerjaan anotasi masih menjadi dasar kecerdasan buatan, dan telah membentuk rantai pasokan yang lengkap. Jenis pekerjaan ini ada di sini untuk waktu yang lama.
Pekerjaan anotasi berbeda dengan manufaktur smartphone dan mobil karena mudah berubah bentuk dan mengalir, dan sering mengalir ke tempat-tempat dengan biaya pengoperasian lebih rendah.
Beberapa bulan setelah lulus dari Universitas Nairobi, Joe, sekarang berusia 30 tahun, mendapatkan pekerjaan sebagai anotator, membantu memproses informasi mentah yang digunakan untuk melatih kecerdasan buatan, yang membosankan dan membosankan. Kecerdasan buatan belajar dengan menemukan pola dalam data dalam jumlah besar, tetapi data ini harus diklasifikasikan dan diberi label terlebih dahulu oleh manusia, sehingga dapat dikatakan bahwa manusia adalah "pekerja hantu" yang bersembunyi di balik mesin.
Ambil pekerjaan Joe, misalnya, di mana dia memberi label video untuk mobil yang bisa mengemudi sendiri, mengidentifikasi mobil, pejalan kaki, pengendara sepeda, dan apa pun yang perlu diperhatikan pengemudi, bingkai demi bingkai, dari setiap sudut kamera. Ini adalah pekerjaan yang sulit dan berulang-ulang. Video pendek berdurasi beberapa detik membutuhkan waktu delapan jam untuk membuat anotasi, dan Joe dibayar sekitar $10.
Kemudian, pada tahun 2019, sebuah peluang muncul di hadapannya, dan Joe mulai melatih rekrutan untuk perusahaan baru yang sangat membutuhkan anotator, dengan penghasilan empat kali lipat. Setiap dua minggu, 50 karyawan baru berbaris memasuki gedung perkantoran di Nairobi untuk memulai magang mereka. Kebutuhan akan anotator sepertinya tidak ada habisnya. Mereka akan diminta untuk mengkategorikan pakaian yang mereka lihat di selfie cermin, menentukan ruangan tempat mereka berada melalui mata robot penyedot debu, dan menggambar kotak-kotak di sekitar sepeda motor yang dipindai dengan lidar. Lebih dari separuh siswa Joe biasanya keluar sebelum pelatihan selesai. "Beberapa orang tidak tahu bagaimana tinggal di satu tempat untuk waktu yang lama," jelasnya dengan lembut. Plus, akunya, "pekerjaannya membosankan."
Tapi itu pekerjaan yang bagus di tempat di mana pekerjaan langka, dan Joe telah menghasilkan ratusan lulusan. Setelah pelatihan, para peserta magang dapat kembali ke rumah dan bekerja sendiri di kamar tidur dan dapur mereka tanpa memberi tahu siapa pun apa yang sedang mereka lakukan. Itu bukan masalah sebenarnya karena mereka bahkan tidak mengerti apa yang mereka lakukan.
Memberi label objek untuk mobil self-driving itu mudah, tetapi mengklasifikasikan potongan dialog yang terdistorsi dan mengidentifikasi apakah pembicara adalah robot atau manusia penuh dengan tantangan. Setiap objek pengenalan adalah bagian kecil dari proyek yang lebih besar, jadi sulit untuk mengatakan apa sebenarnya yang mereka latih untuk dilakukan oleh AI. Nama-nama objek ini juga tidak memberikan petunjuk apa pun, Crab Generation, Whale Segment, Woodland Gyro, dan Pillbox Bratwurst semuanya adalah kode pekerjaan tanpa urutan logis.
Adapun perusahaan yang mempekerjakan mereka, kebanyakan orang hanya mengenalnya sebagai Remotasks, sebuah situs web yang menawarkan peluang kerja bagi siapa saja yang fasih berbahasa Inggris. Seperti kebanyakan anotator, Joe tidak mengetahui bahwa Remotasks adalah perusahaan tenaga kerja kontrak yang dimiliki oleh Scale AI. Scale AI adalah penyedia data Silicon Valley bernilai miliaran dolar yang kliennya meliputi startup kecerdasan buatan OpenAI dan militer A.S. Baik Remotask maupun Scale AI tidak menyebutkan satu sama lain di situs web mereka.
01 Membantu mesin dengan kemampuan unik manusia
Sebagian besar reaksi publik terhadap model bahasa besar seperti ChatGPT OpenAI berfokus pada pekerjaan yang tampaknya siap mereka otomatisasi. Tetapi bahkan sistem AI yang paling mengesankan pun membutuhkan bantuan dari manusia, yang melatihnya dengan memberi label pada data dan mengambil tindakan saat tercampur. Hanya perusahaan yang mampu membeli data yang dapat bersaing di industri ini, dan perusahaan yang mendapatkan data akan berusaha keras untuk merahasiakannya. Hasilnya adalah, kecuali beberapa orang, kita mengetahui sangat sedikit tentang informasi yang memengaruhi perilaku sistem ini, dan bahkan lebih sedikit lagi tentang orang-orang di balik perilaku yang membentuknya.
Bagi siswa Joe, ini adalah pekerjaan yang dilucuti dari semua kemiripan normal: Mereka diharapkan untuk mengikuti jadwal yang ketat dan tidak perlu tahu apa yang mereka lakukan, atau untuk siapa mereka bekerja. Nyatanya, mereka jarang menyebut diri mereka bekerja, hanya “tugas” rutin. Mereka menyebut diri mereka pekerja tugas.
Antropolog David Graeber telah mendefinisikan apa yang disebut "pekerjaan omong kosong" —pekerjaan yang tidak memiliki arti atau tujuan. Ini adalah pekerjaan yang harus diotomatisasi, tetapi tidak, karena alasan birokrasi, status, atau kelembaman. Pekerjaan pelatihan kecerdasan buatan serupa: pekerjaan yang ingin diotomatisasi orang, umumnya dianggap otomatis, tetapi tetap membutuhkan manusia untuk berpartisipasi. Tugas-tugas ini memiliki tujuan khusus, tetapi anotator tidak menyadarinya.
Ledakan AI saat ini dimulai dengan pekerjaan berulang yang agak membosankan ini. Pada awal 2007, Fei-Fei Li, seorang peneliti kecerdasan buatan yang saat itu menjadi profesor di Universitas Princeton, menduga bahwa kunci untuk meningkatkan jaringan saraf untuk pengenalan gambar adalah melatih lebih banyak data, yang membutuhkan jutaan gambar berlabel daripada puluhan ribu. Masalahnya adalah, timnya membutuhkan waktu puluhan tahun dan jutaan dolar untuk menandai banyak foto itu.
Fei-Fei Li menemukan ribuan pekerja di platform crowdsourcing Amazon, Mechanical Turk, tempat orang di seluruh dunia menyelesaikan tugas kecil dengan murah. Kumpulan data berlabel yang dihasilkan, dikenal sebagai ImageNet, memungkinkan terobosan besar dalam pembelajaran mesin, menghidupkan kembali bidang ini, dan mengantar kemajuan dekade terakhir.
Anotasi tetap menjadi bagian penting dalam pengembangan AI, tetapi para insinyur sering merasa bahwa ini adalah prasyarat singkat dan tidak praktis untuk pekerjaan pemodelan yang lebih glamor. Anda dapat mengumpulkan sebanyak mungkin data berlabel semurah mungkin untuk melatih model Anda sendiri, dan jika Anda dapat melakukannya, setidaknya secara teori, Anda tidak memerlukan anotator lagi. Namun, pekerjaan anotasi tidak pernah benar-benar selesai. Para peneliti berpendapat bahwa sistem pembelajaran mesin "rapuh" dan rentan terhadap kegagalan ketika menghadapi hal-hal dalam data pelatihan yang tidak dijelaskan dengan baik. Kegagalan ini dikenal sebagai "kasus tepi" dan dapat menimbulkan konsekuensi serius.
Pada tahun 2018, sebuah mobil uji swakemudi dari perusahaan tumpangan Uber membunuh seorang wanita karena, meskipun diprogram untuk menghindari pengendara sepeda dan pejalan kaki, ia tidak tahu apa yang harus dilakukan dengan pengendara sepeda yang menyeberang jalan. Karena semakin banyak sistem AI memberikan nasihat hukum dan bantuan medis, semakin banyak kasus yang mereka hadapi, membutuhkan lebih banyak manusia untuk menyelesaikannya. Ini telah melahirkan industri global orang-orang seperti Joe yang menggunakan kemampuan unik manusia untuk membantu mesin.
Selama enam bulan terakhir, reporter investigasi teknologi Josh Dzieza telah berbicara dengan lebih dari dua lusin anotator dari seluruh dunia, banyak di antaranya melatih chatbot mutakhir, tetapi juga banyak yang melakukan pekerjaan fisik biasa yang diperlukan untuk menjaga agar AI tetap berjalan . Beberapa telah membuat katalog konten emosional video TikTok, variasi baru spam, dan iklan online yang tidak pantas. Yang lain melihat transaksi kartu kredit dan mencari tahu jenis pembelian yang terkait dengannya, atau melihat rekomendasi e-niaga dan memutuskan apakah Anda benar-benar akan menyukai baju itu setelah membeli yang lain.
Manusia mengoreksi kesalahan chatbot layanan pelanggan, mendengarkan permintaan dari asisten cerdas Amazon Alexa, dan mengkategorikan emosi orang dalam panggilan video. Mereka memberi label makanan agar lemari es pintar tidak bingung dengan kemasan baru, memeriksa kamera keamanan otomatis sebelum membunyikan alarm, dan membantu traktor otonom yang bingung mengidentifikasi jagung.
02 Komentar adalah bisnis besar, menelurkan "miliarder swadaya termuda"
"Ini adalah rantai pasokan yang lengkap," kata Sonam Jindal, direktur program dan penelitian di Kemitraan nirlaba tentang AI. "Persepsi umum dalam industri ini adalah bahwa pekerjaan ini bukan bagian penting dari pengembangan teknologi, ini bukan bagian penting dari perkembangan teknologi." Akan makmur untuk waktu yang lama. Semua kegembiraan menyebar seputar membangun AI, dan begitu kita membangunnya, anotasi tidak lagi diperlukan, jadi mengapa repot-repot memikirkannya? Tapi pelabelan data adalah dasar dari AI, seperti halnya manusia Sebanyak kecerdasan adalah fondasi AI, kita perlu melihat ini sebagai pekerjaan nyata dalam ekonomi AI yang akan bertahan untuk waktu yang lama."
Vendor data di balik nama-nama yang sudah dikenal seperti OpenAI, Google, dan Microsoft hadir dalam berbagai penyamaran. Ada juga perusahaan outsourcing swasta dengan kantor seperti pusat panggilan, seperti CloudFactory di Kenya dan Nepal, di mana Joe mengerjakan anotasi seharga $1,20 per jam sebelum beralih ke Remotask.
Ada juga situs "crowdworker" seperti Mechanical Turk dan Clickworker, di mana setiap orang dapat mendaftar untuk menyelesaikan tugas. Di tengah adalah layanan seperti Scale AI. Siapa pun dapat mendaftar, tetapi setiap orang harus lulus ujian kualifikasi, kursus pelatihan, dan dipantau kinerjanya. Anotasi adalah bisnis besar. Scale AI, didirikan pada tahun 2016 oleh Alexander Wang yang saat itu berusia 19 tahun, bernilai $7,3 miliar pada tahun 2021, menjadikannya salah satu miliarder swadaya termuda Forbes.
Rantai pasokan yang rumit ini sulit dipahami oleh orang luar. Perusahaan yang membeli data berlabel menuntut kerahasiaan yang ketat, menurut sumber industri. Anotasi terkadang membocorkan informasi tentang sistem AI yang sedang dikembangkan, dan penambahan sejumlah besar anotator membuat kebocoran sulit dicegah. Anotator selalu diperingatkan untuk tidak memberi tahu siapa pun tentang pekerjaan mereka, bahkan teman dan kolega mereka. Yang terpenting, pembagian kerja yang ekstrim memastikan bahwa mereka tidak memiliki cukup informasi untuk membicarakan pekerjaan mereka, bahkan jika mereka menginginkannya.
Mengingat hal ini, tidak ada cara untuk memberikan perkiraan terperinci tentang jumlah orang yang bekerja di anotasi, tetapi yang pasti jumlahnya banyak dan berkembang pesat. Google Research baru-baru ini menerbitkan sebuah makalah yang memberikan perkiraan samar tentang jumlah annotator di "jutaan" dan mungkin "miliaran" di masa mendatang.
Otomasi sering datang dengan cara yang tidak terduga. Erik Duhaime, CEO Centaur Labs, sebuah perusahaan anotasi data medis, mengingat bahwa beberapa tahun yang lalu, beberapa insinyur pembelajaran mesin terkemuka meramalkan bahwa kecerdasan buatan akan menggantikan ahli radiologi. Ketika itu tidak terjadi, kebijaksanaan konvensional beralih ke ahli radiologi yang menggunakan AI sebagai alat.
Tak satu pun dari hal-hal itu terjadi, menurut Duheim. Kecerdasan buatan sangat bagus dalam tugas-tugas tertentu, yang mendorong pekerjaan untuk dipecah dan ditugaskan ke sistem algoritmik khusus dan manusia yang sama-sama terspesialisasi. Misalnya, katanya, sistem AI mungkin bisa mendeteksi kanker, tetapi hanya pada jenis mesin tertentu, pada jenis gambar tertentu. Jadi, Anda membutuhkan seseorang untuk membantu memeriksa apakah AI diberi jenis data yang benar, dan mungkin orang lain untuk memeriksa apakah itu berfungsi sebelum menyerahkannya ke AI lain untuk menulis laporan dan akhirnya ke manusia. "AI tidak akan menggantikan pekerjaan manusia, tetapi itu mengubah cara pekerjaan diatur," kata Duheim.
Jika Anda menganggap kecerdasan buatan sebagai mesin yang cerdas dan berpikir, Anda mungkin mengabaikan manusia di belakangnya. Du Haimei percaya bahwa dampak kecerdasan buatan pada pekerjaan modern adalah seperti transisi dari pengrajin ke manufaktur industri: proses yang koheren dipecah menjadi tugas-tugas kecil, diatur di sepanjang jalur perakitan, beberapa langkah diselesaikan oleh mesin, beberapa oleh manusia, tetapi itu berbeda dari yang sebelumnya. Situasinya sangat berbeda.
Kekhawatiran tentang gangguan AI sering dilawan dengan mengatakan bahwa AI mengotomatiskan tugas tertentu, bukan seluruh pekerjaan. Tugas-tugas ini seringkali membosankan dan menjemukan, membuat orang mengejar pekerjaan manusia yang lebih memuaskan. Tapi mungkin juga kebangkitan kecerdasan buatan juga akan terlihat seperti teknologi hemat tenaga kerja di masa lalu, mungkin seperti telepon atau mesin tik, yang menghilangkan kerepotan menyampaikan pesan dan tulisan tangan, tetapi menghasilkan lebih banyak informasi tentang komunikasi, perdagangan dan Sedemikian rupa sehingga kantor baru yang dikelola dengan tipe pekerja baru, juru tulis, akuntan, juru ketik, dll., diperlukan untuk mengelolanya. Anda mungkin tidak kehilangan pekerjaan saat AI bergabung dengan pekerjaan Anda, tetapi itu mungkin menjadi asing, lebih terisolasi, dan lebih membosankan.
03 Menyederhanakan realitas kompleks menjadi sesuatu yang dapat dibaca mesin
Awal tahun ini, jurnalis Ziyeza mendaftar untuk pekerjaan di Remotaks. Prosesnya sederhana. Anda hanya perlu memasukkan spesifikasi komputer, kecepatan jaringan, dan informasi kontak dasar untuk masuk ke "Pusat Pelatihan". Untuk mendapatkan tugas berbayar, Ziyeza pertama-tama harus menyelesaikan kursus pengantar yang relevan, tetapi tidak berbayar. Pusat pelatihan memamerkan serangkaian kelas dengan nama yang tidak dapat dipahami seperti Pakaian Renang Lem dan Poster Hawaii. Zieza mengklik sesuatu yang disebut GFD Chunking, yang mengharuskan pakaian diberi tag di foto media sosial.
Di luar itu, ada instruksi untuk tugas-tugas seperti harus memberi label pada item yang nyata, dapat dipakai oleh manusia, atau dimaksudkan untuk dipakai oleh orang sungguhan. Percaya diri dengan kemampuannya untuk membedakan pakaian asli yang bisa dikenakan orang sungguhan dari pakaian palsu yang tidak bisa dikenakan orang sungguhan, Ziyeza berangkat untuk mengujinya. Namun, dia langsung dipukul di kepala: komputer memberikan gambar majalah seorang wanita dengan rok. Haruskah foto pakaian dianggap sebagai pakaian asli? Tidak, pikir Ziyeza, karena orang tidak bisa memakai gambar pakaian. Hasilnya menunjukkan kesalahan! Karena di mata kecerdasan buatan, foto baju asli setara dengan baju asli.
Gambar berikut adalah seorang wanita mengambil selfie di cermin ukuran penuh di kamar tidur remang-remang. Baju dan celana pendek yang dia kenakan adalah pakaian asli, dan apakah pantulan dari pakaian itu asli? Ziyeza juga memberikan jawaban negatif, tetapi sistem kecerdasan buatan percaya bahwa pantulan pakaian asli juga harus berupa pakaian asli.
Setelah coba-coba yang memalukan, Ziyeza akhirnya mulai bekerja, hanya untuk menemukan dengan ngeri bahwa instruksi yang sulit dia ikuti telah diperbarui berkali-kali dan bertambah menjadi 43 halaman, termasuk Jangan menandai koper terbuka yang penuh dengan pakaian; jangan tandai sepatu tetapi tandai sirip; tandai legging tapi bukan celana ketat; jangan tandai handuk meskipun seseorang memakainya; jangan tandai pakaian Beri label, tapi jangan beri label baju besi. dll......
Milagros Miceli, seorang peneliti yang mengerjakan data di Institut Weizenbaum di Jerman, mengatakan ada kebingungan yang meluas di seluruh industri. Sebagian, ini adalah produk dari cara sistem pembelajaran mesin belajar. Manusia hanya membutuhkan beberapa contoh untuk memahami konsep "kemeja", sedangkan program pembelajaran mesin membutuhkan ribuan contoh, dan mereka perlu melakukannya dengan konsistensi yang sempurna dan variasi yang cukup (kaos polo, kemeja untuk pakaian luar ruangan, kemeja yang digantung di rak) sehingga sistem dapat menangani keragaman dunia nyata. "Bayangkan kita perlu mereduksi realitas kompleks menjadi sesuatu yang bisa dibaca oleh mesin kikuk," kata Miselli.
Untuk mesin, tindakan menyederhanakan realitas menimbulkan kompleksitas yang sangat besar. Penulis instruksi harus membuat aturan yang memungkinkan manusia mengklasifikasikan dunia dengan konsistensi yang sempurna. Untuk melakukan ini, mereka sering membuat kategori yang tidak akan digunakan manusia. Jika seseorang diminta untuk memberi label pada semua baju dalam sebuah foto, mereka mungkin tidak memberi label pada baju di cermin karena mereka tahu itu pantulan dan bukan pakaian sebenarnya. Tapi untuk AI yang tidak mengerti dunia nyata, itu hanya piksel, keduanya persis sama. Jika beberapa kaos dalam kumpulan data diberi label dan kaos lain yang dicerminkan tidak, maka model tidak akan bekerja. Jadi insinyur tersebut kembali ke pemasok dengan informasi terbaru dan meminta untuk memberi label pada kemeja yang terpantul di cermin. Segera, Anda akan memiliki panduan 43 halaman lainnya, semuanya dengan huruf kapital berwarna merah.
Tugas seorang annotator biasanya mengesampingkan pemahaman manusia dan mengikuti instruksi dengan sangat, sangat ketat. Seperti yang dikatakan seorang komentator, berpikirlah seperti robot. Ini adalah ruang mental yang aneh di mana Anda melakukan yang terbaik untuk mengikuti aturan yang konyol namun ketat, seperti mengikuti tes standar saat menggunakan halusinogen. Anotator selalu memiliki pertanyaan yang membingungkan seperti, apakah ini baju merah bergaris putih atau kemeja putih bergaris merah? Jika mangkuk anyaman diisi dengan apel, apakah itu "mangkuk dekoratif"? Apa warna cetakan macan tutul? Setiap pertanyaan harus dijawab, dan satu tebakan yang salah bisa membuat Anda dilarang dan memulai misi baru yang sama sekali berbeda dengan aturannya sendiri yang membingungkan.
04 Bayar per potong, periksa tugas setiap tiga jam
Sebagian besar pekerjaan di Remotask dibayar berdasarkan bagian demi bagian, dengan penghasilan mulai dari beberapa sen hingga beberapa dolar untuk satu tugas. Karena tugas mungkin membutuhkan beberapa detik atau jam untuk diselesaikan, gaji sulit diprediksi. Ketika Remotaks pertama kali datang ke Kenya, komentator mengatakan bayarannya relatif baik. Itu rata-rata sekitar $5 hingga $10 per jam, tergantung tugasnya. Tapi lama kelamaan gajinya turun.
Anna Franko, juru bicara Scale AI, mengatakan para ekonom perusahaan menganalisis detail proyek, keterampilan yang diperlukan, biaya hidup regional, dan faktor lain "untuk memastikan kompensasi yang adil dan kompetitif." . Mantan karyawan Scale AI juga mengatakan bahwa kompensasi ditentukan melalui mekanisme yang mirip dengan penetapan harga inflasi, yang menyesuaikan berdasarkan jumlah anotator yang tersedia dan kecepatan data yang dibutuhkan. Statistik menunjukkan bahwa anotator Remotaks di Amerika Serikat biasanya menghasilkan $10 hingga $25 per jam, tetapi pakar di beberapa bidang anotasi profesional dibayar lebih. Pada awal tahun ini, gaji komentator Kenya turun menjadi 1 hingga 3 dolar AS (sekitar 7 hingga 22 yuan) per jam.
Keluhan paling umum tentang pekerjaan teletasking adalah variabilitasnya. Jenis pekerjaan ini cukup stabil untuk menjadi pekerjaan penuh waktu jangka panjang, tetapi memiliki terlalu banyak ketidakpastian untuk mengandalkannya sepenuhnya. Annotator menghabiskan berjam-jam membaca instruksi dan menyelesaikan pelatihan pro bono hanya untuk menyelesaikan selusin tugas sebelum proyek selesai. Mungkin tidak ada tugas baru selama beberapa hari, dan kemudian, tiba-tiba, tugas yang sama sekali berbeda muncul, mungkin selama berjam-jam hingga berminggu-minggu. Misi apa pun bisa menjadi yang terakhir, dan mereka tidak pernah tahu kapan misi berikutnya akan datang.
Insinyur dan vendor data mengatakan siklus boom-and-bust ini berasal dari laju pengembangan AI. Melatih model besar memerlukan banyak anotasi, diikuti dengan pembaruan yang lebih berulang, dan teknisi ingin semua ini terjadi secepat mungkin sehingga mereka dapat memenuhi target tanggal rilis. Mereka mungkin membutuhkan ribuan anotator selama beberapa bulan, kemudian turun menjadi beberapa ratus, dan akhirnya hanya selusin ahli dari jenis tertentu. Proses ini terkadang diulang dalam siklus. “Pertanyaannya adalah, siapa yang menanggung biaya fluktuasi ini?” kata Kemitraan di Jindal AI.
Agar berhasil, anotator harus bekerja sama. Victor mulai bekerja untuk Remotask ketika dia masih mahasiswa di Nairobi, dan ketika dia diberi tahu bahwa dia mengalami masalah dengan tugas kontrol lalu lintas, dia mengatakan semua orang tahu untuk menjauh dari tugas itu: terlalu rumit, dibayar rendah, tidak sepadan. Seperti banyak komentator, Victor menggunakan grup WhatsApp tidak resmi untuk menyebarkan berita saat ada tugas bagus. Ketika dia mendapatkan ide baru, dia akan memulai rapat Google dadakan untuk menunjukkan kepada orang lain cara melakukannya. Siapa pun dapat bergabung dan bekerja sama untuk sementara waktu, berbagi kiat. "Kami telah mengembangkan budaya saling membantu karena kami tahu bahwa satu orang tidak dapat mengetahui semua triknya," katanya.
Anotator harus selalu waspada, karena pekerjaan muncul dan menghilang tanpa peringatan. Victor menemukan bahwa barang-barang sering muncul di tengah malam, jadi dia membuat kebiasaan bangun setiap tiga jam atau lebih untuk memeriksanya. Saat ada tugas, dia akan selalu begadang. Pada satu titik, dia pergi 36 jam tanpa tidur, menandai siku, lutut, dan kepala di foto orang banyak, meskipun dia tidak tahu kenapa. Di lain waktu, dia begadang terlalu lama hingga matanya merah dan bengkak.
Anotator seringkali hanya mengetahui bahwa mereka sedang melatih sistem AI untuk perusahaan di tempat lain, tetapi terkadang tabir anonimitas hilang dan ada terlalu banyak isyarat untuk merek atau chatbot yang disebutkan dalam instruksi. Seorang komentator berkata: "Saya membaca instruksinya, mencari di Google dan mengetahui bahwa saya bekerja untuk miliarder berusia 25 tahun. Jika saya menjadikan seseorang miliarder dan saya menghasilkan beberapa dolar, dan saya benar-benar menyia-nyiakan hidup saya."
Victor yang menggambarkan diri sendiri sebagai "orang yang sangat percaya" pada kecerdasan buatan, memulai pekerjaan anotasi karena dia ingin membantu mewujudkan masa depan yang sepenuhnya otomatis. Namun awal tahun ini, seseorang memposting cerita majalah Time di grup WhatsApp-nya tentang bagaimana karyawan di penyedia Sama AI dibayar kurang dari $2 per jam untuk melatih ChatGPT mengidentifikasi konten beracun. “Orang-orang marah karena perusahaan ini sangat menguntungkan dan membayar sangat sedikit,” kata Victor, yang tidak mengetahui hubungan antara Remotasks dan Scale AI sampai dia diberitahu tentang hal itu. Instruksi untuk salah satu tugas yang dia kerjakan hampir sama dengan yang digunakan oleh OpenAI, yang berarti dia mungkin juga berlatih di ChatGPT, dengan biaya sekitar $3 per jam. "
Saya ingat seseorang memposting bahwa kami akan dikenang di masa depan," katanya. Zero one menjawab: "Kami diperlakukan lebih buruk daripada infanteri. Kami tidak akan diingat di mana pun di masa depan, saya mengingatnya dengan baik. Tidak ada yang akan mengenali pekerjaan yang kita lakukan dan upaya yang kita lakukan. "
Mengidentifikasi pakaian dan memberi label pada percakapan layanan pelanggan hanyalah beberapa pekerjaan anotasi. Baru-baru ini, hal terpanas di pasaran adalah pelatih chatbot. Karena membutuhkan keahlian khusus domain atau kefasihan bahasa, dan gaji cenderung disesuaikan berdasarkan wilayah, pekerjaan cenderung membayar lebih. Jenis anotasi profesional tertentu dapat menghasilkan $50 atau lebih per jam.
Ketika seorang wanita bernama Anna sedang mencari pekerjaan di Texas, dia menemukan daftar pekerjaan online umum dan melamar. Setelah lulus ujian pengantar, dia diantar ke ruang Slack yang terdiri dari 1.500 orang tempat mereka berlatih tentang proyek yang diberi nama kode Dolphin, yang kemudian dia temukan adalah chatbot Google DeepMind Sparrow, salah satu dari banyak chatbot yang bersaing dengan ChatGPT satu. Pekerjaan Anna adalah mengobrol dengan Sparrow sepanjang hari, dan gaji per jamnya sekitar $14, ditambah bonus untuk efisiensi kerja yang tinggi, "ini jelas lebih baik daripada bekerja di supermarket lokal untuk mendapatkan $10 per jam."
05 AI menanggapi tiga kriteria: akurasi, kegunaan, dan tidak berbahaya
Dan, Ana menyukai pekerjaan itu. Dia telah membahas fiksi ilmiah, paradoks matematika, teka-teki anak-anak, dan acara TV dengan Sparrow. Terkadang, jawaban chatbot membuatnya tertawa terbahak-bahak. Terkadang, dia juga merasa tidak bisa berkata-kata. Anna berkata: "Kadang-kadang, saya benar-benar tidak tahu harus bertanya apa, jadi saya punya buku catatan kecil dengan dua halaman yang sudah tertulis di dalamnya. Saya Google topik yang menarik, jadi saya pikir saya bisa melakukan pekerjaan dengan baik. Mengatasi tujuh jam, yang tidak selalu demikian."
Setiap kali Anna meminta Sparrow, Sparrow memberikan dua respons, dan dia harus memilih yang terbaik, menciptakan apa yang disebut "data umpan balik manusia". Ketika ChatGPT memulai debutnya akhir tahun lalu, gaya percakapannya yang sangat alami dikreditkan dengan fakta bahwa ia telah dilatih pada data Internet dalam jumlah besar. Tetapi bahasa yang mendukung ChatGPT dan pesaingnya disaring melalui beberapa putaran anotasi manusia.
Sebuah tim kontraktor menulis contoh tentang bagaimana para insinyur menginginkan chatbot berperilaku, mengajukan pertanyaan dan kemudian memberikan jawaban yang benar, menjelaskan program komputer dan kemudian memberikan kode fungsional, meminta tip kriminal dan kemudian menolak dengan sopan. Setelah model dilatih dengan contoh-contoh ini, lebih banyak kontraktor diperkenalkan untuk mendorongnya dan memberi peringkat tanggapannya. Itulah yang dilakukan Ana pada Sparrow.
Tepatnya kriteria apa yang diminta oleh penilai untuk digunakan bervariasi, seperti kejujuran, suka membantu, atau hanya preferensi pribadi. Intinya adalah, mereka membuat data tentang selera manusia, dan setelah ada cukup data, para insinyur dapat melatih model kedua untuk meniru preferensi mereka dalam skala besar, mengotomatiskan proses pemeringkatan, dan melatih AI mereka untuk mengenali cara bertindak selera manusia. Hasilnya adalah robot yang sangat mirip manusia yang pada dasarnya menolak permintaan berbahaya dan menjelaskan sifat kecerdasan buatannya dengan cara yang tampaknya sadar diri.
Dengan kata lain, ChatGPT terlihat seperti manusia karena dilatih oleh AI yang meniru manusia yang bertindak seperti manusia.
Teknik ini disebut "pembelajaran penguatan dari umpan balik manusia", atau singkatnya RLHF, dan sangat efektif untuk berhenti merenungkan apa yang tidak dilakukan AI. Misalnya, ketika seorang annotator mengajarkan model untuk menjadi akurat, model tersebut tidak belajar memeriksa jawaban terhadap logika atau sumber eksternal, atau bahkan apa itu akurasi, sebagai sebuah konsep. Meskipun model masih merupakan mesin prediksi teks yang meniru pola tulisan manusia, korpus pelatihannya kini telah dilengkapi dengan contoh khusus dan model telah diberi bobot untuk mendukungnya.
Hal ini dapat menyebabkan model mengekstraksi pola dari bagian peta bahasanya yang ditandai sebagai akurat dan menghasilkan teks yang kebetulan cocok dengan kebenaran, tetapi juga dapat menyebabkannya meniru gaya percaya diri dan jargon teks akurat saat menulis sesuatu yang sama sekali salah. . Tidak ada jaminan bahwa teks yang ditandai akurat oleh anotator benar-benar akurat. Sekalipun akurat, tidak ada jaminan bahwa model tersebut telah mempelajari pola yang benar darinya.
Dinamika ini membuat chatbots anotasi tidak mudah. Itu harus ketat dan konsisten, karena umpan balik yang ceroboh, seperti menandai materi yang terdengar benar sebagai akurat, dapat membuat model yang terlatih menjadi lebih meyakinkan. OpenAI dan DeepMind menggunakan RLHF dalam proyek bersama sebelumnya, dalam hal ini, untuk melatih tangan robotik virtual untuk menggenggam suatu objek, yang ternyata juga melatih tangan robotik untuk memposisikan dan mengayunkan objek di antara objek dan penilainya. cara itu hanya akan terlihat oleh pengawas manusianya.
Memberi peringkat tanggapan model bahasa selalu agak subyektif karena ini adalah bahasa. Teks dengan panjang berapa pun dapat berisi banyak elemen yang mungkin benar, salah, atau menyesatkan. Peneliti OpenAI menghadapi rintangan ini di makalah RLHF awal lainnya. Untuk membuat model meringkas teks, para peneliti menemukan bahwa hanya 60 persen ringkasan model yang baik. "Tidak seperti banyak tugas dalam pembelajaran mesin, kueri kami tidak memiliki kebenaran dasar yang jelas," keluh mereka.
Saat Ana menilai tanggapan Sparrow, dia harus melihat keakuratan, kegunaan, dan tidak berbahayanya, sambil juga memeriksa bahwa model tersebut tidak memberikan nasihat medis atau keuangan, melakukan antropomorfisasi sendiri, atau melanggar kriteria lain. Agar berguna sebagai data pelatihan, respons model harus diurutkan secara kuantitatif: Apakah robot yang dapat memberi tahu Anda cara membuat bom "lebih baik" daripada robot tidak berbahaya yang menolak menjawab pertanyaan apa pun?
Dalam makalah DeepMind, saat pembuat Sparrow bergiliran membuat anotasi, empat peneliti memperdebatkan apakah bot mereka membuat asumsi tentang jenis kelamin pengguna yang meminta saran emosional. Menurut Geoffrey Irving, seorang ilmuwan riset di DeepMind, para peneliti perusahaan mengadakan sesi anotasi mingguan di mana mereka meninjau data itu sendiri dan mendiskusikan kasus-kasus yang ambigu. Ketika suatu kasus sangat rumit, mereka berkonsultasi dengan pakar etika atau materi pelajaran.
Anna sering menemukan bahwa dia harus memilih di antara dua pilihan yang buruk. "Bahkan jika keduanya adalah jawaban yang sangat salah, Anda masih perlu mencari tahu mana yang lebih baik dan menuliskan teks yang menjelaskan alasannya," katanya. Terkadang, jika tidak ada jawaban yang baik, dia didorong untuk memberikan jawabannya sendiri. jawaban yang lebih baik. Dia melakukan ini sekitar separuh waktu selama pelatihan.
06 Komentar semakin membutuhkan keterampilan dan keahlian khusus
Karena data umpan balik sulit dikumpulkan, harga jualnya lebih tinggi. Jenis data preferensi dasar yang dikumpulkan Ana dijual dengan harga sekitar $1 per buah, menurut orang-orang yang memiliki pengetahuan tentang industri tersebut. Tetapi jika Anda ingin melatih model untuk melakukan penelitian hukum, Anda memerlukan seseorang dengan pelatihan hukum, yang akan meningkatkan biaya. Setiap orang yang terlibat tidak akan mengungkapkan dengan tepat berapa banyak yang mereka bayarkan, tetapi secara umum, contoh tertulis profesional dapat berharga beberapa ratus dolar, sedangkan penilaian ahli dapat berharga $50 atau lebih. Seorang insinyur mengungkapkan bahwa dia pernah membayar $300 untuk sampel dialog Sokrates.
OpenAI, Microsoft, Meta, dan Anthropic tidak mengungkapkan berapa banyak orang yang menyumbangkan anotasi untuk model mereka, berapa banyak mereka dibayar, atau di mana mereka berada. Anotator yang bekerja di Sparrow dibayar setidaknya upah minimum per jam, tergantung di mana mereka berada, kata Owen dari perusahaan saudari Google DeepMind. Ana "tidak tahu apa-apa" tentang Remotask, tetapi tahu lebih banyak tentang Sparrow, mengetahui bahwa itu adalah asisten kecerdasan buatan DeepMind, yang dilatih oleh pembuatnya menggunakan RLHF.
Hingga baru-baru ini, relatif mudah untuk menemukan keluaran buruk dari model bahasa, yang tampak seperti omong kosong. Namun saat model menjadi lebih baik, ini menjadi lebih sulit, masalah yang dikenal sebagai "pengawasan yang dapat diskalakan". Penggunaan model bahasa modern Google untuk debut asisten AI-nya, Bard, secara tidak sengaja menunjukkan betapa sulitnya menemukan kesalahan dalam model bahasa modern. Lintasan ini berarti bahwa anotasi semakin membutuhkan keterampilan dan keahlian khusus.
Tahun lalu, seorang pria bernama Lewis sedang mengerjakan Mechanical Turk, dan setelah menyelesaikan tugas, dia menerima pesan yang mengundangnya untuk bergabung dengan platform yang belum pernah dia dengar. Namanya Taskup.ai, dan situsnya cukup sederhana, hanya berlatar belakang biru tua dengan teks "Bayar sesuai penggunaan". Lewis memilih untuk mendaftar.
Pekerjaan itu membayar jauh lebih baik daripada pekerjaan lain yang dia miliki sebelumnya, biasanya sekitar $30 per jam. Namun, ini juga lebih menantang, membutuhkan desain skenario yang rumit untuk mengelabui chatbot agar memberikan saran berbahaya, menguji kemampuan model untuk mempertahankan kepribadiannya sendiri, dan terlibat dalam percakapan mendetail tentang topik ilmiah yang sangat teknis dan memerlukan penelitian ekstensif. Lewis menganggap pekerjaan itu "memuaskan dan mengasyikkan". Saat memeriksa model dan mencoba mengkodekannya dengan Python, Lewis sedang belajar. Dia tidak bisa bekerja lebih dari 4 jam berturut-turut agar tidak kelelahan secara mental dan membuat kesalahan, dan dia ingin mempertahankan pekerjaannya.
Lewis berkata: "Jika ada yang bisa saya ubah, saya hanya ingin tahu lebih banyak tentang apa yang terjadi di ujung sana. Kami hanya tahu apa yang kami butuhkan untuk melakukan pekerjaan itu, tetapi jika saya tahu lebih banyak, mungkin saya bisa menyelesaikan pekerjaan itu." .pencapaian yang lebih besar, dan mungkin menganggapnya sebagai karier.”
Reporter investigasi teknologi Ziyeza mewawancarai delapan orang lainnya, sebagian besar di AS, yang memiliki pengalaman serupa menjawab survei atau menyelesaikan tugas di platform lain dan kemudian menemukan diri mereka dipekerjakan oleh Taskup.ai atau beberapa situs serupa, Seperti DataAnnotation.tech atau Gethybrid.io. Pekerjaan mereka sering kali melibatkan pelatihan chatbot, meskipun chatbot mereka memiliki kualitas yang lebih tinggi dan tujuan yang lebih terspesialisasi daripada situs lain yang pernah mereka kerjakan. Salah satunya adalah makro spreadsheet presentasi, dan yang lainnya hanya perlu melakukan percakapan dan menilai respons dengan kriteria apa pun yang dia inginkan. Dia sering mengajukan pertanyaan chatbot yang juga muncul saat mengobrol dengan putrinya yang berusia 7 tahun, seperti "Apa dinosaurus terbesar?" dan "Tulis cerita tentang harimau".
Taskup.ai, DataAnnotation.tech, dan Gethybri.io semuanya tampaknya milik perusahaan yang sama: Surge AI. Kepala eksekutifnya, Edwin Chen, tidak akan mengkonfirmasi atau menyangkal hubungan tersebut, tetapi dia bersedia berbicara tentang perusahaannya dan bagaimana dia melihat perkembangan anotasi.
“Saya selalu merasa bahwa bidang pelabelan itu sederhana,” kata Edwin, yang mendirikan Surge AI pada tahun 2020 setelah bekerja dalam penelitian AI di Google, Facebook, dan Twitter, yakin bahwa label crowdsourced tidak cukup. Edwin berkata: "Kami berharap kecerdasan buatan dapat menceritakan lelucon, menulis salinan pemasaran yang baik, atau membantu saya ketika saya membutuhkan terapi. Tetapi tidak semua orang dapat menceritakan lelucon atau menyelesaikan masalah pemrograman Python. Pola pikir berkualitas rendah dan keterampilan rendah ini berubah menjadi sesuatu lebih kaya dan menangkap keterampilan manusia, kreativitas, dan nilai-nilai yang kami ingin dimiliki oleh sistem AI."
07 Sistem pembelajaran mesin terlalu aneh untuk dipercaya sepenuhnya
Tahun lalu, Surge AI memberi label ulang kumpulan data klasifikasi Google tentang posting Reddit berdasarkan sentimen. Google menghapus konteks setiap kiriman dan mengirimkannya ke anotator di India untuk anotasi. Karyawan Surge AI yang akrab dengan budaya Internet Amerika menemukan bahwa 30% anotasi salah. Posting seperti "Hell, my bro" dikategorikan sebagai "Benci", sedangkan "McDonald's yang keren, favoritku" diklasifikasikan sebagai "Favorit".
Edwin mengatakan Surge AI memeriksa kualifikasi anotator, seperti apakah orang yang melakukan tugas menulis kreatif memiliki pengalaman dalam menulis kreatif, tetapi cara persisnya menemukan staf adalah "rahasia". Seperti Remotask, pekerja biasanya harus menyelesaikan kursus pelatihan, meskipun tidak seperti Remotask, mereka dapat dibayar untuk mengerjakan tugas selama pelatihan. Memiliki lebih sedikit, staf terlatih yang menghasilkan data berkualitas lebih tinggi memungkinkan Surge AI membayar lebih baik daripada rekan-rekannya, tetapi dia menolak untuk menjelaskan lebih lanjut, hanya mengatakan bahwa karyawan dibayar pada "tingkat yang adil dan etis." Pembuat anotasi seperti itu menghasilkan antara $15 dan $30 per jam, tetapi mereka mewakili sebagian kecil dari semua pembuat anotasi, sebuah kelompok yang sekarang berjumlah 100.000. Kerahasiaan ini bermula dari permintaan klien, jelasnya.
Pelanggan Surge AI termasuk OpenAI, Google, Microsoft, Meta, dan Anthropic. Surge AI berfokus pada umpan balik dan anotasi bahasa, dan setelah ChatGPT diluncurkan, itu menerima banyak permintaan, Edwin berkata: "Saya pikir semua orang tahu kekuatan RLHF, tetapi saya kira orang tidak memahaminya di dalam hati mereka."
Model-model baru ini sangat mengesankan sehingga menginspirasi gelombang baru prediksi bahwa anotasi akan segera diotomatisasi. Tekanan keuangan untuk melakukannya tinggi mengingat biaya yang terlibat. Anthropic, Meta, dan lainnya baru-baru ini membuat kemajuan dalam menggunakan kecerdasan buatan untuk mengurangi jumlah anotasi manusia yang diperlukan untuk memandu model, dan pengembang lain mulai menggunakan GPT-4 untuk menghasilkan data pelatihan.
Namun, sebuah makalah baru-baru ini menemukan bahwa model yang dilatih pada GPT-4 mungkin belajar meniru gaya otoritatif GPT dengan kurang akurat. Hingga saat ini, ketika peningkatan AI membuat satu bentuk pelabelan menjadi usang, kebutuhan akan jenis lain yang lebih kompleks meningkat. Perdebatan menjadi publik awal tahun ini ketika CEO Scale AI mentweet bahwa dia memperkirakan laboratorium AI akan segera menghabiskan miliaran dolar untuk data manusia, sama seperti perhitungan mereka sama seperti di atas. CEO OpenAI Sam Altman menjawab bahwa seiring kemajuan kecerdasan buatan, kebutuhan akan data akan berkurang.
Edwin ragu AI akan mencapai titik di mana umpan balik manusia tidak lagi diperlukan, tetapi dia melihat pelabelan menjadi semakin sulit seiring dengan peningkatan model. Seperti banyak peneliti, menurutnya jalan ke depan akan melibatkan sistem AI yang membantu manusia mengawasi AI lainnya. Surge AI baru-baru ini bermitra dengan Anthropic pada proof-of-concept yang membuat anotator manusia menjawab pertanyaan tentang sepotong teks yang panjang dengan bantuan asisten AI yang tidak dapat diandalkan, teorinya adalah bahwa manusia harus merasakan kelemahan asisten AI mereka dan alasan kooperatif untuk menemukannya. jawaban yang benar.
Kemungkinan lain adalah dua AI berdebat satu sama lain, dengan manusia membuat keputusan akhir. Ilmuwan riset OpenAI John Schulman mengatakan dalam pembicaraan Berkeley baru-baru ini: "Kami belum melihat potensi praktis yang sebenarnya dari hal ini, tetapi ini mulai diperlukan karena sulit bagi anotator untuk mengikuti kemajuan model."
Edwin berkata: "Saya pikir Anda akan selalu membutuhkan manusia untuk memantau apa yang dilakukan AI hanya karena mereka alien ini. Sistem pembelajaran mesin terlalu aneh untuk dipercaya sepenuhnya. Yang paling mengesankan saat ini Beberapa model kami memiliki kelemahan yang tampak sangat aneh bagi manusia. Meskipun GPT-4 dapat menghasilkan teks yang rumit dan meyakinkan, ia tidak dapat membedakan kata mana yang merupakan kata sifat."
08 ChatGPT sangat membantu alur tugas
Menjelang akhir tahun 2022, Joe mulai mendengar dari murid-muridnya bahwa daftar tugas mereka sering kali kosong. Kemudian dia mendapat email yang memberitahukan bahwa kamp pelatihan di Kenya akan ditutup. Dia melanjutkan tugas pelatihan online, tetapi dia mulai mengkhawatirkan masa depan. "
Ada indikasi bahwa ini tidak akan berlangsung lama," kata Joe. Pekerjaan anotasi akan segera meninggalkan Kenya. Dari rekan-rekan yang dia temui secara online, dia mendengar bahwa misi semacam itu sedang dikirim ke Nepal, India, dan Filipina . Joe berkata : "Perusahaan berpindah dari satu daerah ke daerah lain. Mereka tidak memiliki infrastruktur secara lokal, sehingga mereka memiliki fleksibilitas untuk pindah ke tempat yang biaya operasionalnya lebih menguntungkan bagi mereka. "
Salah satu perbedaan industri AI dari ponsel dan pembuat mobil adalah fluiditasnya. Pekerjaan ini terus berubah, diotomatisasi, dan digantikan oleh permintaan baru untuk jenis data baru. Ini adalah saluran pipa, tetapi dapat dikonfigurasi ulang secara konstan dan cepat, bergerak ke mana pun keterampilan, bandwidth, dan penggajian yang tepat tersedia.
Baru-baru ini, pekerjaan dengan bayaran tertinggi untuk tugas anotasi kembali ke Amerika Serikat. Pada bulan Mei, Scale AI mulai mencantumkan pekerjaan anotasi di situs webnya, mencari orang-orang dengan pengalaman di hampir setiap bidang yang diperkirakan akan ditaklukkan oleh AI. Beberapa dari daftar pelatih AI ini memiliki pelatihan kebugaran, sumber daya manusia, keuangan, ekonomi, ilmu data, pemrograman, ilmu komputer, kimia, biologi, akuntansi, perpajakan, nutrisi, fisika, perjalanan, pendidikan K-12, jurnalisme olahraga, dan mandiri -membantu keahlian.
Anda dapat mengajar hukum robot dan menghasilkan $45 per jam; mengajari mereka puisi dan menghasilkan $25 per jam. Situs tersebut juga mencantumkan perekrutan orang-orang dengan pengalaman keamanan, mungkin untuk membantu melatih AI militer. Scale AI baru-baru ini meluncurkan model bahasa pertahanan yang disebut Donovan, yang oleh eksekutif perusahaan disebut "amunisi dalam peperangan AI", dan memenangkan kontrak untuk mengerjakan program kendaraan tempur robotik Angkatan Darat.
Ana masih melatih chatbots di Texas. Kolega berubah menjadi komentator dan moderator Slack, dan dia tidak tahu mengapa, tapi itu memberinya harapan bahwa pekerjaan itu bisa menjadi karir jangka panjang. Satu hal yang tidak dia khawatirkan adalah pekerjaan digantikan oleh otomatisasi, katanya: "Maksud saya, chatbots dapat melakukan banyak hal menakjubkan, tetapi mereka juga dapat melakukan beberapa hal yang sangat aneh."
Ketika Remotaks pertama kali datang ke Kenya, Joe mengira anotasi mungkin merupakan karier yang bagus. Dia bertekad untuk melanjutkan pekerjaan itu bahkan setelah pindah ke tempat lain. Dia beralasan bahwa ada ribuan orang di Nairobi yang tahu bagaimana melakukan pekerjaan itu. Bagaimanapun, dia melatih banyak orang. Joe menyewa sebuah kantor di kota dan mulai mencari kontrak outsourcing: pekerjaan yang membuat anotasi cetak biru untuk sebuah perusahaan konstruksi, anotasi buah yang rusak karena serangga untuk beberapa jenis proyek pertanian, dan satu lagi untuk mobil yang bisa mengemudi sendiri. rutinitas pelabelan.
Tetapi Joe menemukan bahwa visinya sulit dicapai. Dia sekarang hanya memiliki satu karyawan tetap, turun dari dua sebelumnya. “Kami belum memiliki aliran pekerjaan yang stabil,” ujarnya. Tidak ada yang bisa dilakukan selama berminggu-minggu karena klien masih mengumpulkan data. Ketika klien selesai mengumpulkan data, dia harus membawa kontraktor jangka pendek untuk memenuhi tenggat waktu mereka: "Klien tidak peduli jika kami memiliki pekerjaan yang sedang berlangsung. Selama pelabelan kumpulan data selesai, itu akan baik-baik saja."
Agar keterampilan mereka tidak terbuang sia-sia, pelaksana tugas lainnya memutuskan ke mana tugas itu pergi, dan mereka pergi ke sana. Mereka menyewa server proxy untuk menyamarkan lokasi mereka dan membeli ID palsu untuk melewati keamanan sehingga mereka dapat berpura-pura bekerja di Singapura, Belanda, Mississippi, atau di mana pun misi mengalir. Ini adalah bisnis yang berisiko. Skala AI menjadi semakin agresif dalam menangguhkan akun yang ditemukan menyembunyikan lokasinya, menurut beberapa aktor misi. "
Kami menjadi sedikit lebih pintar akhir-akhir ini karena kami memperhatikan bahwa di negara lain, mereka membayar upah yang baik, "kata Victor. Dia bekerja di Malaysia dua kali lebih banyak daripada di Kenya, tetapi "Anda harus berhati-hati ".
Komentator Kenya lainnya mengatakan dia memutuskan untuk tidak bermain sesuai aturan setelah akunnya diblokir karena alasan misterius. Sekarang, dia menjalankan banyak akun di banyak negara, menjalankan misi dengan pendapatan tertinggi. Berkat ChatGPT, katanya bekerja cepat dan memiliki skor kualitas tinggi. Bot, katanya, sangat bagus dan memungkinkannya menyelesaikan tugas $10 dengan cepat dalam hitungan menit.
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Mengungkap "pekerja migran AI" di belakang ChatGPT: membosankan dan berulang, dibayar per potong, upah per jam serendah $1
**Sumber:**Teknologi Tencent
Abstrak: Anotator data mengklasifikasikan dan melabeli data, memungkinkan kecerdasan buatan untuk belajar dengan menemukan pola dalam data dalam jumlah besar, dan dianggap sebagai "pekerja hantu" yang tersembunyi di balik mesin. Pekerjaan anotasi adalah dasar dari kecerdasan buatan, telah membentuk seluruh rantai pasokan, dan jenis pekerjaan ini akan terus ada untuk waktu yang lama.
Fokus
Kecerdasan buatan belajar dengan mencari pola dalam data dalam jumlah besar, tetapi pertama-tama data ini harus diklasifikasikan dan diberi label oleh manusia, dan anotator data muncul, mereka dianggap sebagai "pekerja hantu" yang tersembunyi di balik mesin.
Pekerjaan annotator membosankan dan membosankan, mereka sering perlu melakukan pekerjaan berulang dan dibayar berdasarkan bagian demi bagian. Gaji rata-rata per jam adalah antara 5 dan 10 dolar AS (sekitar 36 hingga 72 yuan). Pada awal tahun ini, upah per jam beberapa komentator telah dikurangi menjadi $1 sampai $3 per jam (sekitar 7 sampai 22 yuan).
Pekerjaan anotasi masih menjadi dasar kecerdasan buatan, dan telah membentuk rantai pasokan yang lengkap. Jenis pekerjaan ini ada di sini untuk waktu yang lama.
Pekerjaan anotasi berbeda dengan manufaktur smartphone dan mobil karena mudah berubah bentuk dan mengalir, dan sering mengalir ke tempat-tempat dengan biaya pengoperasian lebih rendah.
Kemudian, pada tahun 2019, sebuah peluang muncul di hadapannya, dan Joe mulai melatih rekrutan untuk perusahaan baru yang sangat membutuhkan anotator, dengan penghasilan empat kali lipat. Setiap dua minggu, 50 karyawan baru berbaris memasuki gedung perkantoran di Nairobi untuk memulai magang mereka. Kebutuhan akan anotator sepertinya tidak ada habisnya. Mereka akan diminta untuk mengkategorikan pakaian yang mereka lihat di selfie cermin, menentukan ruangan tempat mereka berada melalui mata robot penyedot debu, dan menggambar kotak-kotak di sekitar sepeda motor yang dipindai dengan lidar. Lebih dari separuh siswa Joe biasanya keluar sebelum pelatihan selesai. "Beberapa orang tidak tahu bagaimana tinggal di satu tempat untuk waktu yang lama," jelasnya dengan lembut. Plus, akunya, "pekerjaannya membosankan."
Tapi itu pekerjaan yang bagus di tempat di mana pekerjaan langka, dan Joe telah menghasilkan ratusan lulusan. Setelah pelatihan, para peserta magang dapat kembali ke rumah dan bekerja sendiri di kamar tidur dan dapur mereka tanpa memberi tahu siapa pun apa yang sedang mereka lakukan. Itu bukan masalah sebenarnya karena mereka bahkan tidak mengerti apa yang mereka lakukan.
Memberi label objek untuk mobil self-driving itu mudah, tetapi mengklasifikasikan potongan dialog yang terdistorsi dan mengidentifikasi apakah pembicara adalah robot atau manusia penuh dengan tantangan. Setiap objek pengenalan adalah bagian kecil dari proyek yang lebih besar, jadi sulit untuk mengatakan apa sebenarnya yang mereka latih untuk dilakukan oleh AI. Nama-nama objek ini juga tidak memberikan petunjuk apa pun, Crab Generation, Whale Segment, Woodland Gyro, dan Pillbox Bratwurst semuanya adalah kode pekerjaan tanpa urutan logis.
Adapun perusahaan yang mempekerjakan mereka, kebanyakan orang hanya mengenalnya sebagai Remotasks, sebuah situs web yang menawarkan peluang kerja bagi siapa saja yang fasih berbahasa Inggris. Seperti kebanyakan anotator, Joe tidak mengetahui bahwa Remotasks adalah perusahaan tenaga kerja kontrak yang dimiliki oleh Scale AI. Scale AI adalah penyedia data Silicon Valley bernilai miliaran dolar yang kliennya meliputi startup kecerdasan buatan OpenAI dan militer A.S. Baik Remotask maupun Scale AI tidak menyebutkan satu sama lain di situs web mereka.
01 Membantu mesin dengan kemampuan unik manusia
Sebagian besar reaksi publik terhadap model bahasa besar seperti ChatGPT OpenAI berfokus pada pekerjaan yang tampaknya siap mereka otomatisasi. Tetapi bahkan sistem AI yang paling mengesankan pun membutuhkan bantuan dari manusia, yang melatihnya dengan memberi label pada data dan mengambil tindakan saat tercampur. Hanya perusahaan yang mampu membeli data yang dapat bersaing di industri ini, dan perusahaan yang mendapatkan data akan berusaha keras untuk merahasiakannya. Hasilnya adalah, kecuali beberapa orang, kita mengetahui sangat sedikit tentang informasi yang memengaruhi perilaku sistem ini, dan bahkan lebih sedikit lagi tentang orang-orang di balik perilaku yang membentuknya.
Bagi siswa Joe, ini adalah pekerjaan yang dilucuti dari semua kemiripan normal: Mereka diharapkan untuk mengikuti jadwal yang ketat dan tidak perlu tahu apa yang mereka lakukan, atau untuk siapa mereka bekerja. Nyatanya, mereka jarang menyebut diri mereka bekerja, hanya “tugas” rutin. Mereka menyebut diri mereka pekerja tugas.
Antropolog David Graeber telah mendefinisikan apa yang disebut "pekerjaan omong kosong" —pekerjaan yang tidak memiliki arti atau tujuan. Ini adalah pekerjaan yang harus diotomatisasi, tetapi tidak, karena alasan birokrasi, status, atau kelembaman. Pekerjaan pelatihan kecerdasan buatan serupa: pekerjaan yang ingin diotomatisasi orang, umumnya dianggap otomatis, tetapi tetap membutuhkan manusia untuk berpartisipasi. Tugas-tugas ini memiliki tujuan khusus, tetapi anotator tidak menyadarinya.
Ledakan AI saat ini dimulai dengan pekerjaan berulang yang agak membosankan ini. Pada awal 2007, Fei-Fei Li, seorang peneliti kecerdasan buatan yang saat itu menjadi profesor di Universitas Princeton, menduga bahwa kunci untuk meningkatkan jaringan saraf untuk pengenalan gambar adalah melatih lebih banyak data, yang membutuhkan jutaan gambar berlabel daripada puluhan ribu. Masalahnya adalah, timnya membutuhkan waktu puluhan tahun dan jutaan dolar untuk menandai banyak foto itu.
Fei-Fei Li menemukan ribuan pekerja di platform crowdsourcing Amazon, Mechanical Turk, tempat orang di seluruh dunia menyelesaikan tugas kecil dengan murah. Kumpulan data berlabel yang dihasilkan, dikenal sebagai ImageNet, memungkinkan terobosan besar dalam pembelajaran mesin, menghidupkan kembali bidang ini, dan mengantar kemajuan dekade terakhir.
Anotasi tetap menjadi bagian penting dalam pengembangan AI, tetapi para insinyur sering merasa bahwa ini adalah prasyarat singkat dan tidak praktis untuk pekerjaan pemodelan yang lebih glamor. Anda dapat mengumpulkan sebanyak mungkin data berlabel semurah mungkin untuk melatih model Anda sendiri, dan jika Anda dapat melakukannya, setidaknya secara teori, Anda tidak memerlukan anotator lagi. Namun, pekerjaan anotasi tidak pernah benar-benar selesai. Para peneliti berpendapat bahwa sistem pembelajaran mesin "rapuh" dan rentan terhadap kegagalan ketika menghadapi hal-hal dalam data pelatihan yang tidak dijelaskan dengan baik. Kegagalan ini dikenal sebagai "kasus tepi" dan dapat menimbulkan konsekuensi serius.
Pada tahun 2018, sebuah mobil uji swakemudi dari perusahaan tumpangan Uber membunuh seorang wanita karena, meskipun diprogram untuk menghindari pengendara sepeda dan pejalan kaki, ia tidak tahu apa yang harus dilakukan dengan pengendara sepeda yang menyeberang jalan. Karena semakin banyak sistem AI memberikan nasihat hukum dan bantuan medis, semakin banyak kasus yang mereka hadapi, membutuhkan lebih banyak manusia untuk menyelesaikannya. Ini telah melahirkan industri global orang-orang seperti Joe yang menggunakan kemampuan unik manusia untuk membantu mesin.
Selama enam bulan terakhir, reporter investigasi teknologi Josh Dzieza telah berbicara dengan lebih dari dua lusin anotator dari seluruh dunia, banyak di antaranya melatih chatbot mutakhir, tetapi juga banyak yang melakukan pekerjaan fisik biasa yang diperlukan untuk menjaga agar AI tetap berjalan . Beberapa telah membuat katalog konten emosional video TikTok, variasi baru spam, dan iklan online yang tidak pantas. Yang lain melihat transaksi kartu kredit dan mencari tahu jenis pembelian yang terkait dengannya, atau melihat rekomendasi e-niaga dan memutuskan apakah Anda benar-benar akan menyukai baju itu setelah membeli yang lain.
Manusia mengoreksi kesalahan chatbot layanan pelanggan, mendengarkan permintaan dari asisten cerdas Amazon Alexa, dan mengkategorikan emosi orang dalam panggilan video. Mereka memberi label makanan agar lemari es pintar tidak bingung dengan kemasan baru, memeriksa kamera keamanan otomatis sebelum membunyikan alarm, dan membantu traktor otonom yang bingung mengidentifikasi jagung.
02 Komentar adalah bisnis besar, menelurkan "miliarder swadaya termuda"
"Ini adalah rantai pasokan yang lengkap," kata Sonam Jindal, direktur program dan penelitian di Kemitraan nirlaba tentang AI. "Persepsi umum dalam industri ini adalah bahwa pekerjaan ini bukan bagian penting dari pengembangan teknologi, ini bukan bagian penting dari perkembangan teknologi." Akan makmur untuk waktu yang lama. Semua kegembiraan menyebar seputar membangun AI, dan begitu kita membangunnya, anotasi tidak lagi diperlukan, jadi mengapa repot-repot memikirkannya? Tapi pelabelan data adalah dasar dari AI, seperti halnya manusia Sebanyak kecerdasan adalah fondasi AI, kita perlu melihat ini sebagai pekerjaan nyata dalam ekonomi AI yang akan bertahan untuk waktu yang lama."
Vendor data di balik nama-nama yang sudah dikenal seperti OpenAI, Google, dan Microsoft hadir dalam berbagai penyamaran. Ada juga perusahaan outsourcing swasta dengan kantor seperti pusat panggilan, seperti CloudFactory di Kenya dan Nepal, di mana Joe mengerjakan anotasi seharga $1,20 per jam sebelum beralih ke Remotask.
Ada juga situs "crowdworker" seperti Mechanical Turk dan Clickworker, di mana setiap orang dapat mendaftar untuk menyelesaikan tugas. Di tengah adalah layanan seperti Scale AI. Siapa pun dapat mendaftar, tetapi setiap orang harus lulus ujian kualifikasi, kursus pelatihan, dan dipantau kinerjanya. Anotasi adalah bisnis besar. Scale AI, didirikan pada tahun 2016 oleh Alexander Wang yang saat itu berusia 19 tahun, bernilai $7,3 miliar pada tahun 2021, menjadikannya salah satu miliarder swadaya termuda Forbes.
Mengingat hal ini, tidak ada cara untuk memberikan perkiraan terperinci tentang jumlah orang yang bekerja di anotasi, tetapi yang pasti jumlahnya banyak dan berkembang pesat. Google Research baru-baru ini menerbitkan sebuah makalah yang memberikan perkiraan samar tentang jumlah annotator di "jutaan" dan mungkin "miliaran" di masa mendatang.
Otomasi sering datang dengan cara yang tidak terduga. Erik Duhaime, CEO Centaur Labs, sebuah perusahaan anotasi data medis, mengingat bahwa beberapa tahun yang lalu, beberapa insinyur pembelajaran mesin terkemuka meramalkan bahwa kecerdasan buatan akan menggantikan ahli radiologi. Ketika itu tidak terjadi, kebijaksanaan konvensional beralih ke ahli radiologi yang menggunakan AI sebagai alat.
Tak satu pun dari hal-hal itu terjadi, menurut Duheim. Kecerdasan buatan sangat bagus dalam tugas-tugas tertentu, yang mendorong pekerjaan untuk dipecah dan ditugaskan ke sistem algoritmik khusus dan manusia yang sama-sama terspesialisasi. Misalnya, katanya, sistem AI mungkin bisa mendeteksi kanker, tetapi hanya pada jenis mesin tertentu, pada jenis gambar tertentu. Jadi, Anda membutuhkan seseorang untuk membantu memeriksa apakah AI diberi jenis data yang benar, dan mungkin orang lain untuk memeriksa apakah itu berfungsi sebelum menyerahkannya ke AI lain untuk menulis laporan dan akhirnya ke manusia. "AI tidak akan menggantikan pekerjaan manusia, tetapi itu mengubah cara pekerjaan diatur," kata Duheim.
Jika Anda menganggap kecerdasan buatan sebagai mesin yang cerdas dan berpikir, Anda mungkin mengabaikan manusia di belakangnya. Du Haimei percaya bahwa dampak kecerdasan buatan pada pekerjaan modern adalah seperti transisi dari pengrajin ke manufaktur industri: proses yang koheren dipecah menjadi tugas-tugas kecil, diatur di sepanjang jalur perakitan, beberapa langkah diselesaikan oleh mesin, beberapa oleh manusia, tetapi itu berbeda dari yang sebelumnya. Situasinya sangat berbeda.
Kekhawatiran tentang gangguan AI sering dilawan dengan mengatakan bahwa AI mengotomatiskan tugas tertentu, bukan seluruh pekerjaan. Tugas-tugas ini seringkali membosankan dan menjemukan, membuat orang mengejar pekerjaan manusia yang lebih memuaskan. Tapi mungkin juga kebangkitan kecerdasan buatan juga akan terlihat seperti teknologi hemat tenaga kerja di masa lalu, mungkin seperti telepon atau mesin tik, yang menghilangkan kerepotan menyampaikan pesan dan tulisan tangan, tetapi menghasilkan lebih banyak informasi tentang komunikasi, perdagangan dan Sedemikian rupa sehingga kantor baru yang dikelola dengan tipe pekerja baru, juru tulis, akuntan, juru ketik, dll., diperlukan untuk mengelolanya. Anda mungkin tidak kehilangan pekerjaan saat AI bergabung dengan pekerjaan Anda, tetapi itu mungkin menjadi asing, lebih terisolasi, dan lebih membosankan.
03 Menyederhanakan realitas kompleks menjadi sesuatu yang dapat dibaca mesin
Awal tahun ini, jurnalis Ziyeza mendaftar untuk pekerjaan di Remotaks. Prosesnya sederhana. Anda hanya perlu memasukkan spesifikasi komputer, kecepatan jaringan, dan informasi kontak dasar untuk masuk ke "Pusat Pelatihan". Untuk mendapatkan tugas berbayar, Ziyeza pertama-tama harus menyelesaikan kursus pengantar yang relevan, tetapi tidak berbayar. Pusat pelatihan memamerkan serangkaian kelas dengan nama yang tidak dapat dipahami seperti Pakaian Renang Lem dan Poster Hawaii. Zieza mengklik sesuatu yang disebut GFD Chunking, yang mengharuskan pakaian diberi tag di foto media sosial.
Di luar itu, ada instruksi untuk tugas-tugas seperti harus memberi label pada item yang nyata, dapat dipakai oleh manusia, atau dimaksudkan untuk dipakai oleh orang sungguhan. Percaya diri dengan kemampuannya untuk membedakan pakaian asli yang bisa dikenakan orang sungguhan dari pakaian palsu yang tidak bisa dikenakan orang sungguhan, Ziyeza berangkat untuk mengujinya. Namun, dia langsung dipukul di kepala: komputer memberikan gambar majalah seorang wanita dengan rok. Haruskah foto pakaian dianggap sebagai pakaian asli? Tidak, pikir Ziyeza, karena orang tidak bisa memakai gambar pakaian. Hasilnya menunjukkan kesalahan! Karena di mata kecerdasan buatan, foto baju asli setara dengan baju asli.
Gambar berikut adalah seorang wanita mengambil selfie di cermin ukuran penuh di kamar tidur remang-remang. Baju dan celana pendek yang dia kenakan adalah pakaian asli, dan apakah pantulan dari pakaian itu asli? Ziyeza juga memberikan jawaban negatif, tetapi sistem kecerdasan buatan percaya bahwa pantulan pakaian asli juga harus berupa pakaian asli.
Milagros Miceli, seorang peneliti yang mengerjakan data di Institut Weizenbaum di Jerman, mengatakan ada kebingungan yang meluas di seluruh industri. Sebagian, ini adalah produk dari cara sistem pembelajaran mesin belajar. Manusia hanya membutuhkan beberapa contoh untuk memahami konsep "kemeja", sedangkan program pembelajaran mesin membutuhkan ribuan contoh, dan mereka perlu melakukannya dengan konsistensi yang sempurna dan variasi yang cukup (kaos polo, kemeja untuk pakaian luar ruangan, kemeja yang digantung di rak) sehingga sistem dapat menangani keragaman dunia nyata. "Bayangkan kita perlu mereduksi realitas kompleks menjadi sesuatu yang bisa dibaca oleh mesin kikuk," kata Miselli.
Untuk mesin, tindakan menyederhanakan realitas menimbulkan kompleksitas yang sangat besar. Penulis instruksi harus membuat aturan yang memungkinkan manusia mengklasifikasikan dunia dengan konsistensi yang sempurna. Untuk melakukan ini, mereka sering membuat kategori yang tidak akan digunakan manusia. Jika seseorang diminta untuk memberi label pada semua baju dalam sebuah foto, mereka mungkin tidak memberi label pada baju di cermin karena mereka tahu itu pantulan dan bukan pakaian sebenarnya. Tapi untuk AI yang tidak mengerti dunia nyata, itu hanya piksel, keduanya persis sama. Jika beberapa kaos dalam kumpulan data diberi label dan kaos lain yang dicerminkan tidak, maka model tidak akan bekerja. Jadi insinyur tersebut kembali ke pemasok dengan informasi terbaru dan meminta untuk memberi label pada kemeja yang terpantul di cermin. Segera, Anda akan memiliki panduan 43 halaman lainnya, semuanya dengan huruf kapital berwarna merah.
Tugas seorang annotator biasanya mengesampingkan pemahaman manusia dan mengikuti instruksi dengan sangat, sangat ketat. Seperti yang dikatakan seorang komentator, berpikirlah seperti robot. Ini adalah ruang mental yang aneh di mana Anda melakukan yang terbaik untuk mengikuti aturan yang konyol namun ketat, seperti mengikuti tes standar saat menggunakan halusinogen. Anotator selalu memiliki pertanyaan yang membingungkan seperti, apakah ini baju merah bergaris putih atau kemeja putih bergaris merah? Jika mangkuk anyaman diisi dengan apel, apakah itu "mangkuk dekoratif"? Apa warna cetakan macan tutul? Setiap pertanyaan harus dijawab, dan satu tebakan yang salah bisa membuat Anda dilarang dan memulai misi baru yang sama sekali berbeda dengan aturannya sendiri yang membingungkan.
04 Bayar per potong, periksa tugas setiap tiga jam
Sebagian besar pekerjaan di Remotask dibayar berdasarkan bagian demi bagian, dengan penghasilan mulai dari beberapa sen hingga beberapa dolar untuk satu tugas. Karena tugas mungkin membutuhkan beberapa detik atau jam untuk diselesaikan, gaji sulit diprediksi. Ketika Remotaks pertama kali datang ke Kenya, komentator mengatakan bayarannya relatif baik. Itu rata-rata sekitar $5 hingga $10 per jam, tergantung tugasnya. Tapi lama kelamaan gajinya turun.
Keluhan paling umum tentang pekerjaan teletasking adalah variabilitasnya. Jenis pekerjaan ini cukup stabil untuk menjadi pekerjaan penuh waktu jangka panjang, tetapi memiliki terlalu banyak ketidakpastian untuk mengandalkannya sepenuhnya. Annotator menghabiskan berjam-jam membaca instruksi dan menyelesaikan pelatihan pro bono hanya untuk menyelesaikan selusin tugas sebelum proyek selesai. Mungkin tidak ada tugas baru selama beberapa hari, dan kemudian, tiba-tiba, tugas yang sama sekali berbeda muncul, mungkin selama berjam-jam hingga berminggu-minggu. Misi apa pun bisa menjadi yang terakhir, dan mereka tidak pernah tahu kapan misi berikutnya akan datang.
Insinyur dan vendor data mengatakan siklus boom-and-bust ini berasal dari laju pengembangan AI. Melatih model besar memerlukan banyak anotasi, diikuti dengan pembaruan yang lebih berulang, dan teknisi ingin semua ini terjadi secepat mungkin sehingga mereka dapat memenuhi target tanggal rilis. Mereka mungkin membutuhkan ribuan anotator selama beberapa bulan, kemudian turun menjadi beberapa ratus, dan akhirnya hanya selusin ahli dari jenis tertentu. Proses ini terkadang diulang dalam siklus. “Pertanyaannya adalah, siapa yang menanggung biaya fluktuasi ini?” kata Kemitraan di Jindal AI.
Agar berhasil, anotator harus bekerja sama. Victor mulai bekerja untuk Remotask ketika dia masih mahasiswa di Nairobi, dan ketika dia diberi tahu bahwa dia mengalami masalah dengan tugas kontrol lalu lintas, dia mengatakan semua orang tahu untuk menjauh dari tugas itu: terlalu rumit, dibayar rendah, tidak sepadan. Seperti banyak komentator, Victor menggunakan grup WhatsApp tidak resmi untuk menyebarkan berita saat ada tugas bagus. Ketika dia mendapatkan ide baru, dia akan memulai rapat Google dadakan untuk menunjukkan kepada orang lain cara melakukannya. Siapa pun dapat bergabung dan bekerja sama untuk sementara waktu, berbagi kiat. "Kami telah mengembangkan budaya saling membantu karena kami tahu bahwa satu orang tidak dapat mengetahui semua triknya," katanya.
Anotator harus selalu waspada, karena pekerjaan muncul dan menghilang tanpa peringatan. Victor menemukan bahwa barang-barang sering muncul di tengah malam, jadi dia membuat kebiasaan bangun setiap tiga jam atau lebih untuk memeriksanya. Saat ada tugas, dia akan selalu begadang. Pada satu titik, dia pergi 36 jam tanpa tidur, menandai siku, lutut, dan kepala di foto orang banyak, meskipun dia tidak tahu kenapa. Di lain waktu, dia begadang terlalu lama hingga matanya merah dan bengkak.
Anotator seringkali hanya mengetahui bahwa mereka sedang melatih sistem AI untuk perusahaan di tempat lain, tetapi terkadang tabir anonimitas hilang dan ada terlalu banyak isyarat untuk merek atau chatbot yang disebutkan dalam instruksi. Seorang komentator berkata: "Saya membaca instruksinya, mencari di Google dan mengetahui bahwa saya bekerja untuk miliarder berusia 25 tahun. Jika saya menjadikan seseorang miliarder dan saya menghasilkan beberapa dolar, dan saya benar-benar menyia-nyiakan hidup saya."
Victor yang menggambarkan diri sendiri sebagai "orang yang sangat percaya" pada kecerdasan buatan, memulai pekerjaan anotasi karena dia ingin membantu mewujudkan masa depan yang sepenuhnya otomatis. Namun awal tahun ini, seseorang memposting cerita majalah Time di grup WhatsApp-nya tentang bagaimana karyawan di penyedia Sama AI dibayar kurang dari $2 per jam untuk melatih ChatGPT mengidentifikasi konten beracun. “Orang-orang marah karena perusahaan ini sangat menguntungkan dan membayar sangat sedikit,” kata Victor, yang tidak mengetahui hubungan antara Remotasks dan Scale AI sampai dia diberitahu tentang hal itu. Instruksi untuk salah satu tugas yang dia kerjakan hampir sama dengan yang digunakan oleh OpenAI, yang berarti dia mungkin juga berlatih di ChatGPT, dengan biaya sekitar $3 per jam. "
Saya ingat seseorang memposting bahwa kami akan dikenang di masa depan," katanya. Zero one menjawab: "Kami diperlakukan lebih buruk daripada infanteri. Kami tidak akan diingat di mana pun di masa depan, saya mengingatnya dengan baik. Tidak ada yang akan mengenali pekerjaan yang kita lakukan dan upaya yang kita lakukan. "
Mengidentifikasi pakaian dan memberi label pada percakapan layanan pelanggan hanyalah beberapa pekerjaan anotasi. Baru-baru ini, hal terpanas di pasaran adalah pelatih chatbot. Karena membutuhkan keahlian khusus domain atau kefasihan bahasa, dan gaji cenderung disesuaikan berdasarkan wilayah, pekerjaan cenderung membayar lebih. Jenis anotasi profesional tertentu dapat menghasilkan $50 atau lebih per jam.
Ketika seorang wanita bernama Anna sedang mencari pekerjaan di Texas, dia menemukan daftar pekerjaan online umum dan melamar. Setelah lulus ujian pengantar, dia diantar ke ruang Slack yang terdiri dari 1.500 orang tempat mereka berlatih tentang proyek yang diberi nama kode Dolphin, yang kemudian dia temukan adalah chatbot Google DeepMind Sparrow, salah satu dari banyak chatbot yang bersaing dengan ChatGPT satu. Pekerjaan Anna adalah mengobrol dengan Sparrow sepanjang hari, dan gaji per jamnya sekitar $14, ditambah bonus untuk efisiensi kerja yang tinggi, "ini jelas lebih baik daripada bekerja di supermarket lokal untuk mendapatkan $10 per jam."
05 AI menanggapi tiga kriteria: akurasi, kegunaan, dan tidak berbahaya
Dan, Ana menyukai pekerjaan itu. Dia telah membahas fiksi ilmiah, paradoks matematika, teka-teki anak-anak, dan acara TV dengan Sparrow. Terkadang, jawaban chatbot membuatnya tertawa terbahak-bahak. Terkadang, dia juga merasa tidak bisa berkata-kata. Anna berkata: "Kadang-kadang, saya benar-benar tidak tahu harus bertanya apa, jadi saya punya buku catatan kecil dengan dua halaman yang sudah tertulis di dalamnya. Saya Google topik yang menarik, jadi saya pikir saya bisa melakukan pekerjaan dengan baik. Mengatasi tujuh jam, yang tidak selalu demikian."
Setiap kali Anna meminta Sparrow, Sparrow memberikan dua respons, dan dia harus memilih yang terbaik, menciptakan apa yang disebut "data umpan balik manusia". Ketika ChatGPT memulai debutnya akhir tahun lalu, gaya percakapannya yang sangat alami dikreditkan dengan fakta bahwa ia telah dilatih pada data Internet dalam jumlah besar. Tetapi bahasa yang mendukung ChatGPT dan pesaingnya disaring melalui beberapa putaran anotasi manusia.
Sebuah tim kontraktor menulis contoh tentang bagaimana para insinyur menginginkan chatbot berperilaku, mengajukan pertanyaan dan kemudian memberikan jawaban yang benar, menjelaskan program komputer dan kemudian memberikan kode fungsional, meminta tip kriminal dan kemudian menolak dengan sopan. Setelah model dilatih dengan contoh-contoh ini, lebih banyak kontraktor diperkenalkan untuk mendorongnya dan memberi peringkat tanggapannya. Itulah yang dilakukan Ana pada Sparrow.
Tepatnya kriteria apa yang diminta oleh penilai untuk digunakan bervariasi, seperti kejujuran, suka membantu, atau hanya preferensi pribadi. Intinya adalah, mereka membuat data tentang selera manusia, dan setelah ada cukup data, para insinyur dapat melatih model kedua untuk meniru preferensi mereka dalam skala besar, mengotomatiskan proses pemeringkatan, dan melatih AI mereka untuk mengenali cara bertindak selera manusia. Hasilnya adalah robot yang sangat mirip manusia yang pada dasarnya menolak permintaan berbahaya dan menjelaskan sifat kecerdasan buatannya dengan cara yang tampaknya sadar diri.
Dengan kata lain, ChatGPT terlihat seperti manusia karena dilatih oleh AI yang meniru manusia yang bertindak seperti manusia.
Hal ini dapat menyebabkan model mengekstraksi pola dari bagian peta bahasanya yang ditandai sebagai akurat dan menghasilkan teks yang kebetulan cocok dengan kebenaran, tetapi juga dapat menyebabkannya meniru gaya percaya diri dan jargon teks akurat saat menulis sesuatu yang sama sekali salah. . Tidak ada jaminan bahwa teks yang ditandai akurat oleh anotator benar-benar akurat. Sekalipun akurat, tidak ada jaminan bahwa model tersebut telah mempelajari pola yang benar darinya.
Dinamika ini membuat chatbots anotasi tidak mudah. Itu harus ketat dan konsisten, karena umpan balik yang ceroboh, seperti menandai materi yang terdengar benar sebagai akurat, dapat membuat model yang terlatih menjadi lebih meyakinkan. OpenAI dan DeepMind menggunakan RLHF dalam proyek bersama sebelumnya, dalam hal ini, untuk melatih tangan robotik virtual untuk menggenggam suatu objek, yang ternyata juga melatih tangan robotik untuk memposisikan dan mengayunkan objek di antara objek dan penilainya. cara itu hanya akan terlihat oleh pengawas manusianya.
Memberi peringkat tanggapan model bahasa selalu agak subyektif karena ini adalah bahasa. Teks dengan panjang berapa pun dapat berisi banyak elemen yang mungkin benar, salah, atau menyesatkan. Peneliti OpenAI menghadapi rintangan ini di makalah RLHF awal lainnya. Untuk membuat model meringkas teks, para peneliti menemukan bahwa hanya 60 persen ringkasan model yang baik. "Tidak seperti banyak tugas dalam pembelajaran mesin, kueri kami tidak memiliki kebenaran dasar yang jelas," keluh mereka.
Saat Ana menilai tanggapan Sparrow, dia harus melihat keakuratan, kegunaan, dan tidak berbahayanya, sambil juga memeriksa bahwa model tersebut tidak memberikan nasihat medis atau keuangan, melakukan antropomorfisasi sendiri, atau melanggar kriteria lain. Agar berguna sebagai data pelatihan, respons model harus diurutkan secara kuantitatif: Apakah robot yang dapat memberi tahu Anda cara membuat bom "lebih baik" daripada robot tidak berbahaya yang menolak menjawab pertanyaan apa pun?
Dalam makalah DeepMind, saat pembuat Sparrow bergiliran membuat anotasi, empat peneliti memperdebatkan apakah bot mereka membuat asumsi tentang jenis kelamin pengguna yang meminta saran emosional. Menurut Geoffrey Irving, seorang ilmuwan riset di DeepMind, para peneliti perusahaan mengadakan sesi anotasi mingguan di mana mereka meninjau data itu sendiri dan mendiskusikan kasus-kasus yang ambigu. Ketika suatu kasus sangat rumit, mereka berkonsultasi dengan pakar etika atau materi pelajaran.
Anna sering menemukan bahwa dia harus memilih di antara dua pilihan yang buruk. "Bahkan jika keduanya adalah jawaban yang sangat salah, Anda masih perlu mencari tahu mana yang lebih baik dan menuliskan teks yang menjelaskan alasannya," katanya. Terkadang, jika tidak ada jawaban yang baik, dia didorong untuk memberikan jawabannya sendiri. jawaban yang lebih baik. Dia melakukan ini sekitar separuh waktu selama pelatihan.
06 Komentar semakin membutuhkan keterampilan dan keahlian khusus
Karena data umpan balik sulit dikumpulkan, harga jualnya lebih tinggi. Jenis data preferensi dasar yang dikumpulkan Ana dijual dengan harga sekitar $1 per buah, menurut orang-orang yang memiliki pengetahuan tentang industri tersebut. Tetapi jika Anda ingin melatih model untuk melakukan penelitian hukum, Anda memerlukan seseorang dengan pelatihan hukum, yang akan meningkatkan biaya. Setiap orang yang terlibat tidak akan mengungkapkan dengan tepat berapa banyak yang mereka bayarkan, tetapi secara umum, contoh tertulis profesional dapat berharga beberapa ratus dolar, sedangkan penilaian ahli dapat berharga $50 atau lebih. Seorang insinyur mengungkapkan bahwa dia pernah membayar $300 untuk sampel dialog Sokrates.
OpenAI, Microsoft, Meta, dan Anthropic tidak mengungkapkan berapa banyak orang yang menyumbangkan anotasi untuk model mereka, berapa banyak mereka dibayar, atau di mana mereka berada. Anotator yang bekerja di Sparrow dibayar setidaknya upah minimum per jam, tergantung di mana mereka berada, kata Owen dari perusahaan saudari Google DeepMind. Ana "tidak tahu apa-apa" tentang Remotask, tetapi tahu lebih banyak tentang Sparrow, mengetahui bahwa itu adalah asisten kecerdasan buatan DeepMind, yang dilatih oleh pembuatnya menggunakan RLHF.
Hingga baru-baru ini, relatif mudah untuk menemukan keluaran buruk dari model bahasa, yang tampak seperti omong kosong. Namun saat model menjadi lebih baik, ini menjadi lebih sulit, masalah yang dikenal sebagai "pengawasan yang dapat diskalakan". Penggunaan model bahasa modern Google untuk debut asisten AI-nya, Bard, secara tidak sengaja menunjukkan betapa sulitnya menemukan kesalahan dalam model bahasa modern. Lintasan ini berarti bahwa anotasi semakin membutuhkan keterampilan dan keahlian khusus.
Tahun lalu, seorang pria bernama Lewis sedang mengerjakan Mechanical Turk, dan setelah menyelesaikan tugas, dia menerima pesan yang mengundangnya untuk bergabung dengan platform yang belum pernah dia dengar. Namanya Taskup.ai, dan situsnya cukup sederhana, hanya berlatar belakang biru tua dengan teks "Bayar sesuai penggunaan". Lewis memilih untuk mendaftar.
Pekerjaan itu membayar jauh lebih baik daripada pekerjaan lain yang dia miliki sebelumnya, biasanya sekitar $30 per jam. Namun, ini juga lebih menantang, membutuhkan desain skenario yang rumit untuk mengelabui chatbot agar memberikan saran berbahaya, menguji kemampuan model untuk mempertahankan kepribadiannya sendiri, dan terlibat dalam percakapan mendetail tentang topik ilmiah yang sangat teknis dan memerlukan penelitian ekstensif. Lewis menganggap pekerjaan itu "memuaskan dan mengasyikkan". Saat memeriksa model dan mencoba mengkodekannya dengan Python, Lewis sedang belajar. Dia tidak bisa bekerja lebih dari 4 jam berturut-turut agar tidak kelelahan secara mental dan membuat kesalahan, dan dia ingin mempertahankan pekerjaannya.
Lewis berkata: "Jika ada yang bisa saya ubah, saya hanya ingin tahu lebih banyak tentang apa yang terjadi di ujung sana. Kami hanya tahu apa yang kami butuhkan untuk melakukan pekerjaan itu, tetapi jika saya tahu lebih banyak, mungkin saya bisa menyelesaikan pekerjaan itu." .pencapaian yang lebih besar, dan mungkin menganggapnya sebagai karier.”
Reporter investigasi teknologi Ziyeza mewawancarai delapan orang lainnya, sebagian besar di AS, yang memiliki pengalaman serupa menjawab survei atau menyelesaikan tugas di platform lain dan kemudian menemukan diri mereka dipekerjakan oleh Taskup.ai atau beberapa situs serupa, Seperti DataAnnotation.tech atau Gethybrid.io. Pekerjaan mereka sering kali melibatkan pelatihan chatbot, meskipun chatbot mereka memiliki kualitas yang lebih tinggi dan tujuan yang lebih terspesialisasi daripada situs lain yang pernah mereka kerjakan. Salah satunya adalah makro spreadsheet presentasi, dan yang lainnya hanya perlu melakukan percakapan dan menilai respons dengan kriteria apa pun yang dia inginkan. Dia sering mengajukan pertanyaan chatbot yang juga muncul saat mengobrol dengan putrinya yang berusia 7 tahun, seperti "Apa dinosaurus terbesar?" dan "Tulis cerita tentang harimau".
Taskup.ai, DataAnnotation.tech, dan Gethybri.io semuanya tampaknya milik perusahaan yang sama: Surge AI. Kepala eksekutifnya, Edwin Chen, tidak akan mengkonfirmasi atau menyangkal hubungan tersebut, tetapi dia bersedia berbicara tentang perusahaannya dan bagaimana dia melihat perkembangan anotasi.
“Saya selalu merasa bahwa bidang pelabelan itu sederhana,” kata Edwin, yang mendirikan Surge AI pada tahun 2020 setelah bekerja dalam penelitian AI di Google, Facebook, dan Twitter, yakin bahwa label crowdsourced tidak cukup. Edwin berkata: "Kami berharap kecerdasan buatan dapat menceritakan lelucon, menulis salinan pemasaran yang baik, atau membantu saya ketika saya membutuhkan terapi. Tetapi tidak semua orang dapat menceritakan lelucon atau menyelesaikan masalah pemrograman Python. Pola pikir berkualitas rendah dan keterampilan rendah ini berubah menjadi sesuatu lebih kaya dan menangkap keterampilan manusia, kreativitas, dan nilai-nilai yang kami ingin dimiliki oleh sistem AI."
07 Sistem pembelajaran mesin terlalu aneh untuk dipercaya sepenuhnya
Tahun lalu, Surge AI memberi label ulang kumpulan data klasifikasi Google tentang posting Reddit berdasarkan sentimen. Google menghapus konteks setiap kiriman dan mengirimkannya ke anotator di India untuk anotasi. Karyawan Surge AI yang akrab dengan budaya Internet Amerika menemukan bahwa 30% anotasi salah. Posting seperti "Hell, my bro" dikategorikan sebagai "Benci", sedangkan "McDonald's yang keren, favoritku" diklasifikasikan sebagai "Favorit".
Edwin mengatakan Surge AI memeriksa kualifikasi anotator, seperti apakah orang yang melakukan tugas menulis kreatif memiliki pengalaman dalam menulis kreatif, tetapi cara persisnya menemukan staf adalah "rahasia". Seperti Remotask, pekerja biasanya harus menyelesaikan kursus pelatihan, meskipun tidak seperti Remotask, mereka dapat dibayar untuk mengerjakan tugas selama pelatihan. Memiliki lebih sedikit, staf terlatih yang menghasilkan data berkualitas lebih tinggi memungkinkan Surge AI membayar lebih baik daripada rekan-rekannya, tetapi dia menolak untuk menjelaskan lebih lanjut, hanya mengatakan bahwa karyawan dibayar pada "tingkat yang adil dan etis." Pembuat anotasi seperti itu menghasilkan antara $15 dan $30 per jam, tetapi mereka mewakili sebagian kecil dari semua pembuat anotasi, sebuah kelompok yang sekarang berjumlah 100.000. Kerahasiaan ini bermula dari permintaan klien, jelasnya.
Model-model baru ini sangat mengesankan sehingga menginspirasi gelombang baru prediksi bahwa anotasi akan segera diotomatisasi. Tekanan keuangan untuk melakukannya tinggi mengingat biaya yang terlibat. Anthropic, Meta, dan lainnya baru-baru ini membuat kemajuan dalam menggunakan kecerdasan buatan untuk mengurangi jumlah anotasi manusia yang diperlukan untuk memandu model, dan pengembang lain mulai menggunakan GPT-4 untuk menghasilkan data pelatihan.
Namun, sebuah makalah baru-baru ini menemukan bahwa model yang dilatih pada GPT-4 mungkin belajar meniru gaya otoritatif GPT dengan kurang akurat. Hingga saat ini, ketika peningkatan AI membuat satu bentuk pelabelan menjadi usang, kebutuhan akan jenis lain yang lebih kompleks meningkat. Perdebatan menjadi publik awal tahun ini ketika CEO Scale AI mentweet bahwa dia memperkirakan laboratorium AI akan segera menghabiskan miliaran dolar untuk data manusia, sama seperti perhitungan mereka sama seperti di atas. CEO OpenAI Sam Altman menjawab bahwa seiring kemajuan kecerdasan buatan, kebutuhan akan data akan berkurang.
Edwin ragu AI akan mencapai titik di mana umpan balik manusia tidak lagi diperlukan, tetapi dia melihat pelabelan menjadi semakin sulit seiring dengan peningkatan model. Seperti banyak peneliti, menurutnya jalan ke depan akan melibatkan sistem AI yang membantu manusia mengawasi AI lainnya. Surge AI baru-baru ini bermitra dengan Anthropic pada proof-of-concept yang membuat anotator manusia menjawab pertanyaan tentang sepotong teks yang panjang dengan bantuan asisten AI yang tidak dapat diandalkan, teorinya adalah bahwa manusia harus merasakan kelemahan asisten AI mereka dan alasan kooperatif untuk menemukannya. jawaban yang benar.
Kemungkinan lain adalah dua AI berdebat satu sama lain, dengan manusia membuat keputusan akhir. Ilmuwan riset OpenAI John Schulman mengatakan dalam pembicaraan Berkeley baru-baru ini: "Kami belum melihat potensi praktis yang sebenarnya dari hal ini, tetapi ini mulai diperlukan karena sulit bagi anotator untuk mengikuti kemajuan model."
Edwin berkata: "Saya pikir Anda akan selalu membutuhkan manusia untuk memantau apa yang dilakukan AI hanya karena mereka alien ini. Sistem pembelajaran mesin terlalu aneh untuk dipercaya sepenuhnya. Yang paling mengesankan saat ini Beberapa model kami memiliki kelemahan yang tampak sangat aneh bagi manusia. Meskipun GPT-4 dapat menghasilkan teks yang rumit dan meyakinkan, ia tidak dapat membedakan kata mana yang merupakan kata sifat."
08 ChatGPT sangat membantu alur tugas
Menjelang akhir tahun 2022, Joe mulai mendengar dari murid-muridnya bahwa daftar tugas mereka sering kali kosong. Kemudian dia mendapat email yang memberitahukan bahwa kamp pelatihan di Kenya akan ditutup. Dia melanjutkan tugas pelatihan online, tetapi dia mulai mengkhawatirkan masa depan. "
Ada indikasi bahwa ini tidak akan berlangsung lama," kata Joe. Pekerjaan anotasi akan segera meninggalkan Kenya. Dari rekan-rekan yang dia temui secara online, dia mendengar bahwa misi semacam itu sedang dikirim ke Nepal, India, dan Filipina . Joe berkata : "Perusahaan berpindah dari satu daerah ke daerah lain. Mereka tidak memiliki infrastruktur secara lokal, sehingga mereka memiliki fleksibilitas untuk pindah ke tempat yang biaya operasionalnya lebih menguntungkan bagi mereka. "
Salah satu perbedaan industri AI dari ponsel dan pembuat mobil adalah fluiditasnya. Pekerjaan ini terus berubah, diotomatisasi, dan digantikan oleh permintaan baru untuk jenis data baru. Ini adalah saluran pipa, tetapi dapat dikonfigurasi ulang secara konstan dan cepat, bergerak ke mana pun keterampilan, bandwidth, dan penggajian yang tepat tersedia.
Baru-baru ini, pekerjaan dengan bayaran tertinggi untuk tugas anotasi kembali ke Amerika Serikat. Pada bulan Mei, Scale AI mulai mencantumkan pekerjaan anotasi di situs webnya, mencari orang-orang dengan pengalaman di hampir setiap bidang yang diperkirakan akan ditaklukkan oleh AI. Beberapa dari daftar pelatih AI ini memiliki pelatihan kebugaran, sumber daya manusia, keuangan, ekonomi, ilmu data, pemrograman, ilmu komputer, kimia, biologi, akuntansi, perpajakan, nutrisi, fisika, perjalanan, pendidikan K-12, jurnalisme olahraga, dan mandiri -membantu keahlian.
Anda dapat mengajar hukum robot dan menghasilkan $45 per jam; mengajari mereka puisi dan menghasilkan $25 per jam. Situs tersebut juga mencantumkan perekrutan orang-orang dengan pengalaman keamanan, mungkin untuk membantu melatih AI militer. Scale AI baru-baru ini meluncurkan model bahasa pertahanan yang disebut Donovan, yang oleh eksekutif perusahaan disebut "amunisi dalam peperangan AI", dan memenangkan kontrak untuk mengerjakan program kendaraan tempur robotik Angkatan Darat.
Ana masih melatih chatbots di Texas. Kolega berubah menjadi komentator dan moderator Slack, dan dia tidak tahu mengapa, tapi itu memberinya harapan bahwa pekerjaan itu bisa menjadi karir jangka panjang. Satu hal yang tidak dia khawatirkan adalah pekerjaan digantikan oleh otomatisasi, katanya: "Maksud saya, chatbots dapat melakukan banyak hal menakjubkan, tetapi mereka juga dapat melakukan beberapa hal yang sangat aneh."
Ketika Remotaks pertama kali datang ke Kenya, Joe mengira anotasi mungkin merupakan karier yang bagus. Dia bertekad untuk melanjutkan pekerjaan itu bahkan setelah pindah ke tempat lain. Dia beralasan bahwa ada ribuan orang di Nairobi yang tahu bagaimana melakukan pekerjaan itu. Bagaimanapun, dia melatih banyak orang. Joe menyewa sebuah kantor di kota dan mulai mencari kontrak outsourcing: pekerjaan yang membuat anotasi cetak biru untuk sebuah perusahaan konstruksi, anotasi buah yang rusak karena serangga untuk beberapa jenis proyek pertanian, dan satu lagi untuk mobil yang bisa mengemudi sendiri. rutinitas pelabelan.
Tetapi Joe menemukan bahwa visinya sulit dicapai. Dia sekarang hanya memiliki satu karyawan tetap, turun dari dua sebelumnya. “Kami belum memiliki aliran pekerjaan yang stabil,” ujarnya. Tidak ada yang bisa dilakukan selama berminggu-minggu karena klien masih mengumpulkan data. Ketika klien selesai mengumpulkan data, dia harus membawa kontraktor jangka pendek untuk memenuhi tenggat waktu mereka: "Klien tidak peduli jika kami memiliki pekerjaan yang sedang berlangsung. Selama pelabelan kumpulan data selesai, itu akan baik-baik saja."
Agar keterampilan mereka tidak terbuang sia-sia, pelaksana tugas lainnya memutuskan ke mana tugas itu pergi, dan mereka pergi ke sana. Mereka menyewa server proxy untuk menyamarkan lokasi mereka dan membeli ID palsu untuk melewati keamanan sehingga mereka dapat berpura-pura bekerja di Singapura, Belanda, Mississippi, atau di mana pun misi mengalir. Ini adalah bisnis yang berisiko. Skala AI menjadi semakin agresif dalam menangguhkan akun yang ditemukan menyembunyikan lokasinya, menurut beberapa aktor misi. "
Kami menjadi sedikit lebih pintar akhir-akhir ini karena kami memperhatikan bahwa di negara lain, mereka membayar upah yang baik, "kata Victor. Dia bekerja di Malaysia dua kali lebih banyak daripada di Kenya, tetapi "Anda harus berhati-hati ".
Komentator Kenya lainnya mengatakan dia memutuskan untuk tidak bermain sesuai aturan setelah akunnya diblokir karena alasan misterius. Sekarang, dia menjalankan banyak akun di banyak negara, menjalankan misi dengan pendapatan tertinggi. Berkat ChatGPT, katanya bekerja cepat dan memiliki skor kualitas tinggi. Bot, katanya, sangat bagus dan memungkinkannya menyelesaikan tugas $10 dengan cepat dalam hitungan menit.