Resumo: Os anotadores de dados classificam e rotulam os dados, permitindo que a inteligência artificial aprenda encontrando padrões em grandes quantidades de dados e são considerados como "trabalho fantasma" escondido atrás da máquina. O trabalho de anotação é a base da inteligência artificial, formou toda uma cadeia de suprimentos e esse tipo de trabalho continuará existindo por muito tempo.
Foco
A inteligência artificial aprende procurando padrões em grandes quantidades de dados, mas primeiro esses dados devem ser classificados e rotulados por humanos, e assim surgem os anotadores de dados, considerados como "trabalhadores fantasmas" escondidos atrás das máquinas.
O trabalho dos anotadores é enfadonho e tedioso. Eles geralmente precisam fazer trabalhos repetitivos e são pagos peça por peça. O salário médio por hora está entre 5 e 10 dólares americanos (cerca de 36 a 72 yuans). No início deste ano, o salário por hora de alguns comentaristas foi reduzido para US$ 1 a US$ 3 por hora (cerca de 7 a 22 yuans).
O trabalho de anotação ainda é a base da inteligência artificial e formou uma cadeia de suprimentos completa. Esses tipos de trabalhos estão aqui para ficar por muito tempo.
O trabalho de anotação é diferente dos smartphones e da fabricação de automóveis, pois é facilmente deformado e fluido e geralmente flui para locais com custos operacionais mais baixos.
Poucos meses depois de se formar na Universidade de Nairóbi, Joe, agora com 30 anos, conseguiu um emprego como anotador, ajudando a processar a informação bruta usada para treinar a inteligência artificial, que era chata e tediosa. A inteligência artificial aprende encontrando padrões em grandes quantidades de dados, mas primeiro esses dados devem ser classificados e rotulados pelos humanos, então pode-se dizer que os humanos são "trabalhadores fantasmas" escondidos atrás das máquinas.
Veja o trabalho de Joe, por exemplo, onde ele está rotulando vídeos para carros autônomos, identificando carros, pedestres, ciclistas e tudo o que o motorista precisa prestar atenção, quadro a quadro, de todos os ângulos da câmera. Este é um trabalho difícil e repetitivo. Um pequeno vídeo de alguns segundos leva oito horas para ser anotado, pelo qual Joe recebe cerca de US$ 10.
Então, em 2019, uma oportunidade surgiu à sua frente e Joe começou a treinar recrutas para uma nova empresa que precisava desesperadamente de anotadores, ganhando quatro vezes mais. A cada duas semanas, 50 novos funcionários fazem fila para entrar em um prédio de escritórios em Nairóbi para iniciar seus estágios. A necessidade de anotadores parece infinita. Eles serão solicitados a categorizar as roupas que veem em uma selfie no espelho, determinar a sala em que estão através dos olhos de um aspirador de pó robótico e desenhar caixas em torno de uma motocicleta digitalizada pelo Lidar. Mais da metade dos alunos de Joe geralmente desistem antes do término do treinamento. "Algumas pessoas não sabem como ficar em um lugar por muito tempo", explicou ele gentilmente. Além disso, ele admite, "o trabalho é chato".
Mas é um bom emprego em um lugar onde os empregos são escassos, e Joe produziu centenas de graduados. Após o treinamento, os aprendizes podem voltar para casa e trabalhar sozinhos em seus quartos e cozinhas sem contar a ninguém o que estão fazendo. Esse não é o verdadeiro problema porque eles nem mesmo entendem o que estão fazendo.
Rotular objetos para carros autônomos é fácil, mas classificar fragmentos distorcidos de diálogo e identificar se o falante é um robô ou um humano é repleto de desafios. Cada objeto de reconhecimento é uma pequena parte de um projeto maior, por isso é difícil dizer exatamente para o que eles estão treinando a IA. Os nomes desses objetos também não fornecem nenhuma pista, Crab Generation, Whale Segment, Woodland Gyro e Pillbox Bratwurst são todos códigos de trabalho sem qualquer ordem lógica.
Quanto à empresa que os contratou, a maioria das pessoas a conhece apenas como Remotasks, um site que oferece oportunidades de trabalho para quem fala inglês fluentemente. Como a maioria dos anotadores, Joe não sabia que a Remotasks era uma empresa terceirizada de propriedade da Scale AI. A Scale AI é uma provedora de dados multibilionária do Vale do Silício cujos clientes incluem a startup de inteligência artificial OpenAI e as forças armadas dos EUA. Nem o Remotasks nem o Scale AI se mencionam em seus sites.
01 Ajudando máquinas com habilidades exclusivamente humanas
Grande parte da reação do público a grandes modelos de linguagem como o ChatGPT da OpenAI se concentrou no trabalho que eles parecem prestes a automatizar. Mas mesmo o sistema de inteligência artificial mais impressionante não pode prescindir da ajuda de humanos, que o treinam rotulando os dados e intervêm quando eles se misturam. Somente as empresas que podem comprar os dados podem competir no setor, e aquelas que obtêm os dados farão de tudo para mantê-los em segredo. O resultado é que, com exceção de algumas pessoas, sabemos muito pouco sobre as informações que influenciam o comportamento desses sistemas e menos ainda sobre as pessoas por trás do comportamento que os molda.
Para os alunos de Joe, é um trabalho sem qualquer aparência de normalidade: espera-se que eles sigam um cronograma rígido e não precisem saber o que estão fazendo ou para quem estão trabalhando. Na verdade, eles raramente se autodenominam trabalho, apenas “tarefas” de rotina. Eles se autodenominam trabalhadores de tarefas.
O antropólogo David Graeber definiu os chamados "empregos de merda" — trabalhos que não têm significado ou propósito. São trabalhos que deveriam ser automatizados, mas não o são, por questões de burocracia, status ou inércia. O trabalho de treinamento de inteligência artificial é semelhante: trabalhos que as pessoas desejam automatizar são geralmente considerados automatizados, mas ainda exigem a participação de humanos. Essas tarefas têm propósitos especiais, mas os anotadores não estão cientes disso.
O atual boom da IA começou com esse trabalho repetitivo e tedioso. Já em 2007, Fei-Fei Li, um pesquisador de inteligência artificial então professor da Universidade de Princeton, suspeitava que a chave para melhorar as redes neurais para reconhecimento de imagem era treinar com mais dados, exigindo milhões de imagens rotuladas em vez de dezenas de milhares. O problema é que sua equipe levaria décadas e milhões de dólares para marcar tantas fotos.
Fei-Fei Li encontrou milhares de trabalhadores na plataforma de crowdsourcing da Amazon, Mechanical Turk, onde pessoas de todo o mundo realizam pequenas tarefas por um preço baixo. O conjunto de dados rotulados resultante, conhecido como ImageNet, permitiu um grande avanço no aprendizado de máquina, revigorando o campo e inaugurando o progresso da última década.
A anotação continua sendo uma parte essencial do desenvolvimento de IA, mas os engenheiros geralmente sentem que é um pré-requisito passageiro e incômodo para o trabalho de modelagem mais glamoroso. Você poderia coletar o máximo de dados rotulados da maneira mais barata possível para treinar seu próprio modelo e, se pudesse fazer isso, pelo menos em teoria, não precisaria mais de anotadores. No entanto, o trabalho de anotação nunca é realmente feito. Os pesquisadores argumentam que os sistemas de aprendizado de máquina são “frágeis” e propensos a falhas ao encontrar coisas nos dados de treinamento que não são bem explicadas. Essas falhas são conhecidas como "casos extremos" e podem ter consequências graves.
Em 2018, um carro de teste autônomo da empresa de carona Uber matou uma mulher porque, embora programado para evitar ciclistas e pedestres, não sabia o que fazer com os ciclistas que atravessavam a rua. À medida que mais sistemas de IA fornecem aconselhamento jurídico e assistência médica, mais casos extremos eles encontram, exigindo mais humanos para resolvê-los. Isso gerou uma indústria global de pessoas como Joe, que usam suas habilidades exclusivamente humanas para ajudar as máquinas.
Nos últimos seis meses, o repórter investigativo de tecnologia Josh Dzieza falou com mais de duas dezenas de anotadores de todo o mundo, muitos dos quais estão treinando chatbots de ponta, mas também muitos realizando o trabalho físico mundano necessário para manter a IA funcionando . Alguns catalogaram o conteúdo emocional dos vídeos do TikTok, novas variações de spam e publicidade online inadequada. Outros estão analisando transações com cartão de crédito e descobrindo os tipos de compras associados a elas, ou analisando recomendações de comércio eletrônico e decidindo se você realmente vai gostar daquela camisa depois de comprar outra.
Os humanos estão corrigindo erros de chatbots de atendimento ao cliente, ouvindo solicitações da assistente inteligente Alexa da Amazon e categorizando as emoções das pessoas em videochamadas. Eles rotulam os alimentos para que refrigeradores inteligentes não sejam confundidos por novas embalagens, verificam câmeras de segurança automatizadas antes de soar o alarme e ajudam tratores autônomos confusos a identificar o milho.
02 Comentários são grandes negócios, gerando o "mais jovem bilionário self-made"
"É uma cadeia de suprimentos completa", disse Sonam Jindal, diretor de programa e pesquisa da organização sem fins lucrativos Partnership on AI. "A percepção geral na indústria é que este trabalho não é uma parte crítica do desenvolvimento de tecnologia, não é uma parte crítica o desenvolvimento da tecnologia." Vai prosperar por um longo tempo. Toda a empolgação se espalha em torno da construção da IA e, uma vez construída, as anotações não são mais necessárias, então por que se preocupar com isso? Mas a rotulagem de dados é a base da IA, assim como humanos Por mais que a inteligência seja a base da IA, precisamos vê-la como empregos reais na economia da IA que estão aqui para ficar por muito tempo.”
Os fornecedores de dados por trás de nomes familiares como OpenAI, Google e Microsoft têm diferentes formas. Também existem empresas terceirizadas privadas com escritórios semelhantes a call centers, como a CloudFactory no Quênia e no Nepal, onde Joe faz anotações por US$ 1,20 a hora antes de mudar para tarefas remotas.
Existem também sites "crowdworker" como Mechanical Turk e Clickworker, onde qualquer pessoa pode se inscrever para concluir tarefas. No meio estão serviços como o Scale AI. Qualquer pessoa pode se inscrever, mas todos devem passar por um exame de qualificação, um curso de treinamento e ser monitorados quanto ao desempenho. As anotações são um grande negócio. A Scale AI, fundada em 2016 por Alexander Wang, então com 19 anos, foi avaliada em US$ 7,3 bilhões em 2021, tornando-o um dos bilionários mais jovens da Forbes.
Essa intrincada cadeia de suprimentos é difícil de entender para quem está de fora. As empresas que compram dados rotulados exigem confidencialidade estrita, de acordo com fontes do setor. Às vezes, as anotações vazam informações sobre o sistema de IA que está sendo desenvolvido, e a adição de um grande número de anotadores dificulta a prevenção de vazamentos. Os anotadores são sempre avisados para não contar a ninguém sobre seu trabalho, nem mesmo a seus amigos e colegas. Mais importante ainda, a extrema divisão do trabalho garante que eles não tenham informações suficientes para falar sobre seus empregos, mesmo que quisessem.
Diante disso, não há como dar estimativas detalhadas do número de pessoas que trabalham na anotação, mas o que é certo é que são muitos e estão crescendo rapidamente. O Google Research publicou recentemente um artigo que fornece estimativas vagas do número de anotadores em "milhões" e possivelmente "bilhões" no futuro.
A automação geralmente vem de maneiras inesperadas. Erik Duhaime, CEO da Centaur Labs, uma empresa de anotação de dados médicos, lembra que, alguns anos atrás, vários engenheiros proeminentes de aprendizado de máquina previram que a inteligência artificial substituiria os radiologistas. Quando isso não acontece, a sabedoria convencional se volta para os radiologistas usando a IA como ferramenta.
Nenhuma dessas coisas aconteceu, de acordo com Duheim. A inteligência artificial é muito boa em tarefas específicas, o que faz com que o trabalho seja dividido e atribuído a sistemas algorítmicos especializados e humanos igualmente especializados. Por exemplo, disse ele, um sistema de IA pode detectar câncer, mas apenas em certos tipos de máquinas, em certos tipos de imagens. Portanto, você precisa de alguém para ajudar a verificar se a IA está sendo alimentada com o tipo correto de dados e talvez outra pessoa para verificar se está funcionando antes de entregá-la a outra IA para escrever um relatório e, finalmente, a um humano. “A IA não substituirá os empregos humanos, mas mudará a maneira como os empregos são organizados”, disse Duheim.
Se você pensa na inteligência artificial como uma máquina inteligente e pensante, pode estar ignorando os humanos por trás dela. Du Haimei acredita que o impacto da inteligência artificial no trabalho moderno é como a transição dos artesãos para a manufatura industrial: processos coerentes são divididos em pequenas tarefas, organizadas ao longo da linha de montagem, algumas etapas são concluídas por máquinas, outras por humanos, mas é diferente das anteriores, a situação é bem diferente.
As preocupações com a interrupção da IA costumam ser contestadas dizendo que a IA automatiza certas tarefas, não trabalhos inteiros. Essas tarefas costumam ser tediosas e enfadonhas, levando as pessoas a buscar um trabalho humano mais gratificante. Mas é igualmente possível que a ascensão da inteligência artificial também se pareça com as tecnologias de economia de trabalho do passado, talvez como o telefone ou a máquina de escrever, que eliminam o trabalho penoso de passar mensagens e escrever à mão, mas geram mais informações sobre comunicação, comércio e Tanto que um novo escritório com novos tipos de trabalhadores, balconistas, contadores, datilógrafos, etc., era necessário para gerenciá-los. Você pode não perder seu emprego quando a IA se juntar ao seu trabalho, mas pode se tornar mais estranho, mais isolador e mais tedioso.
03 Simplifique a realidade complexa em algo legível por máquina
No início deste ano, a jornalista Ziyeza se inscreveu para trabalhar na Remotasks. O processo é simples. Você só precisa inserir as especificações do computador, velocidade da rede e informações básicas de contato para entrar no "Centro de Treinamento". Para receber atribuições remuneradas, Ziyeza primeiro teve que concluir os cursos introdutórios relevantes, mas não remunerados. O centro de treinamento apresentou uma série de aulas com nomes incompreensíveis como Glue Swimsuits e Poster Hawaii. Zieza clicou em algo chamado GFD Chunking, que exige que as roupas sejam marcadas em fotos de mídia social.
Além disso, há instruções para tarefas como rotular itens reais, usáveis por humanos ou destinados a serem usados por pessoas reais. Confiante em sua capacidade de distinguir roupas reais que pessoas reais poderiam usar de roupas falsas que pessoas reais não poderiam, Ziyeza começou a testar. No entanto, ele foi imediatamente atingido na cabeça: o computador deu uma foto de revista de uma mulher de saia. Fotos de roupas devem ser consideradas roupas reais? Não, pensou Ziyeza, porque as pessoas não podem usar fotos de roupas. O resultado mostra um erro! Porque aos olhos da inteligência artificial, fotos de roupas reais são equivalentes a roupas reais.
A imagem a seguir é de uma mulher tirando uma selfie em um espelho de corpo inteiro em um quarto mal iluminado. A camisa e o short que ela está usando são roupas reais, e o reflexo das roupas é real? Ziyeza também deu uma resposta negativa, mas o sistema de inteligência artificial acredita que o reflexo de roupas reais também deve ser roupas reais.
Depois de tentativas e erros embaraçosos, Ziyeza finalmente começou a trabalhar, apenas para descobrir, para seu horror, que as instruções que ele vinha lutando para seguir foram atualizadas várias vezes e aumentaram para 43 páginas, incluindo Não marque uma mala aberta cheia de roupas; não marque sapatos, mas nadadeiras; marque leggings, mas não meias-calças; não marque toalhas, mesmo que alguém as esteja usando; não marque roupas Rotule, mas não rotule a armadura. etc......
Milagros Miceli, pesquisadora que trabalha com dados no Weizenbaum Institute, na Alemanha, disse que há uma confusão generalizada em todo o setor. Em parte, isso é um produto da maneira como os sistemas de aprendizado de máquina aprendem. Os humanos precisam apenas de alguns exemplos para entender o conceito de "camisa", enquanto os programas de aprendizado de máquina precisam de milhares de exemplos, e precisam fazê-lo com consistência perfeita e variedade suficiente (camisas pólo, camisas para uso ao ar livre, camisas penduradas em um rack) para que o sistema possa lidar com a diversidade do mundo real. "Imagine que precisamos reduzir a realidade complexa a algo que máquinas desajeitadas possam ler", disse Miselli.
Para as máquinas, o ato de simplificar a realidade introduz uma enorme complexidade. Os escritores de instruções devem criar regras que permitam aos humanos classificar o mundo com consistência perfeita. Para fazer isso, muitas vezes criam categorias que os humanos não usariam. Se uma pessoa for solicitada a rotular todas as camisas em uma foto, ela pode não rotular as camisas no espelho porque sabe que são reflexos e não roupas reais. Mas para uma IA que não entende o mundo real, são apenas pixels, os dois são exatamente iguais. Se algumas camisas no conjunto de dados forem rotuladas e outras camisas refletidas não, o modelo não funcionará. Então o engenheiro voltou ao fornecedor com informações atualizadas e pediu para etiquetar a camisa que se refletia no espelho. Em breve, você terá outro guia de 43 páginas, todo em letras maiúsculas vermelhas.
O trabalho de um anotador geralmente é deixar de lado a compreensão humana e seguir as instruções muito, muito estritamente. Como disse um comentarista, pense como um robô. É um espaço mental estranho onde você faz o possível para seguir regras ridículas, mas estritas, como fazer um teste padrão enquanto toma alucinógenos. Os anotadores sempre têm perguntas confusas como, esta é uma camisa vermelha com uma listra branca ou é uma camisa branca com uma listra vermelha? Se uma tigela de vime estiver cheia de maçãs, ela é uma "tigela decorativa"? Qual a cor da estampa de leopardo? Todas as perguntas devem ser respondidas, e um palpite errado pode fazer com que você seja banido e iniciar uma missão totalmente nova e totalmente diferente com suas próprias regras desconcertantes.
04 Pague por peça, verifique a tarefa a cada três horas
A maioria dos trabalhos em Remotasks é paga peça por peça, com ganhos que variam de alguns centavos a alguns dólares por tarefa. Como as tarefas podem levar segundos ou horas para serem concluídas, os salários são difíceis de prever. Quando o Remotasks chegou ao Quênia, os comentaristas disseram que pagava relativamente bem. Isso dá uma média de US$ 5 a US$ 10 por hora, dependendo da tarefa. Mas com o tempo, o salário diminui.
Anna Franko, porta-voz da Scale AI, disse que os economistas da empresa analisam os detalhes do projeto, as habilidades necessárias, o custo de vida regional e outros fatores "para garantir uma remuneração justa e competitiva". Ex-funcionários da Scale AI também disseram que a remuneração é determinada por meio de um mecanismo semelhante ao preço da inflação, que se ajusta de acordo com o número de anotadores disponíveis e a velocidade com que os dados são necessários. As estatísticas mostram que os anotadores do Remotasks nos Estados Unidos geralmente ganham de US$ 10 a US$ 25 por hora, mas especialistas em algumas áreas de anotação profissional recebem mais. No início deste ano, o salário dos comentaristas quenianos havia caído para 1 a 3 dólares americanos (cerca de 7 a 22 yuans) por hora.
A reclamação mais comum sobre o trabalho de teletarefa é sua variabilidade. Esse tipo de trabalho é estável o suficiente para ser um emprego de tempo integral de longo prazo, mas tem muita imprevisibilidade para confiar nele inteiramente. Os anotadores passam horas lendo as instruções e concluindo o treinamento pro bono apenas para concluir uma dúzia de tarefas antes que o projeto termine. Pode não haver novas tarefas por alguns dias e, então, do nada, uma completamente diferente aparece, possivelmente por horas a semanas. Qualquer missão pode ser a última, e eles nunca sabem quando a próxima missão virá.
Engenheiros e fornecedores de dados dizem que esse ciclo de altos e baixos decorre do ritmo de desenvolvimento da IA. O treinamento de um modelo grande requer muitas anotações, seguidas de mais atualizações iterativas, e os engenheiros desejam que tudo isso aconteça o mais rápido possível para que possam cumprir a data de lançamento pretendida. Eles podem precisar de milhares de anotadores ao longo de alguns meses, depois cair para algumas centenas e, finalmente, apenas uma dúzia ou mais de especialistas de um determinado tipo. Este processo é por vezes repetido em ciclos. “A questão é: quem arca com o custo dessas flutuações?”, disse Jindal, da Partnership on AI.
Para serem bem-sucedidos, os anotadores devem trabalhar juntos. Victor começou a trabalhar para a Remotasks quando era um estudante universitário em Nairóbi, e quando lhe disseram que estava tendo problemas com uma tarefa de controle de tráfego, ele disse que todo mundo sabia que deveria ficar longe dessa tarefa: muito complicado, mal pago, não valia a pena. Como muitos comentaristas, Victor usa um grupo não oficial do WhatsApp para divulgar quando surgem boas atribuições. Quando tinha uma nova ideia, iniciava uma reunião improvisada no Google para mostrar aos outros como fazer. Qualquer um pode participar e trabalhar junto por um tempo, compartilhando dicas. "Desenvolvemos uma cultura de ajudar uns aos outros porque sabemos que uma pessoa não pode saber todos os truques", disse ele.
Os anotadores precisam estar sempre atentos, pois os trabalhos aparecem e desaparecem sem aviso prévio. Victor descobriu que os itens frequentemente apareciam no meio da noite, então ele criou o hábito de se levantar a cada três horas ou mais para verificá-los. Quando há uma tarefa, ele sempre fica acordado. A certa altura, ele passou 36 horas sem dormir, marcando cotovelos, joelhos e cabeças em fotos da multidão, embora não soubesse por quê. Outra vez, ele ficou tanto tempo acordado que seus olhos ficaram vermelhos e inchados.
Os anotadores geralmente só sabem que estão treinando sistemas de IA para empresas em outros lugares, mas às vezes o véu do anonimato cai e há muitas dicas para marcas ou chatbots mencionados nas instruções. "Eu li as instruções, pesquisei no Google e descobri que estava trabalhando para um bilionário de 25 anos. Se eu tornar alguém um bilionário e ganhar alguns dólares, estou literalmente desperdiçando minha vida."
Um auto-descrito “crente selvagem” em inteligência artificial, Victor começou o trabalho de anotação porque queria ajudar a criar um futuro totalmente automatizado. Mas no início deste ano, alguém postou uma reportagem da revista Time em seu grupo do WhatsApp sobre como os funcionários do provedor Sama AI estavam recebendo menos de US$ 2 por hora para treinar o ChatGPT para identificar conteúdo tóxico. “As pessoas estão indignadas com o fato de essas empresas serem tão lucrativas e pagarem tão pouco”, disse Victor, que não sabia da relação entre Remotasks e Scale AI até ser informado sobre isso. As instruções para uma das tarefas em que ele trabalhou eram quase idênticas às usadas pelo OpenAI, o que significa que ele provavelmente também estava treinando no ChatGPT, por cerca de US$ 3 a hora. "
Lembro-me de alguém postando que seremos lembrados no futuro", disse ele. Zero um respondeu: "Fomos tratados pior do que a infantaria. Não seremos lembrados em nenhum lugar no futuro, eu me lembro bem disso. Ninguém reconhecerá o trabalho que fazemos e o esforço que fazemos. "
Identificar roupas e rotular conversas de atendimento ao cliente são apenas alguns dos trabalhos de anotação. Recentemente, a coisa mais quente do mercado são os treinadores de chatbot. Como requer conhecimentos específicos do domínio ou fluência no idioma, e os salários tendem a ser ajustados por região, o trabalho tende a pagar mais. Certos tipos de anotações profissionais podem render até US$ 50 ou mais por hora.
Quando uma mulher chamada Anna estava procurando emprego no Texas, ela se deparou com uma lista de empregos on-line genérica e se candidatou. Depois de passar em um exame introdutório, ela foi conduzida a uma sala do Slack com 1.500 pessoas treinando em um projeto de codinome Dolphin, que ela descobriu mais tarde ser o chatbot Sparrow do Google DeepMind, um dos muitos chatbots concorrentes do ChatGPT. O trabalho de Anna é conversar com Sparrow o dia todo, e o salário por hora é de cerca de $ 14, mais o bônus por alta eficiência no trabalho, "isso é definitivamente melhor do que trabalhar no supermercado local para ganhar $ 10 por hora".
05 AI responde a três critérios: precisão, utilidade e inofensividade
E Ana adora o trabalho. Ela discutiu ficção científica, paradoxos matemáticos, enigmas infantis e programas de TV com Sparrow. Às vezes, as respostas do chatbot a faziam rir alto. Às vezes, ela também se sente sem palavras. Anna disse: "Às vezes, eu realmente não sei o que perguntar, então tenho um caderninho com duas páginas já escritas. Pesquiso tópicos interessantes no Google, então acho que posso fazer um bom trabalho. Lidar com sete horas, o que nem sempre é o caso."
Toda vez que Anna solicita Sparrow, ele dá duas respostas, e ela tem que escolher a melhor, criando o que é chamado de "dados de feedback humano". Quando o ChatGPT estreou no final do ano passado, seu estilo de conversação impressionantemente natural foi creditado ao fato de ter sido treinado em grandes quantidades de dados da Internet. Mas a linguagem que alimenta o ChatGPT e seus concorrentes é filtrada por várias rodadas de anotação humana.
Uma equipe de empreiteiros escreveu exemplos de como os engenheiros queriam que o chatbot se comportasse, fazendo perguntas e dando as respostas corretas, descrevendo programas de computador e fornecendo códigos funcionais, pedindo dicas criminais e recusando educadamente. Depois que o modelo é treinado com esses exemplos, mais contratados são introduzidos para solicitar e classificar suas respostas. Foi o que Ana fez com Sparrow.
Exatamente quais critérios os avaliadores deveriam usar variavam, como honestidade, prestatividade ou apenas preferência pessoal. A questão é que eles estão criando dados sobre o gosto humano e, quando houver dados suficientes, os engenheiros podem treinar um segundo modelo para imitar suas preferências em escala, automatizando o processo de classificação e treinando sua IA para reconhecer o modo de agir do gosto humano. O resultado é um robô muito humano que basicamente rejeita solicitações prejudiciais e explica sua natureza de inteligência artificial de uma forma que parece ser autoconsciente.
Em outras palavras, o ChatGPT parece humano porque foi treinado por uma IA que imita humanos e está agindo como um humano.
A técnica é chamada de "aprendizado por reforço com feedback humano" ou RLHF para abreviar, e é muito eficaz em parar para refletir sobre o que a IA não está fazendo. Por exemplo, quando um anotador ensina um modelo a ser preciso, o modelo não aprende a verificar as respostas em relação à lógica ou fontes externas, ou mesmo o que é precisão, como um conceito. Embora o modelo ainda seja uma máquina de previsão de texto que imita os padrões de escrita humana, seu corpus de treinamento agora foi complementado com exemplos personalizados e o modelo foi ponderado para apoiá-los.
Isso pode fazer com que o modelo extraia padrões de partes de seu mapa de linguagem que são marcadas como precisas e produza um texto que corresponda à verdade, mas também pode fazer com que imite o estilo confiante e o jargão de um texto preciso ao escrever algo completamente errado . Não há garantia de que o texto marcado como preciso pelos anotadores seja realmente preciso. Mesmo que seja preciso, não há garantia de que o modelo tenha aprendido o padrão correto com ele.
Essa dinâmica torna a anotação de chatbots difícil. Tem que ser rigoroso e consistente, porque o feedback desleixado, como marcar o material com som correto como preciso, pode tornar o modelo treinado mais convincente. A OpenAI e a DeepMind usaram o RLHF em um projeto conjunto anterior, neste caso, para treinar uma mão robótica virtual para agarrar um objeto e, como resultado, também treinaram a mão robótica para posicionar e girar o objeto entre o objeto e seu avaliador. forma, só aparecerá para seus superintendentes humanos.
Classificar as respostas de um modelo de linguagem é sempre algo subjetivo porque se trata de uma linguagem. Texto de qualquer comprimento pode conter vários elementos que podem ser verdadeiros, falsos ou enganosos. Os pesquisadores da OpenAI se depararam com esse obstáculo em outro artigo inicial da RLHF. Para fazer com que seu modelo resumisse o texto, os pesquisadores descobriram que apenas 60% dos resumos do modelo eram bons. "Ao contrário de muitas tarefas no aprendizado de máquina, nossas consultas não têm uma verdade clara", lamentam.
Quando Ana avalia as respostas de Sparrow, ela deve verificar sua precisão, utilidade e inocuidade, ao mesmo tempo em que verifica se o modelo não está dando conselhos médicos ou financeiros, se antropomorfizando ou violando outros critérios. Para serem úteis como dados de treinamento, as respostas do modelo devem ser ordenadas quantitativamente: um robô que pode lhe dizer como fazer uma bomba é "melhor" do que um robô inofensivo que se recusa a responder a qualquer pergunta?
Em um artigo da DeepMind, enquanto os fabricantes de Sparrow se revezavam nas anotações, quatro pesquisadores debateram se seu bot fazia suposições sobre o gênero dos usuários que o procuravam em busca de conselhos emocionais. De acordo com Geoffrey Irving, cientista pesquisador da DeepMind, os pesquisadores da empresa realizam sessões semanais de anotações nas quais revisam os dados e discutem casos ambíguos. Quando um caso é particularmente complicado, eles consultam especialistas em ética ou no assunto.
Anna muitas vezes descobriu que tinha que escolher entre duas opções ruins. "Mesmo que ambas sejam respostas terrivelmente erradas, você ainda precisa descobrir qual é a melhor e escrever o texto explicando o porquê", diz ela. Às vezes, quando nenhuma das respostas é boa, ela é incentivada a dar a resposta ela mesma. Dê a resposta. uma resposta melhor. Ela faz isso cerca de metade do tempo durante o treinamento.
06 Os comentários exigem cada vez mais habilidades e conhecimentos específicos
Como os dados de feedback são difíceis de coletar, o preço de venda é maior. O tipo de dados básicos de preferência que Ana está coletando é vendido por cerca de US$ 1 cada, de acordo com pessoas com conhecimento do setor. Mas se você quer treinar um modelo para fazer pesquisa jurídica, precisa de alguém com formação jurídica, o que aumenta os custos. Todos os envolvidos não revelarão exatamente quanto pagaram, mas, de modo geral, um exemplo escrito profissional pode custar algumas centenas de dólares, enquanto uma classificação de especialista pode custar US $ 50 ou mais. Um engenheiro revelou que certa vez pagou US$ 300 por uma amostra do diálogo de Socratic.
OpenAI, Microsoft, Meta e Anthropic não divulgaram quantas pessoas contribuíram com anotações para seus modelos, quanto receberam ou em que lugar do mundo estão localizadas. Os anotadores que trabalham no Sparrow recebem pelo menos um salário mínimo por hora, dependendo de onde estão localizados, disse Owen, da DeepMind, empresa irmã do Google. Ana não sabe "nada" sobre Remotasks, mas sabe mais sobre Sparrow, sabendo que é o assistente de inteligência artificial do DeepMind, que seus criadores treinaram usando RLHF.
Até recentemente, era relativamente fácil detectar resultados ruins de modelos de linguagem, que pareciam sem sentido. Mas, à medida que os modelos melhoram, isso se torna mais difícil, um problema conhecido como "supervisão escalável". O uso de modelos de linguagem moderna pelo Google para a estreia de seu assistente de IA, Bard, demonstrou inadvertidamente como é difícil detectar erros em modelos de linguagem moderna. Essa trajetória significa que a anotação requer cada vez mais habilidades e conhecimentos específicos.
No ano passado, um cara chamado Lewis estava trabalhando no Mechanical Turk e, após concluir uma tarefa, recebeu uma mensagem convidando-o a ingressar em uma plataforma da qual nunca tinha ouvido falar. Chama-se Taskup.ai, e o site é bem simples, apenas um fundo azul-marinho com o texto "Pague conforme o uso". Lewis optou por se registrar.
O trabalho paga muito melhor do que qualquer outro trabalho que ele teve antes, geralmente cerca de US $ 30 por hora. No entanto, também é mais desafiador, exigindo o design de cenários complexos para induzir os chatbots a dar conselhos perigosos, testar a capacidade do modelo de manter sua própria personalidade e se envolver em conversas detalhadas sobre tópicos científicos que são altamente técnicos e exigem uma pesquisa extensa. Lewis achou o trabalho "satisfatório e emocionante". Enquanto verificava um modelo e tentava codificá-lo em Python, Lewis estava aprendendo. Ele não pode trabalhar mais de 4 horas seguidas para não ficar mentalmente exausto e cometer um erro, e ele quer manter o emprego.
Lewis disse: "Se houver algo que eu possa mudar, só quero saber mais sobre o que está acontecendo do outro lado. Sabemos apenas o que precisamos para fazer o trabalho, mas se eu souber mais, talvez possa fazer o trabalho. . maior realização, e talvez considerá-lo uma carreira.
O repórter investigativo de tecnologia Ziyeza entrevistou outras oito pessoas, a maioria nos EUA, que tiveram experiências semelhantes respondendo a pesquisas ou concluindo tarefas em outras plataformas e depois sendo contratadas pelo Taskup.ai ou alguns sites semelhantes, como DataAnnotation.tech ou Gethybrid.io. Seu trabalho geralmente envolve o treinamento de chatbots, embora seus chatbots sejam de maior qualidade e mais especializados em propósito do que outros sites em que trabalharam. Um deles é uma macro de planilha de apresentação e o outro só precisa conversar e avaliar as respostas de acordo com os critérios que desejar. Ela costuma fazer perguntas ao chatbot que também surgem ao conversar com sua filha de 7 anos, como "Qual é o maior dinossauro?" e "Escreva uma história sobre um tigre".
Taskup.ai, DataAnnotation.tech e Gethybri.io parecem pertencer à mesma empresa: Surge AI. Seu presidente-executivo, Edwin Chen, não quis confirmar nem negar a conexão, mas estava disposto a falar sobre sua empresa e como ele vê a evolução das anotações.
“Sempre achei que o campo da rotulagem era simplista”, diz Edwin, que fundou a Surge AI em 2020 depois de trabalhar em pesquisa de IA no Google, Facebook e Twitter, convencido de que os rótulos de crowdsourcing não eram suficientes. Edwin disse: "Esperamos que a inteligência artificial possa contar piadas, escrever bons textos de marketing ou me ajudar quando eu precisar de terapia. Mas nem todo mundo pode contar piadas ou resolver problemas de programação em Python. Essa mentalidade de baixa qualidade e pouca habilidade se transforma em algo mais rico e captura as habilidades humanas, a criatividade e os valores que queremos que os sistemas de IA tenham."
07 Os sistemas de aprendizado de máquina são muito estranhos para serem totalmente confiáveis
No ano passado, a Surge AI renomeou um conjunto de dados da classificação do Google de postagens do Reddit por sentimento. O Google retirou o contexto de cada post e o enviou a anotadores na Índia para anotação. Os funcionários da Surge AI familiarizados com a cultura da Internet americana descobriram que 30% das anotações estavam erradas. Postagens como "Inferno, meu irmão" foram classificadas como "Ódio", enquanto "Cool McDonald's, meu favorito" foi classificado como "Amor".
Edwin disse que o Surge AI examina as qualificações dos anotadores, como se as pessoas que executam tarefas de redação criativa têm experiência em redação criativa, mas exatamente como encontra a equipe é um “segredo”. Assim como no Remotasks, os trabalhadores normalmente devem concluir um curso de treinamento, embora, ao contrário do Remotasks, eles possam ser pagos para realizar tarefas durante o treinamento. Ter menos funcionários mais bem treinados e produzir dados de maior qualidade permitiu que a Surge AI pagasse melhor do que seus pares, mas ele se recusou a dar mais detalhes, dizendo apenas que os funcionários são pagos em um "nível justo e ético". Esses anotadores ganham entre US$ 15 e US$ 30 por hora, mas representam uma pequena fração de todos os anotadores, um grupo que agora chega a 100.000. Esse sigilo decorre de uma solicitação do cliente, explicou.
Os clientes da Surge AI incluem OpenAI, Google, Microsoft, Meta e Anthropic. O Surge AI se concentra no feedback e na anotação de linguagem e, após o lançamento do ChatGPT, recebeu uma enxurrada de solicitações, Edwin disse: "Pensei que todos conhecessem o poder do RLHF, mas acho que as pessoas simplesmente não o entendiam em seus corações."
Esses novos modelos são tão impressionantes que inspiraram uma nova onda de previsões de que a anotação está prestes a ser automatizada. A pressão financeira para fazê-lo é alta, dados os custos envolvidos. Anthropic, Meta e outros recentemente fizeram progressos no uso de inteligência artificial para reduzir a quantidade de anotação humana necessária para guiar modelos, e outros desenvolvedores começaram a usar o GPT-4 para gerar dados de treinamento.
No entanto, um artigo recente descobriu que os modelos treinados no GPT-4 podem estar aprendendo a imitar o estilo autoritário do GPT com menos precisão. Até agora, quando as melhorias na IA tornaram obsoleta uma forma de rotulagem, aumentou a necessidade de outros tipos mais complexos. O debate tornou-se público no início deste ano, quando o CEO da Scale AI twittou que previu que os laboratórios de IA logo gastariam bilhões de dólares em dados humanos, assim como eles estavam calculando o mesmo que acima. O CEO da OpenAI, Sam Altman, respondeu que, à medida que a inteligência artificial avança, a necessidade de dados diminuirá.
Edwin duvida que a IA chegue a um ponto em que o feedback humano não seja mais necessário, mas ele vê a rotulagem se tornando cada vez mais difícil à medida que os modelos melhoram. Como muitos pesquisadores, ele acha que o caminho a seguir envolverá sistemas de IA ajudando os humanos a supervisionar outras IAs. A Surge AI recentemente fez parceria com a Anthropic em uma prova de conceito em que anotadores humanos responderam a perguntas sobre um longo trecho de texto com a ajuda de um assistente de IA não confiável, a teoria é que os humanos devem sentir as fraquezas de seu assistente de IA e o raciocínio cooperativo para encontrar a resposta correta.
Outra possibilidade é dois AIs debaterem entre si, com um humano fazendo o julgamento final. O cientista de pesquisa da OpenAI, John Schulman, disse em uma palestra recente em Berkeley: "Ainda não vimos o potencial prático real dessas coisas, mas está começando a se tornar necessário porque é difícil para os anotadores acompanharem o avanço do modelo".
Edwin disse: "Acho que você sempre precisará de um humano para monitorar o que a IA está fazendo só porque eles são alienígenas. Os sistemas de aprendizado de máquina são muito estranhos para serem totalmente confiáveis. O mais impressionante hoje Alguns de nossos modelos têm fraquezas que parecem muito estranhas aos humanos. Embora o GPT-4 possa gerar textos complexos e convincentes, ele não consegue dizer quais palavras são adjetivos."
08 ChatGPT ajuda muito no fluxo de tarefas
À medida que 2022 se aproximava do fim, Joe começou a ouvir de seus alunos que suas listas de tarefas muitas vezes estavam vazias. Então ele recebeu um e-mail informando que o campo de treinamento no Quênia estava fechando. Ele continuou suas atribuições de treinamento online, mas começou a se preocupar com o futuro. "
Há indícios de que este não será o caso por muito tempo", disse Joe. O trabalho de anotação está prestes a deixar o Quênia. De colegas que conheceu online, ele ouviu que tais missões estão sendo enviadas para o Nepal, Índia e Filipinas . Joe disse: "As empresas mudam de uma região para outra. Eles não têm a infraestrutura local, então eles têm a flexibilidade de se mudar para onde os custos operacionais são mais benéficos para eles. "
Uma maneira pela qual a indústria de IA difere da de celulares e montadoras é sua fluidez. Esse trabalho está em constante mudança, sendo automatizado e substituído por novas demandas por novos tipos de dados. É um pipeline, mas pode ser constante e rapidamente reconfigurado, movendo-se para onde quer que as habilidades, largura de banda e folha de pagamento corretas estejam disponíveis.
Recentemente, os empregos mais bem pagos para tarefas de anotação retornaram aos Estados Unidos. Em maio, a Scale AI começou a listar trabalhos de anotação em seu site, procurando pessoas com experiência em quase todos os campos que a IA deve conquistar. Algumas dessas listas de treinadores de IA que têm treinamento físico, recursos humanos, finanças, economia, ciência de dados, programação, ciência da computação, química, biologia, contabilidade, tributação, nutrição, física, viagens, educação K-12, jornalismo esportivo e auto -ajuda perícia.
Você pode ensinar leis aos robôs e ganhar US$ 45 por hora; ensinar-lhes poesia e ganhar US$ 25 por hora. O site também lista o recrutamento de pessoas com experiência em segurança, presumivelmente para ajudar a treinar a IA militar. A Scale AI revelou recentemente um modelo de linguagem de defesa chamado Donovan, que os executivos da empresa chamaram de “munição na guerra de IA”, e ganhou um contrato para trabalhar no programa de veículos robóticos de combate do Exército.
Ana ainda está treinando chatbots no Texas. Os colegas se transformaram em comentaristas e moderadores do Slack, e ela não sabia por quê, mas isso lhe deu esperança de que o trabalho pudesse ser uma carreira de longo prazo. Uma coisa com a qual ela não está preocupada é a substituição de empregos pela automação, ela disse: "Quero dizer, os chatbots podem fazer muitas coisas incríveis, mas também podem fazer coisas realmente estranhas".
Quando o Remotasks chegou ao Quênia, Joe achou que a anotação poderia ser uma boa carreira. Ele estava determinado a continuar o trabalho mesmo depois que ele se mudou para outro lugar. Ele raciocinou que havia milhares de pessoas em Nairóbi que sabiam como fazer o trabalho. Afinal, ele treinou muita gente. Joe alugou um escritório na cidade e começou a procurar contratos de terceirização: um trabalho anotando projetos para uma construtora, outro anotando frutas danificadas por insetos para algum tipo de projeto agrícola e outro para carros autônomos. rotinas de rotulagem.
Mas Joe descobriu que sua visão era difícil de alcançar. Ele agora tem apenas um funcionário em tempo integral, contra dois antes. “Não tivemos um fluxo constante de trabalho”, disse ele. Não havia nada para fazer por semanas porque os clientes ainda estavam coletando dados. Quando o cliente terminou de coletar os dados, ele teve que contratar empreiteiros de curto prazo para cumprir seus prazos: "O cliente não se importava se tivéssemos trabalho em andamento. Desde que a rotulagem do conjunto de dados fosse feita, tudo bem."
Para não deixar que suas habilidades sejam desperdiçadas, outros executores de tarefas decidem para onde a tarefa vai e vão para lá. Eles alugam servidores proxy para disfarçar sua localização e compram identidades falsas para passar pela segurança e fingir que estão trabalhando em Cingapura, Holanda, Mississippi ou onde quer que a missão flua. Este é um negócio arriscado. A Scale AI tornou-se cada vez mais agressiva na suspensão de contas que escondem suas localizações, de acordo com vários atores da missão. "
Ficamos um pouco mais espertos hoje em dia porque percebemos que em outros países eles estão pagando bons salários”, disse Victor. Ele ganha o dobro trabalhando na Malásia do que no Quênia, mas “tem que ter cuidado”.
Outro comentarista queniano disse que decidiu não seguir as regras depois que sua conta foi bloqueada por motivos misteriosos. Agora, ele administra várias contas em vários países, realizando missões onde a receita é maior. Graças ao ChatGPT, ele diz que trabalha rápido e tem um alto índice de qualidade. O bot, diz ele, é ótimo e permite que ele conclua rapidamente tarefas de US$ 10 em minutos.
Ver original
O conteúdo é apenas para referência, não uma solicitação ou oferta. Nenhum aconselhamento fiscal, de investimento ou jurídico é fornecido. Consulte a isenção de responsabilidade para obter mais informações sobre riscos.
Desmistificando os "trabalhadores migrantes de IA" por trás do ChatGPT: chato e repetitivo, pago por peça, salários por hora tão baixos quanto $ 1
**Fonte:**Tecnologia Tencent
Resumo: Os anotadores de dados classificam e rotulam os dados, permitindo que a inteligência artificial aprenda encontrando padrões em grandes quantidades de dados e são considerados como "trabalho fantasma" escondido atrás da máquina. O trabalho de anotação é a base da inteligência artificial, formou toda uma cadeia de suprimentos e esse tipo de trabalho continuará existindo por muito tempo.
Foco
A inteligência artificial aprende procurando padrões em grandes quantidades de dados, mas primeiro esses dados devem ser classificados e rotulados por humanos, e assim surgem os anotadores de dados, considerados como "trabalhadores fantasmas" escondidos atrás das máquinas.
O trabalho dos anotadores é enfadonho e tedioso. Eles geralmente precisam fazer trabalhos repetitivos e são pagos peça por peça. O salário médio por hora está entre 5 e 10 dólares americanos (cerca de 36 a 72 yuans). No início deste ano, o salário por hora de alguns comentaristas foi reduzido para US$ 1 a US$ 3 por hora (cerca de 7 a 22 yuans).
O trabalho de anotação ainda é a base da inteligência artificial e formou uma cadeia de suprimentos completa. Esses tipos de trabalhos estão aqui para ficar por muito tempo.
O trabalho de anotação é diferente dos smartphones e da fabricação de automóveis, pois é facilmente deformado e fluido e geralmente flui para locais com custos operacionais mais baixos.
Então, em 2019, uma oportunidade surgiu à sua frente e Joe começou a treinar recrutas para uma nova empresa que precisava desesperadamente de anotadores, ganhando quatro vezes mais. A cada duas semanas, 50 novos funcionários fazem fila para entrar em um prédio de escritórios em Nairóbi para iniciar seus estágios. A necessidade de anotadores parece infinita. Eles serão solicitados a categorizar as roupas que veem em uma selfie no espelho, determinar a sala em que estão através dos olhos de um aspirador de pó robótico e desenhar caixas em torno de uma motocicleta digitalizada pelo Lidar. Mais da metade dos alunos de Joe geralmente desistem antes do término do treinamento. "Algumas pessoas não sabem como ficar em um lugar por muito tempo", explicou ele gentilmente. Além disso, ele admite, "o trabalho é chato".
Mas é um bom emprego em um lugar onde os empregos são escassos, e Joe produziu centenas de graduados. Após o treinamento, os aprendizes podem voltar para casa e trabalhar sozinhos em seus quartos e cozinhas sem contar a ninguém o que estão fazendo. Esse não é o verdadeiro problema porque eles nem mesmo entendem o que estão fazendo.
Rotular objetos para carros autônomos é fácil, mas classificar fragmentos distorcidos de diálogo e identificar se o falante é um robô ou um humano é repleto de desafios. Cada objeto de reconhecimento é uma pequena parte de um projeto maior, por isso é difícil dizer exatamente para o que eles estão treinando a IA. Os nomes desses objetos também não fornecem nenhuma pista, Crab Generation, Whale Segment, Woodland Gyro e Pillbox Bratwurst são todos códigos de trabalho sem qualquer ordem lógica.
Quanto à empresa que os contratou, a maioria das pessoas a conhece apenas como Remotasks, um site que oferece oportunidades de trabalho para quem fala inglês fluentemente. Como a maioria dos anotadores, Joe não sabia que a Remotasks era uma empresa terceirizada de propriedade da Scale AI. A Scale AI é uma provedora de dados multibilionária do Vale do Silício cujos clientes incluem a startup de inteligência artificial OpenAI e as forças armadas dos EUA. Nem o Remotasks nem o Scale AI se mencionam em seus sites.
01 Ajudando máquinas com habilidades exclusivamente humanas
Grande parte da reação do público a grandes modelos de linguagem como o ChatGPT da OpenAI se concentrou no trabalho que eles parecem prestes a automatizar. Mas mesmo o sistema de inteligência artificial mais impressionante não pode prescindir da ajuda de humanos, que o treinam rotulando os dados e intervêm quando eles se misturam. Somente as empresas que podem comprar os dados podem competir no setor, e aquelas que obtêm os dados farão de tudo para mantê-los em segredo. O resultado é que, com exceção de algumas pessoas, sabemos muito pouco sobre as informações que influenciam o comportamento desses sistemas e menos ainda sobre as pessoas por trás do comportamento que os molda.
Para os alunos de Joe, é um trabalho sem qualquer aparência de normalidade: espera-se que eles sigam um cronograma rígido e não precisem saber o que estão fazendo ou para quem estão trabalhando. Na verdade, eles raramente se autodenominam trabalho, apenas “tarefas” de rotina. Eles se autodenominam trabalhadores de tarefas.
O antropólogo David Graeber definiu os chamados "empregos de merda" — trabalhos que não têm significado ou propósito. São trabalhos que deveriam ser automatizados, mas não o são, por questões de burocracia, status ou inércia. O trabalho de treinamento de inteligência artificial é semelhante: trabalhos que as pessoas desejam automatizar são geralmente considerados automatizados, mas ainda exigem a participação de humanos. Essas tarefas têm propósitos especiais, mas os anotadores não estão cientes disso.
O atual boom da IA começou com esse trabalho repetitivo e tedioso. Já em 2007, Fei-Fei Li, um pesquisador de inteligência artificial então professor da Universidade de Princeton, suspeitava que a chave para melhorar as redes neurais para reconhecimento de imagem era treinar com mais dados, exigindo milhões de imagens rotuladas em vez de dezenas de milhares. O problema é que sua equipe levaria décadas e milhões de dólares para marcar tantas fotos.
Fei-Fei Li encontrou milhares de trabalhadores na plataforma de crowdsourcing da Amazon, Mechanical Turk, onde pessoas de todo o mundo realizam pequenas tarefas por um preço baixo. O conjunto de dados rotulados resultante, conhecido como ImageNet, permitiu um grande avanço no aprendizado de máquina, revigorando o campo e inaugurando o progresso da última década.
A anotação continua sendo uma parte essencial do desenvolvimento de IA, mas os engenheiros geralmente sentem que é um pré-requisito passageiro e incômodo para o trabalho de modelagem mais glamoroso. Você poderia coletar o máximo de dados rotulados da maneira mais barata possível para treinar seu próprio modelo e, se pudesse fazer isso, pelo menos em teoria, não precisaria mais de anotadores. No entanto, o trabalho de anotação nunca é realmente feito. Os pesquisadores argumentam que os sistemas de aprendizado de máquina são “frágeis” e propensos a falhas ao encontrar coisas nos dados de treinamento que não são bem explicadas. Essas falhas são conhecidas como "casos extremos" e podem ter consequências graves.
Em 2018, um carro de teste autônomo da empresa de carona Uber matou uma mulher porque, embora programado para evitar ciclistas e pedestres, não sabia o que fazer com os ciclistas que atravessavam a rua. À medida que mais sistemas de IA fornecem aconselhamento jurídico e assistência médica, mais casos extremos eles encontram, exigindo mais humanos para resolvê-los. Isso gerou uma indústria global de pessoas como Joe, que usam suas habilidades exclusivamente humanas para ajudar as máquinas.
Nos últimos seis meses, o repórter investigativo de tecnologia Josh Dzieza falou com mais de duas dezenas de anotadores de todo o mundo, muitos dos quais estão treinando chatbots de ponta, mas também muitos realizando o trabalho físico mundano necessário para manter a IA funcionando . Alguns catalogaram o conteúdo emocional dos vídeos do TikTok, novas variações de spam e publicidade online inadequada. Outros estão analisando transações com cartão de crédito e descobrindo os tipos de compras associados a elas, ou analisando recomendações de comércio eletrônico e decidindo se você realmente vai gostar daquela camisa depois de comprar outra.
Os humanos estão corrigindo erros de chatbots de atendimento ao cliente, ouvindo solicitações da assistente inteligente Alexa da Amazon e categorizando as emoções das pessoas em videochamadas. Eles rotulam os alimentos para que refrigeradores inteligentes não sejam confundidos por novas embalagens, verificam câmeras de segurança automatizadas antes de soar o alarme e ajudam tratores autônomos confusos a identificar o milho.
02 Comentários são grandes negócios, gerando o "mais jovem bilionário self-made"
"É uma cadeia de suprimentos completa", disse Sonam Jindal, diretor de programa e pesquisa da organização sem fins lucrativos Partnership on AI. "A percepção geral na indústria é que este trabalho não é uma parte crítica do desenvolvimento de tecnologia, não é uma parte crítica o desenvolvimento da tecnologia." Vai prosperar por um longo tempo. Toda a empolgação se espalha em torno da construção da IA e, uma vez construída, as anotações não são mais necessárias, então por que se preocupar com isso? Mas a rotulagem de dados é a base da IA, assim como humanos Por mais que a inteligência seja a base da IA, precisamos vê-la como empregos reais na economia da IA que estão aqui para ficar por muito tempo.”
Os fornecedores de dados por trás de nomes familiares como OpenAI, Google e Microsoft têm diferentes formas. Também existem empresas terceirizadas privadas com escritórios semelhantes a call centers, como a CloudFactory no Quênia e no Nepal, onde Joe faz anotações por US$ 1,20 a hora antes de mudar para tarefas remotas.
Existem também sites "crowdworker" como Mechanical Turk e Clickworker, onde qualquer pessoa pode se inscrever para concluir tarefas. No meio estão serviços como o Scale AI. Qualquer pessoa pode se inscrever, mas todos devem passar por um exame de qualificação, um curso de treinamento e ser monitorados quanto ao desempenho. As anotações são um grande negócio. A Scale AI, fundada em 2016 por Alexander Wang, então com 19 anos, foi avaliada em US$ 7,3 bilhões em 2021, tornando-o um dos bilionários mais jovens da Forbes.
Diante disso, não há como dar estimativas detalhadas do número de pessoas que trabalham na anotação, mas o que é certo é que são muitos e estão crescendo rapidamente. O Google Research publicou recentemente um artigo que fornece estimativas vagas do número de anotadores em "milhões" e possivelmente "bilhões" no futuro.
A automação geralmente vem de maneiras inesperadas. Erik Duhaime, CEO da Centaur Labs, uma empresa de anotação de dados médicos, lembra que, alguns anos atrás, vários engenheiros proeminentes de aprendizado de máquina previram que a inteligência artificial substituiria os radiologistas. Quando isso não acontece, a sabedoria convencional se volta para os radiologistas usando a IA como ferramenta.
Nenhuma dessas coisas aconteceu, de acordo com Duheim. A inteligência artificial é muito boa em tarefas específicas, o que faz com que o trabalho seja dividido e atribuído a sistemas algorítmicos especializados e humanos igualmente especializados. Por exemplo, disse ele, um sistema de IA pode detectar câncer, mas apenas em certos tipos de máquinas, em certos tipos de imagens. Portanto, você precisa de alguém para ajudar a verificar se a IA está sendo alimentada com o tipo correto de dados e talvez outra pessoa para verificar se está funcionando antes de entregá-la a outra IA para escrever um relatório e, finalmente, a um humano. “A IA não substituirá os empregos humanos, mas mudará a maneira como os empregos são organizados”, disse Duheim.
Se você pensa na inteligência artificial como uma máquina inteligente e pensante, pode estar ignorando os humanos por trás dela. Du Haimei acredita que o impacto da inteligência artificial no trabalho moderno é como a transição dos artesãos para a manufatura industrial: processos coerentes são divididos em pequenas tarefas, organizadas ao longo da linha de montagem, algumas etapas são concluídas por máquinas, outras por humanos, mas é diferente das anteriores, a situação é bem diferente.
As preocupações com a interrupção da IA costumam ser contestadas dizendo que a IA automatiza certas tarefas, não trabalhos inteiros. Essas tarefas costumam ser tediosas e enfadonhas, levando as pessoas a buscar um trabalho humano mais gratificante. Mas é igualmente possível que a ascensão da inteligência artificial também se pareça com as tecnologias de economia de trabalho do passado, talvez como o telefone ou a máquina de escrever, que eliminam o trabalho penoso de passar mensagens e escrever à mão, mas geram mais informações sobre comunicação, comércio e Tanto que um novo escritório com novos tipos de trabalhadores, balconistas, contadores, datilógrafos, etc., era necessário para gerenciá-los. Você pode não perder seu emprego quando a IA se juntar ao seu trabalho, mas pode se tornar mais estranho, mais isolador e mais tedioso.
03 Simplifique a realidade complexa em algo legível por máquina
No início deste ano, a jornalista Ziyeza se inscreveu para trabalhar na Remotasks. O processo é simples. Você só precisa inserir as especificações do computador, velocidade da rede e informações básicas de contato para entrar no "Centro de Treinamento". Para receber atribuições remuneradas, Ziyeza primeiro teve que concluir os cursos introdutórios relevantes, mas não remunerados. O centro de treinamento apresentou uma série de aulas com nomes incompreensíveis como Glue Swimsuits e Poster Hawaii. Zieza clicou em algo chamado GFD Chunking, que exige que as roupas sejam marcadas em fotos de mídia social.
Além disso, há instruções para tarefas como rotular itens reais, usáveis por humanos ou destinados a serem usados por pessoas reais. Confiante em sua capacidade de distinguir roupas reais que pessoas reais poderiam usar de roupas falsas que pessoas reais não poderiam, Ziyeza começou a testar. No entanto, ele foi imediatamente atingido na cabeça: o computador deu uma foto de revista de uma mulher de saia. Fotos de roupas devem ser consideradas roupas reais? Não, pensou Ziyeza, porque as pessoas não podem usar fotos de roupas. O resultado mostra um erro! Porque aos olhos da inteligência artificial, fotos de roupas reais são equivalentes a roupas reais.
A imagem a seguir é de uma mulher tirando uma selfie em um espelho de corpo inteiro em um quarto mal iluminado. A camisa e o short que ela está usando são roupas reais, e o reflexo das roupas é real? Ziyeza também deu uma resposta negativa, mas o sistema de inteligência artificial acredita que o reflexo de roupas reais também deve ser roupas reais.
Milagros Miceli, pesquisadora que trabalha com dados no Weizenbaum Institute, na Alemanha, disse que há uma confusão generalizada em todo o setor. Em parte, isso é um produto da maneira como os sistemas de aprendizado de máquina aprendem. Os humanos precisam apenas de alguns exemplos para entender o conceito de "camisa", enquanto os programas de aprendizado de máquina precisam de milhares de exemplos, e precisam fazê-lo com consistência perfeita e variedade suficiente (camisas pólo, camisas para uso ao ar livre, camisas penduradas em um rack) para que o sistema possa lidar com a diversidade do mundo real. "Imagine que precisamos reduzir a realidade complexa a algo que máquinas desajeitadas possam ler", disse Miselli.
Para as máquinas, o ato de simplificar a realidade introduz uma enorme complexidade. Os escritores de instruções devem criar regras que permitam aos humanos classificar o mundo com consistência perfeita. Para fazer isso, muitas vezes criam categorias que os humanos não usariam. Se uma pessoa for solicitada a rotular todas as camisas em uma foto, ela pode não rotular as camisas no espelho porque sabe que são reflexos e não roupas reais. Mas para uma IA que não entende o mundo real, são apenas pixels, os dois são exatamente iguais. Se algumas camisas no conjunto de dados forem rotuladas e outras camisas refletidas não, o modelo não funcionará. Então o engenheiro voltou ao fornecedor com informações atualizadas e pediu para etiquetar a camisa que se refletia no espelho. Em breve, você terá outro guia de 43 páginas, todo em letras maiúsculas vermelhas.
O trabalho de um anotador geralmente é deixar de lado a compreensão humana e seguir as instruções muito, muito estritamente. Como disse um comentarista, pense como um robô. É um espaço mental estranho onde você faz o possível para seguir regras ridículas, mas estritas, como fazer um teste padrão enquanto toma alucinógenos. Os anotadores sempre têm perguntas confusas como, esta é uma camisa vermelha com uma listra branca ou é uma camisa branca com uma listra vermelha? Se uma tigela de vime estiver cheia de maçãs, ela é uma "tigela decorativa"? Qual a cor da estampa de leopardo? Todas as perguntas devem ser respondidas, e um palpite errado pode fazer com que você seja banido e iniciar uma missão totalmente nova e totalmente diferente com suas próprias regras desconcertantes.
04 Pague por peça, verifique a tarefa a cada três horas
A maioria dos trabalhos em Remotasks é paga peça por peça, com ganhos que variam de alguns centavos a alguns dólares por tarefa. Como as tarefas podem levar segundos ou horas para serem concluídas, os salários são difíceis de prever. Quando o Remotasks chegou ao Quênia, os comentaristas disseram que pagava relativamente bem. Isso dá uma média de US$ 5 a US$ 10 por hora, dependendo da tarefa. Mas com o tempo, o salário diminui.
A reclamação mais comum sobre o trabalho de teletarefa é sua variabilidade. Esse tipo de trabalho é estável o suficiente para ser um emprego de tempo integral de longo prazo, mas tem muita imprevisibilidade para confiar nele inteiramente. Os anotadores passam horas lendo as instruções e concluindo o treinamento pro bono apenas para concluir uma dúzia de tarefas antes que o projeto termine. Pode não haver novas tarefas por alguns dias e, então, do nada, uma completamente diferente aparece, possivelmente por horas a semanas. Qualquer missão pode ser a última, e eles nunca sabem quando a próxima missão virá.
Engenheiros e fornecedores de dados dizem que esse ciclo de altos e baixos decorre do ritmo de desenvolvimento da IA. O treinamento de um modelo grande requer muitas anotações, seguidas de mais atualizações iterativas, e os engenheiros desejam que tudo isso aconteça o mais rápido possível para que possam cumprir a data de lançamento pretendida. Eles podem precisar de milhares de anotadores ao longo de alguns meses, depois cair para algumas centenas e, finalmente, apenas uma dúzia ou mais de especialistas de um determinado tipo. Este processo é por vezes repetido em ciclos. “A questão é: quem arca com o custo dessas flutuações?”, disse Jindal, da Partnership on AI.
Para serem bem-sucedidos, os anotadores devem trabalhar juntos. Victor começou a trabalhar para a Remotasks quando era um estudante universitário em Nairóbi, e quando lhe disseram que estava tendo problemas com uma tarefa de controle de tráfego, ele disse que todo mundo sabia que deveria ficar longe dessa tarefa: muito complicado, mal pago, não valia a pena. Como muitos comentaristas, Victor usa um grupo não oficial do WhatsApp para divulgar quando surgem boas atribuições. Quando tinha uma nova ideia, iniciava uma reunião improvisada no Google para mostrar aos outros como fazer. Qualquer um pode participar e trabalhar junto por um tempo, compartilhando dicas. "Desenvolvemos uma cultura de ajudar uns aos outros porque sabemos que uma pessoa não pode saber todos os truques", disse ele.
Os anotadores precisam estar sempre atentos, pois os trabalhos aparecem e desaparecem sem aviso prévio. Victor descobriu que os itens frequentemente apareciam no meio da noite, então ele criou o hábito de se levantar a cada três horas ou mais para verificá-los. Quando há uma tarefa, ele sempre fica acordado. A certa altura, ele passou 36 horas sem dormir, marcando cotovelos, joelhos e cabeças em fotos da multidão, embora não soubesse por quê. Outra vez, ele ficou tanto tempo acordado que seus olhos ficaram vermelhos e inchados.
Os anotadores geralmente só sabem que estão treinando sistemas de IA para empresas em outros lugares, mas às vezes o véu do anonimato cai e há muitas dicas para marcas ou chatbots mencionados nas instruções. "Eu li as instruções, pesquisei no Google e descobri que estava trabalhando para um bilionário de 25 anos. Se eu tornar alguém um bilionário e ganhar alguns dólares, estou literalmente desperdiçando minha vida."
Um auto-descrito “crente selvagem” em inteligência artificial, Victor começou o trabalho de anotação porque queria ajudar a criar um futuro totalmente automatizado. Mas no início deste ano, alguém postou uma reportagem da revista Time em seu grupo do WhatsApp sobre como os funcionários do provedor Sama AI estavam recebendo menos de US$ 2 por hora para treinar o ChatGPT para identificar conteúdo tóxico. “As pessoas estão indignadas com o fato de essas empresas serem tão lucrativas e pagarem tão pouco”, disse Victor, que não sabia da relação entre Remotasks e Scale AI até ser informado sobre isso. As instruções para uma das tarefas em que ele trabalhou eram quase idênticas às usadas pelo OpenAI, o que significa que ele provavelmente também estava treinando no ChatGPT, por cerca de US$ 3 a hora. "
Lembro-me de alguém postando que seremos lembrados no futuro", disse ele. Zero um respondeu: "Fomos tratados pior do que a infantaria. Não seremos lembrados em nenhum lugar no futuro, eu me lembro bem disso. Ninguém reconhecerá o trabalho que fazemos e o esforço que fazemos. "
Identificar roupas e rotular conversas de atendimento ao cliente são apenas alguns dos trabalhos de anotação. Recentemente, a coisa mais quente do mercado são os treinadores de chatbot. Como requer conhecimentos específicos do domínio ou fluência no idioma, e os salários tendem a ser ajustados por região, o trabalho tende a pagar mais. Certos tipos de anotações profissionais podem render até US$ 50 ou mais por hora.
Quando uma mulher chamada Anna estava procurando emprego no Texas, ela se deparou com uma lista de empregos on-line genérica e se candidatou. Depois de passar em um exame introdutório, ela foi conduzida a uma sala do Slack com 1.500 pessoas treinando em um projeto de codinome Dolphin, que ela descobriu mais tarde ser o chatbot Sparrow do Google DeepMind, um dos muitos chatbots concorrentes do ChatGPT. O trabalho de Anna é conversar com Sparrow o dia todo, e o salário por hora é de cerca de $ 14, mais o bônus por alta eficiência no trabalho, "isso é definitivamente melhor do que trabalhar no supermercado local para ganhar $ 10 por hora".
05 AI responde a três critérios: precisão, utilidade e inofensividade
E Ana adora o trabalho. Ela discutiu ficção científica, paradoxos matemáticos, enigmas infantis e programas de TV com Sparrow. Às vezes, as respostas do chatbot a faziam rir alto. Às vezes, ela também se sente sem palavras. Anna disse: "Às vezes, eu realmente não sei o que perguntar, então tenho um caderninho com duas páginas já escritas. Pesquiso tópicos interessantes no Google, então acho que posso fazer um bom trabalho. Lidar com sete horas, o que nem sempre é o caso."
Toda vez que Anna solicita Sparrow, ele dá duas respostas, e ela tem que escolher a melhor, criando o que é chamado de "dados de feedback humano". Quando o ChatGPT estreou no final do ano passado, seu estilo de conversação impressionantemente natural foi creditado ao fato de ter sido treinado em grandes quantidades de dados da Internet. Mas a linguagem que alimenta o ChatGPT e seus concorrentes é filtrada por várias rodadas de anotação humana.
Uma equipe de empreiteiros escreveu exemplos de como os engenheiros queriam que o chatbot se comportasse, fazendo perguntas e dando as respostas corretas, descrevendo programas de computador e fornecendo códigos funcionais, pedindo dicas criminais e recusando educadamente. Depois que o modelo é treinado com esses exemplos, mais contratados são introduzidos para solicitar e classificar suas respostas. Foi o que Ana fez com Sparrow.
Exatamente quais critérios os avaliadores deveriam usar variavam, como honestidade, prestatividade ou apenas preferência pessoal. A questão é que eles estão criando dados sobre o gosto humano e, quando houver dados suficientes, os engenheiros podem treinar um segundo modelo para imitar suas preferências em escala, automatizando o processo de classificação e treinando sua IA para reconhecer o modo de agir do gosto humano. O resultado é um robô muito humano que basicamente rejeita solicitações prejudiciais e explica sua natureza de inteligência artificial de uma forma que parece ser autoconsciente.
Em outras palavras, o ChatGPT parece humano porque foi treinado por uma IA que imita humanos e está agindo como um humano.
Isso pode fazer com que o modelo extraia padrões de partes de seu mapa de linguagem que são marcadas como precisas e produza um texto que corresponda à verdade, mas também pode fazer com que imite o estilo confiante e o jargão de um texto preciso ao escrever algo completamente errado . Não há garantia de que o texto marcado como preciso pelos anotadores seja realmente preciso. Mesmo que seja preciso, não há garantia de que o modelo tenha aprendido o padrão correto com ele.
Essa dinâmica torna a anotação de chatbots difícil. Tem que ser rigoroso e consistente, porque o feedback desleixado, como marcar o material com som correto como preciso, pode tornar o modelo treinado mais convincente. A OpenAI e a DeepMind usaram o RLHF em um projeto conjunto anterior, neste caso, para treinar uma mão robótica virtual para agarrar um objeto e, como resultado, também treinaram a mão robótica para posicionar e girar o objeto entre o objeto e seu avaliador. forma, só aparecerá para seus superintendentes humanos.
Classificar as respostas de um modelo de linguagem é sempre algo subjetivo porque se trata de uma linguagem. Texto de qualquer comprimento pode conter vários elementos que podem ser verdadeiros, falsos ou enganosos. Os pesquisadores da OpenAI se depararam com esse obstáculo em outro artigo inicial da RLHF. Para fazer com que seu modelo resumisse o texto, os pesquisadores descobriram que apenas 60% dos resumos do modelo eram bons. "Ao contrário de muitas tarefas no aprendizado de máquina, nossas consultas não têm uma verdade clara", lamentam.
Quando Ana avalia as respostas de Sparrow, ela deve verificar sua precisão, utilidade e inocuidade, ao mesmo tempo em que verifica se o modelo não está dando conselhos médicos ou financeiros, se antropomorfizando ou violando outros critérios. Para serem úteis como dados de treinamento, as respostas do modelo devem ser ordenadas quantitativamente: um robô que pode lhe dizer como fazer uma bomba é "melhor" do que um robô inofensivo que se recusa a responder a qualquer pergunta?
Em um artigo da DeepMind, enquanto os fabricantes de Sparrow se revezavam nas anotações, quatro pesquisadores debateram se seu bot fazia suposições sobre o gênero dos usuários que o procuravam em busca de conselhos emocionais. De acordo com Geoffrey Irving, cientista pesquisador da DeepMind, os pesquisadores da empresa realizam sessões semanais de anotações nas quais revisam os dados e discutem casos ambíguos. Quando um caso é particularmente complicado, eles consultam especialistas em ética ou no assunto.
Anna muitas vezes descobriu que tinha que escolher entre duas opções ruins. "Mesmo que ambas sejam respostas terrivelmente erradas, você ainda precisa descobrir qual é a melhor e escrever o texto explicando o porquê", diz ela. Às vezes, quando nenhuma das respostas é boa, ela é incentivada a dar a resposta ela mesma. Dê a resposta. uma resposta melhor. Ela faz isso cerca de metade do tempo durante o treinamento.
06 Os comentários exigem cada vez mais habilidades e conhecimentos específicos
Como os dados de feedback são difíceis de coletar, o preço de venda é maior. O tipo de dados básicos de preferência que Ana está coletando é vendido por cerca de US$ 1 cada, de acordo com pessoas com conhecimento do setor. Mas se você quer treinar um modelo para fazer pesquisa jurídica, precisa de alguém com formação jurídica, o que aumenta os custos. Todos os envolvidos não revelarão exatamente quanto pagaram, mas, de modo geral, um exemplo escrito profissional pode custar algumas centenas de dólares, enquanto uma classificação de especialista pode custar US $ 50 ou mais. Um engenheiro revelou que certa vez pagou US$ 300 por uma amostra do diálogo de Socratic.
OpenAI, Microsoft, Meta e Anthropic não divulgaram quantas pessoas contribuíram com anotações para seus modelos, quanto receberam ou em que lugar do mundo estão localizadas. Os anotadores que trabalham no Sparrow recebem pelo menos um salário mínimo por hora, dependendo de onde estão localizados, disse Owen, da DeepMind, empresa irmã do Google. Ana não sabe "nada" sobre Remotasks, mas sabe mais sobre Sparrow, sabendo que é o assistente de inteligência artificial do DeepMind, que seus criadores treinaram usando RLHF.
Até recentemente, era relativamente fácil detectar resultados ruins de modelos de linguagem, que pareciam sem sentido. Mas, à medida que os modelos melhoram, isso se torna mais difícil, um problema conhecido como "supervisão escalável". O uso de modelos de linguagem moderna pelo Google para a estreia de seu assistente de IA, Bard, demonstrou inadvertidamente como é difícil detectar erros em modelos de linguagem moderna. Essa trajetória significa que a anotação requer cada vez mais habilidades e conhecimentos específicos.
No ano passado, um cara chamado Lewis estava trabalhando no Mechanical Turk e, após concluir uma tarefa, recebeu uma mensagem convidando-o a ingressar em uma plataforma da qual nunca tinha ouvido falar. Chama-se Taskup.ai, e o site é bem simples, apenas um fundo azul-marinho com o texto "Pague conforme o uso". Lewis optou por se registrar.
O trabalho paga muito melhor do que qualquer outro trabalho que ele teve antes, geralmente cerca de US $ 30 por hora. No entanto, também é mais desafiador, exigindo o design de cenários complexos para induzir os chatbots a dar conselhos perigosos, testar a capacidade do modelo de manter sua própria personalidade e se envolver em conversas detalhadas sobre tópicos científicos que são altamente técnicos e exigem uma pesquisa extensa. Lewis achou o trabalho "satisfatório e emocionante". Enquanto verificava um modelo e tentava codificá-lo em Python, Lewis estava aprendendo. Ele não pode trabalhar mais de 4 horas seguidas para não ficar mentalmente exausto e cometer um erro, e ele quer manter o emprego.
Lewis disse: "Se houver algo que eu possa mudar, só quero saber mais sobre o que está acontecendo do outro lado. Sabemos apenas o que precisamos para fazer o trabalho, mas se eu souber mais, talvez possa fazer o trabalho. . maior realização, e talvez considerá-lo uma carreira.
O repórter investigativo de tecnologia Ziyeza entrevistou outras oito pessoas, a maioria nos EUA, que tiveram experiências semelhantes respondendo a pesquisas ou concluindo tarefas em outras plataformas e depois sendo contratadas pelo Taskup.ai ou alguns sites semelhantes, como DataAnnotation.tech ou Gethybrid.io. Seu trabalho geralmente envolve o treinamento de chatbots, embora seus chatbots sejam de maior qualidade e mais especializados em propósito do que outros sites em que trabalharam. Um deles é uma macro de planilha de apresentação e o outro só precisa conversar e avaliar as respostas de acordo com os critérios que desejar. Ela costuma fazer perguntas ao chatbot que também surgem ao conversar com sua filha de 7 anos, como "Qual é o maior dinossauro?" e "Escreva uma história sobre um tigre".
Taskup.ai, DataAnnotation.tech e Gethybri.io parecem pertencer à mesma empresa: Surge AI. Seu presidente-executivo, Edwin Chen, não quis confirmar nem negar a conexão, mas estava disposto a falar sobre sua empresa e como ele vê a evolução das anotações.
“Sempre achei que o campo da rotulagem era simplista”, diz Edwin, que fundou a Surge AI em 2020 depois de trabalhar em pesquisa de IA no Google, Facebook e Twitter, convencido de que os rótulos de crowdsourcing não eram suficientes. Edwin disse: "Esperamos que a inteligência artificial possa contar piadas, escrever bons textos de marketing ou me ajudar quando eu precisar de terapia. Mas nem todo mundo pode contar piadas ou resolver problemas de programação em Python. Essa mentalidade de baixa qualidade e pouca habilidade se transforma em algo mais rico e captura as habilidades humanas, a criatividade e os valores que queremos que os sistemas de IA tenham."
07 Os sistemas de aprendizado de máquina são muito estranhos para serem totalmente confiáveis
No ano passado, a Surge AI renomeou um conjunto de dados da classificação do Google de postagens do Reddit por sentimento. O Google retirou o contexto de cada post e o enviou a anotadores na Índia para anotação. Os funcionários da Surge AI familiarizados com a cultura da Internet americana descobriram que 30% das anotações estavam erradas. Postagens como "Inferno, meu irmão" foram classificadas como "Ódio", enquanto "Cool McDonald's, meu favorito" foi classificado como "Amor".
Edwin disse que o Surge AI examina as qualificações dos anotadores, como se as pessoas que executam tarefas de redação criativa têm experiência em redação criativa, mas exatamente como encontra a equipe é um “segredo”. Assim como no Remotasks, os trabalhadores normalmente devem concluir um curso de treinamento, embora, ao contrário do Remotasks, eles possam ser pagos para realizar tarefas durante o treinamento. Ter menos funcionários mais bem treinados e produzir dados de maior qualidade permitiu que a Surge AI pagasse melhor do que seus pares, mas ele se recusou a dar mais detalhes, dizendo apenas que os funcionários são pagos em um "nível justo e ético". Esses anotadores ganham entre US$ 15 e US$ 30 por hora, mas representam uma pequena fração de todos os anotadores, um grupo que agora chega a 100.000. Esse sigilo decorre de uma solicitação do cliente, explicou.
Esses novos modelos são tão impressionantes que inspiraram uma nova onda de previsões de que a anotação está prestes a ser automatizada. A pressão financeira para fazê-lo é alta, dados os custos envolvidos. Anthropic, Meta e outros recentemente fizeram progressos no uso de inteligência artificial para reduzir a quantidade de anotação humana necessária para guiar modelos, e outros desenvolvedores começaram a usar o GPT-4 para gerar dados de treinamento.
No entanto, um artigo recente descobriu que os modelos treinados no GPT-4 podem estar aprendendo a imitar o estilo autoritário do GPT com menos precisão. Até agora, quando as melhorias na IA tornaram obsoleta uma forma de rotulagem, aumentou a necessidade de outros tipos mais complexos. O debate tornou-se público no início deste ano, quando o CEO da Scale AI twittou que previu que os laboratórios de IA logo gastariam bilhões de dólares em dados humanos, assim como eles estavam calculando o mesmo que acima. O CEO da OpenAI, Sam Altman, respondeu que, à medida que a inteligência artificial avança, a necessidade de dados diminuirá.
Edwin duvida que a IA chegue a um ponto em que o feedback humano não seja mais necessário, mas ele vê a rotulagem se tornando cada vez mais difícil à medida que os modelos melhoram. Como muitos pesquisadores, ele acha que o caminho a seguir envolverá sistemas de IA ajudando os humanos a supervisionar outras IAs. A Surge AI recentemente fez parceria com a Anthropic em uma prova de conceito em que anotadores humanos responderam a perguntas sobre um longo trecho de texto com a ajuda de um assistente de IA não confiável, a teoria é que os humanos devem sentir as fraquezas de seu assistente de IA e o raciocínio cooperativo para encontrar a resposta correta.
Outra possibilidade é dois AIs debaterem entre si, com um humano fazendo o julgamento final. O cientista de pesquisa da OpenAI, John Schulman, disse em uma palestra recente em Berkeley: "Ainda não vimos o potencial prático real dessas coisas, mas está começando a se tornar necessário porque é difícil para os anotadores acompanharem o avanço do modelo".
Edwin disse: "Acho que você sempre precisará de um humano para monitorar o que a IA está fazendo só porque eles são alienígenas. Os sistemas de aprendizado de máquina são muito estranhos para serem totalmente confiáveis. O mais impressionante hoje Alguns de nossos modelos têm fraquezas que parecem muito estranhas aos humanos. Embora o GPT-4 possa gerar textos complexos e convincentes, ele não consegue dizer quais palavras são adjetivos."
08 ChatGPT ajuda muito no fluxo de tarefas
À medida que 2022 se aproximava do fim, Joe começou a ouvir de seus alunos que suas listas de tarefas muitas vezes estavam vazias. Então ele recebeu um e-mail informando que o campo de treinamento no Quênia estava fechando. Ele continuou suas atribuições de treinamento online, mas começou a se preocupar com o futuro. "
Há indícios de que este não será o caso por muito tempo", disse Joe. O trabalho de anotação está prestes a deixar o Quênia. De colegas que conheceu online, ele ouviu que tais missões estão sendo enviadas para o Nepal, Índia e Filipinas . Joe disse: "As empresas mudam de uma região para outra. Eles não têm a infraestrutura local, então eles têm a flexibilidade de se mudar para onde os custos operacionais são mais benéficos para eles. "
Uma maneira pela qual a indústria de IA difere da de celulares e montadoras é sua fluidez. Esse trabalho está em constante mudança, sendo automatizado e substituído por novas demandas por novos tipos de dados. É um pipeline, mas pode ser constante e rapidamente reconfigurado, movendo-se para onde quer que as habilidades, largura de banda e folha de pagamento corretas estejam disponíveis.
Recentemente, os empregos mais bem pagos para tarefas de anotação retornaram aos Estados Unidos. Em maio, a Scale AI começou a listar trabalhos de anotação em seu site, procurando pessoas com experiência em quase todos os campos que a IA deve conquistar. Algumas dessas listas de treinadores de IA que têm treinamento físico, recursos humanos, finanças, economia, ciência de dados, programação, ciência da computação, química, biologia, contabilidade, tributação, nutrição, física, viagens, educação K-12, jornalismo esportivo e auto -ajuda perícia.
Você pode ensinar leis aos robôs e ganhar US$ 45 por hora; ensinar-lhes poesia e ganhar US$ 25 por hora. O site também lista o recrutamento de pessoas com experiência em segurança, presumivelmente para ajudar a treinar a IA militar. A Scale AI revelou recentemente um modelo de linguagem de defesa chamado Donovan, que os executivos da empresa chamaram de “munição na guerra de IA”, e ganhou um contrato para trabalhar no programa de veículos robóticos de combate do Exército.
Ana ainda está treinando chatbots no Texas. Os colegas se transformaram em comentaristas e moderadores do Slack, e ela não sabia por quê, mas isso lhe deu esperança de que o trabalho pudesse ser uma carreira de longo prazo. Uma coisa com a qual ela não está preocupada é a substituição de empregos pela automação, ela disse: "Quero dizer, os chatbots podem fazer muitas coisas incríveis, mas também podem fazer coisas realmente estranhas".
Quando o Remotasks chegou ao Quênia, Joe achou que a anotação poderia ser uma boa carreira. Ele estava determinado a continuar o trabalho mesmo depois que ele se mudou para outro lugar. Ele raciocinou que havia milhares de pessoas em Nairóbi que sabiam como fazer o trabalho. Afinal, ele treinou muita gente. Joe alugou um escritório na cidade e começou a procurar contratos de terceirização: um trabalho anotando projetos para uma construtora, outro anotando frutas danificadas por insetos para algum tipo de projeto agrícola e outro para carros autônomos. rotinas de rotulagem.
Mas Joe descobriu que sua visão era difícil de alcançar. Ele agora tem apenas um funcionário em tempo integral, contra dois antes. “Não tivemos um fluxo constante de trabalho”, disse ele. Não havia nada para fazer por semanas porque os clientes ainda estavam coletando dados. Quando o cliente terminou de coletar os dados, ele teve que contratar empreiteiros de curto prazo para cumprir seus prazos: "O cliente não se importava se tivéssemos trabalho em andamento. Desde que a rotulagem do conjunto de dados fosse feita, tudo bem."
Para não deixar que suas habilidades sejam desperdiçadas, outros executores de tarefas decidem para onde a tarefa vai e vão para lá. Eles alugam servidores proxy para disfarçar sua localização e compram identidades falsas para passar pela segurança e fingir que estão trabalhando em Cingapura, Holanda, Mississippi ou onde quer que a missão flua. Este é um negócio arriscado. A Scale AI tornou-se cada vez mais agressiva na suspensão de contas que escondem suas localizações, de acordo com vários atores da missão. "
Ficamos um pouco mais espertos hoje em dia porque percebemos que em outros países eles estão pagando bons salários”, disse Victor. Ele ganha o dobro trabalhando na Malásia do que no Quênia, mas “tem que ter cuidado”.
Outro comentarista queniano disse que decidiu não seguir as regras depois que sua conta foi bloqueada por motivos misteriosos. Agora, ele administra várias contas em vários países, realizando missões onde a receita é maior. Graças ao ChatGPT, ele diz que trabalha rápido e tem um alto índice de qualidade. O bot, diz ele, é ótimo e permite que ele conclua rapidamente tarefas de US$ 10 em minutos.