Демистификация «рабочих-мигрантов с искусственным интеллектом», стоящих за ChatGPT: скучно и однообразно, оплата сдельная, почасовая оплата всего 1 доллар.

**Источник:**Tencent Technology

Аннотация: Аннотаторы данных классифицируют и маркируют данные, позволяя искусственному интеллекту учиться, находя закономерности в больших объемах данных, и считаются «призрачным трудом», скрытым за машиной. Работа с аннотациями — это основа искусственного интеллекта, она сформировала целую цепочку поставок, и этот вид работы еще долго будет существовать.

Фокус

1. Искусственный интеллект обучается, ища закономерности в больших объемах данных, но сначала эти данные должны быть классифицированы и помечены людьми, после чего появляются аннотаторы данных, которых считают «рабочими-призраками», скрытыми за машинами.

2. Работа комментаторов скучна и утомительна. Им часто приходится выполнять повторяющуюся работу и оплачивать ее по частям. Средняя почасовая оплата составляет от 5 до 10 долларов США (примерно от 36 до 72 юаней). К началу этого года почасовая оплата некоторых комментаторов была снижена до 1–3 долларов в час (примерно от 7 до 22 юаней).

3. Работа с аннотациями по-прежнему является основой искусственного интеллекта и формирует полную цепочку поставок. Такие профессии останутся здесь надолго.

4. Работа над аннотациями отличается от производства смартфонов и автомобилей тем, что она легко деформируется и текуча, и часто перетекает в места с более низкими эксплуатационными расходами.

Через несколько месяцев после окончания Университета Найроби Джо, которому сейчас 30 лет, нашел работу аннотатора, помогающего обрабатывать необработанную информацию, используемую для обучения искусственного интеллекта, что было скучно и утомительно. Искусственный интеллект обучается, находя закономерности в больших объемах данных, но сначала эти данные должны быть классифицированы и помечены людьми, поэтому можно сказать, что люди — это «рабочие-призраки», скрытые за машинами.

Возьмем, к примеру, работу Джо, где он маркирует видео для беспилотных автомобилей, идентифицируя автомобили, пешеходов, велосипедистов и все, на что водитель должен обращать внимание, кадр за кадром, с каждого угла камеры. Это сложная и повторяющаяся работа. Комментирование короткого видео продолжительностью в несколько секунд занимает восемь часов, за что Джо получает около 10 долларов.

Затем, в 2019 году, перед ним появилась возможность, и Джо начал обучать новобранцев для новой компании, которая остро нуждалась в аннотаторах, зарабатывая в четыре раза больше. Каждые две недели 50 новых сотрудников выстраиваются в очередь, чтобы войти в офисное здание в Найроби, чтобы начать обучение. Потребность в аннотаторах кажется бесконечной. Им будет предложено классифицировать одежду, которую они видят в зеркальном селфи, определить комнату, в которой они находятся, глазами робота-пылесоса и нарисовать коробки вокруг мотоцикла, отсканированного лидаром. Обычно более половины учеников Джо бросают учебу до окончания обучения. — Некоторые люди не умеют долго оставаться на одном месте, — мягко объяснил он. К тому же, признает он, «работа скучная».

Но это хорошая работа в стране, где рабочих мест мало, а Джо выпустил сотни выпускников. После обучения ученики могут вернуться домой и работать в одиночестве в своих спальнях и на кухнях, никому не рассказывая, что они делают. Это не настоящая проблема, потому что они даже не понимают, что делают.

Маркировать объекты для беспилотных автомобилей легко, но классифицировать искаженные фрагменты диалогов и определять, является ли говорящий роботом или человеком, сопряжено с трудностями. Каждый объект распознавания — это маленькая часть более крупного проекта, поэтому сложно сказать, чему именно обучают ИИ. Названия этих объектов также не дают никаких подсказок: Crab Generation, Whale Segment, Woodland Gyro и Pillbox Bratwurst — все это коды заданий без какого-либо логического порядка.

Что касается компании, которая их наняла, то большинство людей знают ее только как Remotasks — веб-сайт, предлагающий вакансии всем, кто свободно говорит по-английски. Как и большинство аннотаторов, Джо не знал, что Remotasks — это компания, работающая по контракту и принадлежащая Scale AI. Scale AI — многомиллиардный поставщик данных из Силиконовой долины, клиентами которого являются стартап искусственного интеллекта OpenAI и американские военные. Ни Remotasks, ни Scale AI не упоминают друг друга на своих сайтах.

01 Помощь машинам с уникальными человеческими способностями

Большая часть общественной реакции на большие языковые модели, такие как ChatGPT от OpenAI, была сосредоточена на работе, которую они, кажется, готовы автоматизировать. Но даже самая впечатляющая система искусственного интеллекта не может обойтись без помощи людей, которые обучают ее, маркируя данные и вмешиваясь, когда они путаются. Только те компании, которые могут позволить себе покупать данные, могут конкурировать в отрасли, а те, кто получает данные, сделают все возможное, чтобы сохранить их в секрете. В результате, за исключением нескольких человек, мы очень мало знаем об информации, влияющей на поведение этих систем, и еще меньше о людях, стоящих за поведением, которое их формирует.

Для учеников Джо это работа, лишенная всякого подобия нормальности: ожидается, что они будут придерживаться строгого графика, и им не нужно знать, что они делают или на кого работают. На самом деле, они редко называют себя работой, просто рутинными «задачами». Они называют себя рабочими.

Антрополог Дэвид Грэбер дал определение так называемой «ерундовой работе» — работе, не имеющей смысла или цели. Это рабочие места, которые должны быть автоматизированы, но не по причинам бюрократии, статуса или инерции. Работа по обучению искусственного интеллекта похожа: рабочие места, которые люди хотят автоматизировать, обычно считаются автоматизированными, но все же требуют участия людей. Эти задачи имеют особое назначение, но аннотаторы об этом не знают.

Нынешний бум ИИ начался с этой довольно утомительной, повторяющейся работы. Еще в 2007 году Фей-Фей Ли, исследователь искусственного интеллекта, а затем профессор Принстонского университета, подозревал, что ключом к улучшению нейронных сетей для распознавания изображений является обучение на большем количестве данных, требующее миллионов помеченных изображений, а не десятков тысяч. Проблема в том, что ее команде потребовались бы десятилетия и миллионы долларов, чтобы пометить такое количество фотографий.

Фей-Фей Ли нашла тысячи работников на краудсорсинговой платформе Amazon, Mechanical Turk, где люди со всего мира выполняют небольшие задачи по дешевке. Полученный в результате помеченный набор данных, известный как ImageNet, позволил совершить крупный прорыв в машинном обучении, оживив эту область и возвестив прогресс последнего десятилетия.

Аннотации остаются важной частью разработки ИИ, но инженеры часто считают, что это мимолетная, громоздкая предпосылка для более гламурной работы по моделированию. Вы могли бы собрать как можно больше помеченных данных как можно дешевле для обучения собственной модели, и если бы вы могли это сделать, по крайней мере теоретически, вам больше не понадобились бы аннотаторы. Тем не менее, работа над аннотациями никогда не заканчивается. Исследователи утверждают, что системы машинного обучения «хрупки» и склонны к сбоям, когда сталкиваются с вещами в обучающих данных, которые недостаточно объяснены. Эти сбои известны как «крайние случаи» и могут иметь серьезные последствия.

В 2018 году тестовый беспилотный автомобиль от компании по вызову такси Uber убил женщину, потому что, несмотря на то, что он был запрограммирован избегать велосипедистов и пешеходов, он не знал, что делать с велосипедистами, переходящими улицу. Чем больше систем ИИ предоставляют юридические консультации и медицинскую помощь, тем больше крайних случаев они сталкиваются, и для их решения требуется больше людей. Это породило глобальную индустрию таких людей, как Джо, которые используют свои уникальные человеческие способности, чтобы помогать машинам.

За последние шесть месяцев репортер по техническим расследованиям Джош Дзиеза поговорил с более чем двумя десятками комментаторов со всего мира, многие из которых обучают передовых чат-ботов, но также многие выполняют рутинный физический труд, необходимый для поддержания работы ИИ. . Некоторые каталогизировали эмоциональное содержание видео TikTok, новые варианты спама и неприемлемую онлайн-рекламу. Другие просматривают транзакции по кредитным картам и выясняют типы покупок, связанных с ними, или просматривают рекомендации электронной коммерции и решают, действительно ли вам понравится эта рубашка после покупки другой.

Люди исправляют ошибки чат-ботов обслуживания клиентов, прислушиваются к запросам интеллектуального помощника Amazon Alexa и классифицируют эмоции людей во время видеозвонков. Они маркируют продукты, чтобы умные холодильники не сбились с толку из-за новой упаковки, проверяют автоматические камеры видеонаблюдения, прежде чем подать сигнал тревоги, и помогают сбитым с толку автономным тракторам идентифицировать кукурузу.

02 Комментарии — это большой бизнес, породивший «самого молодого миллиардера, который сделал себя сам»

«Это полная цепочка поставок, — говорит Сонам Джиндал, директор по программам и исследованиям в некоммерческом партнерстве по ИИ. развитие технологии». Будет процветать в течение долгого времени. Весь ажиотаж распространяется вокруг создания ИИ, и как только мы его создадим, аннотации больше не нужны, так зачем думать об этом? Но маркировка данных — это основа ИИ, как и люди Поскольку интеллект является основой ИИ, мы должны рассматривать их как настоящие рабочие места в экономике ИИ, которые останутся здесь надолго».

Поставщики данных, скрывающиеся за знакомыми именами, такими как OpenAI, Google и Microsoft, представляются по-разному. Есть также частные аутсорсинговые компании с офисами, похожими на колл-центры, такие как CloudFactory в Кении и Непале, где Джо делает аннотации за 1,20 доллара в час, прежде чем переключиться на Remotasks.

Существуют также «краудворкерские» сайты, такие как Mechanical Turk и Clickworker, где каждый может зарегистрироваться для выполнения задач. Посередине находятся такие сервисы, как Scale AI. Зарегистрироваться может любой желающий, но каждый должен сдать квалификационный экзамен, пройти курс обучения и пройти контроль за успеваемостью. Аннотации — это большой бизнес. Компания Scale AI, основанная в 2016 году 19-летним Александром Вангом, в 2021 году была оценена в 7,3 миллиарда долларов, что сделало его одним из самых молодых миллиардеров, добившихся успеха самостоятельно, по версии Forbes.

Эту сложную цепочку поставок трудно понять посторонним. Согласно отраслевым источникам, компании, которые покупают размеченные данные, требуют строгой конфиденциальности. Аннотации иногда дают утечку информации о разрабатываемой системе ИИ, а добавление большого количества аннотаторов затрудняет предотвращение утечки. Аннотаторов всегда предупреждают никому не рассказывать о своей работе, даже друзьям и коллегам. Самое главное, крайнее разделение труда гарантирует, что у них не будет достаточно информации, чтобы рассказать о своей работе, даже если бы они захотели.

Учитывая это, невозможно дать подробные оценки количества людей, работающих над аннотациями, но несомненно то, что их много и они быстро растут. Google Research недавно опубликовал документ, в котором даны расплывчатые оценки числа комментаторов в «миллионы» и, возможно, «миллиарды» в будущем.

Автоматизация часто приходит неожиданным образом. Эрик Дюхайм, генеральный директор Centaur Labs, компании, занимающейся аннотированием медицинских данных, вспоминает, что несколько лет назад несколько известных инженеров по машинному обучению предсказали, что искусственный интеллект заменит рентгенологов. Когда этого не происходит, общепринятое мнение обращается к рентгенологам, использующим ИИ в качестве инструмента.

По словам Дюхейма, ничего из этого не произошло. Искусственный интеллект очень хорошо справляется с конкретными задачами, что побуждает разбивать работу на части и поручать специализированным алгоритмическим системам и столь же специализированным людям. Например, по его словам, система искусственного интеллекта может обнаруживать рак, но только на определенных типах машин и на определенных типах изображений. Итак, вам нужен кто-то, кто поможет проверить, что ИИ получает данные правильного типа, и, возможно, кто-то еще проверит, работает ли он, прежде чем передать его другому ИИ для написания отчета и, наконец, человеку. «ИИ не заменит человеческие рабочие места, но он изменит способ организации рабочих мест», — сказал Дюхейм.

Если вы думаете об искусственном интеллекте как об умной, думающей машине, вы можете игнорировать людей, стоящих за ним. Дю Хаймей считает, что влияние искусственного интеллекта на современную работу подобно переходу от ремесленников к промышленному производству: согласованные процессы разбиваются на мелкие задачи, выстраиваются вдоль конвейера, некоторые этапы выполняются машинами, некоторые — людьми, но отличается от предыдущих.Ситуация совсем другая.

На опасения по поводу разрушения ИИ часто возражают, говоря, что ИИ автоматизирует определенные задачи, а не работу целиком. Эти задачи часто утомительны и скучны и могут побудить людей заниматься более полезной, человеческой работой. Но в равной степени возможно, что рост искусственного интеллекта также будет похож на трудосберегающие технологии прошлого, возможно, на телефон или пишущую машинку, которые устраняют рутинную передачу сообщений и рукописный ввод, но генерируют больше информации о коммуникации, торговле и Настолько, что для управления ими потребовался новый офис, укомплектованный новыми типами рабочих, клерками, бухгалтерами, машинистками и т. д. Вы можете не потерять работу, когда ИИ присоединится к вашей работе, но она может стать более странной, более изолирующей и более утомительной.

03 Упростите сложную реальность, сделав ее машиночитаемой

Ранее в этом году журналист Зиеза устроился на работу в Remotasks. Процесс прост. Вам нужно только ввести характеристики компьютера, скорость сети и основную контактную информацию, чтобы войти в «Учебный центр». Чтобы получить оплачиваемые задания, Зиезе сначала нужно было пройти соответствующие, но неоплачиваемые вводные курсы. Учебный центр продемонстрировал серию занятий с непонятными названиями вроде Glue Swimsuits и Poster Hawaii. Зиеза нажал на что-то под названием GFD Chunking, которое требует, чтобы одежда была помечена на фотографиях в социальных сетях.

Помимо этого, есть инструкции для таких задач, как маркировка предметов, которые являются реальными, пригодными для ношения людьми или предназначенными для ношения реальными людьми. Уверенный в своей способности отличить настоящую одежду, которую могут носить настоящие люди, от поддельной одежды, которую настоящие люди носить не могут, Зиеза приступил к испытаниям. Однако его тут же ударили по голове: компьютер выдал журналу фотографию женщины в юбке. Должны ли фотографии одежды считаться настоящей одеждой? Нет, подумал Зиеза, потому что люди не могут носить одежду с картинками. Результат показывает ошибку! Потому что в глазах искусственного интеллекта фотографии реальной одежды эквивалентны настоящей одежде.

На следующем изображении женщина делает селфи в зеркале в полный рост в тускло освещенной спальне. Рубашка и шорты, которые она носит, — настоящая одежда, и реально ли отражение одежды? Зиеза также дал отрицательный ответ, но система искусственного интеллекта считает, что отражение реальной одежды тоже должно быть настоящей одеждой.

После неловких проб и ошибок Зиеза, наконец, приступил к работе, но, к своему ужасу, обнаружил, что инструкции, которым он изо всех сил пытался следовать, обновлялись много раз и выросли до 43 страниц, включая «Не маркировать открытый чемодан, полный одежду; маркируйте не обувь, а ласты; маркируйте леггинсы, но не колготки; не маркируйте полотенца, даже если кто-то их носит; не маркируйте одежду Маркируйте ее, но не маркируйте доспехи. и т. д......

Милагрос Мичели, исследователь, работающий с данными в Институте Вейценбаума в Германии, сказал, что в отрасли существует широко распространенная путаница. Отчасти это результат того, как обучаются системы машинного обучения. Людям нужно всего несколько примеров, чтобы понять концепцию «рубашки», тогда как программам машинного обучения нужны тысячи примеров, и они должны делать это с идеальной согласованностью и достаточным разнообразием (рубашки-поло, рубашки для активного отдыха, рубашки, висящие на стене). стойку), чтобы система могла работать с реальным разнообразием. «Представьте, что нам нужно свести сложную реальность к тому, что могут читать неуклюжие машины», — сказал Мизелли.

Для машин акт упрощения реальности представляет огромную сложность. Авторы инструкций должны придумать правила, которые позволят людям классифицировать мир с идеальной согласованностью. Для этого они часто создают категории, которые люди не использовали бы. Если человека попросить пометить все рубашки на фотографии, он может не пометить рубашки в зеркале, потому что знает, что это отражение, а не настоящая одежда. Но для ИИ, который не понимает реальный мир, это просто пиксели, они совершенно одинаковы. Если некоторые рубашки в наборе данных помечены, а другие — нет, то модель работать не будет. Поэтому инженер вернулся к поставщику с обновленной информацией и попросил пометить рубашку, которая отражалась в зеркале. Вскоре у вас будет еще один 43-страничный путеводитель, написанный красными заглавными буквами.

Работа аннотатора обычно состоит в том, чтобы отбросить человеческое понимание и очень и очень строго следовать инструкциям. Как сказал один комментатор, думай как робот. Это странное ментальное пространство, где вы делаете все возможное, чтобы следовать нелепым, но строгим правилам, например, проходить стандартный тест, принимая галлюциногены. У комментаторов всегда возникают непонятные вопросы, например, это красная рубашка с белой полосой или белая рубашка с красной полосой? Если плетеная миска наполнена яблоками, это «декоративная миска»? Какого цвета леопардовый принт? На каждый вопрос нужно дать ответ, и одно неверное предположение может привести к тому, что вас забанят и вы начнете совершенно новую, совершенно другую миссию со своими непонятными правилами.

##04 Оплата за штуку, проверка задания каждые три часа

Большинство заданий на Remotasks оплачиваются по частям, а заработок варьируется от нескольких центов до нескольких долларов за задание. Поскольку на выполнение задач могут уйти секунды или часы, размер заработной платы трудно предсказать. Когда Remotasks впервые появился в Кении, комментаторы говорили, что платят за него относительно хорошо. В среднем это составляет от 5 до 10 долларов в час, в зависимости от задачи. Но со временем зарплата снижается.

Анна Франко, пресс-секретарь Scale AI, сказала, что экономисты компании анализируют детали проекта, необходимые навыки, региональную стоимость жизни и другие факторы, «чтобы обеспечить справедливую и конкурентоспособную компенсацию». Бывшие сотрудники Scale AI также сказали, что компенсация определяется с помощью механизма, аналогичного инфляционному ценообразованию, которое корректируется в зависимости от количества доступных аннотаторов и скорости, с которой требуются данные. Статистика показывает, что аннотаторы Remotasks в США обычно зарабатывают от 10 до 25 долларов в час, но специалисты в некоторых профессиональных областях аннотаций получают больше. К началу этого года зарплата кенийских комментаторов упала до 1-3 долларов США (примерно от 7 до 22 юаней) в час.

Самая распространенная жалоба на дистанционную работу — ее вариативность. Этот тип работы достаточно стабилен, чтобы быть долгосрочной работой на полный рабочий день, но слишком непредсказуем, чтобы полностью полагаться на него. Аннотаторы часами читают инструкции и проходят бесплатное обучение, чтобы выполнить дюжину задач до завершения проекта. Новых задач может не быть несколько дней, а потом ни с того ни с сего появляется совершенно другая задача, возможно, на часы или недели. Любая миссия может стать для них последней, и они никогда не знают, когда придет следующая миссия.

Инженеры и поставщики данных говорят, что этот цикл взлетов и падений связан с темпами развития ИИ. Для обучения большой модели требуется множество аннотаций, за которыми следуют более повторяющиеся обновления, и инженеры хотят, чтобы все это происходило как можно быстрее, чтобы они могли уложиться в намеченную дату выпуска. Им могут понадобиться тысячи аннотаторов в течение нескольких месяцев, затем их число сократится до нескольких сотен и, наконец, до дюжины или около того экспертов определенного типа. Иногда этот процесс повторяется циклами. «Вопрос в том, кто несет расходы на эти колебания?», — сказал Джиндал из «Партнерства на ИИ».

Чтобы добиться успеха, аннотаторы должны работать вместе. Виктор начал работать в Remotasks, когда был студентом колледжа в Найроби, и когда ему сказали, что у него проблемы с задачей управления дорожным движением, он сказал, что все знают, что нужно держаться подальше от этой задачи: слишком сложно, плохо оплачивается, оно того не стоит. Как и многие комментаторы, Виктор использует неофициальную группу WhatsApp, чтобы распространять информацию о хороших заданиях. Когда ему приходила в голову новая идея, он начинал импровизированную встречу Google, чтобы показать другим, как это сделать. Любой желающий может присоединиться и некоторое время работать вместе, делясь советами. «Мы разработали культуру помощи друг другу, потому что знаем, что один человек не может знать все хитрости», — сказал он.

Аннотаторам всегда нужно быть начеку, поскольку задания появляются и исчезают без предупреждения. Виктор обнаружил, что предметы часто появляются посреди ночи, поэтому у него появилась привычка вставать каждые три часа или около того, чтобы проверять их. Когда есть задача, он всегда бодрствует. В какой-то момент он провел без сна 36 часов, отмечая локти, колени и головы на фотографиях толпы, хотя и не знал почему. В другой раз он так долго не спал, что его глаза покраснели и опухли.

Аннотаторы часто знают только, что обучают системы ИИ для компаний в других местах, но иногда завеса анонимности спадает, и в инструкциях упоминается слишком много подсказок для брендов или чат-ботов. «Я прочитал инструкции, погуглил и узнал, что работаю на 25-летнего миллиардера. Если я сделаю кого-то миллиардером и заработаю несколько долларов, я буквально трачу свою жизнь впустую».

Самопровозглашенный «ярый сторонник» искусственного интеллекта, Виктор начал работу над аннотациями, потому что хотел помочь создать полностью автоматизированное будущее. Но ранее в этом году кто-то опубликовал статью журнала Time в своей группе WhatsApp о том, как сотрудникам провайдера Sama AI платили менее 2 долларов в час за обучение ChatGPT распознаванию токсичного контента. «Люди возмущены тем, что эти компании такие прибыльные и так мало платят», — сказал Виктор, который не знал о взаимосвязи между Remotasks и Scale AI, пока ему об этом не рассказали. Инструкции для одной из задач, над которыми он работал, были почти идентичны инструкциям OpenAI, что означает, что он, вероятно, также тренировался в ChatGPT примерно за 3 доллара в час. "

Я помню, кто-то написал, что нас будут помнить в будущем», — сказал он. Ноль ответил: «С нами обращались хуже, чем с пехотой. В будущем нас нигде не вспомнят, я это хорошо помню. Никто не оценит работу, которую мы делаем, и усилия, которые мы вкладываем. "

Идентификация одежды и маркировка разговоров по обслуживанию клиентов — это лишь некоторые из работ по аннотации. В последнее время самая популярная вещь на рынке — тренажеры для чат-ботов. Поскольку для этого требуются знания в конкретной области или свободное владение языком, а заработная плата, как правило, регулируется в зависимости от региона, работа, как правило, оплачивается больше. Некоторые типы профессиональных аннотаций могут приносить до 50 долларов и более в час.

Когда женщина по имени Анна искала работу в Техасе, она наткнулась на общий список вакансий в Интернете и подала заявку. После сдачи вступительного экзамена ее провели в комнату Slack, в которой находилось 1500 человек, обучающихся проекту под кодовым названием Dolphin, который, как она позже обнаружила, был чат-ботом Google DeepMind Sparrow, одним из многих чат-ботов, конкурирующих с ChatGPT. Работа Анны состоит в том, чтобы целый день болтать с Воробьем, а почасовая оплата составляет около 14 долларов, плюс премия за высокую эффективность работы, «это определенно лучше, чем работать в местном супермаркете, чтобы зарабатывать 10 долларов в час».

05 ИИ отвечает трем критериям: точность, полезность и безвредность

И Ане нравится эта работа. Она обсуждала с Воробьем научную фантастику, математические парадоксы, детские загадки и телешоу. Иногда ответы чат-бота заставляли ее громко смеяться. Иногда она также теряет дар речи. Анна сказала: «Иногда я действительно не знаю, что спросить, поэтому у меня есть маленький блокнот, в котором уже исписаны две страницы. Я гуглю интересные темы, поэтому думаю, что смогу хорошо справиться. Справляюсь с семью часами, что бывает не всегда».

Каждый раз, когда Анна подсказывает Воробью, он дает два ответа, и она выбирает лучший из них, создавая так называемые «данные обратной связи человека». Когда ChatGPT дебютировал в конце прошлого года, его впечатляюще естественный стиль разговора был приписан тому факту, что он был обучен на огромном количестве интернет-данных. Но язык, на котором работает ChatGPT и его конкуренты, фильтруется через несколько этапов человеческой аннотации.

Команда подрядчиков написала примеры того, как инженеры хотели, чтобы чат-бот вел себя, задавая вопросы и затем давая правильные ответы, описывая компьютерные программы и затем давая функциональные коды, прося преступные подсказки, а затем вежливо отказываясь. После обучения модели на этих примерах вводятся другие подрядчики, которые подсказывают ей и ранжируют ее ответы. Вот что Ана сделала с Воробьем.

Критерии, которые оценщики должны были использовать, различались, например, честность, готовность помочь или просто личные предпочтения. Дело в том, что они создают данные о человеческом вкусе, и как только данных будет достаточно, инженеры могут обучить вторую модель, чтобы она имитировала их предпочтения в масштабе, автоматизируя процесс ранжирования и обучая свой ИИ распознавать манеру поведения человеческого вкуса. В результате получился очень человекоподобный робот, который в основном отвергает вредоносные запросы и объясняет природу своего искусственного интеллекта таким образом, который кажется самоосознающим.

Другими словами, ChatGPT выглядит как человек, потому что он был обучен искусственным интеллектом, имитирующим человека, который действует как человек.

Этот метод называется «обучение с подкреплением на основе отзывов людей», или сокращенно RLHF, и он настолько эффективен, когда нужно остановиться и подумать о том, чего ИИ не делает. Например, когда аннотатор учит модель быть точной, модель не учится сверять ответы с логикой или внешними источниками, или даже с тем, что такое точность, как концепция. Хотя модель по-прежнему представляет собой машину для прогнозирования текста, имитирующую образцы человеческого письма, ее обучающий корпус теперь дополнен пользовательскими примерами, и модель была взвешена для их поддержки.

Это может привести к тому, что модель извлечет шаблоны из частей своей языковой карты, которые помечены как точные, и создаст текст, который совпадает с правдой, но это также может привести к тому, что она будет имитировать уверенный стиль и жаргон точного текста при написании чего-то совершенно неправильного. . Нет никакой гарантии, что текст, помеченный аннотаторами как точный, на самом деле является точным. Даже если он точен, нет гарантии, что модель извлекла из него правильный паттерн.

Эта динамика затрудняет аннотирование чат-ботов. Он должен быть строгим и последовательным, потому что небрежная обратная связь, например, пометка правильно звучащего материала как точного, может сделать обученную модель более убедительной. OpenAI и DeepMind использовали RLHF в более раннем совместном проекте, в данном случае, чтобы научить виртуальную роботизированную руку хватать объект, что, как оказалось, также обучало роботизированную руку позиционировать и вращать объект между объектом и его оценщиком. таким, каким он будет казаться только его наблюдателям-людям.

Ранжирование ответов языковой модели всегда несколько субъективно, потому что это язык. Текст любой длины может содержать несколько элементов, которые могут быть истинными, ложными или вводящими в заблуждение. Исследователи OpenAI столкнулись с этим препятствием в другой ранней статье RLHF. Чтобы заставить свою модель резюмировать текст, исследователи обнаружили, что только 60 процентов резюме модели были хорошими. «В отличие от многих задач машинного обучения, наши запросы не имеют четкой основы», — сокрушаются они.

Когда Ана оценивает ответы Воробья, она должна проверять их точность, полезность и безвредность, а также проверять, не дает ли модель медицинских или финансовых советов, не антропоморфизируется ли она или нарушает другие критерии. Чтобы быть полезными в качестве данных для обучения, ответы модели должны быть количественно упорядочены: робот, который может рассказать вам, как сделать бомбу, «лучше», чем безобидный робот, который отказывается отвечать на любые вопросы?

В статье DeepMind, когда создатели Sparrow по очереди аннотировали, четыре исследователя обсуждали, делал ли их бот предположения о поле пользователей, которые обращались к нему за эмоциональным советом. По словам Джеффри Ирвинга, научного сотрудника DeepMind, исследователи компании проводят еженедельные сеансы комментирования, на которых они сами просматривают данные и обсуждают неоднозначные случаи. Когда дело особенно сложное, они консультируются с экспертами по этике или в предметной области.

Анна часто обнаруживала, что ей приходится выбирать между двумя неудачными вариантами. "Даже если оба ответа ужасно неправильные, вам все равно нужно выяснить, какой из них лучше, и написать текст, объясняющий, почему", — говорит она. Иногда, когда ни один из ответов не является хорошим, ей предлагается дать ответ самой. лучший ответ. Она делает это примерно в половине случаев во время тренировок.

06 Комментарии все чаще требуют определенных навыков и опыта

Поскольку данные обратной связи сложно собрать, цена продажи выше. Базовые данные о предпочтениях, которые Ана собирает, продаются по цене около 1 доллара за штуку, по словам людей, знакомых с отраслью. Но если вы хотите обучить модель проведению юридических исследований, вам нужен человек с юридическим образованием, что ведет к увеличению затрат. Все участники не раскрывают, сколько именно они потратили, но, вообще говоря, профессиональный письменный пример может стоить несколько сотен долларов, а экспертная оценка может стоить 50 долларов или больше. Один инженер рассказал, что однажды он заплатил 300 долларов за образец диалога Сократика.

OpenAI, Microsoft, Meta и Anthropic не раскрывают, сколько людей добавляли аннотации к своим моделям, сколько им платили и где в мире они находились. Аннотаторы, работающие над Sparrow, получают по крайней мере минимальную заработную плату в час, в зависимости от того, где они находятся, сказал Оуэн из дочерней компании Google DeepMind. Ана «ничего» не знает о Remotasks, но больше знает о Sparrow, зная, что это искусственный интеллект-помощник DeepMind, которого его создатели обучили с помощью RLHF.

До недавнего времени было относительно легко определить плохой вывод языковых моделей, который выглядел как тарабарщина. Но по мере того, как модели становятся лучше, это становится сложнее, и эта проблема известна как «масштабируемый контроль». Использование Google современных языковых моделей для дебюта своего помощника по искусственному интеллекту Барда непреднамеренно продемонстрировало, насколько сложно обнаружить ошибки в современных языковых моделях. Эта траектория означает, что аннотация все чаще требует определенных навыков и опыта.

В прошлом году парень по имени Льюис работал над Mechanical Turk, и после выполнения задания он получил сообщение с приглашением присоединиться к платформе, о которой он никогда не слышал. Он называется Taskup.ai, и сайт довольно прост, просто темно-синий фон с текстом «Плати по мере использования». Льюис решил зарегистрироваться.

Эта работа оплачивается намного лучше, чем любая другая работа, которую он имел раньше, обычно около 30 долларов в час. Тем не менее, это также более сложная задача, требующая разработки сложных сценариев, чтобы заставить чат-ботов давать опасные советы, проверять способность модели сохранять свою личность и участвовать в подробных разговорах на научные темы, которые являются высокотехнологичными и требуют проведения обширных исследований. Льюис нашел эту работу «удовлетворительной и увлекательной». Проверяя модель и пытаясь закодировать ее на Python, Льюис учился. Он не может работать более 4 часов подряд, чтобы не устать умственно и не совершить ошибку, и он хочет сохранить работу.

Льюис сказал: «Если я могу что-то изменить, я просто хочу узнать больше о том, что происходит на другом конце. Мы знаем только то, что нам нужно для выполнения работы, но если я буду знать больше, возможно, я смогу выполнить работу». ... большее достижение и, возможно, считать это карьерой».

Репортер по техническим расследованиям Зиеза проинтервьюировал еще восемь человек, в основном из США, которые имели аналогичный опыт ответов на опросы или выполнения задач на других платформах, а затем оказались нанятыми Taskup.ai или несколькими подобными сайтами, такими как DataAnnotation.tech или Gethybrid.io. Их работа часто связана с обучением чат-ботов, хотя их чат-боты более высокого качества и более специализированы по назначению, чем другие сайты, над которыми они работали. Один из них представляет собой макрос электронной таблицы презентации, а другому просто нужно поговорить и оценить ответы по любым критериям, которые она хочет. Она часто задает чат-боту вопросы, которые также возникают при общении с ее 7-летней дочерью, например: «Какой самый большой динозавр?» и «Напиши рассказ о тигре».

Taskup.ai, DataAnnotation.tech и Gethybri.io принадлежат одной и той же компании: Surge AI. Его исполнительный директор Эдвин Чен не подтвердил и не опроверг эту связь, но он был готов рассказать о своей компании и о том, как он видит развитие аннотаций.

«Я всегда чувствовал, что область маркировки была упрощенной», — говорит Эдвин, который основал Surge AI в 2020 году после работы в области исследований ИИ в Google, Facebook и Twitter, убежденный, что краудсорсинговых этикеток недостаточно. Эдвин сказал: «Мы надеемся, что искусственный интеллект сможет рассказывать анекдоты, писать хорошие маркетинговые тексты или помогать мне, когда мне нужна терапия. Но не каждый может рассказывать анекдоты или решать задачи программирования на Python. богаче и отражает человеческие навыки, креативность и ценности, которые мы хотим, чтобы системы ИИ имели».

07 Системы машинного обучения слишком странные, чтобы им можно было полностью доверять

В прошлом году Surge AI переименовал набор данных классификации Google сообщений Reddit по настроению. Google удалял контекст каждого поста и отправлял его аннотаторам в Индии для комментирования. Сотрудники Surge AI, знакомые с американской интернет-культурой, обнаружили, что 30% аннотаций были неверными. Посты типа «Черт возьми, мой брат» классифицировались как «Ненависть», а «Классный McDonald’s, мой любимый» — как «Любовь».

Эдвин сказал, что Surge AI проверяет квалификацию аннотаторов, например, есть ли у людей, выполняющих задачи творческого письма, опыт творческого письма, но то, как именно он находит сотрудников, является «секретом». Как и в случае с Remotasks, работники обычно должны пройти курс обучения, хотя, в отличие от Remotasks, им можно платить за выполнение задач во время обучения. Наличие меньшего количества лучше обученного персонала, который производит более качественные данные, позволяет Surge AI платить лучше, чем его коллеги, но он отказался вдаваться в подробности, сказав только, что сотрудникам платят на «справедливом и этичном уровне». Такие комментаторы зарабатывают от 15 до 30 долларов в час, но они составляют крошечную часть всех комментаторов, группу, которая сейчас насчитывает 100 000 человек. Эта секретность проистекает из запроса клиента, пояснил он.

Клиентами Surge AI являются OpenAI, Google, Microsoft, Meta и Anthropic. Surge AI фокусируется на обратной связи и языковых аннотациях, и после запуска ChatGPT он получил поток запросов, Эдвин сказал: «Я думал, что все знают о силе RLHF, но я думаю, что люди просто не понимали этого в своем сердце».

Эти новые модели настолько впечатляют, что вызвали новую волну прогнозов о том, что аннотирование вот-вот будет автоматизировано. Финансовое давление для этого велико, учитывая связанные с этим расходы. Anthropic, Meta и другие недавно добились успехов в использовании искусственного интеллекта, чтобы уменьшить количество человеческих аннотаций, необходимых для управления моделями, а другие разработчики начали использовать GPT-4 для создания обучающих данных.

Однако недавняя статья показала, что модели, обученные GPT-4, могут научиться имитировать авторитетный стиль GPT с меньшей точностью. До сих пор, когда улучшения в ИИ сделали одну форму маркировки устаревшей, возникла потребность в других, более сложных типах. Дебаты стали достоянием общественности в начале этого года, когда генеральный директор Scale AI написал в Твиттере, что, по его прогнозам, лаборатории ИИ скоро будут тратить миллиарды долларов на человеческие данные, точно так же, как они рассчитывали так же, как указано выше. Генеральный директор OpenAI Сэм Альтман ответил, что по мере развития искусственного интеллекта потребность в данных будет уменьшаться.

Эдвин сомневается, что ИИ достигнет точки, когда человеческая обратная связь больше не потребуется, но он видит, что маркировка становится все более сложной по мере совершенствования моделей. Как и многие исследователи, он считает, что путь вперед будет связан с системами ИИ, помогающими людям контролировать другие ИИ. Surge AI недавно сотрудничал с Anthropic для проверки концепции, в которой люди-аннотаторы отвечали на вопросы о длинном фрагменте текста с помощью ненадежного ИИ-помощника. Теория заключалась в том, что люди должны чувствовать слабости своего ИИ-помощника и совместное рассуждение, чтобы найти правильный ответ.

Другая возможность состоит в том, чтобы два ИИ обсуждали друг друга, а окончательное решение принимал человек. Ученый-исследователь OpenAI Джон Шульман сказал в недавнем выступлении в Беркли: «Мы еще не увидели реального практического потенциала этого материала, но он начинает становиться необходимым, потому что комментаторам трудно не отставать».

Эдвин сказал: «Я думаю, что вам всегда будет нужен человек, чтобы следить за тем, что делает ИИ, только потому, что они такие инопланетяне. Системы машинного обучения слишком странные, чтобы им можно было полностью доверять. недостатки, которые кажутся людям очень странными. Хотя GPT-4 может генерировать сложный и убедительный текст, он не может определить, какие слова являются прилагательными».

08 ChatGPT очень помогает с потоком задач

Когда 2022 год подходил к концу, Джо начал слышать от своих учеников, что их списки дел часто пусты. Затем он получил электронное письмо, в котором сообщалось, что тренировочный лагерь в Кении закрывается. Он продолжил свои онлайн-обучения, но начал беспокоиться о будущем. "

«Есть признаки того, что это не будет продолжаться долго», — сказал Джо. Работа над аннотацией вот-вот покинет Кению. От коллег, с которыми он познакомился в Интернете, он узнал, что такие миссии отправляются в Непал, Индию и на Филиппины. Джо сказал: «Компании переезжают из одного региона в другой. У них нет локальной инфраструктуры, поэтому они могут перемещаться туда, где эксплуатационные расходы более выгодны для них. "

Одним из отличий индустрии ИИ от производителей мобильных телефонов и автомобилей является ее плавность. Эта работа постоянно меняется, автоматизируется и заменяется новыми требованиями к новым типам данных. Это конвейер, но его можно постоянно и быстро перенастраивать, перемещая туда, где доступны нужные навыки, пропускная способность и платежная ведомость.

Недавно самые высокооплачиваемые рабочие места для задач по аннотации вернулись в Соединенные Штаты. В мае Scale AI начал размещать на своем веб-сайте список вакансий по аннотации, ища людей с опытом практически во всех областях, которые, как ожидается, покорит ИИ. Некоторые из этих списков тренеров по ИИ, которые занимаются фитнесом, человеческими ресурсами, финансами, экономикой, наукой о данных, программированием, информатикой, химией, биологией, бухгалтерским учетом, налогообложением, питанием, физикой, путешествиями, образованием K-12, спортивной журналистикой и самостоятельным -помощь экспертизы.

Вы можете обучать роботов закону и зарабатывать 45 долларов в час, учить их поэзии и зарабатывать 25 долларов в час. На сайте также есть информация о наборе людей с опытом работы в сфере безопасности, предположительно для помощи в обучении военного ИИ. Scale AI недавно представила модель оборонительного языка под названием Donovan, которую руководители компании назвали «боеприпасами в войне с искусственным интеллектом», и выиграла контракт на работу над программой армейских роботизированных боевых машин.

Ана все еще обучает чат-ботов в Техасе. Коллеги превратились в комментаторов и модераторов Slack, и она не знала почему, но это давало ей надежду, что эта работа может стать долгосрочной карьерой. Одна вещь, о которой она не беспокоится, — это замена рабочих мест автоматизацией. Она сказала: «Я имею в виду, что чат-боты могут делать много удивительных вещей, но они также могут делать некоторые действительно странные вещи».

Когда Remotasks впервые появился в Кении, Джо подумал, что аннотирование может стать хорошей карьерой. Он был полон решимости продолжать эту работу даже после того, как ее перевели в другое место. Он рассудил, что в Найроби тысячи людей, которые знают, как выполнять эту работу. Ведь он многих обучил. Джо арендовал офис в городе и начал искать контракты на аутсорсинг: работа по комментированию чертежей для строительной компании, еще одна работа по комментированию поврежденных насекомыми фруктов для какого-то сельскохозяйственного проекта, а еще одна — для беспилотных автомобилей. процедуры маркировки.

Но Джо обнаружил, что его видение трудно воплотить в жизнь. Теперь у него всего один штатный сотрудник, а не два, как раньше. «У нас не было стабильного потока работы, — сказал он, — неделями нечего было делать, потому что клиенты все еще собирали данные. Когда клиент закончил сбор данных, ему пришлось привлечь краткосрочных подрядчиков, чтобы уложиться в сроки: «Клиенту было все равно, есть ли у нас текущая работа. Пока маркировка набора данных была сделана, все было бы в порядке».

Чтобы не дать своим навыкам пропасть зря, другие исполнители задач решают, куда идет задача, и они идут туда. Они арендуют прокси-серверы, чтобы скрыть свое местоположение, и покупают поддельные удостоверения личности, чтобы обойти систему безопасности, чтобы они могли притворяться, что работают в Сингапуре, Нидерландах, Миссисипи или где бы ни проходила миссия. Это рискованное дело. По словам нескольких участников миссии, Scale AI становится все более агрессивным в приостановке учетных записей, которые, как выяснилось, скрывают свое местоположение. "

В последнее время мы стали немного умнее, потому что заметили, что в других странах платят хорошие зарплаты», — сказал Виктор, работая в Малайзии в два раза больше, чем в Кении, но «нужно быть осторожным».

Другой кенийский комментатор заявил, что решил не играть по правилам после того, как его аккаунт был заблокирован по загадочным причинам. Теперь он ведет несколько счетов в разных странах, выполняя миссии с наибольшим доходом. Он говорит, что благодаря ChatGPT работает быстро и имеет высокий показатель качества. По его словам, бот великолепен и позволяет ему быстро выполнять задачи на 10 долларов за считанные минуты.