Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Amazon Mechanical Turk
URLwww .mturk .com
Текущее состояниеЖить

Amazon Mechanical Turk ( MTurk ) - это краудсорсинговый веб-сайт для предприятий (известных как запрашивающие) для найма удаленно расположенных «краудворкеров» для выполнения дискретных задач по запросу, которые компьютеры в настоящее время не могут выполнять. Он управляется Amazon Web Services и принадлежит Amazon . [1] Работодатели публикуют вакансии, известные как задачи человеческого интеллекта (HIT), такие как определение определенного содержания на изображении или видео, написание описаний продуктов или ответы на вопросы, среди прочего. Рабочие, в просторечии известные как туркеры или краудворкеры, просматривайте существующие вакансии и выполняйте их в обмен на тариф, установленный работодателем. Для размещения вакансий запрашивающие программы используют открытый интерфейс прикладного программирования (API) или более ограниченный сайт MTurk Requester. [2] По состоянию на апрель 2019 г. податели запросов могли зарегистрироваться только из 49 утвержденных стран. [3]

История [ править ]

Сервис был первоначально задуман Венки Харинараяном в патенте США, поданном в 2001 году. [4] Amazon ввела термин « искусственный интеллект» для процессов, передающих на аутсорсинг некоторые части компьютерной программы людям, для тех задач, которые люди выполняют намного быстрее, чем компьютеры. Утверждается, что Джефф Безос был ответственным за концепцию, которая привела к разработке Amazon Mechanical Turk для реализации этого процесса. [5]

Название « Механический турок» было навеяно « Турком », шахматным автоматом 18-го века, созданным Вольфгангом фон Кемпеленом, который совершил поездку по Европе, победив как Наполеона Бонапарта, так и Бенджамина Франклина . Позже выяснилось, что эта «машина» вовсе не была автоматом, а на самом деле была человеческим шахматным мастером, спрятанным в шкафу под доской и контролирующим движения гуманоидного манекена. Точно так же онлайн-сервис Mechanical Turk использует удаленный человеческий труд, скрытый за компьютерным интерфейсом, чтобы помочь работодателям выполнять задачи, которые невозможно выполнить на настоящей машине.

MTurk был запущен публично 2 ноября 2005 года. После его запуска база пользователей Mechanical Turk быстро росла. В начале-середине ноября 2005 года было десятки тысяч рабочих мест, и все они были загружены в систему самой Amazon для выполнения некоторых внутренних задач, требующих человеческого интеллекта. Типы HIT расширились, и теперь они включают расшифровку, рейтинг, маркировку изображений, опросы и написание.

По сообщениям, в марте 2007 года в более чем 100 странах работало более 100 000 рабочих. [6] В январе 2011 года это число увеличилось до более чем 500 000 зарегистрированных работников из более чем 190 стран. [7] В том же году Techlist опубликовал интерактивную карту, на которой указано местонахождение 50 000 сотрудников MTurk по всему миру. [8] К 2018 году исследования показали, что, хотя на платформе в любое время было доступно более 100 000 сотрудников, только около 2000 активно работали. [9]

Правовой статус [ править ]

Согласно трудовому законодательству США , по словам профессора Мириам Черри из юридического факультета Университета Сент-Луиса , «рабочие на Mechanical Turk ничем не отличаются от, скажем, рабочих-строителей, которые появляются на стройплощадках и работают день или два над проектом. Строители по-прежнему могут подать иск в соответствии с Законом о справедливых трудовых стандартах за кражу заработной платы, даже если они не считаются наемными работниками «по контракту Amazon». [10]

Обзор [ править ]

Пользователь Mechanical Turk может быть либо «Работником» (подрядчиком), либо «Заказчиком» (работодателем). У сотрудников есть доступ к панели инструментов, которая отображает три раздела: общий заработок, статус HIT и итоги HIT. Рабочие устанавливают свои собственные часы и не обязаны выполнять какую-либо конкретную задачу. Amazon классифицирует Рабочих как подрядчиков, а не сотрудников, и отказывается заполнять формы или платить налоги на заработную плату. Это нацелено на уклонение от минимальной заработной платы , сверхурочной работы и компенсации работникам . Работники должны указывать свой доход как доход от самозанятости. В 2013 году средняя заработная плата за несколько назначенных микрозадач, если они выполняются быстро, составляет около одного доллара в час, при этом каждая задача в среднем составляет несколько центов. [11]У рабочих может быть почтовый адрес в любой точке мира. Плата за выполнение задач может быть получена на Amazon.com с помощью подарочного сертификата (подарочные сертификаты - единственный способ оплаты, доступного для иностранных работников, кроме Индии) или позже переведена на банковский счет сотрудника в США.

Запрашивающие могут попросить, чтобы работники соответствовали квалификациям, прежде чем приступить к выполнению задачи, и они могут настроить тест для проверки квалификации. Они также могут принять или отклонить результат, отправленный работником, что влияет на репутацию работника. По состоянию на апрель 2019 года запрашивающие выплачивали Amazon минимальную комиссию в размере 20% от стоимости успешно выполненных работ с увеличенными суммами за дополнительные услуги. [6] Запросы могут использовать API Amazon Mechanical Turk для программной интеграции результатов этой работы непосредственно в свои бизнес-процессы и системы. Когда работодатели устраиваются на работу, они должны указать

  • сколько они платят за каждый выполненный HIT,
  • сколько рабочих они хотят работать над каждым HIT,
  • максимальное время, в течение которого работник должен работать над одной задачей,
  • сколько времени у рабочих на выполнение работы,

а также конкретные сведения о работе, которую они хотят выполнить.

Местоположение туркеров [ править ]

С момента создания платформы [12] сотрудники в основном проживают в Соединенных Штатах, а демографические данные в целом аналогичны общему количеству пользователей Интернета в США. [13]

В 2010 году были введены денежные выплаты для индийских рабочих, что дало новые и обновленные результаты по демографическим характеристикам рабочих, которые остались в основном в Соединенных Штатах. [14] Исследователь, стоящий за этой статистикой, ведет веб-сайт, на котором представлены демографические данные работников, обновляемые ежечасно. В мае 2015 года он показал, что 80% работников находятся в Соединенных Штатах, а оставшиеся 20% - в других странах мира, большинство из которых - в Индии. [15] По данным на май 2019 года, примерно 60% работников находились в США, а 40% - в других странах мира; примерно 30% находятся в Индии. [16]

Использует [ редактировать ]

Человеко-субъектные исследования [ править ]

Начиная с 2010 года, многочисленные исследователи выяснили, насколько «Механический турок» может привлекать участников для экспериментов в области социальных наук. Ежегодно публикуются тысячи статей, основанных на данных, собранных сотрудниками Mechanical Turk, в том числе сотни в ведущих академических журналах. [17] Исследователи в целом обнаружили, что, хотя выборки респондентов, полученные с помощью Mechanical Turk, не полностью соответствуют всем значимым характеристикам населения США, они также не являются дико искажающими. [18] [19] По общему мнению исследователей, эта услуга лучше всего подходит для набора разнообразных выборок; он менее успешен в исследованиях, требующих более точного определения совокупностей или требующих репрезентативной выборки населения в целом.[17] Однако есть опасения, что запатентованный алгоритм выбора может нанести ущерб результатам (см. Достоверность исследования ).

В целом, MTurk в США состоит в основном из белых женщин и несколько моложе и образованнее, чем население США в целом. Данные, собранные о рабочих местах, проведенных с 2013 года, показывают, что население США больше не состоит преимущественно из женщин, и что в настоящее время среди работников несколько больше шансов быть мужчинами. [20] Стоимость MTurk была значительно ниже, чем у других средств проведения опросов, при этом работники были готовы выполнять задания менее чем за половину минимальной заработной платы в США. [21]

Машинное обучение [ править ]

Алгоритмы контролируемого машинного обучения требуют для успешного обучения большого количества данных, аннотированных человеком. Исследователи машинного обучения наняли рабочих через Mechanical Turk для создания наборов данных, таких как SQuAD, набор данных с ответами на вопросы . [22]

Поиск пропавших без вести [ править ]

С 2007 года сервис используется для поиска известных пропавших без вести лиц. Впервые это было предложено во время поисков Джеймса Кима , но его тело было найдено до того, как был достигнут какой-либо технический прогресс. Тем летом компьютерный ученый Джим Грей исчез на своей яхте, а Вернер Фогельс из Amazon , личный друг, организовал для DigitalGlobe , который предоставляет спутниковые данные для Google Maps и Google Earth , возможность разместить недавние фотографии Фараллонских островов на Mechanical Turk. История на первой странице Digg привлекла 12 000 поисковиков, которые работали с профессионалами в области визуализации над теми же данными. Поиск не увенчался успехом.[23]

В сентябре 2007 года аналогичная схема была повторена в поисках авиатора Стива Фоссета . Спутниковые данные были разделены на секции размером 85 квадратных метров, и пользователей Mechanical Turk попросили пометить изображения с «посторонними объектами», которые могут быть местом крушения или другими доказательствами, которые следует изучить более внимательно. [24] Этот поиск также не увенчался успехом. Спутниковые снимки были в основном в радиусе 50 миль [25], но место крушения в конце концов было найдено путешественниками примерно год спустя, в 65 милях от него. [26]

Художественные работы [ править ]

Помимо растущего интереса со стороны социальных наук, MTurk также использовался как инструмент для художественного творчества. Одним из первых художников, которые работали с Mechanical Turk, был xtine Burrough , с The Mechanical Olympics (2008), [27] [28] Endless Om (2015) и Medations on Digital Labor . [29] [30] Еще одна ранняя работа - « Десять тысяч центов» художника Аарона Коблина (2008).

Стороннее программирование [ править ]

Программисты разработали различные расширения для браузеров и сценарии, призванные упростить процесс выполнения заданий. Amazon заявила, что не одобряет сценарии, которые полностью автоматизируют процесс и исключают человеческий фактор. Это связано с опасениями, что процесс выполнения задачи - например, ответ на опрос - может быть связан со случайными ответами, и полученные в результате собранные данные могут оказаться бесполезными. [31] Аккаунты, использующие так называемых автоматических ботов, заблокированы. Есть сервисы, расширяющие возможности MTurk.

API [ править ]

Amazon предоставляет интерфейс прикладного программирования (API), чтобы предоставить пользователям еще одну точку доступа к системе MTurk. MTurk API позволяет программисту получить доступ к многочисленным аспектам MTurk, таким как отправка заданий, получение выполненной работы, а также утверждение или отклонение этой работы. [32] В 2017 году Amazon запустила поддержку AWS Software Development Kits (SDK), что позволило пользователям MTurk получить девять новых SDK. MTurk доступен через API на следующих языках: Python, JavaScript, Java, .NET, Go, Ruby, PHP или C ++. [33] Веб-сайты и веб-сервисы могут использовать API для интеграции работы MTurk в другие веб-приложения, предоставляя пользователям альтернативы интерфейсу, созданному Amazon для этих функций.

Рабочий-HIT-назначение ER_diagram

Примеры использования [ править ]

Обработка фото / видео [ редактировать ]

Amazon Mechanical Turk предоставляет платформу для обработки изображений, что хорошо подходит для человеческого разума. Запрашивающие создали задачи, предлагающие работникам пометить объекты, найденные на изображении, выбрать наиболее подходящее изображение в группе изображений, отобразить несоответствующий контент и классифицировать объекты на спутниковых изображениях. Кроме того, краудворкеры выполнили задачи по оцифровке текста с изображений, таких как отсканированные формы, заполненные вручную. [34]

Очистка / проверка данных [ править ]

Компании с большими онлайн-каталогами используют Mechanical Turk для выявления дубликатов и проверки деталей записей. Некоторыми примерами исправления дубликатов являются выявление и удаление дубликатов в списках каталогов на желтых страницах и в записях онлайн-каталога продуктов. Примеры проверки деталей включают проверку информации о ресторане (например, номер телефона и часы работы) и поиск контактной информации на веб-страницах (например, имя автора и адрес электронной почты). [11] [34]

Сбор информации [ править ]

Диверсификация и масштаб персонала Mechanical Turk позволяют собирать такой объем информации, который был бы затруднен за пределами платформы для массовых пользователей. Mechanical Turk позволяет Запрашивающим собрать большое количество ответов на различные типы опросов, от простых демографических до академических исследований. Другие варианты использования включают написание комментариев, описаний и записей в блогах на веб-сайтах, а также поиск элементов данных или определенных полей в крупных правительственных и юридических документах. [34]

Обработка данных [ править ]

Компании используют коллектив Mechanical Turk для понимания и реагирования на различные типы данных. Общие области использования включают редактирование и транскрипцию подкастов, перевод и сопоставление результатов поисковой системы. [11] [34]

Достоверность исследования [ править ]

Обоснованность исследования, проведенного с пулом рабочих-механиков, поставлена ​​под сомнение. [35] [36] Это во многом связано с патентованным методом, который Mechanical Turk использует для отбора своих рабочих. [ необходима цитата ] Так как метод отбора не используется исследователями, исследователи не могут знать истинную демографию участников. Неясно, использует ли Mechanical Turk фискальные, политические или образовательные ограничения в процессе отбора. Это может сделать недействительными любые опросы или исследования, проведенные с использованием пула рабочих Mechanical Turk. [37] [38]

Трудовые вопросы [ править ]

Механический турок широко критиковался за его взаимодействие с рабочей силой и ее использование. Компьютерный ученый Джарон Ланье отмечает, что дизайн Mechanical Turk «позволяет вам думать о людях как о программных компонентах», вызывающих «ощущение магии, как если бы вы могли просто извлечь результаты из облака по невероятно низкой цене». [39] Хотя опрос, проведенный исследователями из Техасского университета, показал, что опрошенные рабочие были мотивированы удовольствием и самореализацией, [40]эти результаты могли быть искажены алгоритмами выбора рабочих MTurk. Исследование Pew Research, проведенное в 2016 году, показало, что четверть онлайн-«гигантов», таких как те, кто работает на Mechanical Turk, делают это из-за ограниченных возможностей трудоустройства там, где они живут. [41]

Денежная компенсация [ править ]

Поскольку задачи, как правило, простые и повторяющиеся, а пользователям часто платят всего несколько центов за их выполнение, некоторые критикуют Mechanical Turk за то, что они эксплуатируют и не компенсируют работникам истинную ценность задачи, которую они выполняют. [42]Минимальный платеж, который Amazon допускает за задачу, составляет один цент. Рынок задач является конкурентным, и для некоторых эти задачи являются единственной доступной формой занятости, особенно для менее образованных. Из-за необходимости обеспечивать себя и отсутствия других возможностей многие работники соглашаются на низкую компенсацию за выполнение заданий. Исследование 3,8 миллиона задач, выполненных 2767 рабочими на Amazon Mechanical Turk, показало, что «рабочие получали среднюю почасовую оплату около 2 долларов в час», при этом 4 процента рабочих зарабатывали более 7,25 долларов в час. Поскольку эти работники считаются независимыми подрядчиками, они не защищены Законом о справедливых трудовых стандартах.что гарантирует минимальную заработную плату. К 2018 году рост числа рабочих, соревнующихся на сайте, сократил общий объем доступной работы. Когда работники ищут задачи, они не получают ни компенсацию, ни дополнительную компенсацию, если задача занимает больше времени, чем предполагал заказчик. [43]

Мошенничество [ править ]

В 2014 году журнал Nation сообщил, что некоторые заявители воспользовались преимуществами Workers, заставив их выполнять задания, а затем отклонив их заявки, чтобы не платить им. [44]

В скандале с данными Facebook и Cambridge Analytica Mechanical Turk был одним из средств тайного сбора частной информации для огромной базы данных. [45] Система платила людям доллар или два за установку приложения, подключенного к Facebook , и за ответы на личные вопросы. Задача опроса как работа по найму не использовалась для проекта демографических или психологических исследований, как могло показаться. Вместо этого цель заключалась в том, чтобы заставить работника раскрыть личную информацию о личности работника, которая еще не была собрана Facebook или Mechanical Turk.

Трудовые отношения [ править ]

Другие критиковали рынок за то, что у рабочих нет возможности вести переговоры с работодателями. В ответ на растущую критику уклонения от оплаты и отсутствия представительства группа разработала стороннюю платформу под названием Turkopticon, которая позволяет работникам оставлять отзывы о своих работодателях, позволяя другим пользователям избегать потенциально недобросовестных рабочих мест и рекомендовать более качественных работодателей. [46] [47] Другая платформа, названная Dynamo, была создана, чтобы позволить рабочим собирать анонимные данные и организовывать кампании по улучшению их рабочей среды, включая Руководство для академических запросов и Кампанию Уважаемого Джеффа Безоса. [48] [49] [50] [51]Amazon усложнила для работников регистрацию в Dynamo, закрыв учетную запись запроса, в которой работникам был предоставлен код, необходимый для членства в Dynamo. Amazon установила обновления, которые не позволяют плагинам, определяющим высококачественные задачи человеческого интеллекта, работать на веб-сайте. [43] Кроме того, работники жаловались на то, что платежная система Amazon иногда перестает работать, что является серьезной проблемой для работников, которым требуются ежедневные платежи. [41]

Связанные системы [ править ]

Дополнительная информация: Краудсорсинг.

В некоторых отношениях MTurk можно сравнить с сервисом ответов Google, поддержка которого прекращена . Однако Mechanical Turk - это более общий рынок, который потенциально может помочь распределить любые рабочие задачи по всему миру. Collaborative Human Переводчик (CHI) Филиппом Ленссен также предложил использовать распределенный интеллект человека на компьютерные программы помогают выполнять задачи , что компьютеры не могут сделать хорошо. MTurk можно использовать в качестве механизма выполнения для CHI. [ необходима цитата ]

Российский поисковый гигант Яндекс разработал аналогичную систему под названием Толока . [52]

См. Также [ править ]

  • CAPTCHA , которая проверяет и проверяет работу человека над простой онлайн-задачей
  • Гражданская наука
  • Микроволновая печь

Ссылки [ править ]

  1. ^ «Amazon Mechanical Turk, страница часто задаваемых вопросов» . Проверено 14 апреля 2017 года .
  2. ^ «Обзор | Заказчик | Amazon Mechanical Turk» . Requester.mturk.com . Проверено 28 ноября 2011 .
  3. ^ "Amazon Mechanical Turk" . www.mturk.com .
  4. ^ "Гибридная машина / компьютерное устройство человека" . 2001 . Проверено 28 июля +2016 .
  5. ^ «Искусственный искусственный интеллект» . Экономист . 2006-06-10.
  6. ^ a b "Ценообразование Mturk" . AWS . Amazon. 2019 . Проверено 16 апреля 2019 года .
  7. ^ «Форумы разработчиков AWS» . Проверено 14 ноября 2012 года .
  8. ^ Тамир, Дан. «50000 рабочих-механиков со всего мира» . технический список . Проверено 17 сентября 2014 года .
  9. ^ Джеллель, Дифаллах; Филатова, Елена; Ипейротис, Панос (2018). «Демография и динамика рабочих-механиков». Материалы одиннадцатой Международной конференции ACM по поиску в Интернете и интеллектуальному анализу данных : 135–143.
  10. ^ Алана Семуелс «Интернет позволяет новый вид низкооплачиваемой ад» (23 января 2018 года) Атлантика .
  11. ^ a b c "Amazon Mechanical Turk: The Digital Sweatshop" Эллен Кушинг Утне Читатель, январь – февраль 2013 г.
  12. ^ Панос Ипееротис (19 марта 2008). «Механический турок: демография» . Нью-Йоркский университет . Проверено 30 июля 2009 .
  13. ^ Панос Ипееротис (16 марта 2009). «Демография Тюркера против Демографии Интернета» . Нью-Йоркский университет . Проверено 30 июля 2009 .
  14. ^ Панос Ипееротис (9 марта 2010). «Новая демография механического турка» . Нью-Йоркский университет . Проверено 24 марта 2014 .
  15. ^ "MTurk Tracker" . demographics.mturk-tracker.com . Проверено 1 октября 2015 года .
  16. ^ "MTurk Tracker" . demographics.mturk-tracker.com . Дата обращения 2 мая 2019 .
  17. ^ a b Чендлер, Джесси .; Шапиро, Даниэль (2016). «Проведение клинических исследований с использованием краудсорсинговых удобных образцов» . Ежегодный обзор клинической психологии . 12 : 53–81. DOI : 10,1146 / annurev-clinpsy-021815-093623 . PMID 26772208 . 
  18. ^ Кейси, Логан; Чендлер, Джесси; Левин, Адам; Проктор, Андрей; Сытолович, Дара (2017). «Межвременные различия среди сотрудников MTurk: вариации выборки на основе времени и последствия для сбора данных в Интернете» . МУДРЕЦ Открыть . 7 (2): 215824401771277. DOI : 10,1177 / 2158244017712774 .
  19. ^ Levay, Кевин; Фриз, Джереми; Дракман, Джеймс (2016). «Демографический и политический состав образцов механических тюрков» . МУДРЕЦ Открыть . 6 : 215824401663643. DOI : 10,1177 / 2158244016636433 .
  20. ^ "Новая новая демография на механическом турке: есть ли еще гендерный разрыв?" . TurkPrime.com . Архивировано из оригинала 15 марта 2015 года . Проверено 12 марта 2015 года .
  21. ^ Хортон, Джон; Чилтон, Лидия (2010). Экономика труда платного краудсорсинга . Материалы 11-й конференции ACM по электронной коммерции . п. 209. arXiv : 1001.0627 . Bibcode : 2010arXiv1001.0627H . DOI : 10.1145 / 1807342.1807376 . ISBN 978-1-60558-822-3. S2CID  18237602 .
  22. ^ Раджпуркар, Пранав; Чжан, Цзянь; Лопырев, Константин; Лян, Перси (2016). «SQuAD: 100 000+ вопросов для машинного понимания текста». arXiv : 1606.05250 [ cs.CL ].
  23. ↑ Стив Сильберман (24 июля 2007 г.). «Внутри высокотехнологичных поисков легенды Кремниевой долины» . Проводной журнал . Проверено 16 сентября 2007 .
  24. ^ «AVweb приглашает вас присоединиться к поискам Стива Фоссета» . Avweb.com . Проверено 28 ноября 2011 .
  25. ^ "Официальные результаты механического турка Стива Фоссета" . 2007-09-24 . Проверено 14 августа 2012 .
  26. ↑ Джим Кристи (1 октября 2008 г.). «Путешественники находят удостоверение личности Стива Фоссета, вещи» . Рейтер . Архивировано 20 декабря 2008 года . Проверено 27 ноября 2008 .
  27. ^ «Давайте перейдем к физическому» .
  28. ^ "Mechanical Games, спортивные онлайн-видео для туркеров | Neural" .
  29. ^ "Архивная копия" . Архивировано из оригинала на 2015-09-06 . Проверено 16 апреля 2019 .CS1 maint: заархивированная копия как заголовок ( ссылка )
  30. ^ Проект: http://www.missconceptions.net/mediations/
  31. ^ «Блог Amazon Web Services: Обновление статуса Amazon Mechanical Turk» . Aws.typepad.com. 2005-12-06 . Проверено 28 ноября 2011 .
  32. ^ «Архив документации: Amazon Web Services» . Developer.amazonwebservices.com. Архивировано из оригинала на 2009-04-10 . Проверено 28 ноября 2011 .
  33. ^ «Справочник API Amazon Mechanical Turk» . Developer.amazonwebservices.com.
  34. ^ a b c d «Внутри платформы кликворкеров Amazon: как полмиллиона человек платят гроши за обучение ИИ» . TechRepublic .
  35. ^ Фельдман, Гилад. «Проведение экспериментов с Amazon Mechanical Turk | Гилад Фельдман» .
  36. ^ Ландерс, RN; Беренд, Т.С. (2015). "Могу ли я использовать Mechanical Turk (MTurk) для исследовательского исследования?" . Промышленная и организационная психология . 8 (2).
  37. ^ «Внешняя валидность - обобщающие результаты исследований» . explorable.com .
  38. ^ «Методы социальных исследований - База знаний - Внешняя достоверность» . www.socialresearchmethods.net .
  39. ^ Джарон Ланье (2013). Кому принадлежит будущее? . Саймон и Шустер. ISBN 978-1-4516-5497-4.
  40. ^ Buhrmester, Майкл; Кван, Трейси; Гослинг, Сэм (2011). «Механический турок Amazon - новый источник недорогих, но качественных данных?». Перспективы психологической науки . 6 (1): 3–5. DOI : 10.1177 / 1745691610393980 . PMID 26162106 . S2CID 6331667 .  
  41. ^ a b Семуэльс, Алана (23 января 2018 г.). «Интернет открывает новый вид плохо оплачиваемого ада» . Атлантика . Проверено 25 апреля 2019 года .
  42. ^ Шмидт, Флориан Александр (2013). «Хорошее, плохое и уродливое: почему краудсорсингу нужна этика». 2013 Международная конференция по Cloud и Green Computing . Облако и Green Computing (CGC), 2013 Третья международная конференция по . С. 531–535. DOI : 10.1109 / CGC.2013.89 . ISBN 978-0-7695-5114-2. S2CID  18798641 .
  43. ^ a b Семуэльс, Алана (23 января 2018 г.). «Интернет открывает новый вид плохо оплачиваемого ада» . Атлантика . Проверено 14 мая 2018 года .
  44. ^ Marvit, Моше З. (5 февраля 2014). «Как Crowdworkers стали призраками в цифровой машине» - через www.thenation.com.
  45. ↑ New York Times (10 апреля 2018 г.). «Cambridge Analytica и грядущий крах данных» . Нью-Йорк Таймс . Проверено 13 апреля 2018 года .
  46. ↑ Хэл Ходсон (7 февраля 2013 г.). «Краудсорсинг растет по мере объединения онлайн-работников» . Новый ученый . Проверено 21 мая 2015 года .
  47. ^ "туркоптикон" . turkopticon.ucsd.edu .
  48. ^ Марк Харрис (3 декабря 2014 г.). « „ Рабочие Mechanical Turk амазонки протеста: „Я человек, а не алгоритм“ “ » . Хранитель . Проверено 6 октября 2015 года .
  49. ^ Джон Fingas (3 декабря 2014). « „ Рабочие Mechanical Turk Амазонки хотят лечиться , как люди “ » . Engadget . Проверено 6 октября 2015 года . Cite magazine requires |magazine= (help)
  50. ^ Джеймс Винсент (4 декабря 2014 г.). « „ Амазонки Механические Turkers хотят быть признаны“реальными людьми » . Грань . Проверено 6 октября 2015 года .
  51. ↑ Сара Кесслер (19 февраля 2015 г.). "КАК СОЮЗ ВЫГЛЯДИТ В ЭКОНОМИКЕ ГИБКИ"? " . Быстрая компания . Проверено 6 октября 2015 года .
  52. ^ «Яндекс.Толока» .

Дальнейшее чтение [ править ]

  • Статья Роба Хофа в Business Week о механическом турке, 4 ноября 2005 г.
  • Статья журнала Wired о "Краудсорсинге", июнь 2006 г.
  • Статья Кэтрин Мешковски о механическом турке на Salon.com , 24 июля 2006 г.
  • Статья Джейсона Понтина в New York Times о механическом турке, 25 марта 2007 г.
  • Статья в Technology Review о механическом турке «Как сломан механический турок» Кристофера Мимса, 3 января 2010 г.
  • Дж. Натан Матиас (8 июня 2015 г.), "Tragedy of the Digital Commons" , The Atlantic (обсуждает трудовые отношения)

Внешние ссылки [ править ]

  • Официальный веб-сайт
  • Руководство по передовой практике для запрашивающего , обновлено в феврале 2015 г.
  • Мэтт Лиз (ред.). «Амазонский механический турок» . Новости, события и ресурсы краудсорсинга . США - через Техасский университет в Информационной школе Остина .