Алгоритмическая предвзятость

Блок-схема, показывающая решения, принятые механизмом рекомендаций , около 2001 г. ^[1]

Алгоритмическая предвзятость описывает систематические и повторяющиеся ошибки в компьютерной системе, которые приводят к несправедливым результатам, например, привилегия одной произвольной группы пользователей над другими. Предвзятость может возникать из-за многих факторов, включая, помимо прочего, дизайн алгоритма или непреднамеренное или непредвиденное использование или решения, касающиеся того, как данные кодируются, собираются, выбираются или используются для обучения алгоритма. Алгоритмическая предвзятость обнаруживается на разных платформах, включая, помимо прочего, результаты поисковых систем и платформы социальных сетей, и может иметь различные последствия от непреднамеренного нарушения конфиденциальности до усиления социальных предубеждений.расы, пола, сексуальности и этнической принадлежности. Изучение алгоритмической предвзятости больше всего касается алгоритмов, отражающих «систематическую и несправедливую» дискриминацию. Эта предвзятость только недавно была рассмотрена в правовых рамках, таких как Общий регламент ЕС по защите данных 2018 года . Требуется более комплексное регулирование, поскольку новые технологии становятся все более совершенными и непрозрачными.

По мере того, как алгоритмы расширяют свою способность организовывать общество, политику, институты и поведение, социологов стали интересовать способы, которыми непредвиденные результаты и манипуляции с данными могут повлиять на физический мир. Поскольку алгоритмы часто считаются нейтральными и беспристрастными, они могут неточно демонстрировать больший авторитет, чем человеческий опыт, а в некоторых случаях использование алгоритмов может заменить человеческую ответственность за их результаты. Предвзятость может появиться в алгоритмических системах в результате уже существующих культурных, социальных или институциональных ожиданий; из-за технических ограничений их конструкции; или путем использования в непредвиденных контекстах или аудиторией, не учтенной при первоначальном дизайне программного обеспечения.

Алгоритмическая предвзятость упоминалась в самых разных случаях, от результатов выборов до распространения ненавистнических высказываний в Интернете.. Он также возник в сфере уголовного правосудия, здравоохранения и найма, усугубляя существующие расовые, экономические и гендерные предубеждения. Относительная неспособность технологии распознавания лиц точно идентифицировать лица с более темной кожей была связана с множественными неправомерными арестами чернокожих мужчин, проблема, возникающая из-за несбалансированных наборов данных. Проблемы с пониманием, исследованием и обнаружением алгоритмической предвзятости сохраняются из-за патентованной природы алгоритмов, которые обычно считаются коммерческой тайной. Даже когда обеспечивается полная прозрачность, сложность определенных алгоритмов создает препятствие для понимания их функционирования. Кроме того, алгоритмы могут изменяться или реагировать на ввод или вывод таким образом, который невозможно предвидеть или легко воспроизвести для анализа. Во многих случаях, даже в рамках одного веб-сайта или приложения, нет единого "алгоритм »для изучения, но сеть из множества взаимосвязанных программ и входных данных, даже между пользователями одного и того же сервиса.

Определения [ править ]

Алгоритмы трудно определить , ^[2] , но могут быть обычно понимаются как списки инструкций , которые определяют , как программы чтения, собирать, обрабатывать и анализировать данные для создания вывода. ^{[3] : 13} Строгое техническое введение см . В разделе « Алгоритмы» . Достижения в области компьютерного оборудования привели к увеличению возможностей обработки, хранения и передачи данных. Это, в свою очередь, стимулировало разработку и внедрение таких технологий, как машинное обучение и искусственный интеллект . ^{[4] : 14–15} Благодаря анализу и обработке данных алгоритмы составляют основу поисковых систем, ^[5]веб-сайты социальных сетей, ^{[6] системы} рекомендаций, ^[7] интернет-магазины, ^[8] интернет-реклама ^[9] и многое другое. ^[10]

Современные социологи озабочены алгоритмическими процессами, встроенными в аппаратные и программные приложения из-за их политического и социального воздействия, и ставят под сомнение основные предположения о нейтральности алгоритма. ^{[11] : 2 [12] : 563 [13] : 294 [14]} Термин « алгоритмическая предвзятость» описывает систематические и повторяющиеся ошибки, которые приводят к несправедливым результатам, например, привилегия одной произвольной группы пользователей над другими. Например, кредитный рейтингалгоритм может отказать в выдаче ссуды, не будучи несправедливым, если он последовательно взвешивает соответствующие финансовые критерии. Если алгоритм рекомендует ссуды одной группе пользователей, но отказывает в ссуде другой группе почти идентичных пользователей на основании несвязанных критериев, и если такое поведение может повторяться в нескольких случаях, алгоритм можно охарактеризовать как предвзятый . ^{[15] : 332} Эта предвзятость может быть преднамеренной или непреднамеренной (например, она может происходить из предвзятых данных, полученных от работника, который ранее выполнял работу, которую алгоритм будет выполнять с этого момента).

Методы [ править ]

Смещение может быть внесено в алгоритм несколькими способами. Во время сборки набора данных данные могут быть собраны, оцифрованы, адаптированы и введены в базу данных в соответствии с критериями каталогизации, разработанными человеком . ^{[16] : 3} Затем программисты назначают приоритеты или иерархии того , как программа оценивает и сортирует эти данные. Это требует человеческих решений о том, как данные классифицироваться, и какие данные должны быть включены или отброшены. ^{[16] : 4} Некоторые алгоритмы собирают собственные данные на основе критериев, выбранных людьми, которые также могут отражать предвзятость разработчиков. ^{[16] : 8}Другие алгоритмы могут усиливать стереотипы и предпочтения при обработке и отображении «релевантных» данных для пользователей-людей, например, путем выбора информации на основе предыдущих выборов аналогичного пользователя или группы пользователей. ^{[16] : 6}

Помимо сборки и обработки данных, предвзятость может возникнуть в результате дизайна. ^[17] Например, алгоритмы, которые определяют распределение ресурсов или тщательную проверку (например, определение места в школе), могут непреднамеренно дискриминировать категорию при определении риска на основе схожих пользователей (как в кредитных рейтингах). ^{[18] : 36}Между тем, механизмы рекомендаций, которые работают, связывая пользователей с похожими пользователями или использующие предполагаемые маркетинговые черты, могут полагаться на неточные ассоциации, которые отражают широкие этнические, гендерные, социально-экономические или расовые стереотипы. Другой пример связан с определением критериев включения и исключения из результатов. Этот критерий может привести к неожиданным результатам для результатов поиска, например, с программным обеспечением рекомендаций по рейсам, которое пропускает рейсы, которые не следуют по маршрутам полета спонсирующей авиакомпании. ^[17] Алгоритмы также могут отображать погрешность неопределенности , предлагая более надежные оценки при больших наборах данных.доступны. Это может смещать алгоритмические процессы в сторону результатов, которые более точно соответствуют более крупным выборкам, что может не учитывать данные из недостаточно представленных групп населения. ^{[19] : 4}

История [ править ]

Ранняя критика [ править ]

Самые ранние компьютерные программы были разработаны, чтобы имитировать человеческие рассуждения и умозаключения, и считались работающими, когда они успешно и последовательно воспроизводили эту человеческую логику. В 1976 г. книги питание компьютера и человеческий разум , искусственный интеллект пионер Вейценбаум предположил , что смещение может возникнуть как из данных , используемых в программе, но и от того , как программа закодирована. ^{[20] : 149}

Вайценбаум писал, что программы - это последовательность правил, созданных людьми для компьютера. Последовательно следуя этим правилам, такие программы «воплощают закон» ^{[20] : 40,} то есть навязывают определенный способ решения проблем. Правила, которым следует компьютер, основаны на предположениях программиста о том, как эти проблемы могут быть решены. Это означает, что код может включать в себя представление программиста о том, как устроен мир, включая его или ее предубеждения и ожидания. ^{[20] : 109} Несмотря на то, что компьютерная программа может таким образом учитывать предвзятость, Вейценбаум также отметил, что любые данные, передаваемые в машину, дополнительно отражают «процессы принятия решений человеком» по мере того, как данные выбираются. ^{[20] :70, 105}

Наконец, он отметил, что машины также могут передавать полезную информацию с непредвиденными последствиями, если пользователи не знают, как интерпретировать результаты. ^{[20] : 65} Вайценбаум предостерег от доверчивых решений, принимаемых компьютерными программами, которые пользователь не понимает, сравнивая такую ​​веру с туристом, который может найти свой путь в гостиничный номер, только повернув налево или направо при подбрасывании монеты. Важно отметить, что у туриста нет оснований понимать, как и почему он прибыл в пункт назначения, и успешное прибытие не означает, что процесс является точным или надежным. ^{[20] : 226}

Один из первых примеров алгоритмической предвзятости привел к тому, что с 1982 по 1986 год 60 женщин и представителей этнических меньшинств не могли посещать медицинскую школу больницы Святого Георгия в год, что было обусловлено внедрением новой компьютерной системы оценки, которая запрещала вход женщинам и мужчинам. с «иностранно звучащими именами», основанными на исторических тенденциях приема. ^[22] В то время как многие школы в то время использовали аналогичные предубеждения в процессе отбора, Сент-Джордж был наиболее известен тем, что автоматизировал указанную предвзятость с помощью алгоритма, что позволило привлечь внимание людей в гораздо более широком масштабе.

Современная критика и отзывы [ править ]

Хотя хорошо разработанные алгоритмы часто определяют результаты, которые в равной степени (или более) справедливы, чем решения людей, случаи предвзятости все же имеют место, и их трудно предсказать и проанализировать. ^[23] Сложность анализа алгоритмической ошибки выросла вместе со сложностью программ и их дизайна. Решения, принятые одним дизайнером или командой дизайнеров, могут быть не видны среди множества частей кода, созданных для одной программы; со временем об этих решениях и их коллективном влиянии на результат программы можно забыть. ^{[24] : 115} Теоретически эти предубеждения могут создавать новые модели поведения или «сценарии» по отношению к конкретным технологиям, поскольку код взаимодействует с другими элементами общества. ^[25]Предубеждения также могут повлиять на то, как общество формируется вокруг точек данных, которые требуются алгоритмам. Например, если данные показывают большое количество арестов в определенном районе, алгоритм может назначить больше полицейских патрулей в этот район, что может привести к большему количеству арестов. ^{[26] : 180}

Решения алгоритмических программ можно рассматривать как более авторитетные, чем решения людей, которым они призваны помогать ^{[27] : 15} процесс, описанный автором Клэем Ширки как «алгоритмический авторитет». ^[28] Ширки использует этот термин для описания «решения считать авторитетным неуправляемый процесс извлечения ценности из различных, ненадежных источников», таких как результаты поиска. ^[28] Этот нейтралитет также может быть искажен языком, используемым экспертами и средствами массовой информации при представлении результатов общественности. Например, список новостей, выбранных и представленных как «популярные» или «популярные», может быть создан на основе значительно более широких критериев, чем просто их популярность.^{[16]: 14}

Из-за их удобства и авторитета алгоритмы рассматриваются как средство делегирования ответственности от людей. ^{[27] : 16 [29] : 6} Это может привести к сокращению альтернативных вариантов, компромиссов или гибкости. ^{[27] : 16} Социолог Скотт Лэш критиковал алгоритмы как новую форму «порождающей силы», поскольку они являются виртуальным средством достижения реальных целей. Там, где ранее человеческое поведение генерировало данные для сбора и изучения, мощные алгоритмы все чаще могли формировать и определять человеческое поведение. ^{[30] : 71}

Обеспокоенность влиянием алгоритмов на общество привела к созданию рабочих групп в таких организациях, как Google и Microsoft , которые совместно создали рабочую группу под названием «Справедливость, подотчетность и прозрачность в машинном обучении». ^{[31] : 115} идей от Google включают группы сообщества, которые отслеживают результаты алгоритмов и голосуют за контроль или ограничение результатов, которые, по их мнению, имеют негативные последствия. ^{[31] : 117} В последние годы исследование справедливости, подотчетности и прозрачности (FAT) алгоритмов стало отдельной междисциплинарной областью исследований с ежегодной конференцией под названием FAT *. ^[32]Критики предположили, что инициативы FAT не могут эффективно служить в качестве независимых наблюдателей, когда многие из них финансируются корпорациями, создающими изучаемые системы. ^[33]

Типы [ править ]

Ранее существовавшие [ править ]

Предвзятость, существовавшая ранее в алгоритме, является следствием лежащих в основе социальных и институциональных идеологий . Такие идеи могут влиять или создавать личные предубеждения внутри отдельных дизайнеров или программистов. Такие предрассудки могут быть явными и сознательными или неявными и бессознательными. ^{[15] : 334 [13] : 294} Плохо выбранные входные данные или просто данные из предвзятого источника будут влиять на результаты, создаваемые машинами. ^{[21] : 17} Кодирование существующей предвзятости в программное обеспечение может сохранить социальную и институциональную предвзятость и без исправлений может быть воспроизведено во всех будущих применениях этого алгоритма. ^{[24] : 116 [29] : 8}

Примером такой формы предвзятости является Программа Закона о британском гражданстве, разработанная для автоматизации оценки новых британских граждан после Закона о британском гражданстве 1981 года . ^{[15] : 341} Программа точно отражала положения закона, который гласил, что «мужчина является отцом только своих законных детей, а женщина - матерью всех своих детей, законных или незаконнорожденных». ^{[15] : 341 [34] : 375} Пытаясь перенести определенную логику в алгоритмический процесс, BNAP вписал логику Закона о британском гражданстве в свой алгоритм, который увековечил бы его, даже если бы этот закон был в конечном итоге отменен. ^{[15] : 342}

Технические [ править ]

Техническая предвзятость возникает из-за ограничений программы, вычислительной мощности, ее дизайна или других ограничений системы. ^{[15] : 332} Подобная предвзятость также может быть ограничением дизайна, например, можно понять, что поисковая машина, которая показывает три результата на экране, имеет несколько более приоритетных преимуществ, чем следующие три, как при отображении цен на авиабилеты. ^{[15] : 336} Другой случай - программное обеспечение, которое полагается на случайность для справедливого распределения результатов. Если механизм генерации случайных чисел не является действительно случайным, он может внести систематическую ошибку, например, смещая выборку в сторону элементов в конце или начале списка. ^{[15] : 332}

Без увязки алгоритма использует несвязанную информацию для сортировки результатов, например, летно-ценообразования алгоритм сортирует результаты по алфавиту будут смещены в пользу American Airlines над United Airlines. ^{[15] : 332} Может также применяться противоположное, когда результаты оцениваются в контексте, отличном от того, в котором они собираются. Данные могут быть собраны без критического внешнего контекста: например, когда программное обеспечение для распознавания лиц используется камерами наблюдения, но оценивается удаленным персоналом в другой стране или регионе, или оценивается нечеловеческими алгоритмами без понимания того, что происходит за пределами камеры. поле зрения. Это может привести к неполному пониманию места преступления, например, из-за того, что случайные прохожие будут ошибочно приняты за тех, кто совершает преступление. ^{[12] : 574}

Наконец, технический уклон может быть создан путем попытки формализовать решения в виде конкретных шагов, исходя из предположения, что человеческое поведение работает таким же образом. Например, программное обеспечение взвешивает точки данных, чтобы определить, должен ли обвиняемый согласиться на сделку о признании вины, игнорируя при этом влияние эмоций на присяжных. ^{[15] : 332} Еще один непредвиденный результат такой формы предвзятости был обнаружен в программе обнаружения плагиата Turnitin., который сравнивает написанные студентом тексты с информацией, найденной в Интернете, и возвращает оценку вероятности того, что работа студента скопирована. Поскольку программа сравнивает длинные строки текста, она с большей вероятностью идентифицирует носителей английского языка, не являющихся носителями языка, чем носителей языка, поскольку последняя группа может лучше изменять отдельные слова, разбивать строки плагиата или скрывать скопированные отрывки из синонимы. Поскольку носителям языка легче избежать обнаружения из-за технических ограничений программного обеспечения, это создает сценарий, в котором Turnitin выявляет иностранцев, говорящих на английском языке, на предмет плагиата, позволяя большему количеству носителей языка избежать обнаружения. ^{[27] : 21–22}

Emergent [ править ]

Возникающая предвзятость - это результат использования алгоритмов в новых или неожиданных контекстах и ​​зависимости от них. ^{[15] : 334} Алгоритмы, возможно, не были адаптированы для учета новых форм знаний, таких как новые лекарства или медицинские открытия, новые законы, бизнес-модели или меняющиеся культурные нормы. ^{[15] : 334,336} Это может исключать группы с помощью технологий без предоставления четких рамок, позволяющих понять, кто несет ответственность за их исключение. ^{[26] : 179 [13] : 294} Аналогичным образом могут возникнуть проблемы при обучении данных.(образцы, «подаваемые» в машину, с помощью которой она моделирует определенные выводы) не соответствуют контекстам, с которыми алгоритм сталкивается в реальном мире. ^[35]

В 1990 году пример внезапной предвзятости был выявлен в программном обеспечении, используемом для размещения студентов-медиков в США в ординатуре, Национальной программе выбора места жительства (NRMP). ^{[15] : 338}Алгоритм был разработан в то время, когда несколько супружеских пар хотели вместе искать жилье. По мере того, как все больше женщин поступали в медицинские вузы, все больше студентов, вероятно, запрашивали место жительства вместе со своими партнерами. Процесс требовал, чтобы каждый кандидат предоставил список предпочтений для размещения в США, который затем был отсортирован и назначен, когда больница и кандидат согласились на совпадение. В случае супружеских пар, где оба стремились получить постоянное место жительства, алгоритм сначала взвесил выбор местоположения партнера с более высоким рейтингом. Результатом стало частое назначение наиболее предпочтительных школ первому партнеру и менее предпочтительных школ второму партнеру, вместо того, чтобы искать компромиссы в предпочтениях при размещении. ^{[15] : 338 [36]}

Дополнительные возникающие предубеждения включают:

Корреляции [ править ]

Непредсказуемые корреляции могут возникать при сравнении больших наборов данных друг с другом. Например, данные, собранные о шаблонах просмотра веб-страниц, могут совпадать с сигналами, обозначающими конфиденциальные данные (например, расу или сексуальную ориентацию). При выборе в соответствии с определенным поведением или шаблонами просмотра конечный эффект будет почти идентичен дискриминации посредством использования прямых данных о расе или сексуальной ориентации. ^{[19] : 6}В других случаях алгоритм делает выводы из корреляций, не имея возможности понять эти корреляции. Например, в одной программе сортировки астматикам с пневмонией уделялось меньше внимания, чем астматикам без пневмонии. Алгоритм программы сделал это, потому что он просто сравнил выживаемость: астматики с пневмонией находятся в группе наибольшего риска. Исторически сложилось так, что по той же причине больницы обычно оказывают таким астматикам самую лучшую и самую немедленную помощь. ^[37]

Непредвиденное использование [ править ]

Возникающая предвзятость может возникнуть, когда алгоритм используется непредвиденной аудиторией. Например, машинам может потребоваться, чтобы пользователи могли читать, писать или понимать числа или относиться к интерфейсу, используя метафоры, которые они не понимают. ^{[15] : 334} Эти исключения могут усугубляться по мере того, как предвзятые или исключающие технологии все глубже интегрируются в общество. ^{[26] : 179}

Помимо исключения, непредвиденное использование может возникнуть из-за того, что конечный пользователь полагается на программное обеспечение, а не на свои собственные знания. В одном примере непредвиденная группа пользователей привела к алгоритмической предвзятости в Великобритании, когда программа British National Act Program была создана компьютерными учеными и иммиграционными юристами в качестве доказательства концепции для оценки пригодности для получения британского гражданства.. Дизайнеры имели доступ к юридическим знаниям помимо конечных пользователей в иммиграционных офисах, чье понимание программного обеспечения и иммиграционного законодательства, вероятно, было бы несложным. Агенты, отвечающие за вопросы, полностью полагались на программное обеспечение, которое исключало альтернативные пути к гражданству, и использовали программное обеспечение даже после того, как новое прецедентное право и юридические интерпретации привели к тому, что алгоритм устарел. В результате разработки алгоритма для пользователей, которые, как предполагается, разбираются в иммиграционном законодательстве, алгоритм программного обеспечения косвенно привел к предвзятости в пользу кандидатов, которые соответствуют очень узкому набору юридических критериев, установленных алгоритмом, а не более широким критериям. британского иммиграционного законодательства. ^{[15] : 342}

Петли обратной связи [ править ]

Возникающее смещение может также создать петлю обратной связи или рекурсию, если данные, собранные для алгоритма, приводят к реальным ответам, которые возвращаются в алгоритм. ^{[38] [39]} Например, моделирование программного обеспечения прогнозирующей полицейской деятельности (PredPol), развернутого в Окленде, Калифорния, на основании данных о преступности, сообщаемых общественностью, свидетельствует об увеличении присутствия полиции в чернокожих кварталах. ^[40] Моделирование показало, что общественность сообщала о преступлении, основываясь на виде полицейских машин, независимо от того, что делала полиция. Симуляция интерпретировала наблюдения полицейских машин при моделировании своих прогнозов преступности и, в свою очередь, указала на еще большее увеличение присутствия полиции в этих районах. ^{[38][41] [42]} Группа анализа данных по правам человека , которая провела моделирование, предупредила, что в местах, где расовая дискриминация является фактором арестов, такие петли обратной связи могут усилить и увековечить расовую дискриминацию в полицейской деятельности. ^[39] Еще одним хорошо известным примером такого алгоритма, демонстрирующего такое поведение, является COMPAS , программа, которая определяет вероятность того, что человек станет преступником. Программное обеспечение часто критикуют за то, что оно клеймит чернокожих людей как преступников с гораздо большей вероятностью, чем другие, а затем возвращает данные себе в случае, если отдельные лица становятся зарегистрированными преступниками, еще больше усиливая предвзятость, создаваемую набором данных, на который действует алгоритм.

Рекомендательные системы, например те, которые используются для рекомендации онлайн-видео или новостных статей, могут создавать петли обратной связи. ^[43] Когда пользователи нажимают на контент, предложенный алгоритмами, это влияет на следующий набор предложений. ^[44] Со временем это может привести к тому, что пользователи попадут в пузырь фильтра и не узнают о важном или полезном содержании. ^{[45] [46]}

Воздействие [ править ]

Коммерческие влияния [ править ]

Корпоративные алгоритмы могут быть искажены, чтобы незаметно благоприятствовать финансовым договоренностям или соглашениям между компаниями, без ведома пользователя, который может ошибочно принять алгоритм за беспристрастность. Например, American Airlines в 1980-х годах создала алгоритм поиска рейсов. Программное обеспечение предлагало клиентам ряд рейсов различных авиакомпаний, но учитывало факторы, которые увеличивали его собственные полеты, независимо от цены или удобства. Выступая перед Конгрессом США , президент авиакомпании прямо заявил, что система была создана с намерением получить конкурентное преимущество за счет преференциального режима. ^{[47] : 2 [15] : 331}

В статье 1998 года, описывающей Google , основатели компании приняли политику прозрачности результатов поиска в отношении платного размещения, утверждая, что «поисковые системы, финансируемые за счет рекламы, будут по своей сути смещены в сторону рекламодателей, а не на нужды потребителей». ^[48] Эта предвзятость была бы «невидимой» манипуляцией со стороны пользователя. ^{[47] : 3}

Поведение при голосовании [ править ]

Серия исследований неопределившихся избирателей в США и Индии показала, что результаты поисковых систем смогли изменить результаты голосования примерно на 20%. Исследователи пришли к выводу, что кандидаты «не имеют возможности конкурировать», если алгоритм, намеренно или без намерения, увеличивает листинг страниц для конкурирующего кандидата. ^[49] Пользователи Facebook, которые видели сообщения, связанные с голосованием, голосовали с большей вероятностью. Рандомизированное испытание пользователей Facebook в 2010 году показало увеличение на 20% (340 000 голосов) пользователей, которые видели сообщения, призывающие к голосованию, а также изображения своих проголосовавших друзей. ^[50]Ученый-правовед Джонатан Зиттрейн предупредил, что это может создать эффект «цифровой подделки» на выборах, «выборочное представление информации посредником для выполнения своей повестки дня, а не для обслуживания пользователей», в случае преднамеренных манипуляций. ^{[51] : 335}

Гендерная дискриминация [ править ]

В 2016 году было обнаружено , что профессиональный сетевой сайт LinkedIn рекомендует мужские варианты женских имен в ответ на поисковые запросы. Сайт не давал подобных рекомендаций по поиску мужских имен. Например, «Андреа» вызовет подсказку с вопросом, имели ли пользователи в виду «Эндрю», но запросы «Эндрю» не спрашивали, хотели ли пользователи найти «Андреа». Компания заявила, что это результат анализа взаимодействия пользователей с сайтом. ^[52]

В 2012 году франшиза универмага Target была названа за сбор данных, позволяющий определить, когда женщины-покупательницы были беременны, даже если они не объявили об этом, а затем поделиться этой информацией с партнерами по маркетингу. ^{[53] : 94 [54]} Поскольку данные были предсказаны, а не непосредственно наблюдались или сообщались, у компании не было юридических обязательств по защите конфиденциальности этих клиентов. ^{[53] : 98}

Алгоритмы веб-поиска также обвиняли в предвзятости. Результаты Google может приоритеты порнографического содержания в поисковых терминов , связанных с сексуальностью, например, «лесбиянка». Это предубеждение распространяется и на поисковую систему, показывающую популярный, но сексуальный контент в нейтральных поисках. Например, статьи «25 самых сексуальных спортсменок» отображаются на первой странице при поиске по запросу «спортсменки». ^{[55] : 31} В 2017 году, Google регулировать эти результаты , наряду с другими , которые всплыли группы ненависти , взгляды расистские, жестокого обращения с детьми и порнографии, а также другие расстроить и оскорбительным содержанием. ^[56] Другие примеры включают показ более высокооплачиваемых вакансий мужчинам-кандидатам на сайтах поиска работы. ^[57]Исследователи также определили, что машинный перевод демонстрирует сильную тенденцию к мужским дефолтам. ^[58] В частности, это наблюдается в областях, связанных с несбалансированным гендерным распределением, включая профессии STEM . ^[59] Фактически, существующие системы машинного перевода не могут воспроизвести реальное распределение работающих женщин .

В 2015 году Amazon.com отключил систему искусственного интеллекта, разработанную для проверки заявлений о приеме на работу, когда они поняли, что она ориентирована на женщин. ^[60] Инструмент приема на работу исключал кандидатов, которые посещали женские колледжи и резюме, в котором было слово «женщины». ^[61] То же самое произошло и с сервисами потоковой передачи музыки. В 2019 году Spotify было обнаружено, что его алгоритм рекомендательной системы был предвзятым против женщин-артистов. ^[62] В рекомендациях Spotify к песням предлагалось больше мужчин-исполнителей, чем женщин.

Расовая и этническая дискриминация [ править ]

Алгоритмы подвергались критике как метод сокрытия расовых предрассудков при принятии решений. ^{[63] [64] [65] : 158} Из-за того, как в прошлом обращались с определенными расами и этническими группами, данные часто могут содержать скрытые предубеждения. Например, чернокожие люди могут получить более длительные сроки заключения, чем белые люди, совершившие то же преступление. ^{[66] [67]} Это потенциально может означать, что система усиливает исходные ошибки в данных.

В 2015 году Google извинился, когда чернокожие пользователи пожаловались на то, что алгоритм идентификации изображений в приложении «Фото» идентифицировал их как горилл . ^[68] В 2010 году камеры Nikon подверглись критике, когда алгоритмы распознавания изображений постоянно спрашивали азиатских пользователей, моргают ли они. ^[69] Такие примеры являются результатом систематической ошибки в наборах биометрических данных . ^[68] Биометрические данные берутся из аспектов тела, включая наблюдаемые или предполагаемые расовые особенности, которые затем могут быть перенесены в точки данных. ^{[65] : 154}Технология распознавания речи может иметь разную точность в зависимости от акцента пользователя. Это может быть вызвано отсутствием обучающих данных для говорящих с таким акцентом. ^[70]

Биометрические данные о расе также могут быть предполагаемыми, а не наблюдаемыми. Например, исследование 2012 года показало, что имена, обычно связанные с чернокожими, с большей вероятностью дадут результаты поиска, подразумевающие записи об арестах, независимо от того, есть ли какие-либо полицейские записи на имя этого человека. ^[71]

В 2019 году исследование показало, что алгоритм здравоохранения, продаваемый Optum, отдавал предпочтение белым пациентам, а не более больным чернокожим пациентам. Алгоритм предсказывает, во сколько пациенты будут стоить системе здравоохранения в будущем. Однако стоимость не является нейтральной для расы, так как черные пациенты несут медицинские расходы примерно на 1800 долларов в год меньше, чем белые пациенты с таким же количеством хронических заболеваний, что привело к алгоритму, который оценивал белых пациентов как равных подверженных риску будущих проблем со здоровьем, как и черных. пациенты, перенесшие значительно большее количество заболеваний. ^[72]

Исследование, проведенное исследователями из Калифорнийского университета в Беркли в ноябре 2019 года, показало, что алгоритмы ипотеки были дискриминационными по отношению к латиноамериканцам и афроамериканцам, которые дискриминировали меньшинства на основе «кредитоспособности», которая коренится в законе США о справедливом кредитовании, который позволяет кредиторам использовать меры идентификации. чтобы определить, достойно ли физическое лицо получать ссуды. Эти конкретные алгоритмы присутствовали в компаниях FinTech и, как было показано, дискриминируют меньшинства. ^{[73] [ требуется неосновной источник ]}

Правоохранительные органы и судопроизводство [ править ]

Алгоритмы уже нашли множество применений в правовых системах. Примером этого является COMPAS , коммерческая программа, широко используемая судами США для оценки вероятности того, что ответчик станет рецидивистом . ProPublica утверждает, что средний уровень риска рецидивизма, присвоенный Компасом для чернокожих обвиняемых, значительно выше, чем средний уровень риска, установленный Компасом для белых обвиняемых, и что чернокожие обвиняемые в два раза чаще ошибочно получают ярлык "высокого риска", чем белые. ответчики. ^{[74] [75]}

Одним из примеров является использование оценок риска при вынесении уголовных приговоров в Соединенных Штатах и слушаниях по условно-досрочному освобождению , судьям была представлена ​​алгоритмически сгенерированная оценка, предназначенная для отражения риска того, что заключенный повторяет преступление. ^[76] В течение периода времени, начиная с 1920 года и заканчивая 1970 годом, национальность отца преступника учитывалась в этих оценках риска. ^{[77] : 4} Сегодня эти оценки делятся с судьями в Аризоне, Колорадо, Делавэре, Кентукки, Луизиане, Оклахоме, Вирджинии, Вашингтоне и Висконсине. Независимое расследование ProPublicaобнаружили, что оценки были неточными в 80% случаев и непропорционально искажены, чтобы предположить, что чернокожие подвержены риску рецидива, на 77% чаще, чем белые. ^[76]

Одно исследование, посвященное изучению «Риск, раса и рецидивизм: предвзятость в прогнозе и несопоставимое влияние», предполагает двойную (45 процентов против 23 процентов) неблагоприятную вероятность того, что обвиняемые из числа чернокожих и европеоидов будут ошибочно классифицированы как представляющие более высокий риск. несмотря на то, что в течение двухлетнего периода наблюдения объективно оставался без каких-либо документально подтвержденных рецидивов. ^[78]

Разжигание ненависти в Интернете [ править ]

Согласно внутренним документам Facebook, в 2017 году было обнаружено, что алгоритм Facebook , предназначенный для удаления языка ненависти в Интернете, дает преимущество белым мужчинам перед чернокожими детьми при оценке нежелательного контента. ^[79] Алгоритм, представляющий собой комбинацию компьютерных программ и рецензентов контента, был создан для защиты широких категорий, а не конкретных подмножеств категорий. Например, сообщения, осуждающие «мусульман», будут заблокированы, а сообщения, осуждающие «радикальных мусульман», будут разрешены. Непредвиденный результат алгоритма - разрешить язык вражды в отношении чернокожих детей, потому что они осуждают подмножество чернокожих «детей», а не «всех черных», тогда как «все белые люди» вызовут блокировку,потому что белые и мужчины не считаются подмножествами. ^[79]Было также установлено, что Facebook позволяет покупателям рекламы нацеливать на «ненавистников евреев» как категорию пользователей, что, по словам компании, было непреднамеренным результатом алгоритмов, используемых для оценки и категоризации данных. Дизайн компании также позволял покупателям рекламы блокировать афроамериканцев от просмотра рекламы жилья. ^[80]

Хотя для отслеживания и блокирования языка вражды используются алгоритмы, некоторые из них в 1,5 раза чаще помечают информацию, опубликованную чернокожими пользователями, и в 2,2 раза чаще отмечают информацию как разжигающую ненависть, если она написана на Ebonics. ^[81] Без контекста для оскорблений и эпитетов, даже когда они используются сообществами, которые повторно присвоили их, были помечены. ^[82]

Наблюдение [ править ]

Программное обеспечение камеры наблюдения может считаться политическим по своей сути, поскольку оно требует алгоритмов, позволяющих отличать нормальное поведение от ненормального и определять, кто принадлежит в определенное место в определенное время. ^{[12] : 572} Было показано, что способность таких алгоритмов распознавать лица разных рас ограничена расовым разнообразием изображений в их обучающей базе данных; если большинство фотографий принадлежат к одной расе или полу, программа лучше распознает других представителей этой расы или пола. ^[83] Однако даже аудит этих систем распознавания изображений является этически сложным, и некоторые ученые предположили, что контекст технологии всегда будет иметь непропорциональное влияние на сообщества, действия которых чрезмерно контролируются. ^[84]Например, в 2002 году анализ программного обеспечения, используемого для идентификации людей на изображениях с камер видеонаблюдения, обнаружил несколько примеров предвзятости при работе с криминальными базами данных. Было оценено, что программа выявляет мужчин чаще, чем женщин, пожилых людей чаще, чем молодых, и выявляет азиатов, афроамериканцев и представителей других рас чаще, чем белых. ^{[26] : 190} Дополнительные исследования программного обеспечения для распознавания лиц показали, что верно обратное при обучении на не криминальных базах данных, при этом программное обеспечение наименее точно идентифицирует темнокожих женщин. ^[85]

Сексуальная дискриминация [ править ]

В 2011 году пользователи приложения для общения геев Grindr сообщили, что алгоритм рекомендаций магазина Android связывает Grindr с приложениями, предназначенными для поиска сексуальных преступников, которые, по словам критиков, неточно связывают гомосексуализм с педофилией. Писатель Майк Ананни раскритиковал эту ассоциацию в The Atlantic , утверждая, что такие ассоциации еще больше стигматизируют геев . ^[86] В 2009 году интернет-магазин Amazon исключил из списка 57 000 книг после изменения алгоритма, расширив свой черный список «контента для взрослых», включив в него все книги, посвященные сексуальности или гей-тематике, например, получивший признание критиков роман « Горбатая гора» . ^{[87] [16] :5 [88]}

В 2019 году было обнаружено, что поисковые запросы «фотографии моих подруг» в Facebook давали подсказки типа «в бикини» или «на пляже». Напротив, поисковые запросы "фотографии моих друзей-мужчин" не дали результатов. ^[89]

Было замечено, что технология распознавания лиц вызывает проблемы у трансгендеров. В 2018 году поступали сообщения о том, что водители Uber, которые были трансгендерами или перешли на другую сторону, испытывали трудности с программным обеспечением для распознавания лиц, которое Uber реализует в качестве встроенной меры безопасности. В результате этого некоторые из учетных записей водителей-транснациональных водителей были заблокированы, что стоило им проездных и потенциально стоило им работы, все из-за того, что программное обеспечение для распознавания лиц испытывало трудности с распознаванием лица транс-водителя, который выполнял переход. ^[90]Хотя решение этой проблемы могло бы заключаться в включении трансгендеров в обучающие наборы для моделей машинного обучения, экземпляр транс-видео на YouTube, которые были собраны для использования в обучающих данных, не получил согласия трансгендерных лиц, включенных в видео. , что создало проблему нарушения конфиденциальности. ^[91]

В 2017 году в Стэнфордском университете также было проведено исследование, в ходе которого были протестированы алгоритмы в системе машинного обучения, которая, как утверждается, способна определять сексуальную ориентацию людей на основе изображений их лиц. ^[92] Модель в исследовании предсказывала правильное различие между геями и гетеросексуалами в 81% случаев и правильное различие между геями и гетеросексуалами в 74% случаев. Это исследование вызвало негативную реакцию со стороны сообщества LGBTQIA, которое опасалось возможных негативных последствий, которые эта система искусственного интеллекта может иметь для людей из сообщества LGBTQIA, подвергая людей риску быть «раскрытым» против их воли. ^[93]

Поиск Google [ править ]

Хотя пользователи генерируют результаты, которые «заполняются» автоматически, Google не удалось удалить сексистский и расистский текст автозаполнения. Например, алгоритмы Oppression: Как поисковые системы Усилить Расизм Сафия Noble отмечает пример поиска «черных девочек», который был представлен в результате порнографических изображений. Google утверждает, что не может удалить эти страницы, если они не будут признаны незаконными. ^[94]

Препятствия для исследования [ править ]

Некоторые проблемы препятствуют изучению крупномасштабных алгоритмических предвзятостей, препятствуя применению академически строгих исследований и общественного понимания. ^{[11] : 5}

Определение справедливости [ править ]

Литература по алгоритмической предвзятости сосредоточена на средстве справедливости, но определения справедливости часто несовместимы друг с другом и с реалиями оптимизации машинного обучения. Например, определение справедливости как «равенства результатов» может просто относиться к системе, дающей одинаковый результат для всех людей, в то время как справедливость, определяемая как «равенство обращения», может прямо учитывать различия между людьми. ^{[95] : 2} В результате справедливость иногда описывается как противоречащая точности модели, предполагая врожденное противоречие между приоритетами социального обеспечения и приоритетами поставщиков, разрабатывающих эти системы. ^{[96] : 2}В ответ на это противоречие исследователи предложили уделять больше внимания проектированию и использованию систем, основанных на потенциально предвзятых алгоритмах, с определением «справедливости» для конкретных приложений и контекстов. ^[97]

Сложность [ править ]

Алгоритмические процессы сложны и часто выходят за рамки понимания людей, которые их используют. ^{[11] : 2 [98] : 7} Крупномасштабные операции могут быть непонятны даже тем, кто участвует в их создании. ^[99] Методы и процессы современных программ часто неясны из-за невозможности узнать каждую перестановку ввода или вывода кода. ^{[26] : 183} Социолог Бруно Латур назвал этот процесс « черным ящиком»., процесс, в котором "научная и техническая работа становится невидимой из-за ее собственного успеха. Когда машина работает эффективно, когда факт решен, нужно сосредоточиться только на ее входах и выходах, а не на ее внутренней сложности. Таким образом, как это ни парадоксально, но чем больше преуспевают наука и техника, тем более непрозрачными и непонятными они становятся ». ^[100] Другие критиковали метафору черного ящика, предполагая, что текущие алгоритмы - это не один черный ящик, а сеть взаимосвязанных алгоритмов. ^{[101] : 92}

Пример такой сложности можно найти в диапазоне входных данных для настройки обратной связи. Сайт социальной сети Facebook учел по крайней мере 100 000 точек данных для определения макета ленты пользователя в социальной сети в 2013 году. ^[102] Кроме того, большие команды программистов могут работать в относительной изоляции друг от друга и не знать кумулятивных эффектов. небольших решений в рамках связанных сложных алгоритмов. ^{[24] : 118} Не весь код является оригинальным и может быть заимствован из других библиотек, создавая сложный набор взаимосвязей между системами обработки и ввода данных. ^{[103] : 22}

Дополнительная сложность возникает из-за машинного обучения и персонализации алгоритмов на основе взаимодействий с пользователем, таких как клики, время, проведенное на сайте, и другие показатели. Эти личные настройки могут сбить с толку общие попытки понять алгоритмы. ^{[104] : 367 [98] : 7} Одна неопознанная служба потокового радио сообщила, что она использовала пять уникальных алгоритмов выбора музыки, которые она выбрала для своих пользователей в зависимости от их поведения. Это создает различный опыт использования одних и тех же потоковых сервисов между разными пользователями, что затрудняет понимание того, что делают эти алгоритмы. ^{[11] : 5} компаний также часто проводят A / B-тесты.для точной настройки алгоритмов на основе ответа пользователя. Например, поисковая система Bing может запускать до десяти миллионов тонких вариантов своей службы в день, создавая различный опыт использования службы для каждого использования и / или пользователя. ^{[11] : 5}

Отсутствие прозрачности [ править ]

Коммерческие алгоритмы являются собственностью и могут рассматриваться как коммерческая тайна . ^{[11] : 2 [98] : 7 [26] : 183} Отношение к алгоритмам как к коммерческой тайне защищает компании, например поисковые системы , где прозрачный алгоритм может раскрыть тактику манипулирования рейтингом в поисковой сети. ^{[104] : 366 Из-} за этого исследователям сложно проводить интервью или анализировать, как работают алгоритмы. ^{[103] : 20} Критики предполагают, что такая секретность может также скрыть возможные неэтичные методы, используемые при производстве или обработке алгоритмических выходных данных. ^{[104] :369} Другие критики, такие как юрист и активист Катаржина Шимелевич, предположили, что отсутствие прозрачности часто маскируется в результате алгоритмической сложности, ограждая компании от раскрытия или расследования собственных алгоритмических процессов. ^[105]

Отсутствие данных о деликатных категориях [ править ]

Существенным препятствием для понимания того, как бороться с предвзятостью на практике, является то, что такие категории, как демографические данные лиц, защищенных законом о борьбе с дискриминацией , часто не учитываются явным образом при сборе и обработке данных. ^[106] В некоторых случаях существует небольшая возможность собирать эти данные в явном виде, например, при снятии отпечатков пальцев с устройств , повсеместных вычислениях и Интернете вещей . В других случаях контролер данных может не пожелать собирать такие данные по причинам репутации или потому, что это представляет повышенную ответственность и риск для безопасности. Также может быть так, что, по крайней мере, в отношении Общего регламента ЕС по защите данных, такие данные подпадают под положения «особой категории» (статья 9) и, следовательно, имеют больше ограничений на потенциальный сбор и обработку.

Некоторые специалисты-практики пытались оценить и вменять эти недостающие чувствительные категоризации, чтобы позволить смягчить предвзятость, например, построив системы для определения этнической принадлежности по именам ^[107], однако это может привести к другим формам предвзятости, если не будет предпринято с осторожностью. ^[108] Исследователи машинного обучения использовали криптографические технологии, повышающие конфиденциальность, такие как безопасные многосторонние вычисления, чтобы предложить методы, с помощью которых можно оценить или смягчить алгоритмическую погрешность, при этом эти данные никогда не будут доступны разработчикам моделей в открытом виде . ^[109]

Алгоритмическая предвзятость не только включает защищенные категории, но также может касаться характеристик, которые менее легко наблюдаемы или кодифицируемы, например, политические точки зрения. В этих случаях редко бывает легкодоступная или не вызывающая сомнений основополагающая истина , и устранить предвзятость такой системы труднее. ^[110] Кроме того, ложные и случайные корреляции могут возникать из-за недостаточного понимания защищаемых категорий, например, ставок страхования, основанных на исторических данных об автомобильных авариях, которые могут совпадать, строго по совпадению, с жилыми кластерами этнических меньшинств. ^[111]

Решения [ править ]

Изучение 84 руководящих принципов в отношении этического ИИ показало, что справедливость и «смягчение нежелательной предвзятости» были общей проблемой и решались с помощью сочетания технических решений, прозрачности и мониторинга, права на исправление и усиление надзора, а также разнообразия и усилия по включению. ^[112]

Технические [ править ]

Было предпринято несколько попыток создать методы и инструменты, которые могут обнаруживать и наблюдать ошибки в алгоритме. Эти новые поля сосредоточены на инструментах, которые обычно применяются к (обучающим) данным, используемым программой, а не к внутренним процессам алгоритма. Эти методы могут также анализировать вывод программы и ее полезность и, следовательно, могут включать анализ ее матрицы ошибок (или таблицы ошибок). ^{[113] [114] [115] [116] [117] [118] [119] [120] [121]} Объясняемый ИИ для обнаружения алгоритма Смещение является предлагаемым способом обнаружения наличия смещения в алгоритме или модели обучения. ^[122]Использование машинного обучения для обнаружения предвзятости называется «проведением аудита ИИ», где «аудитор» - это алгоритм, который просматривает модель ИИ и обучающие данные для выявления смещений. ^[123]

В настоящее время разрабатывается новый стандарт IEEE , который направлен на определение методологий, которые помогут создателям алгоритмов устранить проблемы предвзятости и сформулировать прозрачность (то есть для властей или конечных пользователей ) о функциях и возможных эффектах их алгоритмов. Проект был одобрен в феврале 2017 года и спонсируется Комитетом по стандартам программного обеспечения и системной инженерии , комитетом, учрежденным IEEE Computer Society . Ожидается, что проект стандарта будет представлен на голосование в июне 2019 года. ^{[124] [125]}

Прозрачность и мониторинг [ править ]

Руководящие принципы этики ИИ указывают на необходимость подотчетности и рекомендуют предпринять шаги для улучшения интерпретируемости результатов. ^[126] Такие решения включают учет «права на понимание» в алгоритмах машинного обучения и сопротивление развертыванию машинного обучения в ситуациях, когда решения не могут быть объяснены или пересмотрены. ^[127] С этой целью в таких организациях, как DARPA , уже идет движение за « Объяснимый ИИ » по причинам, выходящим за рамки средства защиты от предвзятости. ^[128] Прайс Уотерхаус Куперс , например, также предполагает, что мониторинг результатов означает проектирование систем таким образом, чтобы гарантировать, что отдельные компоненты системы могут быть изолированы и отключены, если они искажают результаты. ^[129]

Первоначальный подход к прозрачности включал использование алгоритмов с открытым исходным кодом . ^[130] Программный код может быть изучен, а улучшения могут быть предложены с помощью средств размещения исходного кода . Однако такой подход не обязательно дает желаемый эффект. Компании и организации могут делиться всей возможной документацией и кодом, но это не обеспечивает прозрачности, если аудитория не понимает предоставленную информацию. Следовательно, стоит изучить роль заинтересованной критической аудитории в отношении прозрачности. Алгоритмы нельзя привлекать к ответственности без критической аудитории. ^[131]

Право на исправление [ править ]

С точки зрения регулирования, Торонтская декларация призывает к применению системы прав человека для устранения вреда, вызванного алгоритмической предвзятостью. ^[132] Это включает в себя законодательное закрепление ожиданий должной осмотрительности от имени разработчиков этих алгоритмов и создание подотчетности, когда частные субъекты не в состоянии защитить общественные интересы, отмечая, что такие права могут быть скрыты сложностью определения ответственности в сети сложных, переплетающиеся процессы. ^[133] Другие предполагают необходимость четких механизмов страхования ответственности. ^[134]

Разнообразие и инклюзивность [ править ]

На фоне опасений по поводу того, что проектирование систем ИИ в первую очередь является прерогативой белых инженеров-мужчин ^[135], ряд ученых предположили, что алгоритмическую предвзятость можно свести к минимуму, расширив ряды тех, кто разрабатывает системы ИИ. ^{[127] [112]} Например, только 12% инженеров по машинному обучению - женщины ^[136], причем черные лидеры ИИ указывают на «кризис разнообразия» в этой области. ^[137] Критика простых усилий по инклюзивности предполагает, что программы разнообразия не могут рассматривать перекрывающиеся формы неравенства, и призвали к применению более осознанной линзы пересечения при разработке алгоритмов. ^{[138] [139] : 4}Исследователи из Кембриджского университета утверждают, что решению проблемы расового разнообразия препятствует «белизна» культуры ИИ. ^[140]

Регламент [ править ]

Европа [ править ]

Общие Положение о защите данных (GDPR), то Европейский союз режим пересмотренных защит данных о том , что было реализовано в 2018 году, адреса „Автоматизированные индивидуальные принятия решений, в том числе профилирования“ в статье 22. Эти правила запрещают „исключительно“ автоматизированные решения , которые имеют «значительные» или «юридические» последствия для физического лица, если они явно не разрешены соглашением, контрактом или законодательством государства-члена . Там, где они разрешены, должны быть приняты меры предосторожности, такие как право на связь с человеком и необязательное право на объяснение.принятых решений. Хотя эти правила обычно считаются новыми, почти идентичные положения существуют в Европе с 1995 года в статье 15 Директивы о защите данных . Первоначальные автоматизированные правила принятия решений и гарантии, принятые во французском законодательстве с конца 1970-х годов. ^[141]

GDPR рассматривает алгоритмическую предвзятость в системах профилирования, а также статистические подходы, которые можно исправить, прямо в декларации 71 ^[142], отмечая, что

... контролер должен использовать соответствующие математические или статистические процедуры для профилирования, принимать соответствующие технические и организационные меры ... которые предотвращают, среди прочего, дискриминационное воздействие на физических лиц на основе расового или этнического происхождения, политических убеждений, религии или убеждения, членство в профсоюзах, генетическое состояние или состояние здоровья или сексуальная ориентация, или которые приводят к мерам, имеющим такой эффект.

Подобно необязательному праву на объяснение в рассказе 71, проблема заключается в необязательном характере выступления . ^[143] Хотя это было рассмотрено как требование Рабочей группой по статье 29, которая давала рекомендации по применению закона о защите данных, ^[142] его практические аспекты неясны. Утверждалось, что оценка воздействия на защиту данных для профилирования данных с высоким риском (наряду с другими превентивными мерами в рамках защиты данных) может быть лучшим способом решения проблем алгоритмической дискриминации, поскольку она ограничивает действия тех, кто развертывает алгоритмы, а не требование к потребителям подавать жалобы или запрашивать изменения. ^[144]

Соединенные Штаты [ править ]

В Соединенных Штатах нет общего законодательства, регулирующего алгоритмическую предвзятость, и проблема решается с помощью различных государственных и федеральных законов, которые могут различаться в зависимости от отрасли, сектора и способа использования алгоритма. ^[145] Многие политики осуществляются самостоятельно или контролируются Федеральной торговой комиссией . ^[145] В 2016 году администрация Обамы опубликовала Национальный стратегический план исследований и разработок в области искусственного интеллекта , ^[146]который был предназначен для руководства политиками к критической оценке алгоритмов. Исследователям рекомендовалось «спроектировать эти системы так, чтобы их действия и принятие решений были прозрачными и легко интерпретируемыми людьми, и, таким образом, их можно было исследовать на предмет любых предвзятостей, которые они могут содержать, а не просто изучать и повторять эти предубеждения». Задуманный только в качестве руководства, отчет не создал никаких юридических прецедентов. ^{[147] : 26}

В 2017 году Нью-Йорк принял первый в США закон об алгоритмической ответственности. ^[148] Законопроект, вступивший в силу 1 января 2018 г., требовал «создания целевой группы, которая предоставляет рекомендации о том, как информация об автоматизированных системах принятия решений агентства может быть передана общественности, и как агентства могут решать случаи, когда люди пострадали от автоматизированных систем принятия решений агентства ". ^[149] Целевая группа должна представить выводы и рекомендации для дальнейших регулирующих действий в 2019 году. ^[150]

Индия [ править ]

31 июля 2018 г. был представлен проект закона о персональных данных. ^[151] В проекте предлагаются стандарты хранения, обработки и передачи данных. Хотя в нем не используется термин «алгоритм», в нем предусмотрены положения о «... вреде, причиненном любой обработкой или любыми видами обработки, предпринятыми фидуциаром». Он определяет «любой отказ или отказ в предоставлении услуги, выгоды или блага в результате оценочного решения в отношении субъекта данных» или «любое дискриминационное обращение» как источник вреда, который может возникнуть в результате ненадлежащего использования данных. Он также содержит специальные положения для людей с «статусом интерсексуалов» ^[152].

См. Также [ править ]

• Этика искусственного интеллекта

Дальнейшее чтение [ править ]

• Баер, Тобиас (2019). Понимание, управление и предотвращение алгоритмической предвзятости: руководство для бизнес-пользователей и специалистов по данным . Нью-Йорк: Апресс. ISBN 9781484248843.
• Благородный, Сафия Умоджа (2018). Алгоритмы подавления: как поисковые системы усиливают расизм . Нью-Йорк: Издательство Нью-Йоркского университета. ISBN 9781479837243.
• Справедливость (машинное обучение)

Ссылки [ править ]