В регуляции из алгоритмов , в частности , искусственного интеллекта и его подполе машинного обучения , в праве на объяснение (или право на качестве объяснения ) является право быть дано объяснение для вывода алгоритма. Такие права в первую очередь относятся к индивидуальным правам на получение объяснения решений, которые существенно влияют на человека, особенно в юридическом или финансовом плане. Например, человек, который подает заявку на получение ссуды, но получает отказ, может попросить объяснения, которое может быть: « Кредитное бюроX сообщает, что вы объявили о банкротстве в прошлом году; это главный фактор, влияющий на вероятность того, что вы неплатежеспособны, и поэтому мы не предоставим вам ссуду, на которую вы подали заявку "
Некоторые такие юридические права уже существуют, в то время как объем общего «права на объяснение» является предметом постоянных дебатов.
Примеры
Кредитный рейтинг в США
Кредитный рейтинг в Соединенных Штатах - в более общем плане, кредитные иски - имеют устоявшееся право на объяснение. В соответствии с Законом о равных возможностях кредитования (Правило B Свода федеральных нормативных актов ), раздел 12, глава X, часть 1002, §1002.9 , кредиторы должны уведомлять заявителей о действиях, предпринятых в определенных обстоятельствах, и в таких уведомлениях должны быть указаны конкретные причины, как описано в §1002.9 (b) (2): [1]
(2) Указание конкретных причин. Изложение причин неблагоприятных действий, требуемых параграфом (a) (2) (i) данного раздела, должно быть конкретным и указывать основную (-ые) причину (-ы) неблагоприятного действия. Заявления о том, что неблагоприятное действие было основано на внутренних стандартах или политике кредитора или что заявитель, совместный заявитель или аналогичная сторона не набрали квалификационный балл в системе кредитного рейтинга кредитора, являются недостаточными.
Официальное толкование этого раздела детально , какие типы утверждений приемлемы.
Кредитные агентства и фирмы по анализу данных, такие как FICO, соблюдают это постановление, предоставляя список причин (обычно не более 4 для каждой интерпретации нормативных требований), состоящий из числового кода причины (в качестве идентификатора) и соответствующего объяснения, определяющего основные факторы влияет на кредитный рейтинг. [2] Примером может быть: [3]
- 32: остатки на банковской карте или возобновляемых счетах слишком высоки по сравнению с кредитными лимитами.
Европейский Союз
Общий регламент Европейского Союза о защите данных (вступил в силу в 2016 г., вступает в силу в 2018 г.) расширяет права автоматизированного принятия решений в Директиве о защите данных 1995 г., предоставляя юридически оспариваемую форму права на объяснение, как это указано в Декларации 71 : "[ субъект данных должен иметь] право ... получить объяснение принятого решения ". В полном объеме:
Субъект данных должен иметь право не подчиняться решению, которое может включать в себя меру, оценивающую личные аспекты, относящиеся к нему или ей, которые основаны исключительно на автоматизированной обработке и которые имеют правовые последствия в отношении него или ее или аналогичным образом существенно влияют на него. или ее, например, автоматический отказ в онлайн-заявке на кредит или методы электронного набора персонала без какого-либо вмешательства человека.
...
В любом случае такая обработка должна быть предметом соответствующих гарантий, которые должны включать конкретную информацию для субъекта данных и право на вмешательство человека, на выражение его или ее точки зрения, на получение объяснения решения, принятого после такой оценки. и оспорить решение.
Однако степень, в которой сами правила предоставляют «право на объяснение», является предметом серьезных споров. [4] [5] [6] Есть два основных направления критики. Существуют значительные юридические проблемы с правом, изложенным в статье 22, поскольку изложение не является обязательным, а право на объяснение не упоминается в обязательных статьях текста, поскольку оно было удалено в ходе законодательного процесса. [5] Кроме того, существуют значительные ограничения на типы охватываемых автоматизированных решений - которые должны быть как «исключительно» основаны на автоматизированной обработке, так и иметь юридические или аналогичные значимые последствия - что значительно ограничивает диапазон автоматизированных систем и решений. к которому будет применяться право. [5] В частности, это право вряд ли будет применяться во многих случаях алгоритмических разногласий, которые были подхвачены в СМИ. [7]
Второй потенциальный источник такого права указан в статье 15, «право доступа субъекта данных». Это повторяет аналогичное положение из Директивы о защите данных 1995 года, позволяющее субъекту данных получить доступ к «значимой информации о логике, задействованной» в таком же значимом, полностью автоматизированном процессе принятия решений, как в статье 22. Тем не менее, это тоже страдает от предполагаемых проблем, связаны со сроками, когда это право может быть использовано, а также с практическими проблемами, которые означают, что оно может не иметь обязательной силы во многих случаях, вызывающих озабоченность общественности. [5]
Франция
Во Франции Loi pour une République numérique (Закон о цифровой республике или loi numérique ) от 2016 года вносит поправки в административный кодекс страны, вводя новое положение для разъяснения решений, принимаемых органами государственного сектора в отношении физических лиц. [8] Он отмечает, что в случае «решения, принятого на основе алгоритмического лечения», правила, определяющие это обращение и его «основные характеристики», должны быть доведены до сведения гражданина по запросу, если нет исключения ( например, для национальной безопасности или обороны). Они должны включать следующее:
- степень и способ участия алгоритмической обработки в принятии решений;
- обрабатываемые данные и их источник;
- параметры лечения и, где это уместно, их вес, применяемый к ситуации заинтересованного лица;
- операции, проводимые лечением.
Ученые отметили, что это право, хотя и ограничивается административными решениями, выходит за рамки права GDPR и прямо применяется к поддержке решений, а не к решениям «исключительно» на основе автоматизированной обработки, а также обеспечивает основу для объяснения конкретных решений. [8] Действительно, GDPR - это автоматизированное право принятия решений в Европейском союзе, одно из мест, где искали «право на объяснение», берут свое начало во французском законодательстве конца 1970-х годов. [9]
Критика
Некоторые утверждают, что «право на объяснение» в лучшем случае ненужно, в худшем - вредно и угрожает подавить инновации. Конкретная критика включает: предпочтение человеческих решений над машинными решениями; противоречит существующим законам; и сосредоточение внимания на процессе, а не на результате. [10]
По сути, многие алгоритмы, используемые в машинном обучении, нелегко объяснить. Например, выходные данные глубокой нейронной сети зависят от многих уровней вычислений, связанных сложным образом, и ни один вход или вычисление не могут быть доминирующим фактором. Область объяснимого ИИ стремится предоставить лучшие объяснения на основе существующих алгоритмов и алгоритмов, которые более легко объяснимы, но это молодая и активная область. [11] [12]
Точно так же, человеческие решения часто не могут быть легко объясним: они могут быть основаны на интуиции или « шестое чувство », которое трудно выразить словами. Некоторые [ кто? ] будет утверждать, что машины не должны соответствовать более высоким стандартам, чем люди.
Смотрите также
Рекомендации
- ^ Бюро финансовой защиты потребителей , §1002.9 (b) (2)
- ^ Коды причин оценки кредитного риска FICO США: основной документ от FICO, в котором перечислены все причины кредитного рейтинга FICO, по которым оценка не выше , 31 марта 2010 г., Грег Фишер.
- ^ "ReasonCode.org | Решения VantageScore" . www.reasoncode.org .
- ^ Гудман, Брайс; Флаксман, Сет (2017). «Правила Европейского Союза по алгоритмическому принятию решений и« Право на объяснение » ». Журнал AI . 38 (3): 50–57. arXiv : 1606.08813 . DOI : 10,1609 / aimag.v38i3.2741 . S2CID 7373959 .
- ^ а б в г Вахтер, Сандра; Миттельштадт, Брент; Флориди, Лучано (28 декабря 2016 г.). «Почему право на объяснение автоматизированного принятия решений не существует в Общем регламенте защиты данных». Международный закон о конфиденциальности данных . SSRN 2903469 .
- ^ Есть ли в GDPR «право на объяснение» машинного обучения? , 1 июня 2017 г., Эндрю Берт
- ^ Эдвардс, Лилиан; Вил, Майкл (2017). «Раб алгоритма? Почему« право на объяснение », вероятно, не то средство, которое вы ищете». Duke Law and Technology Review . SSRN 2972855 .
- ^ а б Эдвардс, Лилиан; Вил, Майкл (2018). «Порабощение алгоритма: от« права на объяснение »к« праву на лучшие решения »?» (PDF) . Безопасность и конфиденциальность IEEE . 16 (3): 46–54. DOI : 10.1109 / MSP.2018.2701152 . S2CID 4049746 . SSRN 3052831 .
- ^ Bygrave, LA (2001). «Внимание к машине: статья 15 Директивы ЕС о защите данных и автоматизированное профилирование» (PDF) . Обзор компьютерного права и безопасности . 17 (1). DOI : 10.1016 / S0267-3649 (01) 00104-2 .
- ^ Право ЕС на объяснение: вредное ограничение на искусственный интеллект , Ник Уоллес, Центр инноваций в области данных, 25 января 2017 г.
- ^ Миллер, Тим (2017-06-22). «Объяснение в искусственном интеллекте: выводы из социальных наук». arXiv : 1706.07269 [ cs.AI ].
- ^ Миттельштадт, Брент; Рассел, Крис; Вахтер, Сандра (2019). «Объяснение объяснений в AI» (PDF) . Труды конференции по справедливости, подотчетности и прозрачности - FAT * '19 . Нью-Йорк, Нью-Йорк, США: ACM Press: 279–288. DOI : 10.1145 / 3287560.3287574 . ISBN 978-1-4503-6125-5. S2CID 53214940 .
Внешние ссылки
- Искусственный интеллект должен вам объяснение , Джон Фрэнк Уивер, Slate , 8 мая 2017 г.