Аудит чувствительности - это расширение анализа чувствительности для использования в исследованиях моделирования, связанных с политикой. Его использование рекомендуется - например, в руководящих принципах Европейской комиссии по оценке воздействия [1] и Европейских академий наук [2] - когда анализ чувствительности (SA) модельного исследования призван продемонстрировать надежность доказательств, предоставленных модель, но в контексте, где вывод учитывается в политике или процессе принятия решений. [3]
Подход
В условиях, когда научная работа является частью политики, структура анализа, его институциональный контекст и мотивация его автора могут стать весьма актуальными, и чистой SA - с ее акцентом на параметрическую (то есть количественную) неопределенность - может оказаться недостаточно. Акцент на фрейминге может, среди прочего, происходить из релевантности исследования политики для разных групп, для которых характерны разные нормы и ценности, и, следовательно, из другой истории о том, "в чем проблема" и, прежде всего, о том, "кто есть проблема". рассказывая историю ». Чаще всего построение включает неявные предположения, которые могут быть политическими (например, какая группа должна быть защищена) вплоть до технических (например, какая переменная может рассматриваться как константа).
Чтобы должным образом учесть эти опасения, аудит чувствительности расширяет инструменты анализа чувствительности, чтобы обеспечить оценку всего процесса создания знаний и моделей. Он принимает вдохновение из NUSAP , [4] способ используется для определения ценности (качество) количественной информации с генерацией `родословной чисел. Аналогичным образом, аудит чувствительности был разработан для получения родословных моделей и основанных на моделях выводов. [3] Аудит чувствительности особенно подходит в контексте противоборства, когда не только характер доказательства, но также степень определенности и неопределенности, связанной с доказательствами, является предметом партийных интересов. Это настройки, учитываемые в постнормальной науке [5] или в режиме 2 [6] науки. Пост-нормальная наука (ПНС) является концепцией , разработанной Сильвио Funtowicz и Джеромом Равцем , [5] [7] [8] , который предлагает методику изучения, которая подходит , когда «факты сомнительны, ценности в споре, ставки высоки и решения срочно »(Funtowicz, Ravetz, 1992: [8] 251–273). Способ 2 Наука, изобретенный в 1994 году Гиббонсом и др., Относится к способу производства научного знания, которое зависит от контекста, ориентировано на проблемы и имеет междисциплинарный характер. Carrozza (2015) [9] предлагает обсуждение этих концепций и подходов. Аудит чувствительности - вместе с постнормальной наукой - одна из линз, рекомендуемых для изучения устойчивости. [10]
Европейская комиссия рекомендует использовать аудит чувствительности при оценке воздействия , чтобы повысить качество основанных на моделях доказательств, используемых для поддержки политических решений. [1] Подобные рекомендации можно найти в отчете Ассоциации науки для политики европейских академий SAPEA . [2]
Правила
Аудит чувствительности резюмируется семью правилами или руководящими принципами:
- Проверьте риторическое использование математического моделирования. Задаваемый вопрос: используется ли модель для выяснения или запутывания ?;
- Примите позицию "охоты на предположения". Задавался вопрос: что было "допущено"? Какие неявные, доаналитические, возможно, нормативные допущения лежат в основе анализа ?;
- Обнаружение мусора в мусоре вне (GIGO). Рассматриваемая проблема: искусственное снижение неопределенности использовалось для достижения желаемого вывода на желаемом уровне уверенности. Он также работает с обратной практикой - искусственным раздуванием неопределенностей, например, для сдерживания регулирования;
- Найдите деликатные предположения, прежде чем они найдут вас. Решенная проблема: ожидайте критики, тщательно выполняя домашнюю работу с помощью анализа чувствительности и неопределенности, прежде чем публиковать результаты.
- Стремитесь к прозрачности. Рассматриваемая проблема: заинтересованные стороны должны иметь возможность осмыслить и, возможно, воспроизвести результаты анализа;
- Делайте правильные суммы, что более важно, чем «Делайте правильные суммы». Решенный вопрос: игнорируется ли точка зрения соответствующей заинтересованной стороны? Кто решил, что возникла проблема и в чем проблема?
- Сосредоточьте анализ на ключевом вопросе, на который дает модель, целостном исследовании всего пространства предположений. Решенная проблема: не выполняйте поверхностный анализ, который лишь "царапает поверхность" потенциальных неопределенностей системы.
Первое правило рассматривает инструментальное использование математического моделирования для продвижения своей повестки дня. Это использование называется риторическим или стратегическим, как использование латыни, чтобы сбить с толку или запутать собеседника.
Второе правило «охоты на предположения» - это напоминание о том, что нужно искать то, что предполагалось при первоначальном построении модели. Режимы полны предположений при прочих равных . Например, в экономике модель может предсказать результат шока для данной системы уравнений, предполагая, что все остальное - все другие входные переменные и входные данные - остаются равными, но в реальной жизни «при прочих равных» никогда не являются «парибусом». , что означает, что переменные имеют тенденцию быть связаны друг с другом, поэтому они не могут реально измениться независимо друг от друга.
Правило третье касается искусственного преувеличения или преуменьшения неопределенностей там, где это удобно. Табачные лобби преувеличивали неопределенность в отношении воздействия курения на здоровье, согласно Орескесу и Конвею [11], в то время как сторонники смертной казни преуменьшали неопределенность в негативных отношениях между смертной казнью и уровнем преступности. [12] Очевидно, последние хотели политики, в данном случае смертной казни, и были заинтересованы в том, чтобы показать, что подтверждающие доказательства были убедительны. В первом случае лобби не желало регулирования (например, запрета на курение табака в общественных местах) и, следовательно, было заинтересовано в усилении неопределенности причинно-следственной связи между курением и здоровьем.
Правило четвертое - это «признание» неопределенности перед публикацией результатов анализа. Это правило также является одной из заповедей прикладной эконометрики согласно Кеннеди: [13] «Признавайся при наличии чувствительности. Следствие: предвидеть критику ». Согласно этому правилу, перед публикацией результатов моделирования следует провести анализ чувствительности . Для этого есть много веских причин, одна из которых состоит в том, что тщательный анализ чувствительности часто выявляет простые ошибки кодирования или несоответствия модели. Во-вторых, чаще всего анализ выявляет неопределенности, превышающие те, которые предполагались разработчиками модели.
Правило 5 касается прозрачного представления результатов исследования моделирования. Оба правила исходят из практики оценки воздействия, когда исследование моделирования, представленное без надлежащей SA, или исходящее из модели, которая на самом деле является черным ящиком, может в конечном итоге быть отвергнуто заинтересованными сторонами. [14] Как четвертое, так и пятое правила предполагают, что воспроизводимость может быть условием прозрачности, а последнее - условием легитимности. [15]
Правило шестое о правильной сумме не далеко от правила «охоты на предположения»; это просто более общий характер. Он связан с тем фактом, что часто аналитик начинает работу над анализом, произвольно оформленным в пользу стороны. Иногда это происходит через выбор дисциплины, выбранной для проведения анализа. Таким образом, проблема воздействия на окружающую среду может быть оформлена через призму экономики и представлена в виде анализа затрат и выгод или рисков, в то время как проблема имеет мало общего с затратами, выгодами или рисками, а во многом связана с прибылью, контролем и нормами. Пример можно найти в Marris et al. [16] по проблеме ГМО, которая в основном представлена в общественном дискурсе как проблема безопасности пищевых продуктов, в то время как спектр опасений противников ГМО, в том числе непрофессионалов, кажется более широким. Подход, который расширяет это конкретное правило на спектр правдоподобных фреймов, - это так называемое количественное повествование .
Правило седьмое - избегать поверхностного анализа чувствительности . SA, где каждый неопределенный вход перемещается за один раз, а все остальные входы остаются неизменными, является формальным. [17] Настоящая SA должна приложить честные усилия для одновременного исследования всех неопределенностей, позволяя модели полностью демонстрировать нелинейное и, возможно, неаддитивное поведение. Аналогичное замечание сделано в книге Сэма Л. Сэвиджа "Ошибка средних значений". [18]
Вопросы, рассмотренные с помощью аудита чувствительности
В заключение, эти правила предназначены для того, чтобы помочь аналитику предвидеть критику, в частности, относящуюся к основанным на модели выводам, используемым для оценки воздействия. Какие вопросы и возражения могут возникнуть у моделиста? Вот возможный список:
- Вы относились к X как к константе, хотя мы знаем, что она неопределенна как минимум на 30%.
- Достаточно 5% ошибки в X, чтобы ваше утверждение о Z хрупкое.
- Ваша модель - всего лишь одна из правдоподобных моделей - вы пренебрегли неопределенностью модели.
- Вы инструментально повысили уровень своей уверенности в результатах
- Ваша модель - черный ящик - почему я должен доверять вашим результатам?
- Вы искусственно раздули неопределенность
- Ваше обрамление не является социально устойчивым
- Вы отвечаете не на тот вопрос
Аудит чувствительности в Руководстве Европейской комиссии
Аудит чувствительности описан в Руководстве Европейской комиссии по оценке воздействия. [1] Соответствующие выдержки (стр. 392):
- «[…] Там, где есть серьезные разногласия между заинтересованными сторонами по поводу характера проблемы,… тогда аудит чувствительности более подходит, но анализ чувствительности по-прежнему рекомендуется в качестве одного из шагов аудита чувствительности».
- «Аудит чувствительности […] - это более широкое рассмотрение влияния всех типов неопределенности, включая структурные допущения, заложенные в модели, и субъективные решения, принимаемые при постановке проблемы».
- «Конечная цель - открыто и честно сообщить, в какой степени можно использовать конкретные модели для поддержки политических решений и каковы их ограничения».
- «В целом, аудит чувствительности подчеркивает идею честного сообщения о том, в какой степени можно доверять результатам модели, принимая во внимание как можно больше всех форм потенциальной неопределенности, и предвосхищать критику со стороны третьих лиц».
Отчет SAPEA
Ассоциация европейских академий науки для политики SAPEA подробно описывает аудит чувствительности в своем отчете за 2019 год, озаглавленном « Осмысление науки для политики в условиях сложности и неопределенности ». [2]
Приложения
Применение концепций аудита от чувствительности к исследованию ОЭСР PISA, [19] продовольственная безопасность, [20] питания, [21] экологический след . [22]
Разработки
Чувствительность аудит является одним из инструментов , рекомендованных в контексте возможной этики количественной оценки , [23] [24] , которая направлена на выявление общих этические элементов в различных задачах видели в количественной оценке, такие как метрики фиксация, [25] злоупотребление статистики, [ 26] плохое моделирование [27] и неэтичные алгоритмы. [28]
Рекомендации
- ^ a b c Европейская комиссия. (2015). Руководящие принципы оценки воздействия - Европейская комиссия Европейская комиссия Лучшее руководство по регулированию
- ^ a b c Научные советы по политике европейских академий, Разумное понимание науки для политики в условиях сложности и неопределенности , Берлин, 2019.
- ^ a b Сальтелли, А., ван дер Слуйс, Дж., Гимарайнш Перейра, В., 2013, Фунтовис, Южная Каролина, Что я могу сказать о вашем Latinorum? Аудит чувствительности математического моделирования, Международный журнал Foresight and Innovation Policy, 9 (2/3/4), 213–234.
- ^ ВандерСлуйс JP, Craye M, Funtowicz S, P, Kloprogge Ravetz J, Risbey J (2005) Сочетание количественных и качественных показателей неопределенности в моделиоснове оценкиокружающей среды: системы NUSAP. Анализ рисков 25 (2): 481-492
- ^ a b Фунтович, С.О. и Равец, младший, 1993. Наука для постнормального возраста. Фьючерсы, 25 (7), 739–755.
- ^ Гиббонс, Майкл; Камилла Лимож; Хельга Новотны; Саймон Шварцман; Питер Скотт; Мартин Троу (1994). Новое производство знаний: динамика науки и исследований в современных обществах. Лондон: Мудрец. ISBN 0-8039-7794-8 .
- ^ Funtowicz, SO и Джером Р. Ravetz (1991). «Новая научная методология решения глобальных экологических проблем». В экологической экономике: наука и управление устойчивостью. Эд. Роберт Костанца. Нью-Йорк: издательство Колумбийского университета: 137–152.
- ^ a b Funtowicz, SO, & Ravetz, JR 1992. Три типа оценки риска и появление постнормальной науки. В С. Крымски и Д. Голдинг (ред.), Социальные теории риска (стр. 251–273). Вестпорт, Коннектикут: Гринвуд.
- ^ Карроцца, К., 2015. «Демократизация экспертных знаний и экологического управления: различные подходы к научной политике и их значимость для анализа политики», Журнал экологической политики и планирования, 17 (1), 108-126.
- ^ Saltelli, А., Benini, Л., Funtowicz, С., Giampietro, М., Кайзер, М., Reinert, Е. С., и вандерСлуйс, JP (2020). Техника никогда не бывает нейтральной. Как выбор методологии обуславливает создание нарративов устойчивости. Наука об окружающей среде и политика, том 106, апрель 2020 г., страницы 87-98, https://doi.org/10.1016/j.envsci.2020.01.008
- ^ Орескес Н., Конвей Э.М. (2010) Торговцы сомнениями: как горстка ученых скрыла правду о проблемах от табачного дыма до глобального потепления. Bloomsbury Press, Нью-Йорк.
- ^ Leamer EE (2010) Тантал на пути к асимптопии. Журнал экономических перспектив 4 (2): 31-46.
- ^ Kennedy, P. (2007) Руководство по эконометрике, 5е изд., P.396, Blackwell Publishing, Oxford.
- ^ Saltelli, A., Funtowicz, S., 2014, Когда все модели ошибочны: необходимы более строгие критерии качества для моделей, используемых в интерфейсе науки и политики, Issues in Science and Technology, Winter 2014, 79-85.
- ^ Saltelli А., Funtowicz, S., 2015основе фактических данных в конце декартовой мечты: случай математического моделирования, в «конце декартова сна», изданная Анжела Гимарайнш Перейра, и Сильвио Funtowicz, Рутледж, стр. 147-162.
- ^ Marris, С, Винн, Б. Симмонс, П. и Уэлдон, Сью. 2001. Заключительный отчет исследовательского проекта PABE, финансируемого Комиссией Европейских сообществ, номер контракта: FAIR CT98-3844 DG12-SSMI) декабрь, Ланкастер: Университет Ланкастера.
- ^ Сальтелли, А., Аннони, П., 2010, Как избежать поверхностного анализа чувствительности, Экологическое моделирование и программное обеспечение, 25, 1508-1517 https://doi.org/10.1016/j.envsoft.2010.04.012 .
- ^ Savage SL (2009) Ошибка средних значений: почему мы недооцениваем риск перед лицом неопределенности, Wiley.
- ^ Л. Араужо, А. Сальтелли и С. В. Шнепф, «Оправдывают ли данные PISA образовательную политику, основанную на PISA?», Int. J. Comp. Educ. Дев., Т. 19, нет. 1. С. 20–34, 2017 г. https://doi.org/10.1108/IJCED-12-2016-0023 .
- ^ А. Сальтелли и С. Ло Пиано, «Проблемные количественные оценки: критическая оценка сценария создания глобального« устойчивого »производства продуктов питания», Food Ethics, vol. 1, вып. 2. С. 173–179, 2017 г. https://doi.org/10.1007/s41055-017-0020-6 .
- ^ С. Ло Пиано и М. Робинсон, «Экономические оценки питания и общественного здравоохранения под признаком постнормальной науки», Futures, vol. 112, стр. 102436, сентябрь 2019 г. https://doi.org/10.1016/j.futures.2019.06.008 .
- ↑ A. Galli et al., «Вопрос об экологическом следе», Ecol. Инд., Т. 69, стр. 224–232, октябрь 2016 г.
- ^ Saltelli, A. (2019). Статистическое моделирование против математического: краткий комментарий. Nature Communications, 10, 1–3. https://doi.org/10.1038/s41467-019-11865-8 .
- ^ Saltelli, A. (2020). Этика количественной оценки или количественная оценка этики? Фьючерсы, https://doi.org/10.1016/j.futures.2019.102509 .
- ^ Мюллер, JZ (2018). Тирания метрик. Издательство Принстонского университета.
- ^ Вассерстин, RL, & Лазар, Н. (2016). Заявление ASA о p-значениях: контекст, процесс и цель. Американский статистик, 70 (2), 129–133.
- ^ Saltelli, A. (2018). Должна ли статистика спасать математическое моделирование? ArXiv, arXiv: 1712 (06457.
- Перейти ↑ O'Neil, C. (2016). Оружие разрушения математики: как большие данные увеличивают неравенство и угрожают демократии. Издательская группа «Рэндом Хаус».