Оценка программы

Оценка программы является систематическим методом для сбора, анализа и использования информации для ответа на вопросы о проектах, политике и программах , ^[1] в частности , об их эффективности и действенности. Как в государственном, так и в частном секторах заинтересованные стороны часто хотят знать, оказывают ли программы, которые они финансируют, реализуют, голосуют, получают или возражают, ожидаемый эффект. В то время как оценка программы в первую очередь сосредотачивается на этом определении, важные соображения часто включают в себя, сколько программа стоит на участника, как программа может быть улучшена, стоит ли программа стоить, есть ли лучшие альтернативы, если есть непредвиденныерезультаты, а также то, являются ли цели программы уместными и полезными. ^[2] Оценщики помогают ответить на эти вопросы, но лучший способ ответить на них - это сделать оценку совместным проектом между оценщиками и заинтересованными сторонами. ^[3]

Процесс оценки считается относительно недавним явлением. Однако документально подтверждено, что запланированная социальная оценка датируется 2200 годом до нашей эры. ^[4] Оценка стала особенно актуальной в США в 1960-х годах в период социальных программ Великого общества, связанных с администрациями Кеннеди и Джонсона . ^{[5] [6]} Чрезвычайные суммы были вложены в социальные программы, но влияние этих инвестиций в значительной степени оставалось неизвестным.

Оценка программ может включать в себя как количественные и качественные методы из социальных исследований . Люди, которые проводят оценку программ, происходят из разных слоев общества, таких как социология , психология , экономика , социальная работа и государственная политика . В некоторых аспирантурах также есть специальные учебные программы для оценки программ.

Проведение оценки [ править ]

Оценка программы может проводиться в несколько этапов в течение срока действия программы. Каждый из этих этапов поднимает разные вопросы, на которые оценщик должен ответить, и, соответственно, требуются разные подходы к оценке. Росси, Липси и Фриман (2004) предлагают следующие виды оценки, которые могут быть подходящими на этих различных этапах:

• Оценка потребности в программе
• Оценка дизайна программы и логики / теории
• Оценка того, как программа реализуется (т. Е. Выполняется ли она в соответствии с планом? Максимизируют ли процессы программы возможные результаты?)
• Оценка результата или воздействия программы (т. Е. Того, чего она на самом деле достигла)
• Оценка стоимости и эффективности программы

Оценка потребностей [ править ]

Оценка потребностей исследует население, на которое рассчитана программа, чтобы увидеть, действительно ли потребность, концептуализированная в программе, существует у населения; действительно ли это проблема; и если да, то как с этим лучше всего поступить. Это включает в себя определение и диагностику реальной проблемы, которую пытается решить программа, кого или что затрагивает проблема, насколько широко распространена проблема и каковы измеримые последствия, которые она вызывает. Например, для жилищной программы, направленной на снижение бездомности, специалист по оценке программы может захотеть выяснить, сколько людей бездомны в данном географическом районе и каковы их демографические данные. Росси, Липси и Фриман (2004) предостерегают от вмешательства без должной оценки необходимости в нем,потому что это может привести к потере значительного количества средств, если необходимость не существует или была неправильно понята.

Оценка потребностей включает процессы или методы, используемые оценщиками для описания и диагностики социальных потребностей ^[7]Это важно для оценщиков, потому что им необходимо определить, эффективны ли программы, и они не могут этого сделать, пока не выяснят, в чем заключается проблема / потребность. Программы, которые не проводят оценку потребностей, могут иметь иллюзию, что они устранили проблему / потребность, хотя на самом деле в этом вообще не было необходимости. Оценка потребностей включает исследование и регулярные консультации с заинтересованными сторонами сообщества и с людьми, которые получат пользу от проекта, прежде чем программа может быть разработана и реализована. Следовательно, это должен быть подход снизу вверх. Таким образом, потенциальные проблемы могут быть реализованы на ранней стадии, потому что процесс вовлекал бы сообщество в определение потребности и, таким образом, давал бы возможность выявить потенциальные препятствия.

Таким образом, важная задача оценщика программ состоит в следующем: Во-первых, дать точное определение проблемы. ^[7] Оценщикам необходимо сначала определить проблему / потребность. Наиболее эффективно это достигается путем совместного включения всех возможных заинтересованных сторон, т. Е. Сообщества, на которое влияет потенциальная проблема, агентов / участников, работающих над решением и решением проблемы, спонсоров и т. Д. Включение поддержки на ранних этапах процесса снижает потенциал для ответные действия, недопонимание и неполная информация позже.

Во-вторых, оцените масштаб проблемы. ^[7] Четко определив, в чем заключается проблема, оценщики должны оценить масштабы проблемы. Им нужно ответить на вопросы «где» и «насколько серьезны». Оценщикам необходимо выяснить, где находится проблема и насколько она велика. Намного проще указать на наличие проблемы, чем указывать, где она находится и насколько распространена. Росси, Липси и Фриман (2004) привели пример того, что: лицо, опознавшее некоторых детей, подвергшихся побоям, может быть достаточным доказательством, чтобы убедить человека в существовании жестокого обращения с детьми. Но для указания того, сколько детей она затрагивает и где она находится в географическом и социальном плане, потребуются знания о детях, подвергшихся жестокому обращению, характеристиках преступников и влиянии проблемы на всю политическую власть, о которой идет речь.

Это может быть сложно, учитывая, что жестокое обращение с детьми не является публичным поведением, также имея в виду, что оценка показателей частного поведения обычно невозможна из-за таких факторов, как незарегистрированные случаи. В этом случае оценщикам придется использовать данные из нескольких источников и применять разные подходы для оценки показателей заболеваемости. Есть еще два вопроса, на которые необходимо ответить: ^[8] Оценщикам также необходимо ответить на вопросы «как» и «что» ^[8]Вопрос «как» требует, чтобы оценщики определили, как будет удовлетворена потребность. Выявив потребность и ознакомившись с оценками сообщества, оценщики должны провести анализ эффективности, чтобы определить, действительно ли предложенный план в программе сможет устранить эту потребность. Вопрос «что?» Требует, чтобы оценщики провели анализ задачи, чтобы выяснить, как лучше всего действовать. Например, устанавливаются ли стандарты выполнения работы организацией или необходимо учитывать некоторые правительственные правила при выполнении задачи. ^[8]

В-третьих, определите и определите цель вмешательств и точно опишите характер потребностей в услугах этой группы населения ^[7]. Важно знать, кто / кто является целевой группой - это могут быть отдельные лица, группы, сообщества и т. Д. Население делится на три единицы: группа риска, нуждающееся население и востребованное население ^[7]

• Группа риска: люди со значительной вероятностью развития риска, например, группа риска для программ контроля рождаемости - это женщины детородного возраста.
• Нуждающееся население: люди с состоянием, которое программа стремится решить; например, население, нуждающееся в программе, направленной на предоставление АРВ-препаратов ВИЧ-положительным людям, - это люди, которые являются ВИЧ-положительными.
• Спросное население: та часть нуждающегося населения, которая согласна иметь потребность и желает участвовать в том, что предлагает программа, например, не все ВИЧ-положительные люди будут готовы принимать АРВ-препараты.

Возможность указать, что / кто является целью, поможет установить соответствующие границы, чтобы вмешательства могли правильно воздействовать на целевую группу населения и их можно было применять < ^[7]

Оценка потребностей состоит из четырех этапов: ^[9]

1. Выполните анализ пробелов

   Оценщикам необходимо сравнить текущую ситуацию с желаемой или необходимой ситуацией. Разница или разрыв между двумя ситуациями поможет определить потребность, цель и задачи программы.

2. Определите приоритеты и важность

   На первом этапе, описанном выше, оценщики определили бы ряд вмешательств, которые потенциально могли бы удовлетворить потребность, например, обучение и развитие, развитие организации и т. Д. Теперь они должны быть изучены с учетом их значимости для целей программы и ограничений. Это должно быть сделано с учетом следующих факторов: рентабельность (рассмотрите бюджет программы, оцените соотношение затрат и выгод), давление со стороны руководства (ожидает ли высшее руководство решения) и численность населения (вовлечено ли много ключевых людей).

3. Выявление причин проблем с производительностью и / или возможностей

   Когда потребности были расставлены по приоритетам, следующим шагом будет определение конкретных проблемных областей в рамках потребности, которую необходимо решить. А также оценить навыки людей, которые будут проводить вмешательства.

4. Определите возможные решения и возможности роста

   Сравните последствия вмешательства, если оно будет реализовано или нет.

Таким образом, анализ потребностей является очень важным шагом в оценке программ, потому что эффективность программы невозможно оценить, если мы не знаем, в чем проблема заключалась в первую очередь.

Оценка теории программ [ править ]

Теория программ, также называемая логической моделью , картой знаний ^[10] или путем воздействия, ^[11]является предположением, подразумеваемым в способе разработки программы, о том, как действия программы должны приводить к желаемым результатам. Эта `` логическая модель '' часто не указывается явно людьми, которые запускают программы, она просто предполагается, и поэтому оценщику необходимо выяснить у сотрудников программы, как именно программа должна достичь своих целей, и оценить, соответствует ли эта логика. правдоподобно. Например, в программе профилактики ВИЧ можно предположить, что информирование людей о передаче ВИЧ / СПИДа, рисках и методах безопасного секса приведет к более безопасному сексу. Однако исследования в Южной Африке все чаще показывают, что, несмотря на повышение уровня образования и знаний, люди по-прежнему часто не практикуют безопасный секс. ^[12]Следовательно, логика программы, которая полагается на образование как на средство заставить людей пользоваться презервативами, может быть ошибочной. Вот почему так важно ознакомиться с исследованиями, проведенными в этой области. Объяснение этой логики также может выявить непредвиденные или непредвиденные последствия программы, как положительные, так и отрицательные. Теория программ заставляет гипотезы проверять их влияние. Разработка логической модели также может способствовать общему пониманию среди сотрудников программы и заинтересованных сторон относительно того, что программа фактически должна делать и как она должна это делать, чего часто не хватает (см. Анализ путей совместного воздействия). Конечно, также возможно, что в процессе попытки выявить логическую модель, лежащую в основе программы, оценщики могут обнаружить, что такая модель либо не полностью разработана, либо внутренне противоречива, либо (в худшем случае) по существу не существует. Это решительно ограничивает эффективность оценки, хотя не обязательно сокращает или отменяет программу. ^[13]

Создание логической модели - прекрасный способ визуализировать важные аспекты программ, особенно при подготовке к оценке. Оценщик должен создать логическую модель с участием многих различных заинтересованных сторон. Логические модели состоят из 5 основных компонентов: ресурсы или входы, действия, выходы, краткосрочные результаты и долгосрочные результаты ^[14] Создание логической модели помогает сформулировать проблему, ресурсы и возможности, которые в настоящее время используются для решения проблемы, а также измеримые результаты программы. Рассмотрение различных компонентов программы по отношению к общим краткосрочным и долгосрочным целям позволяет выявить возможные несоответствия. Создание реальной логической модели особенно важно, потому что она помогает прояснить для всех заинтересованных сторон: определение проблемы, общие цели, а также возможности и результаты программы. ^[14]

Росси, Липси и Фриман (2004) предлагают четыре подхода и процедуры, которые можно использовать для оценки теории программ. ^[7] Эти подходы обсуждаются ниже.

• Оценка в отношении социальных потребностей ^[7]

Это влечет за собой оценку теории программы, соотнося ее с потребностями целевой группы населения, для обслуживания которой предназначена программа. Если теория программы не может удовлетворить потребности целевой группы населения, она будет считаться неэффективной, даже если она будет хорошо реализована. ^[7]

• Оценка логики и правдоподобия ^[7]

Эта форма оценки включает просьбу к группе экспертов-рецензентов критически проанализировать логику и правдоподобность предположений и ожиданий, заложенных в структуре программы. ^[7] Процесс обзора является неструктурированным и открытым для решения определенных вопросов, связанных с разработкой программы. Рутман (1980), Смит (1989) и Уолли (1994) предложили вопросы, перечисленные ниже, чтобы облегчить процесс обзора. ^[7]

Хорошо ли определены цели и задачи программы?

Возможны ли цели и задачи программы?

Возможен ли процесс изменений, предполагаемый в теории программ?

Хорошо ли определены и достаточны ли процедуры для идентификации членов целевой группы, предоставления им услуг и поддержки этих услуг до завершения?

Хорошо ли определены и достаточны ли составные компоненты, мероприятия и функции программы?

Достаточны ли ресурсы, выделяемые на программу и ее различные мероприятия?

• Оценка путем сравнения с исследованиями и практикой ^[7]

Эта форма оценки требует получения информации из исследовательской литературы и существующей практики для оценки различных компонентов теории программ. Оценщик может оценить, согласуется ли теория программы с данными исследований и практическим опытом программ с аналогичными концепциями. ^[7]

• Оценка посредством предварительного наблюдения ^[7]

Этот подход включает включение наблюдений из первых рук в процесс оценки, так как он обеспечивает реальную проверку соответствия между теорией программы и самой программой. ^[7] Наблюдения могут быть сосредоточены на достижимости результатов, обстоятельствах целевой группы и правдоподобности программных мероприятий и вспомогательных ресурсов. ^[7]

Эти различные формы оценки теории программ могут быть проведены, чтобы убедиться в правильности теории программы.

Райт и Wallis (2019) описали дополнительный метод оценки теории программы на основе этой теории структуры . Этот подход, известный как интегративный анализ высказываний (IPA), основан на потоках исследований, которые показывают, что теории с большей вероятностью будут работать, как ожидалось, когда они имеют лучшую структуру (помимо значения и данных). IPA включает, во-первых, идентификацию предложений (причинно-следственных утверждений) и создание визуальной диаграммы этих предложений. Затем исследователь исследует количество понятий и причинно-следственные связи между ними (кружки и стрелки на диаграмме), чтобы измерить широту и глубину понимания, отраженного в структуре теории. Мера широтыколичество понятий. Это основано на идее, что реальные программы включают в себя множество взаимосвязанных частей, поэтому теория, которая показывает большее количество концепций, показывает большую широту понимания программы. Глубина процент концепций , которые являются результатом более чем одной другой концепции. Это основано на идее, что в реальных программах у вещей есть несколько причин. Следовательно, концепция, которая является результатом более чем одной концепции в теории, показывает лучшее понимание этой концепции; теория с более высоким процентом более понятных концепций показывает большую глубину понимания программы.

Оценка реализации [ править ]

Анализ процесса выходит за рамки теории того, что программа должна делать, и вместо этого оценивает, как программа выполняется. Эта оценка определяет, реализуются ли компоненты, определенные как критические для успеха программы. Оценка определяет, достигаются ли целевые группы населения, получают ли люди намеченные услуги, имеет ли персонал соответствующую квалификацию. Оценка процесса - это непрерывный процесс, в котором могут использоваться повторяющиеся меры для оценки того, эффективно ли выполняется программа. Эта проблема особенно важна, потому что многие инновации, особенно в таких областях, как образование и государственная политика, состоят из довольно сложных цепочек действий. Например, оценка процесса может использоваться в исследованиях общественного здравоохранения. ^[15]Многие из этих элементов зависят от предыдущей правильной реализации других элементов и завершатся ошибкой, если предыдущая реализация не была выполнена правильно. Это было убедительно продемонстрировано Джином В. Глассом и многими другими в 1980-е годы. Поскольку неправильное или неэффективное внедрение приведет к таким же нейтральным или отрицательным результатам, которые были бы получены при правильном внедрении плохой инновации, важно, чтобы оценочное исследование оценивало сам процесс внедрения. ^[16] В противном случае хорошая инновационная идея может быть ошибочно охарактеризована как неэффективная, хотя на самом деле она просто никогда не была реализована так, как задумано.

Оценка воздействия (эффективности) [ править ]

Оценка воздействия определяет причинные последствия программы. Это включает в себя попытку измерить, достигла ли программа намеченных результатов, то есть результатов программы.

Результаты программы [ править ]

Результатом является состояние целевой группы населения или социальные условия, которые, как ожидается, должны были измениться в программе. ^[7] Результаты программы - это наблюдаемые характеристики целевой группы или социальных условий, а не программы. Таким образом, концепция результата не обязательно означает, что цели программы действительно изменились или что программа заставила их измениться каким-либо образом. ^[7]

Есть два вида результатов, а именно уровень результата и изменение результата, которые также связаны с эффектом программы. ^[7]

• Уровень результата относится к статусу результата в определенный момент времени.
• Изменение результата относится к разнице между уровнями результата в разные моменты времени.
• Эффект программы относится к той части изменения результата, которую можно однозначно отнести к программе, а не к влиянию какого-либо другого фактора.

Измерение результатов программы [ править ]

Оценка результатов - это представление обстоятельств, определенных как результат, с помощью наблюдаемых показателей, которые систематически меняются в зависимости от изменений или различий в этих обстоятельствах. ^[7] Измерение результатов - это систематический способ оценки степени, в которой программа достигла намеченных результатов. ^[17] Согласно Mouton (2009), измерение воздействия программы означает демонстрацию или оценку накопленного дифференцированного непосредственного и возникающего эффекта, некоторые из которых могут быть непреднамеренными и, следовательно, непредвиденными. ^[18]

Оценка результатов помогает понять, эффективна программа или нет. Это также поможет вам прояснить ваше понимание вашей программы. Но самая важная причина для этого - понять, как ваша работа влияет на людей, которым вы служите. ^[18] С помощью информации, которую вы собираете, вы можете определить, какие действия следует продолжать и развивать, а какие нужно изменить, чтобы повысить эффективность программы.

Это может включать использование сложных статистических методов, чтобы измерить эффект программы и найти причинно-следственную связь между программой и различными результатами. Более подробную информацию об оценке воздействия можно найти в разделе «Определение причинно-следственной связи».

Оценка эффективности [ править ]

Наконец, анализ рентабельности или рентабельности позволяет оценить эффективность программы. Оценщики описывают преимущества и стоимость программы для сравнения. Эффективная программа имеет более низкое соотношение затрат и выгод. Есть два типа эффективности: статический и динамический. В то время как статическая эффективность касается достижения целей с наименьшими затратами, динамическая эффективность связана с постоянным улучшением.^[19]

Определение причинно-следственной связи [ править ]

Возможно, самая сложная часть оценки - это определить, вызывает ли сама программа те изменения, которые наблюдаются у населения, на которое она была нацелена. События или процессы вне программы могут быть реальной причиной наблюдаемого результата (или реальным предотвращением ожидаемого результата).

Причинно-следственную связь определить сложно. Одна из основных причин этого - предвзятость самостоятельного выбора . ^[20] Люди выбирают себя для участия в программе. Например, в программе профессионального обучения одни люди решают участвовать, а другие - нет. Те, кто действительно участвует, могут отличаться от тех, кто не участвует, во многом. Они могут быть более решительными в поисках работы или иметь лучшие ресурсы поддержки. Эти характеристики могут на самом деле быть причиной наблюдаемого результата увеличения занятости, а не программы профессионального обучения.

Оценка, проводимая со случайным распределением, может сделать более убедительные выводы о причинно-следственной связи. Случайное назначение людей для участия или неучастия в программе снижает или устраняет предвзятость при самостоятельном выборе . Таким образом, группа людей, которые участвуют, вероятно, будет более сопоставима с группой, которая не участвовала.

Однако, поскольку большинство программ не могут использовать случайное присвоение, причинно-следственную связь невозможно определить. Анализ воздействия по-прежнему может предоставить полезную информацию. Например, можно описать результаты программы. Таким образом, оценка может описать, что люди, участвовавшие в программе, с большей вероятностью испытали данный результат, чем люди, которые не участвовали.

Если программа достаточно велика и имеется достаточно данных, можно использовать статистический анализ, чтобы сделать разумные доводы в пользу программы, показав, например, что другие причины маловероятны.

Надежность, достоверность и чувствительность [ править ]

Важно обеспечить, чтобы инструменты (например, тесты, анкеты и т. Д.), Используемые при оценке программ, были как можно более надежными, действительными и чувствительными. По данным Росси и соавт. (2004, стр. 222), ^[7] «неправильно выбранная или плохо продуманная мера может полностью подорвать ценность оценки воздействия, давая неверные оценки. Оценки воздействия могут считаться достоверными только в том случае, если показатели результатов являются действительными, надежными и должным образом чувствительными ».

Надежность [ править ]

Надежность измерительного прибора - это «степень, в которой мера дает одинаковые результаты при многократном использовании для измерения одного и того же объекта» (Росси и др., 2004, стр. 218). ^[7] Чем надежнее показатель, тем выше его статистическая мощность и тем надежнее его результаты. Если измерительный инструмент ненадежен, он может ослабить и скрыть реальные эффекты программы, и программа будет «казаться менее эффективной, чем она есть на самом деле» (Росси и др., 2004, стр. 219). ^[7] Следовательно, важно, чтобы оценка была как можно более надежной.

Срок действия [ править ]

Достоверность измерительного инструмента - это «степень, в которой он измеряет то, что он предназначен для измерения» (Росси и др., 2004, стр. 219). ^[7] Эту концепцию может быть трудно точно измерить: при общем использовании в оценках инструмент может считаться действительным, если заинтересованные стороны признают его действительным (заинтересованные стороны могут включать, например, спонсоров, администраторов программ и т. Д.).

Чувствительность [ править ]

Основная цель процесса оценки - определить, влияет ли программа на социальную проблему, которую она стремится решить; следовательно, измерительный инструмент должен быть достаточно чувствительным, чтобы распознавать эти потенциальные изменения (Росси и др., 2004). ^[7] Инструмент измерения может быть нечувствительным, если он содержит элементы, измеряющие результаты, на которые программа не может повлиять, или если инструмент изначально был разработан для приложений к отдельным лицам (например, стандартизированные психологические меры), а не для групповых условий (Росси и др., 2004). ^[7] Эти факторы могут вызвать «шум», который может скрыть любой эффект, который могла иметь программа.

Только те меры, которые в достаточной мере соответствуют критериям надежности, достоверности и чувствительности, могут считаться достоверными оценками. Оценщики обязаны производить достоверные оценки, поскольку их выводы могут иметь далеко идущие последствия. Дискредитирующая оценка, которая не может показать, что программа достигает своей цели, когда она на самом деле создает положительные изменения, может привести к незаслуженной потере финансирования программы. ^{[ неправильный синтез? ]}

Шаги к структуре оценки программ [ править ]

Центр по контролю за заболеваниями (CDC) определяет шесть этапов полной оценки программы. Описываются следующие шаги: привлечь заинтересованную сторону, описать программу, сфокусировать план оценки, собрать достоверные доказательства, обосновать выводы, обеспечить использование и обмен извлеченными уроками. ^[21] Эти шаги могут происходить в рамках цикла, чтобы представить непрерывный процесс оценки.

Оценка коллективного воздействия [ править ]

Хотя упомянутые здесь процессы оценки программ подходят для большинства программ, очень сложные нелинейные инициативы, например, использующие модель коллективного воздействия (CI), требуют динамического подхода к оценке. Коллективное воздействие - это «приверженность группы важных участников из разных секторов общей повестке дня для решения конкретной социальной проблемы» ^[22] и обычно включает три этапа, каждый с различным рекомендуемым подходом к оценке:

• Ранняя фаза: участники CI изучают возможные стратегии и разрабатывают планы действий. Характеризуется неопределенностью.

Рекомендуемый подход к оценке: Оценка развития, чтобы помочь партнерам CI понять контекст инициативы и ее развитие: ^[23] «Оценка развития включает в себя обратную связь в реальном времени о том, что появляется в сложных динамических системах, поскольку новаторы стремятся вызвать системные изменения». ^[24]

• Средний этап: партнеры CI реализуют согласованные стратегии. Некоторые результаты легче предвидеть.

Рекомендуемый подход к оценке: формирующая оценка для уточнения и улучшения прогресса, а также непрерывная оценка развития для изучения новых элементов по мере их появления. Формирующая оценка включает в себя «тщательный мониторинг процессов с целью реагирования на возникающие свойства и любые неожиданные результаты». ^[25]

• Поздняя фаза: действия достигают стабильности и больше не формируются. Опыт сообщает знания о том, какие действия могут быть эффективными.

Рекомендуемый подход к оценке: итоговая оценка «использует как количественные, так и качественные методы, чтобы лучше понять, чего [проект] достиг, и как и почему это произошло». ^[26]

Планирование оценки программы [ править ]

Планирование оценки программы можно разбить на четыре части: фокусировка на оценке, сбор информации, использование информации и управление оценкой. ^[27] Оценка программы включает в себя размышление над вопросами о цели оценки, какие вопросы необходимо задать и что будет сделано с собранной информацией. Важные вопросы для рассмотрения включают:

• Что я буду оценивать?
• Какова цель этой оценки?
• Кто будет использовать эту оценку? Как они это будут использовать?
• На какие вопросы эта оценка пытается ответить?
• Какая информация мне нужна, чтобы ответить на вопросы?
• Когда нужна оценка? Какие ресурсы мне нужны?
• Как я буду собирать нужные мне данные?
• Как будут анализироваться данные?
• Каков график моей реализации?

Методологические ограничения и проблемы [ править ]

Скудный подход [ править ]

«Скудный подход к оценке» разработан, чтобы помочь оценщикам, работающим с ограниченным бюджетом, ограниченным доступом или наличием данных и ограниченным временем обработки, проводить эффективные оценки, которые являются методологически строгими (Bamberger, Rugh, Church & Fort, 2004). ^[28]Этот подход стал ответом на постоянно растущую потребность в более быстрых и экономичных процессах оценки в сложных условиях бюджета, временных ограничений и ограниченной доступности данных. Однако не всегда возможно разработать оценку для достижения самых высоких стандартов. Многие программы не включают процедуру оценки в свой план или бюджет. Следовательно, многие процессы оценки не начинаются до тех пор, пока программа уже не запущена, что может привести к ограничениям по времени, бюджету или данным для оценщиков, что, в свою очередь, может повлиять на надежность, достоверность или чувствительность оценки. > Ограниченный подход помогает обеспечить максимально возможную методологическую строгость при этих ограничениях.

Бюджетные ограничения [ править ]

Часто программы сталкиваются с бюджетными ограничениями, потому что большинство исходных проектов не включают бюджет для проведения оценки (Bamberger et al., 2004). Следовательно, это автоматически приводит к тому, что на оценки выделяются меньшие бюджеты, которых недостаточно для тщательной оценки. Из-за бюджетных ограничений может быть трудно эффективно применять наиболее подходящие методологические инструменты. Эти ограничения могут, следовательно, повлиять на время, доступное для проведения оценки (Bamberger et al., 2004). ^[28]Бюджетные ограничения могут быть устранены путем упрощения схемы оценки, пересмотра размера выборки, изучения экономических методов сбора данных (таких как использование добровольцев для сбора данных, сокращения опросов или использования фокус-групп и ключевых информаторов) или поиска надежных вторичных данных (Bamberger et al. др., 2004). ^[28]

Временные ограничения [ править ]

Наибольшее ограничение по времени, с которым может столкнуться оценщик, - это когда оценщика вызывают для проведения оценки, когда проект уже находится в стадии реализации, если ему дается ограниченное время для проведения оценки по сравнению с продолжительностью исследования, или если они не выполняются. дано достаточно времени для адекватного планирования. Временные ограничения особенно проблематичны, когда оценщик не знаком с территорией или страной, в которой расположена программа (Bamberger et al., 2004). ^[28] Ограничения по времени можно решить с помощью методов, перечисленных выше в разделе «Ограничения бюджета», а также путем тщательного планирования для обеспечения эффективного сбора и анализа данных в ограниченном временном пространстве.

Ограничения данных [ править ]

Если оценка начата в конце программы, исходных данных о состоянии целевой группы до начала вмешательства может не быть (Bamberger et al., 2004). ^[28] Другой возможной причиной ограничений данных является то, что данные были собраны программным персоналом и содержат систематические ошибки в отчетности или плохие стандарты ведения документации и, следовательно, мало пригодны (Bamberger et al., 2004). ^[28] Другой источник ограничений данных может возникнуть в том случае, если целевую группу трудно получить, чтобы собрать данные - например, бездомные, наркоманы, рабочие-мигранты и так далее (Bamberger et al., 2004). ^[28]Ограничения данных могут быть устранены путем восстановления базовых данных из вторичных данных или с помощью нескольких методов. Множественные методы, такие как сочетание качественных и количественных данных, могут повысить достоверность за счет триангуляции и сэкономить время и деньги. Кроме того, с этими ограничениями можно справиться путем тщательного планирования и консультаций с заинтересованными сторонами программы. Путем четкого определения и понимания потребностей клиентов перед оценкой можно упростить и сократить затраты и время оценочного процесса, сохраняя при этом доверие.

В целом ограничения по времени, денежным средствам и данным могут иметь негативные последствия для достоверности, надежности и переносимости оценки. Ограниченный подход был создан, чтобы помочь оценщикам исправить указанные выше ограничения путем определения способов сокращения затрат и времени, восстановления исходных данных и обеспечения максимального качества при существующих ограничениях (Bamberger et al., 2004).

Пятиуровневый подход [ править ]

Пятиуровневый подход к оценке дополнительно развивает стратегии, на которых основан ограниченный подход к оценке. ^[29] Первоначально он был разработан Джейкобсом (1988) как альтернативный способ оценки программ на уровне общины и, как таковой, был применен к общегосударственной программе для детей и семьи в Массачусетсе, США. ^[30] Пятиуровневый подход предлагается как концептуальная основа для более точного сопоставления оценок с характеристиками самих программ, а также с конкретными ресурсами и ограничениями, присущими каждому контексту оценки. ^[29] Другими словами, пятиуровневый подход направлен на адаптацию оценки к конкретным потребностям каждого контекста оценки.

Более ранние уровни (1-3) генерируют описательную и ориентированную на процесс информацию, в то время как более поздние уровни (4-5) определяют как краткосрочные, так и долгосрочные эффекты программы. ^[31] Пять уровней организованы следующим образом:

• Уровень 1: оценка потребностей (иногда называемая до внедрения) ^[32]
• Уровень 2: мониторинг и подотчетность
• Уровень 3: проверка качества и разъяснение программы (иногда называемое пониманием и уточнением) ^[33]
• Уровень 4: достижение результатов
• Уровень 5: установление воздействия

Для каждого уровня определяются цели, а также соответствующие задачи, которые позволяют достичь определенной цели уровня. ^[33] Например, цель первого уровня, оценка потребностей, состоит в том, чтобы задокументировать потребность в программе в сообществе. Задача этого уровня будет заключаться в оценке потребностей и активов сообщества путем работы со всеми соответствующими заинтересованными сторонами. ^[33]

Хотя уровни структурированы для последовательного использования, а это означает, что информация, собранная на более ранних уровнях, требуется для задач на более высоких уровнях, это признает гибкий характер оценки. ^[31] Следовательно, можно переходить с более поздних уровней обратно на предыдущие или даже работать на двух уровнях одновременно. ^[33] Тем не менее, оценщикам программ важно отметить, что программа должна оцениваться на соответствующем уровне. ^[32]

Пятиуровневый подход считается полезным для программ поддержки семьи, в которых особое внимание уделяется расширению прав и возможностей сообщества и участников. Это потому, что он поощряет совместный подход с участием всех заинтересованных сторон, и именно через этот процесс размышления достигается расширение прав и возможностей. ^[30]

Методологические проблемы, связанные с языком и культурой [ править ]

Цель этого раздела - привлечь внимание к некоторым методологическим проблемам и дилеммам, с которыми могут столкнуться оценщики при проведении оценки программ в развивающейся стране. Во многих развивающихся странах основными спонсорами оценки являются донорские агентства из развитого мира, и эти агентства требуют регулярных отчетов об оценке, чтобы поддерживать подотчетность и контроль над ресурсами, а также собирать доказательства успеха или неудачи программы. ^[34] Однако существует множество препятствий и проблем, с которыми сталкиваются оценщики, пытаясь реализовать программу оценки, которая пытается использовать методы и системы, которые не разработаны в контексте, к которому они применяются. ^[35] Некоторые из проблем включают различия в культуре, взглядах, языке и политическом процессе. ^{[35] [36]}

Культура определяется Эббуттом (1998, с. 416) как «совокупность как письменных, так и неписаных ожиданий, ценностей, норм, правил, законов, артефактов, ритуалов и поведения, которые пронизывают общество и влияют на то, как люди ведут себя в обществе». ^[36] Культура может влиять на многие аспекты процесса оценки, включая сбор данных, выполнение программы оценки, а также анализ и понимание результатов оценки. ^[36] В частности, инструменты, которые традиционно используются для сбора данных, такие как анкеты и полуструктурированные интервью, должны учитывать различия в культуре, если они изначально были разработаны в другом культурном контексте. ^[37] Понимание и значение конструкций, которые оценщик пытается измерить, могут не разделяться между оценщиком и выборкой, и, таким образом, перенос концепций является важным понятием, поскольку это повлияет на качество сбора данных, выполняемого оценщиками, поскольку а также анализ и результаты, полученные на основе данных. ^[37]

Язык также играет важную роль в процессе оценки, поскольку язык тесно связан с культурой. ^[37] Язык может быть основным препятствием для передачи концепций, к которым оценщик пытается получить доступ, и часто требуется перевод. ^[36] Существует множество проблем с переводом, включая потерю смысла, а также его преувеличение или усиление смысла переводчиками. ^[36] Например, термины, которые зависят от контекста, могут не переводиться на другой язык с таким же весом или значением. В частности, инструменты сбора данных должны учитывать значение, поскольку предмет может считаться конфиденциальным в конкретном контексте, может оказаться конфиденциальным в контексте, в котором проводится оценка.^[37] Таким образом, оценщики должны принимать во внимание две важные концепции при управлении инструментами сбора данных: лексическая эквивалентность и концептуальная эквивалентность. ^[37] Лексическая эквивалентность задает вопрос: как можно сформулировать вопрос на двух языках, используя одни и те же слова? Это трудная задача для выполнения, и использование таких методов, как обратный перевод, может помочь оценщику, но не может привести к идеальной передаче смысла. ^[37] Это приводит к следующему пункту - концептуальной эквивалентности. Однозначный перенос концепций из одной культуры в другую не является обычным явлением. ^[37] Инструменты сбора данных, которые не прошли адекватное тестирование и пилотирование, могут поэтому давать результаты, которые не являются полезными, поскольку концепции, которые измеряются инструментом, могли иметь другое значение и, таким образом, сделать инструмент ненадежным и недействительным. ^[37]

Таким образом, можно видеть, что оценщики должны принимать во внимание методологические проблемы, создаваемые различиями в культуре и языке, пытаясь провести оценку программы в развивающейся стране.

Результаты использования [ править ]

Существует три традиционных использования результатов оценки: убедительное использование , прямое (инструментальное) использование и концептуальное использование .

Убедительное использование [ править ]

Убедительное использование - это зачисление результатов оценки в попытке убедить аудиторию либо поддержать повестку дня, либо выступить против нее. Если «убеждающий» не является тем же человеком, который проводил оценку, эта форма использования не представляет особого интереса для оценщиков, поскольку они часто не могут предвидеть возможные будущие попытки убеждения. ^[7]

Прямое (инструментальное) использование [ править ]

Оценщики часто адаптируют свои оценки для получения результатов, которые могут иметь прямое влияние на улучшение структуры или процесса программы. Например, оценка нового образовательного мероприятия может дать результаты, указывающие на отсутствие улучшения оценок учащихся. Это может быть связано с тем, что вмешательство не имеет серьезной теоретической основы, или может быть, что вмешательство проводится не так, как предполагалось изначально. Мы надеемся, что результаты оценки заставят создателей вмешательства вернуться к чертежной доске, чтобы воссоздать основную структуру вмешательства или даже изменить процессы реализации. ^[7]

Концептуальное использование [ править ]

Но даже если результаты оценки не имеют прямого влияния на изменение формы программы, они все равно могут быть использованы для информирования людей о проблемах, которые программа пытается решить. Возвращаясь к примеру оценки нового образовательного вмешательства, результаты также могут быть использованы для информирования преподавателей и учащихся о различных препятствиях, которые могут повлиять на трудности учащихся в обучении. Эта новая информация может тогда быть инициирована рядом исследований этих препятствий. ^[7]

Переменные, влияющие на использование [ править ]

Есть пять условий, которые, по-видимому, влияют на полезность результатов оценки, а именно актуальность , связь между оценщиками и пользователями результатов , обработка информации пользователями , достоверность результатов , а также уровень участия или поддержки пользователи . ^[7]

Рекомендации по максимальному использованию [ править ]

Цитируется непосредственно из Росси и др. (2004, стр. 416) .: ^[7]

• Оценщики должны понимать когнитивные стили лиц, принимающих решения.
• Результаты оценки должны быть своевременными и доступными при необходимости.
• Оценка должна соответствовать программным обязательствам заинтересованных сторон.
• Планы использования и распространения должны быть частью плана оценки.
• Оценка должна включать оценку использования

Сравнение внутренних и внешних оценщиков программы [ править ]

Выбор оценщика, выбранного для оценки программы, может считаться столь же важным, как и сам процесс оценки. Оценщики могут быть внутренними (лица, связанные с выполняемой программой) или внешними (лица, не связанные с какой-либо частью выполнения / реализации программы). (Отдел надзорных служб, 2004 г.). Ниже приводится краткое изложение преимуществ и недостатков внутренних и внешних оценщиков, адаптированное по материалам Отдела надзорных услуг (2004 г.), для более полного списка преимуществ и недостатков внутренних и внешних оценщиков см. (Отдел надзорных услуг, 2004 г.) ).

Внутренние оценщики [ править ]

Преимущества

• Может иметь лучшее общее представление о программе и обладать неформальными знаниями о программе
• Менее опасный, поскольку уже знаком с персоналом
• Дешевле

Недостатки

• Может быть менее объективным
• Может быть больше озабочен другими видами деятельности программы и не уделять оценке всего внимания
• Может не иметь должной подготовки в качестве оценщика.

Внешние оценщики [ править ]

Преимущества

• Более объективный процесс, предлагает новые перспективы, различные углы для наблюдения и критики процесса.
• Может иметь возможность уделять больше времени и внимания оценке
• Может иметь больший опыт и умение оценивать

Недостатки

• Может быть дороже и потребовать больше времени на контракт, мониторинг, переговоры и т. Д.
• Может быть незнаком с персоналом программы и вызывать беспокойство по поводу оценки
• Может быть незнаком с политикой организации, некоторыми ограничениями, влияющими на программу.

Три парадигмы [ править ]

Позитивист [ править ]

Поттер (2006) ^[38] определяет и описывает три широкие парадигмы оценки программ. Первый и, вероятно, наиболее распространенный - это позитивистский подход, при котором оценка может происходить только там, где есть «объективные», наблюдаемые и измеримые аспекты программы, требующие преимущественно количественных доказательств. Позитивистский подход включает такие параметры оценки, как оценка потребностей, оценка теории программ, оценка программного процесса, оценка воздействия и оценка эффективности (Росси, Липси и Фриман, 2004). ^[39]Подробным примером позитивистского подхода является исследование, проведенное Калифорнийским институтом государственной политики в отчете под названием «Оценка академических программ в местных колледжах Калифорнии», в котором оценщики изучают измеримые виды деятельности (т.е. данные о зачислении) и проводят количественные оценки, такие как факторный анализ. ^[40]

Интерпретирующий [ править ]

Вторая парадигма, определенная Поттером (2006), - это парадигма интерпретационных подходов, в которой утверждается, что оценщику важно развивать понимание точки зрения, опыта и ожиданий всех заинтересованных сторон. Это приведет к лучшему пониманию различных значений и потребностей заинтересованных сторон, что имеет решающее значение для того, чтобы кто-то смог сделать суждение о достоинствах или ценности программы. Контакт оценщика с программой часто продолжается в течение длительного периода времени, и, несмотря на отсутствие стандартизированного метода, обычно используются наблюдение, интервью и фокус-группы. В отчете, подготовленном по заказу Всемирного банка, подробно описываются 8 подходов, в которых можно интегрировать качественные и количественные методы, и, возможно, можно получить информацию, которую невозможно получить с помощью одного метода. ^[41]

Критически-освободительный [ править ]

Поттер (2006) также определяет критически-освободительные подходы к оценке программ, которые в значительной степени основаны на исследованиях действий в целях социальных преобразований. Этот тип подхода является гораздо более идеологическим и часто включает большую степень социальной активности со стороны оценщика. Такой подход подходит для качественных оценок и оценок с участием общественности. Поттер утверждает, что из-за того, что он уделяет особое внимание структурам власти в обществе и уделяет особое внимание участию и расширению прав и возможностей, этот тип оценки может быть особенно полезен в развивающихся странах.

Несмотря на парадигму, которая используется в оценке любой программы, будь то позитивистская, интерпретирующая или критически-эмансипативная, важно признать, что оценка имеет место в определенных социально-политических контекстах. Оценка не существует в вакууме, и на все оценки, осознают они это или нет, влияют социально-политические факторы. Важно понимать, что оценки и результаты, полученные в результате такого процесса оценки, могут быть использованы в пользу или против определенных идеологических, социальных и политических программ (Weiss, 1999). ^[42] Это особенно верно в эпоху, когда ресурсы ограничены и существует конкуренция между организациями за то, чтобы одни проекты имели приоритет над другими (Louw, 1999). ^[43]

Оценка полномочий [ править ]

Эта статья содержит инструкции, советы или практические советы . Цель Википедии - представить факты, а не тренировать. Пожалуйста, помогите улучшить эту статью , переписав содержание с практическими рекомендациями или переместив ее в Викиверситет , Викиучебники или Викигид . ( Май 2020 г. )

Оценка расширения прав и возможностей использует концепции, методы и результаты оценки, чтобы способствовать улучшению и самоопределению конкретной программы, нацеленной на конкретную целевую группу населения / участников программы. ^[44]Оценка расширения прав и возможностей ориентирована на привлечение участников программы к внесению изменений в программы, на которые они нацелены. Одним из основных направлений оценки наделения полномочиями является вовлечение участников программы в процесс оценки. Затем этот процесс часто сопровождается критическим осмыслением программы. В таких случаях внешний / сторонний оценщик выступает в качестве консультанта / тренера / фасилитатора для участников программы и стремится понять программу с точки зрения участников. Как только будет получено четкое понимание точки зрения участников, могут быть разработаны соответствующие шаги и стратегии (с ценным вкладом участников) и реализованы для достижения желаемых результатов.

Согласно Феттерману (2002) ^[44] оценка расширения прав и возможностей состоит из трех этапов;

• Создание миссии
• Подведение итогов
• Планирование на будущее

Создание миссии [ править ]

На первом этапе оценщики просят участников программы и сотрудников (программы) определить миссию программы. Оценщики могут решить выполнить этот шаг, собрав вместе такие стороны и попросив их разработать и обсудить миссию программы. Логика, лежащая в основе этого подхода, состоит в том, чтобы показать каждой стороне, что могут быть разные взгляды на то, какова на самом деле миссия программы.

Подведение итогов [ править ]

Подведение итогов на втором этапе состоит из двух важных задач. Первая задача связана с составлением участниками программы и ее персоналом списка текущих ключевых мероприятий, которые имеют решающее значение для функционирования программы. Вторая задача связана с рейтингом определенных ключевых мероприятий, также известным как приоритезация.. Например, каждого члена группы можно попросить оценить каждое ключевое действие по шкале от 1 до 10, где 10 - самое важное, а 1 - наименее важное. Роль оценщика во время выполнения этой задачи состоит в том, чтобы облегчить интерактивное обсуждение между членами в попытке установить некую базовую линию общего значения и понимания, относящегося к ключевым действиям. Кроме того, соответствующая документация (например, финансовые отчеты и информация об учебной программе) может быть включена в обсуждение при рассмотрении некоторых ключевых мероприятий.

Планирование на будущее [ править ]

После расстановки приоритетов для ключевых действий следующим шагом будет планирование на будущее. Здесь оценщик спрашивает участников программы и персонал программы, как они хотели бы улучшить программу по отношению к перечисленным ключевым мероприятиям. Цель состоит в том, чтобы создать нить согласованности, посредством которой созданная миссия (шаг 1) направляет подведение итогов (шаг 2), которое формирует основу для планов на будущее (шаг 3). Таким образом, при планировании на будущее конкретные цели согласовываются с соответствующими ключевыми видами деятельности. В дополнение к этому для участников программы и ее персонала также важно определить возможные формы доказательств (измеримые индикаторы), которые можно использовать для мониторинга прогресса в достижении конкретных целей. Цели должны быть связаны с мероприятиями программы, талантами, ресурсами и объемом возможностей - короче говоря, сформулированные цели должны быть реалистичными.

Эти три этапа оценки полномочий создают потенциал для более эффективного выполнения программы и большего соответствия потребностям целевой группы населения. Оценка расширения прав и возможностей как процесс, которому способствует опытный оценщик, обучает участников, а также дает им возможность, предоставляя им «новый» способ критического мышления и размышления над программами. Кроме того, это дает возможность участникам и сотрудникам программы осознать свою способность вносить изменения в программу посредством коллективных действий. ^[45]

Трансформационная парадигма [ править ]

Преобразовательная парадигма является неотъемлемой частью включения социальной справедливости в оценку. Донна Мертенс, ведущий исследователь в этой области, утверждает, что парадигма трансформации «фокусируется в первую очередь на точках зрения маргинализированных групп и исследует системные структуры власти с помощью смешанных методов для обеспечения социальной справедливости и прав человека». ^[46] Трансформационная парадигма возникла после того, как маргинализированные группы, которые исторически были оттеснены в сторону при оценке, начали сотрудничать с учеными, отстаивая социальную справедливость и права человека при оценке. Трансформационная парадигма вводит множество различных парадигм и взглядов в процесс оценки, что приводит к тому, что он постоянно ставит под сомнение процесс оценки.

И Американская ассоциация оценки, и Национальная ассоциация социальных работников обращают внимание на этическую обязанность обладать культурной компетентностью при проведении оценок. Культурную компетентность в оценке можно в широком смысле определить как системный ответный запрос, который активно осознает, понимает и ценит культурный контекст, в котором проводится оценка; это образует и формулирует эпистемологию оценки; который использует методологию, приемлемую с культурной и контекстной точек зрения; и в котором используются средства интерпретации, созданные заинтересованными сторонами, для получения результатов и дальнейшего использования результатов. ^[47] Многие руководители здравоохранения и оценки стараются указать, что культурная компетентность не может быть определена с помощью простого контрольного списка, а скорее является атрибутом, который развивается с течением времени. Корнем культурной компетентности в оценке является искреннее уважение к изучаемым сообществам и открытость для поиска глубины в понимании различных культурных контекстов, практик и парадигм мышления. Это включает в себя творческий подход и гибкость, позволяющую улавливать различные культурные контексты, а также повышенное понимание различий во власти, которые существуют в контексте оценки. Важные навыки включают в себя: способность устанавливать взаимопонимание через различия, завоевывать доверие членов сообщества, а также саморефлексировать и распознавать собственные предубеждения. ^[48]

Парадигмы [ править ]

Аксиология парадигм , онтология , эпистемология и методология отражают практику социальной справедливости в оценке. Эти примеры сосредоточены на устранении неравенства и несправедливости в обществе путем поощрения интеграции и равенства в правах человека.

Аксиология (ценности и ценностные суждения) [ править ]

Аксиологическое предположение трансформирующей парадигмы основывается на четырех основных принципах: ^[46]

• Важность культурного уважения
• Поощрение социальной справедливости
• Содействие правам человека
• Устранение неравенства

Онтология (реальность) [ править ]

Различия во взглядах на то, что реально, определяется разными ценностями и жизненным опытом. В свою очередь, эти ценности и жизненный опыт часто связаны с различиями в доступе к привилегиям, основанным на таких характеристиках, как инвалидность, пол, сексуальная идентичность, религия, раса / этническая принадлежность, национальное происхождение, политическая партия, уровень дохода, возраст, язык и иммиграция. или статус беженца. ^[46]

Эпистемология (Знание) [ править ]

Знание конструируется в контексте власти и привилегии с последствиями, связанными с тем, какой версии знания дана привилегия. ^[46] «Знание социально и исторически находится в сложном культурном контексте». ^[49]

Методология (систематическое расследование) [ править ]

Методологические решения направлены на определение подхода, который наилучшим образом облегчит использование процесса и результатов для повышения социальной справедливости; определить системные силы, поддерживающие статус-кво, и те, которые позволят изменениям произойти; и признать необходимость критических и рефлексивных отношений между оценщиком и заинтересованными сторонами. ^[46]

Линзы [ править ]

Действуя через социальную справедливость, совершенно необходимо иметь возможность смотреть на мир через призму тех, кто переживает несправедливость. Теория критической расы, теория феминизма и теория квир / ЛГБТК - это основы того, как мы должны думать об обеспечении справедливости для маргинализированных групп. Эти линзы создают возможность сделать каждую теорию приоритетной в решении проблемы неравенства.

Теория критических рас [ править ]

Теория критической расы (CRT) - это расширение критической теории, которая сосредоточена на неравенстве, основанном на расе и этнической принадлежности. Даниэль Солорзано описывает роль CRT как основы для исследования и выявления тех системных аспектов общества, которые позволяют сохраняться дискриминационному и репрессивному статус-кво расизма. ^[50]

Феминистская теория [ править ]

Суть феминистских теорий состоит в том, чтобы «разоблачить индивидуальные и институциональные практики, которые закрывали доступ к женщинам и другим угнетенным группам и игнорировали или обесценивали женщин» ^[51]

Квир / ЛГБТ-теория [ править ]

Квир-теоретики / ЛГБТК ставят под сомнение гетеросексистские предубеждения, которые пронизывают общество с точки зрения власти над меньшинствами сексуальной ориентации и их дискриминации. Из-за деликатности вопросов, связанных со статусом ЛГБТ, оценщики должны знать о безопасных способах защиты личности таких лиц и обеспечивать выявление дискриминационных практик, чтобы построить более справедливое общество. ^[46]

Правительственные требования [ править ]

Учитывая дефицит федерального бюджета, администрация Обамы перешла к применению «научно обоснованного подхода» к государственным расходам, включая строгие методы оценки программ. В президентском бюджете на 2011 год предусмотрено финансирование 19 оценок государственных программ для таких агентств, как Министерство образования и Агентство США по международному развитию (USAID). Межведомственная группа достигает цели повышения прозрачности и подотчетности за счет создания эффективных сетей оценки и использования передового опыта. ^[52] Шестиступенчатая структура для проведения оценки программ общественного здравоохранения, опубликованная Центрами по контролю и профилактике заболеваний.(CDC) изначально увеличили акцент на программной оценке государственных программ в США. Фреймворк выглядит следующим образом:

1. Вовлекайте заинтересованные стороны
2. Опишите программу.
3. Сосредоточьтесь на оценке.
4. Соберите достоверные доказательства.
5. Обоснуйте выводы.
6. Обеспечьте использование и поделитесь извлеченными уроками.

В январе 2019 года Закон об основах разработки политики на основе доказательств ввел новые требования для федеральных агентств, такие как назначение главного сотрудника по оценке. Руководство, опубликованное Управлением по управлению и бюджету по реализации этого закона, требует от агентств разработать многолетнюю программу обучения, в которой есть конкретные вопросы, на которые агентство хочет ответить, чтобы улучшить стратегические и операционные результаты. ^[53] Агентства также должны составлять годовой план оценки, в котором резюмируются конкретные оценки, которые агентство планирует провести для решения вопросов в программе обучения.

Типы оценки [ править ]

Есть много разных подходов к оценке программ. Каждый служит своей цели.

• Оценка, ориентированная на использование
• Модель оценки CIPP
• Формирующая оценка
• Суммативная оценка
• Оценка развития
• Оценка, ориентированная на принципы
• Теоретическая оценка
• Оценка, ориентированная на реалистичность

Модель оценки CIPP [ править ]

История модели CIPP [ править ]

Модель оценки CIPP была разработана Дэниелом Стаффлбимом и его коллегами в 1960-х годах. CIPP является аббревиатурой от Context, Input, Process и Product. CIPP - это модель оценки, которая требует оценки контекста , входных данных , процесса и продукта при оценке ценности программы. CIPP - это подход к оценке, ориентированный на принятие решений, при котором особое внимание уделяется систематическому предоставлению информации для управления программой и ее работы. ^[54]

Модель CIPP [ править ]

Структура CIPP была разработана как средство связи оценки с принятием программных решений . Он призван обеспечить аналитическую и рациональную основу для принятия решений по программе, основанную на цикле планирования, структурирования, реализации, анализа и пересмотра решений, каждое из которых рассматривается через различные аспекты оценки - контекст, исходные данные, процесс и оценка продукта. ^[54]

Модель CIPP - это попытка сделать оценку, имеющую непосредственное отношение к потребностям лиц, принимающих решения, на этапах и мероприятиях программы. ^[54] Модель оценки контекста, входных данных , процессов и продуктов (CIPP) компании Stufflebeam рекомендуется в качестве основы для систематического руководства концепцией, дизайном, реализацией и оценкой проектов обучения услугам, а также для обеспечения обратной связи и оценки эффективности проекта для постоянное совершенствование. ^[54]

Четыре аспекта оценки CIPP [ править ]

Эти аспекты - контекст, входы, процесс и продукт. Эти четыре аспекта оценки CIPP помогают лицу, принимающему решение, ответить на четыре основных вопроса:

• Что нам делать?

Это включает сбор и анализ данных оценки потребностей для определения целей, приоритетов и задач. Например, контекстная оценка программы повышения грамотности может включать анализ существующих целей программы повышения грамотности, результатов тестов на достижение грамотности, проблем персонала (общих и частных), политики и планов в отношении грамотности, а также проблем сообщества, представлений или взглядов и потребностей. ^[54]

• Как нам это сделать?

Это включает шаги и ресурсы, необходимые для достижения новых целей и задач, и может включать определение успешных внешних программ и материалов, а также сбор информации. ^[54]

• Делаем ли мы это по плану?

Это дает лицам, принимающим решения, информацию о том, насколько хорошо выполняется программа. Постоянно наблюдая за программой, лица, принимающие решения, узнают такие вещи, как то, насколько хорошо она следует планам и руководящим принципам, возникающим конфликтам, поддержке и моральному духу персонала, сильным и слабым сторонам материалов, доставке и проблемам с бюджетом. ^[54]

• Программа работала?

Измеряя фактические результаты и сравнивая их с ожидаемыми, лица, принимающие решения, могут лучше решить, следует ли продолжать программу, изменять ее или вообще отказаться от нее. В этом суть оценки продукта. ^[54]

Использование CIPP на разных этапах оценки [ править ]

Этот раздел может потребовать очистки для соответствия стандартам качества Википедии . Конкретная проблема: избегайте «вы». Пожалуйста, помогите улучшить этот раздел, если можете. ( Май 2020 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

В качестве руководства по оценке модель CIPP позволяет оценщикам оценивать программу на разных этапах, а именно: до начала программы, помогая оценщикам оценить потребности и в конце программы оценить, оказала ли программа эффект.

Модель CIPP позволяет оценщикам задавать формирующие вопросы в начале программы, а затем поддерживает оценку воздействия программы, задавая итоговые вопросы по всем аспектам программы.

• Контекст : что нужно сделать? Против. Были ли учтены важные потребности?
• Ввод : Как это сделать? Против. Был ли использован оправданный замысел?
• Процесс : это делается? Против. Был ли дизайн хорошо выполнен?
• Продукт : Успешно? Против. Была ли попытка успешной?

См. Также [ править ]

• Оценка воздействия на
• Оценка воздействия
• Общий анализ путей воздействия
• Анализ политики
• Политические исследования

Ссылки [ править ]

Дальнейшее чтение [ править ]

Внешние ссылки [ править ]

• Администрация для детей и семей Руководство по оценке для менеджера программы. Обсуждение оценки включает главы о том, зачем оценивать, что такое оценка.
• BetterEvaluation BetterEvaluation: обмен информацией для улучшения оценки
• Американская ассоциация оценки Включает ссылку на ресурсы оценки, такие как организации, сайты ссылок, списки обсуждений по электронной почте, консультантов и т. Д.
• Канадское общество оценки Включает ссылку на информацию об оценке, такую ​​как услуги, профессиональное развитие, ресурсы, организации, региональные отделения.
• Шестиступенчатая структура CDC . Также здесь доступны Центры по контролю и профилактике заболеваний. Рамки для оценки программ в области общественного здравоохранения. MMWR 1999; 48 (№ RR-11) . Включает описание логических моделей в разделе «Шаги».
• Справочник по дизайну исследования и социальному измерению . Делберт Чарльз Миллер, Нил Дж. Салкинд (2002) Издание: 6, исправленное. Опубликовано SAGE.
• EvalPartners (EvalYouth) Международная сеть оценки и инструменты обучения
• EvaluationWiki - миссия EvaluationWiki - предоставить в свободный доступ сборник актуальной информации и ресурсов для всех, кто занимается наукой и практикой оценки. EvaluationWiki предоставляется некоммерческим институтом ресурсов оценки .
• Бесплатные ресурсы для оценки программ и методов социальных исследований Это ворота к ресурсам по оценке программ, методам оценки, онлайн-руководствам, руководствам, книгам по методам оценки и бесплатному программному обеспечению, относящемуся к оценке.
• Innovation Network Некоммерческая организация, работающая над обменом инструментами и ноу-хау планирования и оценки. Организация предоставляет онлайн-инструменты, консультации и обучение для некоммерческих организаций и спонсоров.
• Ссылки на ресурсы по оценке и оценке Список ссылок на ресурсы по нескольким темам, в том числе: центры, создание сообщества, образование и подготовка в области оценки; Фонды; Правительство и организации Индианы; Ссылки собраны ...; Логические модели; оценка эффективности и электронные портфолио, политические и частные группы или компании, профессиональные ассоциации, организации и пабы, Университет Пердью, правительство США, поиск в Интернете публикаций по авторам и темам, а также тематические мета-поиски Vivisimo.
• Управление по оценке программ и подотчетности правительства при законодательном собрании штата Мэн Прекрасный пример государственного управления по оценке программ со ссылками на несколько подробных отчетов, которые включают методологию, результаты оценок, рекомендации и планы действий.
• Национальное общество оценки законодательных программ Включает ссылки на государственные учреждения по оценке программ и / или аудиту эффективности в США.
• 4-H Молодежные программы развития ^{[ постоянная мертвая ссылка ]} Это обучающий веб-сайт, который помогает желающим оценить свои программы.
• Оценка программ и управление результатами - Институт урбанистики
• Что такое оценка программы: руководство для начинающих Джин Шакман