Динамический дискретный выбор

Модели динамического дискретного выбора (DDC) , также известные как модели дискретного выбора динамического программирования , моделируют выбор агента над дискретными вариантами, которые имеют последствия в будущем. Вместо того чтобы предполагать, что наблюдаемый выбор является результатом статической максимизации полезности, в моделях DDC предполагается, что наблюдаемый выбор является результатом максимизации агентом текущей стоимости полезности, обобщая теорию полезности, на которой основаны модели дискретного выбора . ^[1]

Целью методов DDC является оценка структурных параметров процесса принятия решения агентом. Как только эти параметры известны, исследователь может затем использовать оценки для моделирования того, как агент будет вести себя в контрфактическом состоянии мира. (Например, как изменится решение потенциального студента о зачислении в колледж в ответ на повышение платы за обучение.)

Математическое представление [ править ]

Агент «s задача максимизации можно записать математически следующим образом :${\ displaystyle n}$

${\ displaystyle V \ left (x_ {n0} \ right) = \ max _ {\ left \ {d_ {nt} \ right \} _ {t = 1} ^ {T}} \ mathbb {E} \ left ( \ sum _ {t ^ {\ prime} = t} ^ {T} \ sum _ {i = 1} ^ {J} \ beta ^ {t'-t} \ left (d_ {nt} = i \ right) U_ {нит} \ left (x_ {nt}, \ varepsilon _ {nit} \ right) \ right),}$

куда

• ${\ displaystyle x_ {nt}}$- переменные состояния , с начальным условием агента${\ displaystyle x_ {n0}}$
• ${\ displaystyle d_ {nt}}$представляет решение России из числа дискретных альтернатив${\ displaystyle n}$${\ displaystyle J}$
• ${\ Displaystyle \ бета \ в \ влево (0,1 \ вправо)}$является коэффициент дисконтирования
• ${\ displaystyle U_ {nit}}$представляет собой расход полезности, получаемый от выбора альтернативы в периоде , и зависит как от состояния, так и от ненаблюдаемых факторов${\ displaystyle n}$${\ displaystyle i}$${\ displaystyle t}$${\ displaystyle x_ {nt}}$${\displaystyle \varepsilon _{nit}}$
• ${\displaystyle T}$является временным горизонтом
• Ожидание учитывается как в 's, так и в ' s in . То есть агент не уверен в будущих переходах в состояниях, а также не уверен в будущих реализациях ненаблюдаемых факторов.${\displaystyle \mathbb {E} \left(\cdot \right)}$${\displaystyle x_{nt}}$${\displaystyle \varepsilon _{nit}}$${\displaystyle U_{nit}}$

Упрощение предположений и обозначений [ править ]

Стандартно налагают следующие упрощающие предположения и обозначения задачи динамического принятия решений:

1. Полезность потока аддитивно разделима и линейна по параметрам.

Полезность потока может быть записана как аддитивная сумма, состоящая из детерминированных и стохастических элементов. Детерминированный компонент можно записать как линейную функцию от структурных параметров .

${\displaystyle {\begin{alignedat}{5}U_{nit}\left(x_{nt},\varepsilon _{nit}\right)&&\;=\;&&u_{nit}&&\;+\;&&\varepsilon _{nit}\\&&\;=\;&&X_{nt}\alpha _{i}&&\;+\;&&\varepsilon _{nit}\end{alignedat}}}$

2. Задачу оптимизации можно записать в виде уравнения Беллмана.

Определите с помощью функции ожидаемого значения для человека в период, непосредственно предшествующий раскрытию:${\displaystyle V_{nt}(x_{nt})}$${\displaystyle n}$${\displaystyle t}$${\displaystyle \varepsilon _{nt}}$

${\displaystyle V_{nt}(x_{nt})=\mathbb {E} \max _{i}\left\{u_{nit}(x_{nt})+\varepsilon _{nit}+\beta \int _{x_{t+1}}V_{nt+1}(x_{nt+1})\,dF\left(x_{t+1}\mid x_{t}\right)\right\}}$

где оператор математического ожидания находится над 's, а где представляет собой распределение вероятностей по условному значению . Ожидание по переходам между состояниями достигается путем вычисления интеграла по этому распределению вероятностей.${\displaystyle \mathbb {E} }$${\displaystyle \varepsilon }$${\displaystyle dF\left(x_{t+1}\mid x_{t}\right)}$${\displaystyle x_{t+1}}$${\displaystyle x_{t}}$

Можно разложить на детерминированную и стохастическую составляющие:${\displaystyle V_{nt}(x_{nt})}$

${\displaystyle V_{nt}(x_{nt})=\mathbb {E} \max _{i}\left\{v_{nit}(x_{nt})+\varepsilon _{nit}\right\}}$

где - значение выбора альтернативы в момент времени и записывается как${\displaystyle v_{nit}}$${\displaystyle i}$${\displaystyle t}$

${\displaystyle v_{nit}(x_{nt})=u_{nit}\left(x_{nt}\right)+\beta \int _{x_{t+1}}\mathbb {E} \max _{j}\left\{v_{njt+1}(x_{nt+1})+\varepsilon _{njt+1}\right\}\,dF(x_{t+1}\mid x_{t})}$

где теперь ожидание берется за .${\displaystyle \mathbb {E} }$${\displaystyle \varepsilon _{njt+1}}$

3. Задача оптимизации следует за марковским процессом принятия решений.

Состояния следуют цепи Маркова . То есть достижение состояния зависит только от состояния, а не от какого-либо предшествующего состояния.${\displaystyle x_{t}}$${\displaystyle x_{t}}$${\displaystyle x_{t-1}}$${\displaystyle x_{t-2}}$

Функции условного значения и вероятности выбора [ править ]

Функция значения в предыдущем разделе называется функцией условного значения , потому что это функция значения, обусловленная выбором альтернативы в периоде . Такая запись функции условного значения полезна при построении формул для вероятностей выбора.${\displaystyle i}$${\displaystyle t}$

Чтобы записать вероятности выбора, исследователь должен сделать предположение о распределении "s". Как и в статических моделях дискретного выбора, это распределение можно принять как экстремальное значение iid типа I , обобщенное экстремальное значение , полиномиальный пробит или смешанный логит .${\displaystyle \varepsilon _{nit}}$

Для случая, когда используется полиномиальный логит (т. Е. Полученный iid из распределения экстремальных значений Типа I ), формулы для вероятностей выбора будут следующими:${\displaystyle \varepsilon _{nit}}$

${\displaystyle P_{nit}={\frac {\exp(v_{nit})}{\sum _{j=1}^{J}\exp(v_{njt})}}}$

Оценка [ править ]

Оценка динамических моделей дискретного выбора является особенно сложной задачей из-за того, что исследователь должен решать задачу обратной рекурсии для каждого предположения о структурных параметрах.

Наиболее распространенными методами, используемыми для оценки параметров конструкции, являются оценка максимального правдоподобия и метод моделирования моментов .

Помимо методов оценки, существуют также методы решения. В зависимости от сложности проблемы могут использоваться разные методы решения. Их можно разделить на методы полного решения и методы без решения .

Методы полного решения [ править ]

Самым ярким примером метода полного решения является алгоритм вложенной фиксированной точки (NFXP), разработанный Джоном Растом в 1987 году. ^[2] Алгоритм NFXP подробно описан в его руководстве по документации. ^[3]

Недавняя работа Че-Лин Су и Кеннета Джадда в 2012 году ^[4] реализует другой подход (который Rust отверг как неразрешимый в 1987 году), который использует ограниченную оптимизацию функции правдоподобия, особый случай математического программирования с ограничениями равновесия (MPEC). . В частности, функция правдоподобия максимизируется с учетом ограничений, накладываемых моделью, и выражается в терминах дополнительных переменных, которые описывают структуру модели. Этот подход требует мощного программного обеспечения для оптимизации, такого как Artelys Knitro.из-за большой размерности задачи оптимизации. После ее решения находятся как структурные параметры, которые максимизируют вероятность, так и решение модели.

В более поздней статье ^[5] Руст и соавторы показывают, что преимущество MPEC в скорости по сравнению с NFXP незначительно. Тем не менее, поскольку вычисления, требуемые MPEC, не зависят от структуры модели, ее реализация намного менее трудоемка.

Несмотря на многочисленных претендентов, оценка максимального правдоподобия NFXP остается ведущим методом оценки для марковских моделей принятия решений. ^[5]

Методы без решения [ править ]

Альтернативой методам полного решения являются методы без решения. В этом случае исследователь может оценить структурные параметры без полного решения задачи обратной рекурсии для каждого предположения параметра. Методы без решения обычно работают быстрее, но требуют большего количества предположений, но дополнительные предположения во многих случаях реалистичны.

Ведущим методом без решения является условный выбор вероятностей, разработанный В. Джозефом Хотцем и Робертом А. Миллером. ^[6]

Примеры [ править ]

Модель замены двигателя автобуса [ править ]

Модель замены двигателя автобуса, разработанная в основополагающей статье Rust (1987), является одной из первых динамических стохастических моделей дискретного выбора, оцененных с использованием реальных данных, и продолжает служить классическим примером проблем этого типа. ^[4]

Модель представляет собой простую восстановительную стохастическую динамическую задачу оптимальной остановки, с которой сталкивается лицо, принимающее решения, Гарольд Цурчер, суперинтендант по техническому обслуживанию в Мэдисоне, штат Висконсин, столичная автобусная компания. Для каждого автобуса, эксплуатируемого в каждый период времени, Гарольд Цурчер должен решить, заменить ли двигатель и нести соответствующие затраты на замену, или продолжить эксплуатацию автобуса с постоянно растущими эксплуатационными расходами, которые включают страхование и стоимость потерянного пассажира в случай поломки.

Пусть обозначает одометр чтение (пробег) на период , стоимость эксплуатации автобуса , который зависит от вектора параметров , стоимости замены двигателя, а также на коэффициенте дисконтирования . Тогда полезность за период определяется как${\displaystyle x_{t}}$${\displaystyle t}$${\displaystyle c(x_{t},\theta )}$${\displaystyle \theta }$${\displaystyle RC}$${\displaystyle \beta }$

${\displaystyle U(x_{t},\xi _{t},d,\theta )={\begin{cases}-c(x_{t},\theta )+\xi _{t,{\text{keep}}},&\\-RC-c(0,\theta )+\xi _{t,{\text{replace}}},&\end{cases}}=u(x_{t},d,\theta )+{\begin{cases}\xi _{t,{\text{keep}}},&{\textrm {if}}\;\;d={\text{keep}},\\\xi _{t,{\text{replace}}},&{\textrm {if}}\;\;d={\text{replace}},\end{cases}}}$

где обозначает решение (сохранить или заменить) и и представлять компонент полезности , наблюдаемого Harold ZURCHER, но не Джон Rust. Предполагается, что и являются независимыми и идентично распределенными с распределением экстремальных значений Типа I , и которые не зависят от условий .${\displaystyle d}$${\displaystyle \xi _{t,{\text{keep}}}}$${\displaystyle \xi _{t,{\text{replace}}}}$${\displaystyle \xi _{t,{\text{keep}}}}$${\displaystyle \xi _{t,{\text{replace}}}}$${\displaystyle \xi _{t,\bullet }}$${\displaystyle \xi _{t-1,\bullet }}$${\displaystyle x_{t}}$

Тогда оптимальные решения удовлетворяют уравнению Беллмана

${\displaystyle V(x,\xi ,\theta )=\max _{d={\text{keep}},{\text{replace}}}\left\{u(x,d,\theta )+\xi _{d}+\iint V(x',\xi ',\theta )q(d\xi '\mid x',\theta )p(dx'\mid x,d,\theta )\right\}}$

где и - соответственно плотности переходов для наблюдаемых и ненаблюдаемых переменных состояний. Индексы времени в уравнении Беллмана опускаются, потому что модель сформулирована в условиях бесконечного горизонта, неизвестная оптимальная политика является стационарной , т.е. не зависит от времени.${\displaystyle p(dx'\mid x,d,\theta )}$${\displaystyle q(d\xi '\mid x',\theta )}$

Учитывая предположение о распределении , вероятность конкретного выбора определяется выражением${\displaystyle q(d\xi '\mid x',\theta )}$${\displaystyle d}$

${\displaystyle P(d\mid x,\theta )={\frac {\exp\{u(x,d,\theta )+\beta EV(x,d,\theta )\}}{\sum _{d'\in D(x)}\exp\{u(x,d',\theta )+\beta EV(x,d',\theta )\}}}}$

где - единственное решение функционального уравнения${\displaystyle EV(x,d,\theta )}$

${\displaystyle EV(x,d,\theta )=\int \left[\log \left(\sum _{d={\text{keep}},{\text{replace}}}\exp\{u(x,d',\theta )+\beta EV(x',d',\theta )\}\right)\right]p(x'\mid x,d,\theta ).}$

Можно показать , что последнее функциональное уравнение определяет отображение сжатия , если пространство состояний ограничено, так что не будет уникальным решением для любого , и далее неявной функции теорема имеет место, поэтому также является гладкой функцией от для каждого .${\displaystyle x_{t}}$${\displaystyle EV(x,d,\theta )}$${\displaystyle \theta }$${\displaystyle EV(x,d,\theta )}$${\displaystyle \theta }$${\displaystyle (x,d)}$

Оценка с помощью вложенного алгоритма с фиксированной точкой [ править ]

Отображение сжатия выше может быть решено численно для фиксированной точки, что дает вероятности выбора для любого заданного значения . Тогда функцию логарифмического правдоподобия можно сформулировать как${\displaystyle EV(x,d,\theta )}$${\displaystyle P(d\mid x,\theta )}$${\displaystyle \theta }$

${\displaystyle L(\theta )=\sum _{i=1}^{N}\sum _{t=1}^{T_{i}}\log(P(d_{it}\mid x_{it},\theta ))+\log(p(x_{it}\mid x_{it-1},d_{it-1},\theta )),}$

где и представляют данные о переменных состояния (показания одометра) и решения (сохранить или заменить) для отдельных автобусов, каждый в периодах.${\displaystyle x_{i,t}}$${\displaystyle d_{i,t}}$${\displaystyle i=1,\dots ,N}$${\displaystyle t=1,\dots ,T_{i}}$

Совместный алгоритм для решения проблемы с фиксированной точкой с учетом конкретного значения параметра и максимизации логарифма правдоподобия относительно был назван Джоном Рустом вложенным алгоритмом фиксированной точки (NFXP).${\displaystyle \theta }$${\displaystyle L(\theta )}$${\displaystyle \theta }$

Реализация вложенного алгоритма с фиксированной точкой в ​​Rust сильно оптимизирована для решения этой проблемы, используя итерации Ньютона – Канторовича для вычисления и квазиньютоновские методы , такие как алгоритм Берндта – Холла – Холла – Хаусмана , для максимизации правдоподобия. ^[5]${\displaystyle P(d\mid x,\theta )}$

Оценка с MPEC [ править ]

Во вложенном алгоритме с фиксированной точкой пересчитывается для каждого предположения параметров θ . Вместо этого метод MPEC решает задачу оптимизации с ограничениями : ^[4]${\displaystyle P(d\mid x,\theta )}$

${\displaystyle {\begin{aligned}\max &\qquad L(\theta )&\\{\text{subject to}}&\qquad EV(x,d,\theta )=\int \left[\log \left(\sum _{d={\text{keep}},{\text{replace}}}\exp\{u(x,d',\theta )+\beta EV(x',d',\theta )\}\right)\right]p(x'\mid x,d,\theta )\end{aligned}}}$

Этот метод быстрее вычисляется, чем неоптимизированные реализации вложенного алгоритма с фиксированной точкой, и занимает примерно столько же времени, сколько и высокооптимизированные реализации. ^[5]

Оценка методами без решения [ править ]

В этом случае можно применить метод вероятностей условного выбора Хотца и Миллера. Хотц, Миллер, Сандерс и Смит предложили более простую в вычислительном отношении версию метода и протестировали ее при исследовании проблемы замены двигателя автобуса. Метод работает, оценивая вероятности условного выбора с помощью моделирования , а затем устраняя подразумеваемые различия в функциях ценности . ^{[7] [8]}

См. Также [ править ]

• Обратное обучение с подкреплением

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Агиррегабирия, Виктор; Мира, Педро (2010). «Структурные модели динамического дискретного выбора: обзор» (PDF) . Журнал эконометрики . Elsevier BV. 156 (1): 38–67. DOI : 10.1016 / j.jeconom.2009.09.007 . ISSN  0304-4076 .CS1 maint: ref=harv (link)
• Кин, Майкл П .; Вулпин, Кеннет И. (2009). «Эмпирические приложения моделей динамического программирования с дискретным выбором». Обзор экономической динамики . 12 (1): 1-22. DOI : 10.1016 / j.red.2008.07.001 .CS1 maint: ref=harv (link)
• Ржавчина, Джон (1987). "Оптимальная замена двигателей автобусов GMC: эмпирическая модель Гарольда Цурчера". Econometrica . 55 (5): 999–1033. DOI : 10.2307 / 1911259 . ISSN  0012-9682 . JSTOR  1911259 .CS1 maint: ref=harv (link)
• Ржавчина, Джон (1994). «Глава 51 Структурная оценка марковских процессов принятия решений». Справочник по эконометрике . 4 . Эльзевир. С. 3081–3143. DOI : 10.1016 / s1573-4412 (05) 80020-0 . ISBN 978-0-444-88766-5. ISSN  1573-4412 .