Бэктестинг - это термин, используемый в моделировании для обозначения тестирования прогнозной модели на исторических данных. Бэктестинг - это тип ретроспективы и особый тип перекрестной проверки, применяемый к предыдущим временным периодам.
Финансовый анализ
В торговой стратегии, инвестиционной стратегии или моделировании рисков бэктестинг направлен на оценку эффективности стратегии или модели, если они применялись в течение прошлого периода. Это требует моделирования прошлых условий с достаточной детализацией, что делает одним из ограничений тестирования на истории необходимость в подробных исторических данных. Второе ограничение - невозможность моделировать стратегии, влияющие на исторические цены. Наконец, бэктестинг, как и другое моделирование, ограничен потенциальным переобучением . То есть часто можно найти стратегию, которая хорошо сработала бы в прошлом, но не сработает в будущем. [1] Несмотря на эти ограничения, бэктестинг предоставляет информацию, недоступную при тестировании моделей и стратегий на синтетических данных.
Исторически бэктестинг проводился только крупными организациями и профессиональными финансовыми менеджерами из-за затрат на получение и использование подробных наборов данных. Однако обратная торговля все чаще используется на более широкой основе, и появились независимые веб-платформы для обратного тестирования. Хотя этот метод широко используется, он имеет слабые места. [2] Финансовые правила Базеля требуют, чтобы крупные финансовые учреждения тестировали определенные модели риска на истории.
Для значения, подверженного риску 1-дневный при 99% тестировании на истории 250 дней подряд, тест считается зеленым (0-95%), оранжевым (95-99,99%) или красным (99,99-100%) в зависимости от следующей таблицы. : [3]
Зона | Количество исключений | Вероятность | Cumul |
---|---|---|---|
Зеленый | 0 | 8,11% | 8,11% |
1 | 20,47% | 28,58% | |
2 | 25,74% | 54,32% | |
3 | 21,49% | 75,81% | |
4 | 13,41% | 89,22% | |
апельсин | 5 | 6,66% | 95,88% |
6 | 2,75% | 98,63% | |
7 | 0,97% | 99,60% | |
8 | 0,30% | 99,89% | |
9 | 0,08% | 99,97% | |
красный | 10 | 0,02% | 99,99% |
11 | 0,00% | 100,00% | |
... | ... | ... |
Для 10-дневного значения риска при 99% тестировании 250 дней подряд тест считается зеленым (0-95%), оранжевым (95-99,99%) или красным (99,99-100%) в зависимости от следующей таблицы. :
Зона | Количество исключений | Вероятность | Cumul |
---|---|---|---|
Зеленый | 0 | 36,02% | 36,02% |
1 | 15,99% | 52,01% | |
2 | 11,58% | 63,59% | |
3 | 8,90% | 72,49% | |
4 | 6,96% | 79,44% | |
5 | 5,33% | 84,78% | |
6 | 4,07% | 88,85% | |
7 | 3,05% | 79,44% | |
8 | 2,28% | 94,17% | |
апельсин | 9 | 1,74% | 95,91% |
... | ... | ... | |
24 | 0,01% | 99,99% | |
красный | 25 | 0,00% | 99,99% |
... | ... | ... |
Ретроспективный прогноз
В океанографии [5] и метеорологии , [6] бэктестинг также известен как ретроспективные : а ретроспективный представляет собой способ тестирования математической модели ; Исследователи вводят в модель известные или точно оцененные входные данные для прошлых событий, чтобы увидеть, насколько выходные данные соответствуют известным результатам.
Ретроспективный прогноз обычно относится к интеграции числовой модели за исторический период, когда никакие наблюдения не были ассимилированы . Это отличает ретроспективный прогноз от повторного анализа . Океанографические наблюдения солености и температуры, а также наблюдения за параметрами поверхностных волн, такими как значительная высота волн , гораздо реже, чем метеорологические наблюдения, что делает ретроспективные прогнозы более распространенными в океанографии, чем в метеорологии. Кроме того, поскольку поверхностные волны представляют собой вынужденную систему, в которой ветер является единственной генерирующей силой, ретроспективное прогнозирование волн часто считается адекватным для создания разумного представления о волновом климате без необходимости полного повторного анализа. Гидрологи используют ретроспективный прогноз для моделирования речных потоков. [7]
Примером ретроспективного прогноза может быть включение климатических воздействий (событий, вызывающих изменения) в климатическую модель . Если ретроспективный прогноз покажет достаточно точную реакцию климата, модель будет считаться успешной.
ЕЦСПП переанализ является примером комбинированного атмосферного реанализа в сочетании с волновой моделью интеграцией , где не были ассимилированы никаких параметры волн, в результате чего части а волны ретроспективной перспектива.
Непредвиденные результаты применения
В 2003 году Дэйк Чен и его коллеги сначала «обучили» компьютер , используя данные о температуре поверхности океанов за последние 20 лет. [8]
Затем, "обучив" компьютер, они провели ретроспективное прогнозирование, используя данные, которые были собраны о температуре поверхности океанов за период с 1857 по 2003 год. Они не только обнаружили, что их моделирование точно предсказывало каждое явление Эль-Ниньо для последние 148 лет, но они также обнаружили , - как совершенно " непреднамеренные последствия " этого упражнения - что их моделирование также определили (до 2 лет) надвигающейся предвещать из каждого из этих событий Эль - Ниньо . [9]
Смотрите также
Рекомендации
- ^ BacktestBroker. «Действительно ли бэктестинг работает?» .
- ^ FinancialTrading (27 апреля 2013 г.). «Вопросы, связанные с бэк-тестированием» .
- ^ «Система надзора за использованием« бэктестинга »в сочетании с подходом внутренних моделей к требованиям к капиталу рыночного риска» (PDF) . Базельский комитет по банковскому надзору. Январь 1996. с. 14.
- ^ Взято из стр.145 Йейтса, LB, Мысленное экспериментирование: когнитивный подход , диплом о высшем образовании в области искусств (по исследованиям), диссертация, Университет Нового Южного Уэльса, 2004.
- ^ «Ретроспективный подход» . OceanWeather Inc . Проверено 22 января 2013 года . CS1 maint: обескураженный параметр ( ссылка )
- ^ Huijnen, V .; Дж. Флемминг; JW Kaiser; А. Иннесс; Ж. Лейтао; А. Хайль; HJ Eskes; MG Schultz; А. Бенедетти; Дж. Хаджи-Лазаро; Г. Дюфур; М. Еременко (2012). «Ретроспективные эксперименты по составу тропосферы во время пожаров летом 2010 г. над западной Россией» . Атмос. Chem. Phys . 12 (9): 4341–4364. Bibcode : 2012ACP .... 12.4341H . DOI : 10,5194 / ACP-12-4341-2012 . Проверено 22 января 2013 года . CS1 maint: обескураженный параметр ( ссылка )
- ^ «Руководство по проведению ретроспективного анализа стока в ТЭЦ» (PDF) . NOAA . Проверено 22 января 2013 года . CS1 maint: обескураженный параметр ( ссылка )
- ↑ Chen, D., Cane, MA, Kaplan, A., Zebiak, SE, и Huang, D., «Предсказуемость Эль-Ниньо за последние 148 лет», Nature , Vol.428, No.6984, (15 апреля 2004 г.) ), pp.733-736; Андерсон Д., «Время испытаний для Эль-Ниньо», Nature , том 428, № 6984 (15 апреля 2004 г.), стр. 709, 711.
- ^ Ретроспективный анализ не только продемонстрировал, что компьютерные имитационные модели могут предсказывать наступление климатических явлений Эль-Ниньо на основе изменений температуры поверхности океана, которые происходят двумя годами ранее, а это означает, что сейчас, потенциально, существует не менее двух лет. «заблаговременность» - но результаты также подразумевали, что явления Эль-Ниньо, по-видимому, были следствием некоторой причинной закономерности; и, следовательно, не были результатом простой случайности или какого-либо другого «хаотического» события.