Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Во время Второй мировой войны производство немецких танков, таких как Panther, было точно оценено разведкой союзников с использованием статистических методов.

В статистической теории в оценке , то проблема немецкого танка состоит из оценки максимума дискретного равномерного распределения из выборки без замены . Проще говоря, предположим , что существует неизвестное количество элементов , которые последовательно пронумерованных от 1 до N . Производится случайная выборка этих элементов и отслеживаются их порядковые номера; проблема состоит в том, чтобы оценить N по этим наблюдаемым числам.

К проблеме можно подойти, используя либо частотный вывод, либо байесовский вывод , что приведет к различным результатам. Оценка максимума совокупности на основе одной выборки дает разные результаты, тогда как оценка, основанная на нескольких выборках, представляет собой практический вопрос оценки, ответ на который прост (особенно в частотной настройке), но не очевиден (особенно в байесовской настройке).

Проблема названа в честь ее исторического применения союзными войсками во Второй мировой войне для оценки ежемесячных темпов производства немецких танков на основе очень ограниченных данных. При этом использовалась производственная практика присвоения и прикрепления возрастающей последовательности серийных номеров к компонентам танка (шасси, коробка передач, двигатель, колеса), причем некоторые из танков в конечном итоге были захвачены в бою войсками союзников.

Предположения [ править ]

Предполагается, что противник изготовил серию танков, маркированных последовательными целыми числами, начиная с серийного номера 1. Кроме того, независимо от даты изготовления танка, истории обслуживания или серийного номера, которое он имеет, распределение по серийным номерам становится выявленный к анализу является единообразным, вплоть до момента проведения анализа.

Пример [ править ]

Расчетная численность популяции (N). Количество наблюдений в выборке k . Самый большой серийный номер образца - m . Частотный анализ показан пунктирными линиями. Байесовский анализ имеет сплошные желтые линии со средним значением и штриховкой, чтобы показать диапазон от минимально возможного значения до среднего плюс 1 стандартное отклонение). Пример показывает, если наблюдаются четыре резервуара и самый высокий порядковый номер - «60», частотный анализ предсказывает 74, тогда как байесовский анализ предсказывает среднее значение 88,5 и стандартное отклонение 138,72 - 88,5 = 50,22 и минимум 60 резервуаров. В файле SVG наведите указатель мыши на график, чтобы выделить его.

Предположим, что танкам присвоены последовательные серийные номера, начинающиеся с 1, предположим, что захвачено четыре танка и у них есть серийные номера: 19, 40, 42 и 60.

Частотный подход предсказывает общее количество танков , произведенных будет:

Байесовский подход предсказывает , что среднее количество танков , произведенные будет очень похоже на предсказания частотных:

тогда как байесовское среднее предсказывает, что количество произведенных танков будет:

Пусть N равно общему количеству прогнозируемых произведенных танков, m равно наибольшему зарегистрированному серийному номеру, а k равно количеству захваченных танков.

Частотный прогноз рассчитывается как:

Байесовская медиана рассчитывается как:

Среднее байесовское значение рассчитывается как:

Оба байесовских вычисления основаны на следующей функции массы вероятности :

Это распределение имеет положительный перекос , связанный с тем, что существует не менее 60 резервуаров. Из-за этой асимметрии среднее значение может быть не самой значимой оценкой. Медиана в этом примере 74.5, в тесном согласии с формулой частотной. Используя приближение Стирлинга , байесовская функция вероятности может быть аппроксимирована как

что приводит к следующему приближению для медианы:

Наконец, средняя оценка байесовцами и ее отклонение вычисляются как:

Исторический пример проблемы [ править ]

Погрузка танков "Пантера" для перевозки в передовые части, 1943 г.

Во время Второй мировой войны западные союзники прилагали постоянные усилия для определения масштабов производства Германии и подходили к этому двумя основными способами: обычным сбором разведданных и статистической оценкой. Во многих случаях статистический анализ существенно улучшил обычный интеллект. В некоторых случаях обычная разведка использовалась в сочетании со статистическими методами, как это было в случае оценки производства танков Panther незадолго до дня «Д» .

Командование союзников считало, что танки Panzer V (Panther), замеченные в Италии, с их высокоскоростными длинноствольными пушками калибра 75 мм / L70, были необычными тяжелыми танками, и их можно будет увидеть только на севере Франции в небольшом количестве, почти то же самое. Кстати как Тигр меня видели в Тунисе. Армия США была уверена, что танк Sherman и дальше будет хорошо себя вести, как и против танков Panzer III и Panzer IV в Северной Африке и Сицилии. [a] Незадолго до дня «Д» ходили слухи, что использовалось большое количество танков Panzer V.

Чтобы определить, правда ли это, союзники попытались оценить количество производимых танков. Для этого использовали серийные номера трофейных или уничтоженных танков. В качестве основных используемых чисел использовались номера коробок передач, поскольку они распадались в двух непрерывных последовательностях. Также использовались номера шасси и двигателя, но их использование было более сложным. Различные другие компоненты использовались для перекрестной проверки анализа. Аналогичные анализы были выполнены на колесах, которые были пронумерованы последовательно (например, 1, 2, 3, ...,  N ). [2] [ необходима страница ] [b] [3] [4]

Анализ цистерн позволил оценить количество используемых форм для колес. Затем в ходе обсуждения с британскими производителями опорных катков было оценено количество колес, которое можно было изготовить из такого количества форм, что дало количество танков, производимых каждый месяц. Анализ колес от двух танков (32 опорных катка, всего 64 опорных катка) дал оценку 270 танков, произведенных в феврале 1944 года, что значительно больше, чем предполагалось ранее. [5]

Немецкие записи после войны показали, что производство за февраль 1944 года составило 276. [6] [c] Статистический подход оказался намного более точным, чем обычные методы разведки, и фраза «проблема немецких танков» стала использоваться в качестве описания для это тип статистического анализа.

Оценка производства была не единственным использованием этого анализа серийных номеров. Он также использовался для понимания немецкого производства в более общем плане, включая количество фабрик, относительную важность фабрик, длину цепочки поставок (основанную на задержке между производством и использованием), изменения в производстве и использование ресурсов, таких как каучук.

Конкретные данные [ править ]

Согласно общепринятым оценкам разведки союзников, в период с июня 1940 г. по сентябрь 1942 г. немцы производили около 1400 танков в месяц. Если применить приведенную ниже формулу к серийным номерам трофейных танков, то получилось 246 танков в месяц. После войны, по данным министерства Альберта Шпеера о добыче в Германии, фактическое число составило 245. [3]

Оценки для некоторых конкретных месяцев представлены как: [7]

Подобные анализы [ править ]

Производство ракет Фау-2 было точно оценено статистическими методами.

Подобный анализ серийных номеров использовался для другой военной техники во время Второй мировой войны, наиболее успешно для ракеты Фау-2 . [8]

Заводские обозначения на советской военной технике анализировались во время Корейской войны и немецкой разведкой во время Второй мировой войны. [9]

В 1980-х годах некоторым американцам был предоставлен доступ к производственной линии израильских танков « Меркава ». Производственные номера были засекречены, но у танков были серийные номера, по которым можно было оценить производство. [10]

Формула использовалась в невоенном контексте, например, для оценки количества построенных компьютеров Commodore 64 , где результат (12,5 миллиона) совпадает с оценками нижнего уровня. [11]

Контрмеры [ править ]

Чтобы затруднить анализ серийных номеров, можно исключить серийные номера или сократить полезную вспомогательную информацию. В качестве альтернативы можно использовать серийные номера, которые не поддаются криптоанализу, наиболее эффективно путем случайного выбора чисел без замены из списка, который намного превышает количество произведенных объектов (сравните одноразовый блокнот ), или генерируют случайные числа и сравнивают их с список уже присвоенных номеров; коллизии вероятны, если возможное количество цифр не более чем в два раза превышает количество цифр в количестве произведенных объектов (где серийный номер может быть в любом основании); увидеть проблему дня рождения . [d] Для этого используется криптографически безопасный генератор псевдослучайных чисел.может быть использовано. Все эти методы требуют использования таблицы поиска (или взлома шифра) для перехода от серийного номера к производственному заказу, что усложняет использование серийных номеров: например, ряд серийных номеров не может быть вызван, но каждый должен быть найден индивидуально, или список сгенерирован.

В качестве альтернативы последовательные серийные номера могут быть зашифрованы с помощью простого шифра подстановки , который позволяет легко декодировать, но также легко может быть взломан атакой с использованием известного открытого текста : даже если начинается с произвольной точки, открытый текст имеет шаблон (а именно, числа находятся в последовательность). Один из примеров приведен в романе Кена Фоллетта « Код к нулю» , где серийные номера ракет Юпитер-С зашифровываются следующим образом:

Кодовое слово здесь - Хантсвилл (без повторяющихся букв), чтобы получить 10-буквенный ключ. [12] Таким образом, ракета номер 13 была «HN», а ракета номер 24 была «UT».

Надежное шифрование серийных номеров без их расширения может быть достигнуто с помощью шифрования с сохранением формата . Вместо того, чтобы хранить действительно случайную перестановку на множестве всех возможных серийных номеров в большой таблице, такие алгоритмы будут выводить псевдослучайную перестановку из секретного ключа. Затем безопасность можно определить как псевдослучайную перестановку, неотличимую от действительно случайной перестановки для злоумышленника, который не знает ключа.

Частотный анализ [ править ]

Несмещенная оценка с минимальной дисперсией [ править ]

Для точечной оценки (оценка одного значения для итога ) несмещенная оценка с минимальной дисперсией ( оценка MVUE или UMVU) задается следующим образом: [e]

где m - наибольший наблюдаемый серийный номер ( максимум образца ), а k - количество наблюдаемых резервуаров ( размер образца ). [10] [13] Обратите внимание, что после того, как серийный номер был обнаружен, он больше не находится в пуле и больше не будет наблюдаться.

У этого есть отклонение [10]

поэтому стандартное отклонение составляет примерно N / k , ожидаемый размер разрыва между отсортированными наблюдениями в выборке.

Формулу можно интуитивно понимать как максимум выборки плюс средний разрыв между наблюдениями в выборке, причем максимум выборки выбирается в качестве начальной оценки, поскольку он является оценкой максимального правдоподобия , [f] с добавлением разрыва для компенсации отрицательное смещение максимума выборки в качестве оценки максимума совокупности, [g] и записывается как

Это можно визуализировать, представив, что наблюдения в выборке равномерно распределены по всему диапазону, с дополнительными наблюдениями сразу за пределами диапазона от 0 до N  + 1. Если начать с начального разрыва между 0 и самым низким наблюдением в выборке ( минимум выборки), средний разрыв между последовательными наблюдениями в выборке составляет ; быть , потому что сами наблюдения не учитываются при расчете разрыва между наблюдениями. [h] . Расчет ожидаемого значения и дисперсия максимума выборки показаны на странице дискретного равномерного распределения .

Эта философия формализована и обобщена в методе оценки максимального интервала ; аналогичная эвристика используется для построения положения на графике Q – Q , на котором точки выборки отображаются при k / ( n + 1) , которое находится на равномерном распределении, с зазором в конце.

Доверительные интервалы [ править ]

Вместо точечной оценки или в дополнение к ней может выполняться интервальная оценка , например доверительные интервалы . Их легко вычислить, основываясь на наблюдении, что вероятность того, что k наблюдений в выборке попадут в интервал, покрывающий p диапазона (0 ≤  p  ≤ 1), равна p k (при условии, что в этом разделе отрисовки выполняются с заменой, чтобы упростить вычисления; если ничьи без замены, это завышает вероятность, и интервалы будут слишком консервативными).

Таким образом, выборочное распределение квантиля максимума выборки представляет собой график x 1 / k от 0 до 1: квантиль с p-го по q-й квантиль максимума выборки m - это интервал [ p 1 / k Nq 1 / k N ]. Инвертирование этого дает соответствующий доверительный интервал для максимума совокупности [ m / q 1 / km / p 1 / k ].

Например, принимая симметричный 95% интервал p = 2,5% и q = 97,5% для k = 5, получаем 0,025 1/5 ≈ 0,48, 0,975 1/5 ≈ 0,995, поэтому доверительный интервал составляет приблизительно [1,005 м , 2,08 м ] . Нижняя граница очень близка к m , поэтому более информативным является асимметричный доверительный интервал от p = 5% до 100%; для k = 5 это дает 0,05 1/5 ≈ 0,55 и интервал [ м , 1,82 м ].

В более общем смысле 95% доверительный интервал (смещенный вниз) равен [ m , m / 0,05 1 / k ] = [ m , m · 20 1 / k ]. Для диапазона значений k с помощью точечной оценки UMVU (плюс 1 для удобочитаемости) это дает:

Непосредственные наблюдения:

  • Для небольших размеров выборки доверительный интервал очень велик, что отражает большую неопределенность в оценке.
  • Диапазон быстро сокращается, отражая экспоненциально убывающую вероятность того, что все наблюдения в выборке будут значительно ниже максимума.
  • Доверительный интервал демонстрирует положительный перекос, поскольку N никогда не может быть ниже максимума выборки, но потенциально может быть произвольно большим выше него.

Обратите внимание, что m / k нельзя наивно использовать (или, скорее, ( m  +  m / k  - 1) / k ) в качестве оценки стандартной ошибки SE , поскольку стандартная ошибка оценки основана на максимуме совокупности (параметр) , и использование оценки для оценки ошибки в этой самой оценке является круговым рассуждением .

Байесовский анализ [ править ]

Байесовский подход к проблеме немецких танков заключается в учете правдоподобия того, что количество вражеских танков равно количеству , когда количество наблюдаемых танков равно количеству , а максимальный наблюдаемый серийный номер равен количеству . Ответ на эту проблему зависит от выбора априорной функции . Можно продолжить, используя надлежащее априорное распределение, например распределение Пуассона или отрицательное биномиальное распределение, где можно получить замкнутую формулу для апостериорного среднего и апостериорной дисперсии. [14] Альтернативой является использование прямых вычислений, как показано ниже.

Для краткости ниже написано

Условная вероятность [ править ]

Правило условной вероятности дает

Вероятность того, что M знает N и K [ править ]

Выражение

- условная вероятность того, что максимальный наблюдаемый серийный номер M равен m , когда известно, что количество вражеских танков N равно n , а количество наблюдаемых вражеских танков K , как известно, равно для K .

это

где - биномиальный коэффициент, а - скобка Айверсона .

Выражение может быть получено следующим образом: отвечает на вопрос: «Какова вероятность того, что конкретный серийный номер будет наибольшим числом, наблюдаемым в выборке резервуаров, учитывая, что резервуаров имеется всего?»

Можно думать о выборке размера как о результате индивидуальных розыгрышей. Допустим , наблюдается по номеру розыгрыша . Вероятность этого:

Как видно из правой части, это выражение не зависит от каждого и, следовательно, одинаково для каждого . Как можно понять из разных розыгрышей, вероятность того, что какая-либо конкретная из наблюдаемых является наибольшей, умножается на вышеуказанную вероятность:

Вероятность того, что M знает только K [ править ]

Выражение представляет собой вероятность того, что максимальный серийный номер будет равен m после наблюдения k резервуаров, но до того, как серийные номера действительно будут обнаружены.

Выражение можно переписать в терминах других величин, исключив из всех возможных .

Достоверность N, знающего только K [ править ]

Выражение

является достоверностью того, что общее количество танков N равно n, когда известно, что количество K наблюдаемых танков равно k , но до того, как были обнаружены серийные номера. Предположим, что это некоторое дискретное равномерное распределение

Верхний предел должен быть конечным, поскольку функция

не является функцией распределения масс.

Достоверность N, знающего M и K [ править ]

Если k  ≥ 2, то нежелательная переменная исчезает из выражения.

При k  ≥ 1 режим распределения количества танков противника m .

Для к  ≥ 2, доверие , что число вражеских танков является равным , является

Доверия , что число вражеских танков, N , это больше , чем п , является

Среднее значение и стандартное отклонение [ править ]

При k  ≥ 3 N имеет конечное среднее значение :

При k  ≥ 4 N имеет конечное стандартное отклонение :

Эти формулы выводятся ниже.

Формула суммирования [ править ]

Следующая идентичность биномиальных коэффициентов используется ниже для упрощения ряда, относящегося к немецкой проблеме танков.

Эта формула суммы в чем-то аналогична интегральной формуле

Эти формулы применимы при k  > 1.

Один танк [ править ]

Случайное наблюдение за одним танком из популяции из n танков дает порядковый номер m с вероятностью 1 / n для m  ≤  n и нулевой вероятностью для m  >  n . Используя обозначение скобок Айверсона, это записывается

Это функция распределения условной вероятности по массе .

Если рассматривать функцию n для фиксированного m, это функция правдоподобия.

Оценка максимального правдоподобия для общего количества танков N 0  =  m .

Предельное правдоподобие (т. Е. Маргинальное по всем моделям) бесконечно , являясь хвостом гармонического ряда .

но

где - номер гармоники .

Функция распределения массы достоверности зависит от априорного предела :

Среднее значение составляет

Два танка [ править ]

Если наблюдаются два резервуара, а не один, то вероятность того, что больший из двух наблюдаемых серийных номеров равен m , равна

Если рассматривать функцию n для фиксированного m, это функция правдоподобия

Общая вероятность составляет

а функция распределения массы достоверности равна

В медиане удовлетворяет

так

и поэтому медиана

но среднее значение N бесконечно

Много танков [ править ]

Функция массового распределения достоверности [ править ]

Условная вероятность того, что наибольшее из k наблюдений, взятых из порядковых номеров {1, ..., n }, равно m , равна

Функция правдоподобия n - это то же выражение

Общее правдоподобие конечно при k ≥ 2:

Функция распределения массы достоверности:

Дополняют друг друга Интегральная функция распределения является доверие , что Н > х

Интегральная функция распределения правдоподобие , что Nх

Порядок величины [ править ]

Порядок количества танков противника равен

Статистическая неопределенность [ править ]

Статистическая неопределенность - это стандартное отклонение σ , удовлетворяющее уравнению

Так

и

Отношение дисперсии к среднему просто

См. Также [ править ]

  • Отметка и повторная поимка , другой метод оценки численности популяции
  • Оценка максимального интервала , которая обобщает интуицию «предположить равномерно распределенное»
  • Принцип Коперника и эффект Линди , аналогичные предсказания продолжительности жизни, предполагающие только одно наблюдение в выборке (текущий возраст).
    • Аргумент Doomsday , приложение для оценки ожидаемой продолжительности жизни расы человека.
  • Обобщенное распределение экстремальных значений , возможные предельные распределения максимума выборки (обратный вопрос).
  • Максимальная вероятность
  • Смещение оценщика
  • Функция правдоподобия

Дальнейшее чтение [ править ]

  • Гудман, Л.А. (1954). «Некоторые практические методы анализа серийных номеров». Журнал Американской статистической ассоциации . Американская статистическая ассоциация. 49 (265): 97–112. DOI : 10.2307 / 2281038 . JSTOR  2281038 .

Заметки [ править ]

  1. В политическом заявлении бронетанковых сухопутных войск от ноября 1943 г. говорилось: «Рекомендация ограниченного количества танков с 90-мм пушкой не принимается по следующим причинам: танк M4 был широко провозглашен лучшим танком на поле боя сегодня. ... Похоже, что наши силы не опасаются немецкого танка Mark VI (Тигр). Для танка T26 не может быть никакой другой основы, кроме концепции дуэли танков против танков, которая считается необоснованным и ненужным ". [1]
  2. ^ Нижняя граница была неизвестна, но для упрощения обсуждения эта деталь обычно опускается, принимая нижнюю границу, как известно, равной 1.
  3. ^ Ruggles & Brodie - это в основном практический анализ и обобщение, а не математический - проблема оценки упоминается только в сноске 3 на странице 82, где они оценивают максимум как «максимум выборки + средний разрыв».
  4. ^ Как обсуждалось в атаке дня рождения , можно ожидать коллизии после 1,25H чисел, если выбрать из H возможных выходов. Этот квадратный корень соответствует половине цифр. Например, в любой системе отсчета квадратный корень из числа из 100 цифр приблизительно равен числу из 50 цифр.
  5. ^ В непрерывном распределении нет члена −1.
  6. ^ Учитывая конкретный набор наблюдений, этот набор наиболее вероятен, если максимум совокупности является максимумом выборки, а не более высоким значением (оно не может быть ниже).
  7. ^ Максимум выборки никогда не превышает максимум генеральной совокупности, но может быть меньше, следовательно, это предвзятая оценка : она будет иметь тенденцию занижать максимум генеральной совокупности.
  8. ^ Например, промежуток между 2 и 7 равен (7-2) - 1 = 4, состоящий из 3, 4, 5 и 6.

Ссылки [ править ]

  1. ^ Заявление о политике AGF. Начальник штаба AGF. Ноябрь 1943 года. MHI.
  2. ^ Ruggles & Brodie 1947 , стр. ?
  3. ^ a b «Гэвин Дэвис занимается математикой - как статистическая формула выиграла войну» . Хранитель . 20 июля 2006 . Проверено 6 июля 2014 года .
  4. Мэтьюз, Роберт (23 мая 1998 г.), «Сыщики данных идут на войну, боковая панель в рубрике« Скрытые истины » » , New Scientist , заархивировано с оригинала 18 апреля 2001 г.
  5. Боб Каррутерс (1 марта 2012 г.). Пантера V в бою . Coda Книги. С. 94–. ISBN 978-1-908538-15-4.
  6. Ruggles & Brodie 1947 , стр. 82–83.
  7. ^ Ruggles & Brodie 1947 , стр. 89.
  8. Ruggles & Brodie 1947 , стр. 90–91.
  9. ^ Фольц 2008 .
  10. ^ а б в Джонсон 1994 .
  11. ^ "Сколько компьютеров Commodore 64 было продано на самом деле?" . pagetable.com . 1 февраля 2011 года Архивировано из оригинала 6 марта 2016 года . Проверено 6 июля 2014 года .
  12. ^ «Ракеты и ракеты» . www.spaceline.org .
  13. ^ Джойс, Смарт. «Немецкая танковая проблема» . Средняя школа Логана . Архивировано из оригинального 24 апреля 2012 года . Проверено 8 июля 2014 .
  14. ^ Höhle, M .; Хелд, Л. (2006). «Байесовская оценка размера популяции» (PDF) . Технический отчет SFB 386, № 399, Статистический факультет Мюнхенского университета . Проверено 17 апреля 2016 года .

Процитированные работы [ править ]

  • Джонсон, Р. В. (лето 1994 г.). «Оценка численности населения» (PDF) . Статистика обучения . 16 (2): 50–52. DOI : 10.1111 / j.1467-9639.1994.tb00688.x . Архивировано из оригинального (PDF) 23 февраля 2014 года.
  • Ruggles, R .; Броди, Х. (1947). «Эмпирический подход к экономической разведке во Второй мировой войне». Журнал Американской статистической ассоциации . 42 (237): 72. DOI : 10.1080 / 01621459.1947.10501915 . JSTOR  2280189 .
  • Volz, AG (июль 2008 г.). «Советская оценка немецкого танкового производства». Журнал славянских военных исследований . 21 (3): 588–590. DOI : 10.1080 / 13518040802313902 . S2CID  144483708 .