Анализ данных

Анализ данных - это процесс проверки, очистки , преобразования и моделирования данных с целью обнаружения полезной информации, обоснования выводов и поддержки принятия решений. Анализ данных имеет множество аспектов и подходов, охватывающих различные методы под разными названиями, и используется в различных областях бизнеса, науки и социальных наук. В современном деловом мире анализ данных играет роль в принятии более научных решений и помогает предприятиям работать более эффективно. ^[1]

Интеллектуальный анализ данных - это особый метод анализа данных, который фокусируется на статистическом моделировании и обнаружении знаний для прогностических, а не чисто описательных целей, в то время как бизнес-аналитика охватывает анализ данных, который в значительной степени опирается на агрегирование с упором в основном на бизнес-информацию. ^[2] В статистических приложениях анализ данных можно разделить на описательную статистику , исследовательский анализ данных (EDA) и подтверждающий анализ данных (CDA). EDA фокусируется на обнаружении новых функций в данных, в то время как CDA фокусируется на подтверждении или опровержении существующих гипотез . Прогнозная аналитикафокусируется на применении статистических моделей для прогнозирования или классификации, в то время как текстовая аналитика применяет статистические, лингвистические и структурные методы для извлечения и классификации информации из текстовых источников, разновидностей неструктурированных данных . Все вышеперечисленное - разновидности анализа данных.

Интеграция данных является предшественником анализа данных, а анализ данных тесно связан с визуализацией данных и их распространением. ^[3]

Процесс анализа данных [ править ]

Под анализом понимается разделение целого на отдельные компоненты для индивидуального изучения. Анализ данных - это процесс получения необработанных данных и последующего преобразования их в информацию, полезную для принятия решений пользователями. Данные собираются и анализируются, чтобы ответить на вопросы, проверить гипотезы или опровергнуть теории. ^[4]

Статистик Джон Тьюки определил анализ данных в 1961 году следующим образом:

"Процедуры анализа данных, методы интерпретации результатов таких процедур, способы планирования сбора данных, чтобы сделать их анализ более простым, точным или более точным, а также все механизмы и результаты (математической) статистики, которые применяются к анализу данных . " ^[5]

Можно выделить несколько этапов, описанных ниже. Фазы являются итеративными , поскольку обратная связь от более поздних фаз может привести к дополнительной работе на более ранних этапах. ^[6] рамка КРИСПА , используемая в горнодобывающей промышленности данных , имеет аналогичные шаги.

Требования к данным [ править ]

Данные необходимы в качестве входных данных для анализа, который определяется на основе требований тех, кто руководит анализом, или клиентов (которые будут использовать готовый продукт анализа). Общий тип объекта, по которому будут собираться данные, называется экспериментальной единицей (например, человек или совокупность людей). Можно указать и получить конкретные переменные, относящиеся к населению (например, возраст и доход). Данные могут быть числовыми или категориальными (например, текстовая метка для чисел). ^[6]

Сбор данных [ править ]

Данные собираются из различных источников. Аналитики могут сообщить о требованиях хранителям данных; например, персонал информационных технологий в организации. Данные также могут быть получены с датчиков в окружающей среде, включая камеры движения, спутники, записывающие устройства и т. Д. Их также можно получить посредством интервью, загрузок из онлайн-источников или чтения документации. ^[6]

Обработка данных [ править ]

Данные, изначально полученные, должны быть обработаны или организованы для анализа. Например, они могут включать размещение данных в строках и столбцах в формате таблицы ( известном как структурированные данные ) для дальнейшего анализа, часто с использованием электронных таблиц или статистического программного обеспечения. ^[6]

Очистка данных [ править ]

После обработки и организации данные могут быть неполными, содержать дубликаты или ошибки. Необходимость очистки данных возникнет из-за проблем, связанных с вводом и хранением данных. Очистка данных - это процесс предотвращения и исправления этих ошибок. Общие задачи включают сопоставление записей, определение неточности данных, общее качество существующих данных, дедупликацию и сегментацию столбцов. ^[7] Такие проблемы с данными также можно выявить с помощью различных аналитических методов. Например, с финансовой информацией, итоговые значения для определенных переменных могут сравниваться с отдельно опубликованными цифрами, которые считаются надежными. ^[8]Также могут быть рассмотрены необычные суммы, превышающие или ниже заранее определенных пороговых значений. Существует несколько типов очистки данных, которые зависят от типа данных в наборе; это могут быть номера телефонов, адреса электронной почты, работодатели или другие значения. Методы количественных данных для обнаружения выбросов можно использовать, чтобы избавиться от данных, которые, как представляется, имеют более высокую вероятность неправильного ввода. Средство проверки орфографии текстовых данных может использоваться для уменьшения количества неправильно набранных слов, однако труднее определить, правильны ли сами слова. ^[9]

Исследовательский анализ данных [ править ]

После очистки наборов данных их можно проанализировать. Аналитики могут применять различные методы, называемые исследовательским анализом данных , чтобы начать понимать сообщения, содержащиеся в полученных данных. Процесс исследования данных может привести к дополнительной очистке данных или дополнительным запросам данных; таким образом, инициализация итерационных фаз, упомянутых в первом абзаце этого раздела. Описательная статистика , такая как среднее или медианное значение, может быть сгенерирована, чтобы помочь в понимании данных. Визуализация данных - также используемый метод, при котором аналитик может исследовать данные в графическом формате, чтобы получить дополнительную информацию о сообщениях в данных. ^[6]

Моделирование и алгоритмы [ править ]

Математические формулы или модели (известные как алгоритмы ) могут применяться к данным для определения взаимосвязей между переменными; например, используя корреляцию или причинно-следственную связь . В общих чертах, модели могут быть разработаны для оценки конкретной переменной на основе другой переменной (переменных), содержащейся в наборе данных, с некоторой остаточной ошибкой, зависящей от точности реализованной модели ( например , Данные = Модель + Ошибка). ^[4]

Логическая статистика включает использование методов, которые измеряют отношения между конкретными переменными. Например, регрессионный анализ может быть использован для моделирования того , дает ли изменение в рекламе ( независимая переменная X ) объяснение изменения продаж ( зависимая переменная Y ). С математической точки зрения Y (продажи) является функцией X (рекламы). Его можно описать как ( Y = aX + b + error), где модель спроектирована таким образом, что ( a ) и ( b ) минимизируют ошибку, когда модель предсказывает Y для заданного диапазона значенийX . Аналитики также могут попытаться построить модели, описывающие данные, с целью упрощения анализа и передачи результатов. ^[4]

Продукт данных [ править ]

Продукт данных , представляет собой компьютер приложение , которое принимает входные данные и генерирует выходные сигналы , подавая их обратно в окружающую среду. Он может быть основан на модели или алгоритме. Например, приложение, которое анализирует данные об истории покупок клиента и использует результаты, чтобы рекомендовать другие покупки, которые могут понравиться покупателю. ^[6]

Связь [ править ]

После анализа данных они могут быть представлены во многих форматах пользователям анализа для поддержки их требований. Пользователи могут оставлять отзывы, по результатам которых проводится дополнительный анализ. Таким образом, большая часть аналитического цикла является итеративной. ^[6]

При определении того, как сообщить результаты, аналитик может рассмотреть возможность применения различных методов визуализации данных, чтобы помочь ясно и эффективно донести сообщение до аудитории. Визуализация данных использует информационные дисплеи (графики, такие как таблицы и диаграммы), чтобы помочь передать ключевые сообщения, содержащиеся в данных. Таблицы - ценный инструмент, позволяющий пользователю запрашивать и сосредотачиваться на определенных числах; а диаграммы (например, гистограммы или линейные диаграммы) могут помочь объяснить количественные сообщения, содержащиеся в данных.

Количественные сообщения [ править ]

Стивен Фью описал восемь типов количественных сообщений, которые пользователи могут попытаться понять или передать на основе набора данных и связанных графиков, используемых для передачи сообщения. Заказчики, определяющие требования, и аналитики, выполняющие анализ данных, могут рассматривать эти сообщения в ходе процесса.

1. Временной ряд: одна переменная фиксируется за определенный период времени, например, уровень безработицы за 10-летний период. Для демонстрации тренда можно использовать линейный график .
2. Ранжирование: категориальные подразделения ранжируются в порядке возрастания или убывания, например, рейтинг эффективности продаж ( показатель ) по продавцам ( категория , где каждый продавец является категориальным подразделением ) в течение одного периода. Для сравнения продавцов можно использовать столбчатую диаграмму .
3. От части к целому: категориальные подразделения измеряются как отношение к целому (т. Е. Процент от 100%). Круговая диаграмма или гистограмма может показать сравнение коэффициентов, таких как доля рынка в лице конкурентов на рынке.
4. Отклонение: категориальные подразделения сравниваются с эталоном, например, сравнение фактических и бюджетных расходов для нескольких отделов бизнеса за определенный период времени. Гистограмма может отображать сравнение фактической и справочной суммы.
5. Частотное распределение: показывает количество наблюдений за конкретной переменной для заданного интервала, например, количество лет, в течение которых доходность фондового рынка находится между такими интервалами, как 0–10%, 11–20% и т. Д. Гистограмма , тип гистограммы, может использоваться для этого анализа.
6. Корреляция: сравнение наблюдений, представленных двумя переменными (X, Y), чтобы определить, имеют ли они тенденцию двигаться в одном или противоположных направлениях. Например, построение графика безработицы (X) и инфляции (Y) для выборки месяцев. Для этого сообщения обычно используется диаграмма рассеяния .
7. Номинальное сравнение: сравнение категорийных подразделений без определенного порядка, например, объем продаж по коду продукта. Для этого сравнения можно использовать гистограмму.
8. Географические или геопространственные: сравнение переменной на карте или макете, например, уровень безработицы по штатам или количество людей на разных этажах здания. Картограмма представляет собой типичный графический используется. ^{[11] [12]}

Методы анализа количественных данных [ править ]

Автор Джонатан Кумей рекомендовал ряд лучших практик для понимания количественных данных. К ним относятся:

• Перед выполнением анализа проверьте исходные данные на наличие аномалий;
• Повторно выполните важные вычисления, такие как проверка столбцов данных, которые управляются формулами;
• Подтвердите, что основные итоги - это сумма промежуточных итогов;
• Проверьте отношения между числами, которые должны быть связаны предсказуемым образом, например, отношения во времени;
• Нормализовать числа, чтобы упростить сравнения, например, анализировать суммы на человека или относительно ВВП или как значение индекса относительно базового года;
• Разбивайте проблемы на составные части, анализируя факторы, которые привели к результатам, например анализ DuPont рентабельности собственного капитала. ^[8]

Для исследуемых переменных аналитики обычно получают для них описательную статистику , такую ​​как среднее (среднее), медианное значение и стандартное отклонение . Они также могут анализировать распределение ключевых переменных, чтобы увидеть, как отдельные значения группируются вокруг среднего.

Консультанты McKinsey and Company назвали метод разделения количественной задачи на ее составные части принципом MECE . Каждый слой можно разбить на составляющие; каждый из подкомпонентов должен быть взаимоисключающим друг друга и вместе составлять слой над ними. Отношения называются «взаимоисключающими и коллективно исчерпывающими» или MECE. Например, прибыль по определению можно разделить на общий доход и общие затраты. В свою очередь, общий доход может быть проанализирован по его компонентам, таким как доход подразделений A, B и C (которые исключают друг друга), и должен добавляться к общему доходу (в совокупности исчерпывающий).

Аналитики могут использовать надежные статистические измерения для решения определенных аналитических задач. Проверка гипотез используется, когда аналитик высказывает определенную гипотезу об истинном положении дел и собирает данные, чтобы определить, является ли это положение дел истинным или ложным. Например, гипотеза может заключаться в том, что «Безработица не влияет на инфляцию», что относится к экономической концепции, называемой кривой Филлипса . Проверка гипотез включает рассмотрение вероятности ошибок типа I и типа II , которые связаны с тем, поддерживают ли данные принятие или отклонение гипотезы.

Регрессионный анализ может использоваться, когда аналитик пытается определить степень, в которой независимая переменная X влияет на зависимую переменную Y (например, «В какой степени изменения уровня безработицы (X) влияют на уровень инфляции (Y)?»). Это попытка смоделировать или подогнать линию уравнения или кривую к данным, так что Y является функцией X.

Анализ необходимых условий (NCA) может использоваться, когда аналитик пытается определить, в какой степени независимая переменная X допускает переменную Y (например, «В какой степени определенный уровень безработицы (X) необходим для определенного уровня инфляции (Y)» ? "). В то время как (множественный) регрессионный анализ использует аддитивную логику, где каждая X-переменная может давать результат, а X могут компенсировать друг друга (они достаточны, но не необходимы), анализ необходимых условий (NCA) использует логику необходимости, где один или несколько X -Переменные позволяют результату существовать, но могут не производить его (они необходимы, но недостаточны). Должны быть выполнены все необходимые условия, компенсация невозможна.

Аналитическая деятельность пользователей данных [ править ]

У пользователей могут быть определенные точки интереса в наборе данных, в отличие от общего обмена сообщениями, описанного выше. Такие низкоуровневые аналитические действия пользователей представлены в следующей таблице. Таксономия также может быть организована по трем направлениям деятельности: получение значений, поиск точек данных и организация точек данных. ^{[13] [14] [15] [16]}

Препятствия на пути к эффективному анализу [ править ]

Препятствия на пути к эффективному анализу могут существовать среди аналитиков, выполняющих анализ данных, или среди аудитории. Отличить факты от мнения, когнитивные предубеждения и неумелость - все это проблемы для надежного анализа данных.

Неясный факт и мнение [ править ]

Эффективный анализ требует получения соответствующих фактов для ответа на вопросы, поддержки вывода или официального мнения или проверки гипотез . Факты по определению неопровержимы, а это означает, что любой человек, участвующий в анализе, должен иметь возможность согласиться с ними. Например, в августе 2010 года Бюджетное управление Конгресса (CBO) подсчитало, что продление налоговых сокращений Буша 2001 и 2003 годов на период 2011–2020 годов добавит к государственному долгу примерно 3,3 триллиона долларов. ^[17] Каждый должен быть в состоянии согласиться с тем, что именно об этом сообщает CBO; они все могут изучить отчет. Это факт. Согласны или не согласны люди с CBO - их собственное мнение.

Другой пример: аудитор публичной компании должен прийти к официальному заключению о том, является ли финансовая отчетность публично торгуемых корпораций «достоверной во всех существенных отношениях». Это требует обширного анализа фактических данных и доказательств, подтверждающих их мнение. При переходе от фактов к мнениям всегда существует вероятность того, что мнение ошибочно .

Когнитивные предубеждения [ править ]

Существует множество когнитивных искажений, которые могут отрицательно повлиять на анализ. Например, предвзятость подтверждения - это тенденция искать или интерпретировать информацию таким образом, чтобы подтвердить свои предубеждения. Кроме того, люди могут дискредитировать информацию, не подтверждающую их взгляды.

Аналитики могут быть специально обучены тому, чтобы знать об этих предубеждениях и способах их преодоления. В своей книге « Психология анализа интеллекта» бывший аналитик ЦРУ Ричардс Хойер писал, что аналитикам следует четко очерчивать свои предположения и цепочки умозаключений и указывать степень и источник неопределенности, связанной с выводами. Он сделал упор на процедуры, помогающие выявить и обсудить альтернативные точки зрения. ^[18]

Бесчисленность [ править ]

Эффективные аналитики, как правило, владеют множеством численных методов. Однако у аудитории может не быть такой грамотности с числами или счетом ; их называют бесчисленными. Лица, передающие данные, также могут пытаться ввести в заблуждение или дезинформировать, умышленно используя неверные числовые методы. ^[19]

Например, рост или падение числа может не быть ключевым фактором. Более важным может быть число относительно другого числа, например, размер государственных доходов или расходов относительно размера экономики (ВВП) или сумма затрат относительно доходов в корпоративной финансовой отчетности. Этот численный метод называется нормализацией ^[8] или общим размером. Аналитики используют множество таких методов, будь то поправка на инфляцию (например, сравнение реальных и номинальных данных) или с учетом прироста населения, демографии и т. Д. Аналитики применяют различные методы для решения различных количественных сообщений, описанных в разделе выше.

Аналитики также могут анализировать данные при различных предположениях или сценариях. Например, когда аналитики проводят анализ финансовой отчетности , они часто изменяют финансовую отчетность с учетом различных допущений, чтобы помочь прийти к оценке будущего денежного потока, который затем они дисконтируют до приведенной стоимости на основе некоторой процентной ставки, чтобы определить оценку компания или ее акции. Точно так же CBO анализирует влияние различных вариантов политики на доходы, расходы и дефицит правительства, создавая альтернативные сценарии будущего для ключевых мер.

Другие темы [ править ]

Умные здания [ править ]

Подход с аналитикой данных можно использовать для прогнозирования энергопотребления в зданиях. ^[20] Различные этапы процесса анализа данных выполняются для реализации интеллектуальных зданий, где операции по управлению и контролю здания, включая отопление, вентиляцию, кондиционирование, освещение и безопасность, выполняются автоматически, имитируя потребности пользователей здания. и оптимизация таких ресурсов, как энергия и время.

Аналитика и бизнес-аналитика [ править ]

Аналитика - это «широкое использование данных, статистического и количественного анализа, пояснительных и прогнозных моделей и управления на основе фактов для принятия решений и действий». Это подмножество бизнес-аналитики , представляющее собой набор технологий и процессов, использующих данные для понимания и анализа эффективности бизнеса. ^[21]

Образование [ править ]

В сфере образования у большинства преподавателей есть доступ к системе данных для анализа данных об учащихся. ^[22] Эти системы данных представляют данные преподавателям в формате данных, отпускаемых без рецепта (встраивание этикеток, дополнительная документация и справочная система, а также принятие ключевых решений по упаковке / отображению и содержанию) для повышения точности анализа данных преподавателями. ^[23]

Заметки для практикующих [ править ]

Этот раздел содержит довольно технические объяснения, которые могут помочь практикам, но выходят за рамки типичной статьи в Википедии.

Анализ исходных данных [ править ]

Наиболее важное различие между этапом анализа исходных данных и этапом основного анализа состоит в том, что во время анализа исходных данных человек воздерживается от любого анализа, который направлен на ответ на исходный вопрос исследования. На этапе анализа исходных данных необходимо ответить на четыре вопроса: ^[24]

Качество данных [ править ]

Качество данных следует проверять как можно раньше. Качество данных можно оценить несколькими способами с использованием различных типов анализа: подсчет частоты, описательная статистика (среднее значение, стандартное отклонение, медиана), нормальность (асимметрия, эксцесс, частотные гистограммы), требуется нормальное вменение .

• Анализ экстремальных наблюдений : отдельные наблюдения в данных анализируются, чтобы увидеть, не нарушают ли они распределение.
• Сравнение и исправление различий в схемах кодирования: переменные сравниваются со схемами кодирования переменных, внешних по отношению к набору данных, и, возможно, корректируются, если схемы кодирования не сопоставимы.
• Тест на дисперсию обычного метода .

Выбор анализов для оценки качества данных на этапе первоначального анализа данных зависит от анализа, который будет проводиться на этапе основного анализа. ^[25]

Качество измерений [ править ]

Качество измерительных инструментов следует проверять только на этапе анализа исходных данных, когда это не является предметом внимания или исследовательским вопросом исследования. Следует проверить, соответствует ли структура средств измерений структуре, указанной в литературе.

Есть два способа оценить качество измерения:

• Подтверждающий факторный анализ
• Анализ однородности ( внутренней согласованности ), который дает представление о надежности измерительного прибора. Во время этого анализа проверяются отклонения элементов и шкал, α Кронбаха шкал и изменение альфы Кронбаха, когда элемент будет удален из шкалы ^[26]

Начальные преобразования [ править ]

После оценки качества данных и измерений можно принять решение о вменении недостающих данных или о выполнении начальных преобразований одной или нескольких переменных, хотя это также можно сделать на этапе основного анализа. ^[27]
Возможные преобразования переменных: ^[28]

• Преобразование квадратного корня (если распределение умеренно отличается от нормального)
• Лог-преобразование (если распределение существенно отличается от нормального)
• Обратное преобразование (если распределение сильно отличается от нормального)
• Сделать категориальным (порядковым / дихотомическим) (если распределение сильно отличается от нормального и никакие преобразования не помогают)

Соответствует ли выполнение исследования целям дизайна исследования? [ редактировать ]

Следует проверить успешность процедуры рандомизации , например, проверив, одинаково ли распределены фоновые и основные переменные внутри и между группами.
Если в исследовании не требовалось или не использовалась процедура рандомизации, следует проверить успешность неслучайной выборки, например, проверив, все ли подгруппы представляющей интерес совокупности представлены в выборке.
Другие возможные искажения данных, которые следует проверить:

• отсев (это должно быть выявлено на этапе анализа исходных данных)
• Пункт неполучение (следует ли это случайное или не может быть оценен на начальном этапе анализа данных)
• Качество лечения (с помощью манипуляционных проверок ). ^[29]

Характеристики выборки данных [ править ]

В любом отчете или статье структура выборки должна быть точно описана. Особенно важно точно определить структуру выборки (и особенно размер подгрупп), когда анализ подгрупп будет выполняться на этапе основного анализа.
Характеристики выборки данных можно оценить, посмотрев на:

• Базовая статистика важных переменных
• Диаграммы разброса
• Корреляции и ассоциации
• Перекрестные таблицы ^[30]

Заключительный этап анализа исходных данных [ править ]

На заключительном этапе результаты анализа исходных данных документируются, и принимаются необходимые, предпочтительные и возможные корректирующие действия.
Кроме того, исходный план анализа основных данных можно и нужно уточнить или переписать.
Для этого можно и нужно принять несколько решений относительно анализа основных данных:

• В случае ненормальных : следует преобразовывать переменные; сделать переменные категориальными (порядковыми / дихотомическими); адаптировать метод анализа?
• В случае отсутствия данных : следует пренебречь или вменять недостающие данные; какой метод вменения следует использовать?
• В случае выбросов : следует ли использовать надежные методы анализа?
• В случае, если элементы не соответствуют масштабу: следует ли адаптировать измерительный инструмент, исключив элементы, или, скорее, обеспечить сопоставимость с другими (видами использования) измерительными инструментами?
• В случае (слишком) малых подгрупп: следует ли отказаться от гипотезы о межгрупповых различиях или использовать методы малых выборок, такие как точные тесты или бутстреппинг ?
• В случае, если процедура рандомизации кажется некорректной: можно и нужно ли рассчитывать оценки склонности и включать их в качестве ковариат в основной анализ? ^[31]

Анализ [ править ]

На этапе анализа исходных данных можно использовать несколько анализов: ^[32]

• Одномерная статистика (одна переменная)
• Двумерные ассоциации (корреляции)
• Графические методы (точечные диаграммы)

При анализе важно принимать во внимание уровни измерения переменных, поскольку для каждого уровня доступны специальные статистические методы: ^[33]

• Номинальные и порядковые переменные
  • Подсчет частоты (числа и проценты)
  • Ассоциации
    • обходы (кросс-таблицы)
    • иерархический логлинейный анализ (до 8 переменных)
    • логлинейный анализ (для определения релевантных / важных переменных и возможных искажающих факторов)
  • Точные тесты или бутстреппинг (в случае небольших подгрупп)
  • Вычисление новых переменных
• Непрерывные переменные
  • Распределение
    • Статистика (M, SD, дисперсия, асимметрия, эксцесс)
    • Стволовые и листовые дисплеи
    • Коробчатые диаграммы

Нелинейный анализ [ править ]

Нелинейный анализ часто необходим, когда данные записываются из нелинейной системы . Нелинейные системы могут проявлять сложные динамические эффекты, включая бифуркации , хаос , гармоники и субгармоники, которые нельзя проанализировать простыми линейными методами. Нелинейный анализ данных тесно связан с идентификацией нелинейных систем . ^[34]

Анализ основных данных [ править ]

На этапе основного анализа выполняется анализ, направленный на ответ на вопрос исследования, а также любой другой соответствующий анализ, необходимый для написания первого проекта отчета об исследовании. ^[35]

Исследовательские и подтверждающие подходы [ править ]

На этапе основного анализа может быть использован исследовательский или подтверждающий подход. Обычно подход определяется до сбора данных. При исследовательском анализе перед анализом данных не формулируется четкая гипотеза, и в данных проводится поиск моделей, которые хорошо описывают данные. В подтверждающем анализе проверяются четкие гипотезы о данных.

Исследовательский анализ данных следует интерпретировать осторожно. При одновременном тестировании нескольких моделей высока вероятность того, что хотя бы одна из них будет значимой, но это может быть связано с ошибкой 1-го типа . Очень важно всегда корректировать уровень значимости при тестировании нескольких моделей, например, с поправкой Бонферрони . Кроме того, не следует сопровождать исследовательский анализ подтверждающим анализом того же набора данных. Исследовательский анализ используется для поиска идей для теории, но не для проверки этой теории. Когда в наборе данных обнаруживается исследовательская модель, последующий анализ с помощью подтверждающего анализа в том же наборе данных может просто означать, что результаты подтверждающего анализа связаны с той же ошибкой 1-го типа.что привело в первую очередь к исследовательской модели. Таким образом, подтверждающий анализ не будет более информативным, чем исходный исследовательский анализ. ^[36]

Стабильность результатов [ править ]

Важно получить некоторое представление о том, насколько обобщаемы результаты. ^[37] Хотя это часто бывает трудно проверить, можно посмотреть на стабильность результатов. Являются ли результаты надежными и воспроизводимыми? Есть два основных способа сделать это.

• Перекрестная проверка . Разделив данные на несколько частей, мы можем проверить, распространяется ли анализ (например, подобранная модель) на основе одной части данных на другую часть данных. Однако перекрестная проверка обычно неуместна, если есть корреляции в данных, например, с панельными данными . Следовательно, иногда необходимо использовать другие методы проверки. Для получения дополнительной информации по этой теме см. Проверка статистической модели .
• Анализ чувствительности . Процедура для изучения поведения системы или модели при (систематическом) изменении глобальных параметров. Один из способов сделать это - использовать самозагрузку .

Бесплатное программное обеспечение для анализа данных [ править ]

Среди известных бесплатных программ для анализа данных:

• DevInfo - система баз данных, одобренная Группой развития Организации Объединенных Наций для мониторинга и анализа человеческого развития.
• ELKI - Среда интеллектуального анализа данных на Java с функциями визуализации, ориентированными на интеллектуальный анализ данных.
• KNIME - Konstanz Information Miner, удобный и комплексный фреймворк для анализа данных.
• Orange - инструмент визуального программирования с интерактивной визуализацией данных и методами статистического анализа данных, интеллектуального анализа данных и машинного обучения .
• Pandas - библиотека Python для анализа данных.
• PAW - Фреймворк для анализа данных FORTRAN / C, разработанный в ЦЕРНе .
• R - язык программирования и программная среда для статистических вычислений и графики.
• ROOT - фреймворк для анализа данных C ++, разработанный в CERN .
• SciPy - библиотека Python для анализа данных.
• Джулия - язык программирования, хорошо подходящий для численного анализа и вычислений.

Международные конкурсы по анализу данных [ править ]

Различные компании или организации проводят конкурсы по анализу данных, чтобы побудить исследователей использовать свои данные или решить конкретный вопрос с помощью анализа данных. Вот несколько примеров хорошо известных международных конкурсов по анализу данных.

• Конкурс Kaggle, проводимый Kaggle ^[38]
• Конкурс анализа данных LTPP, проводимый FHWA и ASCE . ^{[39] [40]}

См. Также [ править ]

Ссылки [ править ]

Цитаты [ править ]

Библиография [ править ]

• Адер, Герман Дж. (2008a). «Глава 14: Этапы и начальные шаги в анализе данных». В Adèr, Herman J .; Мелленберг, Гидеон Дж .; Рука, Дэвид Дж (ред.). Консультации по методам исследования: товарищ консультанта . Хейзен, Нидерланды: Паб Йоханнес ван Кессель. С. 333–356. ISBN 9789079418015. OCLC  905799857 .
• Адер, Герман Дж. (2008b). «Глава 15: Основная фаза анализа». В Adèr, Herman J .; Мелленберг, Гидеон Дж .; Рука, Дэвид Дж (ред.). Консультации по методам исследования: товарищ консультанта . Хейзен, Нидерланды: Паб Йоханнес ван Кессель. С. 357–386. ISBN 9789079418015. OCLC  905799857 .
• Табачник, Б.Г. и Фиделл, Л.С. (2007). Глава 4: Приведение в порядок своего выступления. Данные скрининга перед анализом. В BG Tabachnick & LS Fidell (Eds.), Using Multivariate Statistics, Fifth Edition (pp. 60–116). Бостон: Pearson Education, Inc. / Аллин и Бэкон.

Дальнейшее чтение [ править ]

В Викиверситете есть учебные ресурсы по анализу данных

• Адер, HJ и Мелленберг, GJ (с участием DJ Hand) (2008). Консультации по методам исследования: помощник консультанта . Huizen, Нидерланды: Johannes van Kessel Publishing.
• Чемберс, Джон М .; Кливленд, Уильям С .; Кляйнер, Бит; Тьюки, Пол А. (1983). Графические методы анализа данных , Wadsworth / Duxbury Press. ISBN 0-534-98052-X 
• Фанданго, Армандо (2008). Анализ данных Python, 2-е издание . Издательство Packt.
• Джуран, Джозеф М .; Годфри, А. Блэнтон (1999). Справочник Джурана по качеству, 5-е издание. Нью-Йорк: Макгроу Хилл. ISBN 0-07-034003-X 
• Льюис-Бек, Майкл С. (1995). Анализ данных: введение , Sage Publications Inc, ISBN 0-8039-5772-6 
• NIST / SEMATECH (2008) Справочник по статистическим методам ,
• Пыздек, Т. (2003). Справочник по качеству , ISBN 0-8247-4614-7 
• Ричард Верьярд (1984). Прагматический анализ данных . Оксфорд: Научные публикации Блэквелла. ISBN 0-632-01311-7 
• Табачник, Б.Г.; Фиделл, LS (2007). Использование многомерной статистики, 5-е издание . Бостон: Pearson Education, Inc. / Allyn and Bacon, ISBN 978-0-205-45938-4