Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Целостность данных - это поддержание и обеспечение точности и согласованности данных на протяжении всего их жизненного цикла [1] и является критическим аспектом при проектировании, реализации и использовании любой системы, которая хранит, обрабатывает или извлекает данные. Термин имеет широкую область применения и может иметь самые разные значения в зависимости от конкретного контекста - даже в рамках одного и того же общего представления о вычислениях . Это иногда используется в качестве термина для прокси качества данных , [2] в то время как проверка данных является необходимым условием для обеспечения целостности данных. [3] Целостность данных противоположна повреждению данных . [4]Общая цель любого метода обеспечения целостности данных одинакова: гарантировать, что данные записываются точно так, как предполагалось (например, база данных правильно отклоняет взаимоисключающие возможности). Более того, при последующем извлечении убедитесь, что данные такие же, как при первоначальной записи. Короче говоря, целостность данных направлена ​​на предотвращение непреднамеренных изменений информации. Целостность данных не следует путать с безопасностью данных , дисциплиной защиты данных от неавторизованных сторон.

Любые непреднамеренные изменения данных в результате операции хранения, извлечения или обработки, включая злонамеренные действия, неожиданный отказ оборудования и человеческую ошибку , являются нарушением целостности данных. Если изменения являются результатом несанкционированного доступа, это также может быть нарушением безопасности данных. В зависимости от задействованных данных это может проявиться как безобидный, как отдельный пиксель на изображении, имеющий другой цвет, чем был первоначально записан, до потери фотографий из отпуска или критически важной для бизнеса базы данных, даже до катастрофической потери человеческих жизней в жизни. -критическая система .

Типы целостности [ править ]

Физическая целостность [ править ]

Физическая целостность решает проблемы, связанные с правильным хранением и извлечением самих данных. Проблемы с физической целостностью могут включать в себя электромеханические неисправности, дефекты конструкции, усталость материала , коррозию , перебои в подаче электроэнергии , стихийные бедствия и другие особые опасности для окружающей среды, такие как ионизирующее излучение , экстремальные температуры, давления и перегрузки . Обеспечение физической целостности включает такие методы, как избыточное оборудование, источник бесперебойного питания , определенные типы RAID- массивов, радиационно-стойкие микросхемы, память с исправлением ошибок., использование кластеризованной файловой системы , использование файловых систем, использующих контрольные суммы на уровне блоков, таких как ZFS , массивы хранения, которые вычисляют вычисления четности, такие как эксклюзивные или или используют криптографическую хеш-функцию, и даже наличие сторожевого таймера в критических подсистемах.

Для обеспечения физической целостности часто широко используются алгоритмы обнаружения ошибок, известные как коды с исправлением ошибок . Ошибки целостности данных, вызванные деятельностью человека, часто обнаруживаются с помощью более простых проверок и алгоритмов, таких как алгоритм Дамма или алгоритм Луна . Они используются для поддержания целостности данных после ручной транскрипции из одной компьютерной системы в другую посредником-человеком (например, номера кредитных карт или банковских маршрутов). Компьютерные ошибки транскрипции могут быть обнаружены с помощью хэш-функций .

В производственных системах эти методы используются вместе для обеспечения различной степени целостности данных. Например, файловая система компьютера может быть настроена на отказоустойчивом массиве RAID, но может не обеспечивать контрольные суммы на уровне блоков для обнаружения и предотвращения скрытого повреждения данных . В качестве другого примера, система управления базой данных может соответствовать свойствам ACID , но контроллер RAID или внутренний кэш записи жесткого диска могут не соответствовать.

Логическая целостность [ править ]

См. Также: Mutex и Copy-on-write

Этот тип целостности связан с правильностью или рациональностью части данных в конкретном контексте. Сюда входят такие темы, как ссылочная целостность и целостность сущностей в реляционной базе данных или правильное игнорирование невозможных данных датчиков в роботизированных системах. Эти заботы включают обеспечение того, чтобы данные "имели смысл" с учетом среды. Проблемы включают ошибки программного обеспечения , недостатки дизайна и человеческие ошибки. Общие методы обеспечения логической целостности включают в себя такие вещи, как проверочные ограничения , ограничения внешних ключей , программные утверждения и другая во время выполнения проверки здравомыслия.

Как физическая, так и логическая целостность часто имеют много общих проблем, таких как человеческие ошибки и недостатки проектирования, и оба должны соответствующим образом обрабатывать параллельные запросы на запись и извлечение данных, последний из которых является полностью самостоятельной темой.

Если в секторе данных есть только логическая ошибка, его можно использовать повторно, перезаписав его новыми данными. В случае физической ошибки затронутый сектор данных постоянно не используется.

Базы данных [ править ]

Целостность данных содержит рекомендации по хранению данных , определяя или гарантируя продолжительность времени, в течение которого данные могут храниться в конкретной базе данных. Для обеспечения целостности данных эти правила последовательно и регулярно применяются ко всем данным, поступающим в систему, и любое ослабление правоприменения может вызвать ошибки в данных. Осуществление проверок данных как можно ближе к источнику ввода (например, ввод данных человеком) приводит к тому, что в систему поступает меньше ошибочных данных. Строгое соблюдение правил целостности данных приводит к снижению частоты ошибок и экономии времени на устранение неполадок и отслеживание ошибочных данных и ошибок, которые они вызывают в алгоритмах.

Целостность данных также включает в себя правила , определяющие отношения часть данных может иметь, к другим частям данных, такие как клиент запись разрешают ссылки на приобретенные продукты , но не несвязанные данных , такие как корпоративные активы . Целостность данных часто включает проверки и исправление недопустимых данных на основе фиксированной схемы или предопределенного набора правил. Примером являются вводимые текстовые данные, где требуется значение даты и времени. Также применимы правила получения данных, определяющие способ получения значения данных на основе алгоритма, участников и условий. Он также определяет условия того, как значение данных может быть получено повторно.

Типы ограничений целостности [ править ]

Целостность данных обычно обеспечивается в системе баз данных с помощью ряда ограничений или правил целостности. Три типа ограничений целостности являются неотъемлемой частью реляционной модели данных: целостность объекта, ссылочная целостность и целостность домена.

  • Целостность сущности касается концепции первичного ключа . Целостность объекта - это правило целостности, которое гласит, что каждая таблица должна иметь первичный ключ и что столбец или столбцы, выбранные в качестве первичного ключа, должны быть уникальными, а не пустыми.
  • Ссылочная целостность касается концепции внешнего ключа . Правило ссылочной целостности гласит, что любое значение внешнего ключа может находиться только в одном из двух состояний. Обычное положение дел таково, что значение внешнего ключа относится к значению первичного ключа некоторой таблицы в базе данных. Иногда, и это будет зависеть от правил владельца данных, значение внешнего ключа может быть нулевым . В этом случае мы явно говорим, что либо между объектами, представленными в базе данных, нет никакой связи, либо эта связь неизвестна.
  • Целостность домена указывает, что все столбцы в реляционной базе данных должны быть объявлены в определенном домене. Первичной единицей данных в реляционной модели данных является элемент данных. Такие элементы данных называются неразложимыми или атомарными. Домен - это набор значений одного типа. Таким образом, домены представляют собой пулы значений, из которых берутся фактические значения, появляющиеся в столбцах таблицы.
  • Определенная пользователем целостность относится к набору правил, определенных пользователем, которые не принадлежат к категориям сущности, домена и ссылочной целостности.

Если база данных поддерживает эти функции, она несет ответственность за обеспечение целостности данных, а также за модель согласованности для хранения и извлечения данных. Если база данных не поддерживает эти функции, приложения несут ответственность за обеспечение целостности данных, в то время как база данных поддерживает модель согласованности для хранения и поиска данных.

Наличие единой, хорошо контролируемой и четко определенной системы целостности данных увеличивает

  • стабильность (одна централизованная система выполняет все операции целостности данных)
  • производительность (все операции целостности данных выполняются на том же уровне, что и модель согласованности)
  • возможность повторного использования (все приложения получают выгоду от единой централизованной системы целостности данных)
  • ремонтопригодность (единая централизованная система для всего администрирования целостности данных).

Современные базы данных поддерживают эти функции (см. Сравнение систем управления реляционными базами данных ), и де-факто ответственность за обеспечение целостности данных стала возложена на базу данных. Компании и многие системы баз данных предлагают продукты и услуги для переноса устаревших систем на современные базы данных.

Примеры [ править ]

Примером механизма целостности данных являются отношения между родителями и потомками связанных записей. Если родительская запись владеет одной или несколькими связанными дочерними записями, все процессы ссылочной целостности обрабатываются самой базой данных, что автоматически обеспечивает точность и целостность данных, так что ни одна дочерняя запись не может существовать без родительской записи (также называемой осиротевшей) и что ни один родитель не теряет свои дочерние записи. Это также гарантирует, что никакая родительская запись не может быть удалена, пока родительская запись владеет какими-либо дочерними записями. Все это обрабатывается на уровне базы данных и не требует проверки целостности кода в каждом приложении.

Файловые системы [ править ]

Результаты различных исследований показывают, что ни широко распространенные файловые системы (включая UFS , Ext , XFS , JFS и NTFS ), ни аппаратные решения RAID не обеспечивают достаточной защиты от проблем целостности данных. [5] [6] [7] [8] [9]

Некоторые файловые системы (включая Btrfs и ZFS ) предоставляют внутренние данные и контрольную сумму метаданных, которые используются для обнаружения скрытого повреждения данных и улучшения целостности данных. Если таким образом обнаруживается повреждение и также используются внутренние механизмы RAID, предоставляемые этими файловыми системами, такие файловые системы могут дополнительно прозрачным образом восстанавливать поврежденные данные. [10] Этот подход позволяет улучшить защиту целостности данных, охватывающую все пути данных, что обычно называется сквозной защитой данных . [11]

Целостность данных применительно к различным отраслям [ править ]

  • США пищевых продукты и медикаменты создали проект руководства по целостности данных для производителей фармацевтической продукции должен соблюдать кодекс федеральных правил США 21 CFR Parts 210-212. [12] За пределами США аналогичное руководство по обеспечению целостности данных было выпущено в Великобритании (2015 г.), Швейцарии (2016 г.) и Австралии (2017 г.). [13]
  • Различные стандарты производства медицинских устройств прямо или косвенно касаются целостности данных, включая ISO 13485 , ISO 14155 и ISO 5840. [14]
  • В начале 2017 года Регулирующий орган финансовой индустрии (FINRA), отметив проблемы целостности данных с системами автоматической торговли и наблюдения за движением денег, заявил, что сделает «разработку программы обеспечения целостности данных для контроля точности представленных данных» приоритетной задачей. [15] В начале 2018 года FINRA заявило, что расширит свой подход к целостности данных на «политику и процедуры управления технологическими изменениями» и проверки ценных бумаг Казначейства. [16]
  • В других секторах, таких как горнодобывающая промышленность [17] и производство продукции [18] , все больше внимания уделяется важности целостности данных в связанных активах автоматизации и мониторинга производства.
  • Поставщики облачных хранилищ давно сталкиваются с серьезными проблемами, связанными с обеспечением целостности или происхождения данных клиентов и отслеживанием нарушений. [19] [20] [21]

См. Также [ править ]

  • Сквозная целостность данных
  • Аутентификация сообщения
  • Глоссарий по безопасности национальных информационных систем
  • Единая версия правды
  • Оптический диск § Сканирование ошибок поверхности

Ссылки [ править ]

  1. ^ Бориц, Дж. «Взгляды практиков IS на основные концепции целостности информации» . Международный журнал бухгалтерских информационных систем . Эльзевир. Архивировано из оригинала 5 октября 2011 года . Проверено 12 августа 2011 года .
  2. ^ Что такое целостность данных? Узнайте, как обеспечить целостность данных в базе данных с помощью проверок, тестов и передовых методов
  3. ^ Что такое целостность данных? Защита данных 101
  4. ^ Из книги: Убервонаблюдение и социальные последствия имплантатов микрочипов: новые возможности стр. 40
  5. ^ Виджаян Прабхакаран (2006). "ЖЕЛЕЗНЫЕ ФАЙЛОВЫЕ СИСТЕМЫ" (PDF) . Доктор философии компьютерных наук . Университет Висконсин-Мэдисон . Проверено 9 июня 2012 года .
  6. ^ «Паритет потерян и паритет восстановлен» .
  7. ^ «Анализ повреждения данных в стеке хранения» (PDF) .
  8. ^ «Влияние повреждения диска на СУБД с открытым исходным кодом» (PDF) .
  9. ^ "Baarf.com" . Baarf.com . Проверено 4 ноября 2011 года .
  10. ^ Бирман, Маргарет; Гриммер, Ленц (август 2012 г.). «Как я использую расширенные возможности Btrfs» . Проверено 2 января 2014 .
  11. ^ Юпу Чжан; Абхишек Раджимвале; Андреа К. Арпачи-Дюссо; Ремзи Х. Арпачи-Дюссо. «Сквозная целостность данных для файловых систем: пример использования ZFS» (PDF) . Департамент компьютерных наук Висконсинского университета . Проверено 2 января 2014 .
  12. ^ «Целостность данных и соответствие CGMP: Руководство для промышленности» (PDF) . Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США. Апреля 2016 . Проверено 20 января 2018 года .
  13. ↑ Дэвидсон, Дж. (18 июля 2017 г.). «Руководство по обеспечению целостности данных во всем мире» . Контракт Фарма . Родман Медиа . Проверено 20 января 2018 года .
  14. ^ Scannel, P. (12 мая 2015). «Целостность данных: взгляд с точки зрения нормативно-правовой базы и стандартов в отношении медицинских устройств» (PDF) . Семинар по целостности данных . Ассоциация парентеральных препаратов. С. 10–57 . Проверено 20 января 2018 года .
  15. ^ Кук, Р. (4 января 2017 г.). «Письмо о соответствии нормативным требованиям и приоритетам проведения экзаменов на 2017 год» . Регулирующий орган финансового сектора . Проверено 20 января 2018 года .
  16. ^ Кук, Р. (8 января 2018 г.). «Письмо о соответствии нормативным требованиям и приоритетам проведения экзаменов на 2018 год» . Регулирующий орган финансового сектора . Проверено 20 января 2018 года .
  17. ^ «Целостность данных: возможность принятия эффективных решений при добыче полезных ископаемых» (PDF) . Accenture. 2016 . Проверено 20 января 2018 года .
  18. ^ «Индустрия 4.0 и киберфизические системы повышают императив целостности данных» . Блог Ними . Nymi, Inc. 24 октября 2017 . Проверено 20 января 2018 года .
  19. ^ Priyadharshini, B .; Парвати, П. (2012). «Целостность данных в облачном хранилище». Материалы из Международной конференции 2012 года по достижениям в области машиностроения, науки и управления . ISBN 9788190904223.
  20. ^ Зафар, Ф .; Хан, А .; Малик, СУР; и другие. (2017). «Обзор схем целостности данных облачных вычислений: проблемы проектирования, таксономия и будущие тенденции». Компьютеры и безопасность . 65 (3): 29–49. DOI : 10.1016 / j.cose.2016.10.006 .
  21. ^ Имран, М .; Hlavacs, H .; Хак, IUI; и другие. (2017). «Проверка целостности данных на основе происхождения и верификация в облачных средах» . PLOS One . 12 (5): e0177576. DOI : 10.1371 / journal.pone.0177576 . PMC 5435237 . PMID 28545151 .  

Дальнейшее чтение [ править ]

  •  Эта статья включает  материалы, являющиеся общественным достоянием, из документа Управления общих служб : «Федеральный стандарт 1037C» .(в поддержку MIL-STD-188 )
  • Сяоюнь Ван; Хунбо Ю (2005). «Как взломать MD5 и другие хеш-функции» (PDF) . ЕВРОКРИПТ . ISBN 3-540-25910-4. Архивировано из оригинального (PDF) 21 мая 2009 года . Проверено 10 мая 2009 .