Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Повреждение фото-данных; в данном случае это результат неудачного восстановления данных с жесткого диска

Повреждение данных относится к ошибкам в компьютерных данных, которые возникают во время записи, чтения, хранения, передачи или обработки, которые вносят непреднамеренные изменения в исходные данные. Компьютеры, системы передачи и хранения используют ряд мер для обеспечения сквозной целостности данных или отсутствия ошибок.

Как правило, при повреждении данных файл, содержащий эти данные, дает неожиданные результаты при доступе системы или связанного приложения. Результаты могут варьироваться от незначительной потери данных до сбоя системы. Например, если файл документа поврежден, когда человек пытается открыть этот файл с помощью редактора документов, он может получить сообщение об ошибке , поэтому файл может не открываться или может открываться с поврежденными некоторыми данными (или в некоторых случаях , полностью поврежден, в результате чего документ становится неразборчивым). Соседнее изображение - это поврежденный файл изображения, в котором потеряна большая часть информации.

Некоторые типы вредоносных программ могут намеренно повреждать файлы как часть своих полезных данных , обычно путем перезаписи их неработающим или мусорным кодом, в то время как невредоносный вирус также может непреднамеренно повредить файлы при обращении к ним. Если вирусу или трояну с этим методом полезной нагрузки удастся изменить файлы, важные для работы программного обеспечения операционной системы или физического оборудования компьютера, вся система может стать непригодной для использования.

Некоторые программы могут предложить восстановить файл автоматически (после ошибки), а некоторые программы не могут его восстановить. Это зависит от уровня повреждения и встроенных функций приложения для обработки ошибки. Есть разные причины коррупции.

Обзор [ править ]

Видео было повреждено. Предупреждение: это видео содержит яркие мигающие изображения.

Существует два типа повреждения данных, связанных с компьютерными системами: необнаруженное и обнаруженное. Необнаруженное повреждение данных, также известное как скрытое повреждение данных , приводит к наиболее опасным ошибкам, поскольку нет никаких признаков того, что данные неверны. Обнаруженное повреждение данных может быть постоянным с потерей данных или может быть временным, когда какая-то часть системы способна обнаружить и исправить ошибку; в последнем случае нет повреждения данных.

Повреждение данных может произойти на любом уровне системы, от хоста до носителя. Современные системы пытаются обнаружить повреждение на многих уровнях, а затем восстановить или исправить повреждение; это почти всегда успешно, но очень редко информация, поступающая в системную память, оказывается поврежденной и может привести к непредсказуемым результатам.

Повреждение данных во время передачи имеет множество причин. Прерывание передачи данных приводит к потере информации . Условия окружающей среды могут мешать передаче данных, особенно при использовании методов беспроводной передачи. Сильные облака могут блокировать спутниковую передачу. Беспроводные сети чувствительны к помехам от таких устройств, как микроволновые печи.

Аппаратный и программный сбой - две основные причины потери данных . Фоновое излучение , сбои в работе головы , старение или износ запоминающего устройства относятся к первой категории, в то время как программный сбой обычно происходит из-за ошибок в коде.Космические лучи вызывают самые мягкие ошибки в DRAM. [1]

Без звука [ править ]

См. Также: Частота ошибок жесткого диска и обработка

Некоторые ошибки остаются незамеченными, не обнаруживаются микропрограммой диска или операционной системой хоста; эти ошибки известны как незаметное повреждение данных .

Помимо самой подсистемы дискового хранения, существует множество источников ошибок. Например, кабели могут быть немного ослаблены, источник питания может быть ненадежным, [2] внешние вибрации, такие как громкий звук, [3] сеть может вызвать необнаруженное повреждение, [4] космическое излучение и многие другие причины мягких ошибок памяти. и т. д. В 39 000 проанализированных систем хранения на ошибки микропрограммного обеспечения приходилось 5–10% отказов систем хранения. [5] В целом, частота ошибок, наблюдаемая в исследовании CERN по скрытому повреждению, намного выше, чем одна на каждые 10 16 бит. [6] Интернет - магазин Amazon.comпризнал аналогичный высокий уровень повреждения данных в своих системах. [7]

Одна из проблем заключается в том, что емкость жестких дисков существенно увеличилась, но частота их ошибок осталась неизменной. Скорость повреждения данных всегда была примерно постоянной во времени, а это означает, что современные диски ненамного безопаснее старых. В старых дисках вероятность повреждения данных была очень мала, поскольку на них хранились крошечные объемы данных. В современных дисках вероятность намного выше, потому что они хранят гораздо больше данных, но не безопаснее. Таким образом, скрытое повреждение данных не было серьезной проблемой, в то время как устройства хранения оставались относительно небольшими и медленными. В наше время, с появлением более крупных дисков и очень быстрой настройки RAID, пользователи могут передавать 10 16 бит за достаточно короткое время, таким образом легко достигая пороговых значений повреждения данных. [8]

В качестве примера создатель ZFS Джефф Бонвик заявил, что быстрая база данных в Greenplum , компании по разработке программного обеспечения баз данных, специализирующейся на крупномасштабных хранилищах данных и аналитике, обнаруживает скрытое повреждение каждые 15 минут. [9] В качестве другого примера, реальное исследование, проведенное NetApp на более чем 1,5 миллионах жестких дисков за 41 месяц, выявило более 400 000 скрытых повреждений данных, из которых более 30 000 не были обнаружены аппаратным RAID-контроллером. Другое исследование, проведенное CERN в течение шести месяцев и охватившее около 97  петабайт данных, показало, что около 128  мегабайт данных были навсегда повреждены. [10] [11]

Скрытое повреждение данных может привести к каскадным сбоям , при которых система может работать в течение определенного периода времени с необнаруженной начальной ошибкой, вызывая все больше проблем, пока она не будет обнаружена в конечном итоге. [12] Например, сбой, влияющий на метаданные файловой системы, может привести к частичному повреждению нескольких файлов или их полной недоступности, поскольку файловая система используется в своем поврежденном состоянии.

Контрмеры [ править ]

См. Также: Обнаружение и исправление ошибок.

Когда повреждение данных ведет себя как процесс Пуассона , когда каждый бит данных имеет независимо низкую вероятность изменения, повреждение данных обычно можно обнаружить с помощью контрольных сумм и часто можно исправить с помощью кодов исправления ошибок .

Если обнаружено неисправимое повреждение данных, могут быть применены такие процедуры, как автоматическая повторная передача или восстановление из резервных копий . Определенные уровни дисковых массивов RAID имеют возможность хранить и оценивать биты четности для данных на наборе жестких дисков и могут восстанавливать поврежденные данные при выходе из строя одного или нескольких дисков, в зависимости от уровня реализованного RAID. Некоторые ЦП архитектуры используют различные прозрачные проверки для выявления и уменьшения повреждения данных в кэш - памяти процессора , буферы процессора и команд трубопроводов ; примером является технология Intel Instruction Replay , доступная на Intel Itanium.процессоры. [13]

Многие ошибки обнаруживаются и исправляются жесткими дисками с помощью кодов ECC [14], которые хранятся на диске для каждого сектора. Если дисковый накопитель обнаруживает несколько ошибок чтения в секторе, он может сделать копию отказавшего сектора на другой части диска, переназначив отказавший сектор диска на запасной без участия операционной системы (хотя это может быть отложено до следующей записи в сектор). Это «тихое исправление» можно отслеживать с помощью SMART и инструментов, доступных для большинства операционных систем, чтобы автоматически проверять диск на наличие надвигающихся сбоев, наблюдая за ухудшением параметров SMART.

Некоторые файловые системы , такие как Btrfs , HAMMER , ReFS и ZFS , используют внутренние данные и контрольную сумму метаданных для обнаружения скрытого повреждения данных. Кроме того, если обнаружено повреждение и файловая система использует встроенные механизмы RAID, обеспечивающие избыточность данных , такие файловые системы также могут прозрачным образом восстанавливать поврежденные данные. [15] Этот подход позволяет улучшить защиту целостности данных, охватывающую все пути данных, что обычно известно как сквозная защита данных., по сравнению с другими подходами к обеспечению целостности данных, которые не охватывают разные уровни в стеке хранения и допускают повреждение данных, когда данные проходят границы между разными уровнями. [16]

Очистка данных - еще один метод снижения вероятности повреждения данных, поскольку ошибки диска выявляются и устраняются до того, как накопятся несколько ошибок и превысят количество битов четности. Вместо проверки четности при каждом чтении, четность проверяется во время регулярного сканирования диска, часто выполняемого как фоновый процесс с низким приоритетом. Обратите внимание, что операция «очистки данных» активирует проверку четности. Если пользователь просто запускает обычную программу, которая считывает данные с диска, то четность не будет проверяться, если проверка четности при чтении не поддерживается и не включена в дисковой подсистеме.

Если соответствующие механизмы используются для обнаружения и устранения повреждения данных, целостность данных может быть сохранена. Это особенно важно в коммерческих приложениях (например, в банковском деле ), где необнаруженная ошибка может либо повредить индекс базы данных, либо изменить данные, что существенно повлияет на баланс счета, а также при использовании зашифрованных или сжатых данных, где небольшая ошибка может привести к серьезным последствиям. набор данных непригоден для использования. [6]

См. Также [ править ]

  • Различные ресурсы:
    • Ухудшение качества данных , также называемое гниением данных
    • Информатика
    • Целостность данных
    • Целостность базы данных
    • Радиационное упрочнение
    • Программная гниль , также называемая битовой гнилью
  • Контрмеры:
    • Поле целостности данных
    • Память ECC
    • Прямое исправление ошибок
    • Список программ для восстановления данных
    • Parchive
    • RAID
    • Исправление ошибок Рида – Соломона

Ссылки [ править ]

  1. ^ Scientific American (21 июля 2008 г.). «Солнечные бури: быстрые факты» . Издательская группа "Природа" . Архивировано 26 декабря 2010 года . Проверено 8 декабря 2009 .
  2. ↑ Эрик Лоу (16 ноября 2005 г.). "ZFS спасает положение (-та)!" . Oracle - Основные дампы мозга хакера ядра - Блог Эрика Лоу . Oracle. Архивировано из оригинала (Блог) 5 февраля 2012 года . Проверено 9 июня 2012 года .
  3. ^ bcantrill (31 декабря 2008 г.). «Крики в ЦОД» (видео файл) . YouTube . Архивировано 3 июля 2012 года . Проверено 9 июня 2012 года .
  4. ^ jforonda (31 января 2007 г.). «Неисправный порт FC встречает ZFS» (Блог) . Blogger - нестандартный . Архивировано 26 апреля 2012 года . Проверено 9 июня 2012 года .
  5. ^ «Являются ли диски основной причиной отказов системы хранения? Всестороннее исследование характеристик отказов подсистемы хранения» (PDF) . USENIX . Проверено 18 января 2014 .
  6. ^ Б Бернд Panzer-Steindel (8 апреля 2007). «Проект 1.3» . Целостность данных . ЦЕРН. Архивировано 13 октября 2012 года . Проверено 9 июня 2012 года .
  7. ^ «Наблюдения за ошибками, исправлениями и доверием зависимых систем» . Архивировано 29 октября 2013 года.
  8. ^ «Тихое повреждение данных в дисковых массивах: решение» . NEC. 2009. Архивировано из оригинального (PDF) 29 октября 2013 года . Проверено 14 декабря 2020 года .
  9. ^ «Разговор с Джеффом Бонвиком и Биллом Муром» . Ассоциация вычислительной техники. 15 ноября 2007 года. Архивировано 16 июля 2011 года . Проверено 14 декабря 2020 года .
  10. ↑ Дэвид Ш. Розенталь (1 октября 2010 г.). "Сохранение битов в безопасности: насколько это сложно?" . Очередь ACM . Архивировано 17 декабря 2013 года . Проверено 2 января 2014 .
  11. ^ Лакшми Н. Байравасундарам; Гарт Р. Гудсон; Шанкар Пасупати; Иржи Шиндлер (июнь 2007 г.). Анализ скрытых секторных ошибок в дисковых накопителях . Труды Международной конференции по измерениям и моделированию компьютерных систем (SIGMETRICS'07) . Сан-Диего, Калифорния, США: ACM. С. 289–300. CiteSeerX 10.1.1.63.1412 . DOI : 10.1145 / 1254882.1254917 . ISBN  9781595936394. S2CID  14164251 . Проверено 9 июня 2012 года .
  12. ↑ Дэвид Фиала; Фрэнк Мюллер; Кристиан Энгельманн; Рольф Ризен; Курт Феррейра; Рон Брайтвелл (ноябрь 2012 г.). «Обнаружение и исправление скрытых искажений данных для крупномасштабных высокопроизводительных вычислений» (PDF) . fiala.me . IEEE . Архивировано (PDF) из оригинала 07.11.2014 . Проверено 26 января 2015 .
  13. ^ Стив Bostian (2012). «Повышение надежности для критически важных приложений: технология Intel Instruction Replay» (PDF) . Intel . Архивировано (PDF) из оригинала 02.02.2016 . Проверено 27 января 2016 .
  14. ^ «Прочитать серьезность ошибок и логику управления ошибками» . Архивировано 7 апреля 2012 года . Проверено 4 апреля 2012 года .
  15. ^ Маргарет Бирман; Ленц Гриммер (август 2012 г.). «Как я использую расширенные возможности Btrfs» . Корпорация Oracle . Архивировано 02 января 2014 года . Проверено 2 января 2014 .
  16. ^ Юпу Чжан; Абхишек Раджимвале; Андреа К. Арпачи-Дюссо; Ремзи Х. Арпачи-Дюссо (04.02.2010). «Сквозная целостность данных для файловых систем: пример использования ZFS» (PDF) . Департамент компьютерных наук Висконсинского университета. Архивировано (PDF) из оригинала 26.06.2011 . Проверено 12 августа 2014 .

Внешние ссылки [ править ]

  • SoftECC: система проверки целостности программной памяти
  • Настраиваемая программная библиотека обнаружения и исправления ошибок DRAM для HPC
  • Обнаружение и исправление скрытых искажений данных для крупномасштабных высокопроизводительных вычислений
  • Сквозная целостность данных для файловых систем: пример использования ZFS
  • Ошибки DRAM в дикой природе: крупномасштабное полевое исследование
  • Исследование скрытых повреждений и связанный с ним документ о целостности данных (CERN, 2007)
  • Сквозная защита данных на жестких дисках SAS и Fibre Channel (HGST)