Иерархическое управление хранилищем ( HSM ) - это метод хранения данных , который автоматически перемещает данные между дорогостоящими и дешевыми носителями . Системы HSM существуют потому, что высокоскоростные устройства хранения, такие как массивы твердотельных накопителей , дороже (на один хранимый байт ), чем более медленные устройства, такие как жесткие диски , оптические диски и магнитные ленты.. Хотя было бы идеально, если бы все данные всегда были доступны на высокоскоростных устройствах, для многих организаций это непомерно дорого. Вместо этого системы HSM хранят основную часть данных предприятия на более медленных устройствах, а затем при необходимости копируют данные на более быстрые диски. По сути, HSM превращает быстрые диски в кеши для более медленных запоминающих устройств. Система HSM отслеживает способ использования данных и делает лучшие предположения о том, какие данные можно безопасно переместить на более медленные устройства, а какие данные следует оставить на быстрых устройствах.
HSM также может использоваться там, где для долгосрочного архивирования доступно более надежное хранилище, но это медленный доступ. Это может быть так же просто, как резервное копирование за пределами объекта для защиты от пожара в здании.
HSM - это давно устоявшаяся концепция, восходящая к истокам коммерческой обработки данных. Однако используемые методы значительно изменились по мере появления новых технологий как для хранения, так и для передачи больших наборов данных на большие расстояния. Масштаб таких показателей, как «размер» и «время доступа» сильно изменился. Несмотря на это, многие из основных концепций продолжают пользоваться популярностью спустя годы, хотя и в гораздо больших или более быстрых масштабах. [1]
Выполнение
В типичном сценарии HSM часто используемые файлы данных [i] хранятся на дисковых накопителях, но в конечном итоге переносятся на ленту, если они не используются в течение определенного периода времени, обычно несколько месяцев. Если пользователь повторно использует файл, который находится на ленте, он автоматически перемещается обратно в дисковое хранилище. Преимущество состоит в том, что общий объем хранимых данных может быть намного больше, чем емкость доступного дискового хранилища, но поскольку на ленте находятся только редко используемые файлы, большинство пользователей обычно не замечают замедления.
HSM иногда называют многоуровневым хранилищем . [1]
HSM (первоначально DFHSM, теперь DFSMShsm) был первым [ необходима ссылка ], реализованным IBM на своих мэйнфрейм-компьютерах, чтобы снизить стоимость хранения данных и упростить получение данных с более медленных носителей. Пользователю не нужно знать, где хранятся данные и как их вернуть; компьютер получит данные автоматически. Единственная разница для пользователя заключалась в скорости возврата данных.
Австралийское подразделение компьютерных исследований CSIRO внедрило HSM в свою операционную систему DAD (барабаны и дисплей) с областью документов в 1960-х годах, при этом копии документов записывались на 7-дорожечную ленту и автоматически извлекались при доступе к документам.
HSM в форме IBM 3850 Mass Storage Facility был (согласно IBM) анонсирован в 1974 году.
Позже IBM перенесла HSM в свою операционную систему AIX , а затем в другие Unix-подобные операционные системы, такие как Solaris , HP-UX и Linux .
HSM также был реализован в системах DEC VAX / VMS и Alpha / VMS. Дата первого внедрения должна быть легко определена из Руководств по внедрению системы VMS или брошюр с описанием продуктов VMS.
В последнее время разработка дисков Serial ATA (SATA) создала значительный рынок для трехступенчатого HSM: файлы переносятся с высокопроизводительных сетевых устройств хранения данных Fibre Channel на несколько более медленные, но гораздо более дешевые дисковые массивы SATA общим объемом несколько терабайт и более, а затем, в конце концов, с дисков SATA на ленту.
Новейшая разработка HSM связана с жесткими дисками и флэш-памятью , причем флэш-память более чем в 30 раз быстрее дисков, но диски значительно дешевле.
Концептуально HSM аналогичен кеш-памяти в большинстве компьютерных процессоров , где небольшие объемы дорогостоящей памяти SRAM, работающей на очень высоких скоростях, используются для хранения часто используемых данных, но наименее недавно использованные данные вытесняются в более медленную, но гораздо более крупную основную DRAM. память, когда необходимо загрузить новые данные.
На практике HSM обычно выполняется специальным программным обеспечением, таким как IBM Tivoli Storage Manager , Oracle SAM-QFS , Versity Storage Manager , Quantum , технология динамического хранения (DST) Novell на платформе Linux Open Enterprise Server (OES), HPE Data Management Framework. (DMF, ранее SGI Data Migration Facility), StorNext или EMC Legato OTG DiskXtender .
Удаление файлов с более высокого уровня иерархии (например, с магнитного диска) после того, как они были перемещены на более низкий уровень (например, оптический носитель), иногда называют очисткой файлов . [2]
Сценарии использования
HSM часто используется для глубокого архивного хранения данных с целью долгосрочного хранения и невысокой стоимости. Автоматизированные ленточные роботы могут эффективно хранить большие объемы данных с низким энергопотреблением.
Некоторые программные продукты HSM позволяют пользователю помещать части файлов данных в кэш высокоскоростного диска, а остальные - на ленту. Это используется в приложениях, которые передают видео через Интернет - начальная часть видео сразу же доставляется с диска, в то время как робот находит, монтирует и передает остальную часть файла конечному пользователю. Такая система значительно снижает стоимость диска для больших систем предоставления контента.
Алгоритмы
Ключевым фактором HSM является политика миграции данных, которая контролирует передачу файлов в системе. Точнее, политика решает, на каком уровне следует хранить файл, чтобы вся система хранения могла быть хорошо организована и имела кратчайшее время ответа на запросы. Существует несколько алгоритмов, реализующих этот процесс, таких как замена наименее недавно использованных (LRU), [3] замена размера-температуры (STP), эвристический порог (STEP) [4] и т. Д. В исследованиях последних лет также есть некоторые интеллектуальные политики, возникающие с использованием технологий машинного обучения.
Многоуровневое хранилище
Многоуровневое хранилище - это среда хранения данных, состоящая из двух или более типов хранилищ, различающихся по крайней мере одним из этих четырех атрибутов: цена, производительность, емкость и функция. [1]
Любое существенное различие в одном или нескольких из четырех определяющих атрибутов может быть достаточным, чтобы оправдать отдельный уровень хранения.
Примеры:
- Диск и лента : два отдельных уровня хранения, идентифицируемых по различиям во всех четырех определяющих атрибутах.
- Диск старой технологии и диск новой технологии: два отдельных уровня хранения, определяемых различиями в одном или нескольких атрибутах.
- Высокопроизводительное дисковое хранилище и менее дорогой, более медленный диск той же емкости и функции: два отдельных уровня.
- Идентичный диск корпоративного класса, сконфигурированный для использования различных функций, таких как уровень RAID или репликация: отдельный уровень хранения для каждого набора уникальных функций.
Примечание. Уровни хранилища не разграничиваются различиями в поставщиках, архитектуре или геометрии, за исключением случаев, когда эти различия приводят к явным изменениям цены, производительности, емкости и функций.
Реализации
- Alluxio
- Ледник Амазонки
- IBM 3850 IBM 3850 Mass Storage Facility
- IBM Tivoli Storage Manager for Space Management (HSM доступен в UNIX ( IBM AIX , HP UX , Solaris ) и Linux )
- IBM Tivoli Storage Manager HSM для Windows, ранее OpenStore для файловых серверов (OS4FS) (HSM доступен на Microsoft Windows Server )
- HPSS в сотрудничестве с HPSS
- Infinite Disk , ранняя система ПК (несуществующая)
- EMC DiskXtender , ранее Legato DiskXtender, ранее OTG DiskXtender
- Moonwalk для Windows, NetApp, OES Linux
- Oracle SAM-QFS (с открытым исходным кодом под Opensolaris, [5] затем проприетарный)
- Oracle HSM (проприетарный, переименован из SAM-QFS)
- Versity Storage Manager для Linux, лицензия на модель с открытым ядром
- Развитие данных Dell Compellent
- Zarafa Archiver (компонент ZCP, решение для архивирования приложений, продаваемое как решение HSM)
- Платформа HPE Data Management Framework (DMF, ранее SGI Data Migration Facility) для SLES и RHEL
- Квантовая StorNext
- Apple Fusion Drive для macOS
- Microsoft Storage Spaces, начиная с версии, поставляемой с Windows Server 2012 R2 . Более старый продукт Microsoft был удаленным хранилищем , включенным в Windows 2000 и Windows 2003 . [6] [7]
Смотрите также
- Альянс активного архива
- Архив
- Автоматизированное многоуровневое хранилище
- Резервное копирование
- Хранение компьютерных данных
- Распространение данных
- Дисковое хранилище
- Управление жизненным циклом информации
- Информационное хранилище
- Хранение данных на магнитной ленте
- Иерархия памяти
- Репозиторий (значения)
- Виртуализация хранилища
- Физическая инвентаризация
Рекомендации
- ↑ Пример примерно 2000 года, который даже сейчас выглядит устаревшим, поскольку лента теряет популярность.
- ^ a b c Ларри Фриман. «Что старое, то снова новое - многоуровневое хранение» (PDF) .
- ^ Патрик М. Диллон; Дэвид С. Леонард (1998). Мультимедиа и Web от А до Я . ABC-CLIO. п. 116. ISBN 978-1-57356-132-7.
- ^ О'Нил, Элизабет Дж .; О'Нил, Патрик Э .; Вейкум, Герхард (1993-06-01). «Алгоритм замены страниц LRU-K для буферизации диска базы данных» . ACM SIGMOD Запись . 22 (2): 297–306. DOI : 10.1145 / 170036.170081 . ISSN 0163-5808 .
- ^ Verma, A .; Pease, D .; Sharma, U .; Каплан, М .; Rubas, J .; Jain, R .; Девараконда, М .; Бейги, М. (2005). «Архитектура для управления жизненным циклом в очень больших файловых системах» . 22-я IEEE / 13-я Конференция Годдарда NASA по системам и технологиям массового хранения (MSST'05) . Монтерей, Калифорния, США: IEEE: 160–168. DOI : 10,1109 / MSST.2005.4 . ISBN 978-0-7695-2318-7.
- ^ [SAM / QFS на OpenSolaris.org [1]
- ^ Рэнд Моримото; Майкл Ноэль; Омар Друби; Росс Мистри; Крис Амарис (2008). Windows Server 2008 Unleashed . Самс Паблишинг. п. 938. ISBN 978-0-13-271563-8.
- ^ http://windowsitpro.com/storage/remote-storage-service