Файловая система линейной ленты

Linear Tape File System ( LTFS ) является файловой системой , которая позволяет файлы , хранящиеся на магнитной ленте , чтобы получить доступ к таким же образом для тех , на диске или съемного флэш - накопителях. Для этого требуется как особый формат данных на ленточном носителе, так и программное обеспечение, обеспечивающее интерфейс файловой системы к данным.

Технология, основанная на формате ленты с самоописанием, разработанном IBM , была принята консорциумом LTO в 2010 году.

История [ править ]

Хранение данных на магнитной ленте используется более 50 лет, но обычно метаданные файлов не хранятся в форме, удобной для доступа или изменения независимо от данных содержимого файла. Часто внешние базы данных использовались для поддержки метаданных файлов (имен файлов, отметок времени, иерархии каталогов) для хранения этих данных, но эти внешние базы данных, как правило, не были предназначены для взаимодействия, и ленты могли содержать или не содержать индекс их содержимого. В Unix-подобных системах существует стандарт взаимодействия tar , но он не очень подходит для модификации метаданных файла независимо от изменения данных содержимого файла - и не поддерживает центральный индекс файлов и не обеспечивает интерфейс или характеристики файловой системы.

Технология LTFS была впервые реализована IBM в качестве прототипа для Linux и Mac OS X в 2008/2009 годах. Этот прототип был продемонстрирован на NAB 2009. На основе отзывов об этой первоначальной демонстрации и опыта в IBM файловая система была пересмотрена при подготовке к выпуску в качестве продукта. Команда разработчиков LTFS работала с поставщиками ленточных продуктов LTO (HP и Quantum), чтобы обеспечить поддержку и понимание формата LTFS и реализации файловой системы, что привело к общедоступной версии.

Спецификация формата LTFS и реализация файловой системы были выпущены 12 апреля 2010 г. при поддержке IBM, HP, Quantum и LTO Consortium. ^[1]

LTFS v2.0.0 был выпущен в марте 2011 года, улучшив текст, чтобы прояснить и устранить двусмысленность. Также добавлена ​​поддержка разреженных файлов ; постоянные идентификаторы файлов; виртуальные расширенные атрибуты для метаданных файловой системы и управления - а также определенные минимальные и рекомендуемые значения размера блока для томов LTFS для совместимости с различными аппаратными реализациями HBA.

Спецификация формата [ править ]

Стандарт ISO / IEC 20919: 2016 определяет требования формата LTFS для взаимозаменяемых носителей, которые заявляют о соответствии LTFS. Он определяет формат данных, независимо от физического носителя и формата программных команд, чтобы сделать данные действительно взаимозаменяемыми. Стандарт ISO был подготовлен SNIA . Он основан на LTFS v2.2 и был принят в ISO совместным техническим комитетом ISO / IEC JTC 1 Information Technology .

Рабочая группа SNIA продолжает разрабатывать LTFS и выпускать обновления. Версия 2.0.0 определяет правила того, как номер версии может измениться в будущем, и как поддерживается совместимость в различных реализациях. Все реализации должны:

• правильно читать носители, совместимые с любой предыдущей версией
• записывать носитель, соответствующий той версии, которую они заявляют о соответствии

Техническая рабочая группа SNIA [ править ]

В августе 2012 года SNIA объявило ^[2], что формирует TWG (техническую рабочую группу) для продолжения технической разработки спецификации. LTFS Format Specification v 2.1 - это базовая линия для процесса аккредитации технических работ и стандартов; Членами SNIA LTFS TWG являются HP , IBM , Oracle и Quantum .

Природа [ править ]

Хотя LTFS может заставить ленту вести себя как диск, это не меняет фундаментально последовательную природу ленты. Файлы всегда добавляются в конец ленты. Если файл был изменен и перезаписан или удален с тома, связанные блоки ленты не освобождаются, они просто помечаются как недоступные, а использованная емкость тома не восстанавливается. Данные удаляются и емкость восстанавливается только при переформатировании всей ленты. ^{[ необходима цитата ]}

Несмотря на эти недостатки, есть несколько случаев использования, когда лента с форматированием LTFS превосходит диски и другие технологии хранения данных. Хотя время поиска LTO может составлять от 10 до 100 секунд, скорость потоковой передачи данных может соответствовать или превышать скорость передачи данных на диске. Кроме того, картриджи LTO легко транспортируются и содержат гораздо больше данных, чем любой другой съемный формат хранения данных. Возможность копировать большой файл или большой набор файлов (до 1,5 ТБ для LTO-5 или 2,5 ТБ для LTO_6) на ленту формата LTFS, позволяет легко обмениваться данными с сотрудником или сохранять архивную копию .

Поскольку LTFS является открытым стандартом, ленты в формате LTFS можно использовать в самых разных вычислительных системах.

Реализации [ править ]

Файловая система IBM Linear Tape - Single Drive Edition [ править ]

IBM Linear Tape File System - Single Drive издание (первоначально выпущен как «IBM Long Term File System»), позволяет ленты быть отформатированы как тома LTFS, и эти объемы должны быть установлены - и пользователи и приложения доступа к файлам и каталогам хранятся непосредственно на ленте, включая перетаскивание файлов.

Операционные системы, поддерживаемые IBM LTFS-SDE [ править ]

• Red Hat Enterprise Linux (RHEL 5) с LTFS-SDE - 1.2.0 для Linux (поддержка RHEL 5 упала в 2.2.2.0, последний поддерживаемый выпуск 2.2.1.1)
• Red Hat Enterprise Linux (RHEL 6) с LTFS-SDE
• Red Hat Enterprise Linux (RHEL 7) с LTFS-SDE - 2.2.2.0 для Linux
• SUSE Linux Enterprise Server (SLES) 11 SP 1 с LTFS-SDE 1.2.0 для Linux
• Mac OS X 10.5.6 (Leopard), 10.6.7 (Snow Leopard) с LTFS-SDE - 1.2.0 для Mac OS X (поддержка упала в версии 2.2.2.0)
• Mac OS X 10.7 (Lion), с LTFS-SDE - 1.2.5 для Mac OS X (поддержка прекращена в версии 2.2.2.0)
• Mac OS X 10.8 (Mountain Lion) с LTFS-SDE - 1.3.0.2 для Mac OS X (поддержка прекращена в версии 2.2.2.0)
• Mac OS X 10.9 (Mavericks), с LTFS-SDE - 2.2.0.0 для Mac OS X (поддержка прекращена в версии 2.2.2.0)
• Mac OS X 10.10 (Yosemite), 10.11 (El Capitan) с LTFS-SDE - 2.2.2.0 для Mac OS X
• Windows 7 с LTFS-SDE - версия Windows 1.2.0
• Windows 8 с LTFS-SDE - версия Windows 1.3.0.1
• Windows 8.1 с LTFS-SDE - версия Windows 2.2.0.0
• Windows Server 2008 R2 с LTFS-SDE - версия Windows 1.2.2
• Windows Server 2012 с LTFS-SDE - версия Windows 1.3.0.1

Файловая система IBM Linear Tape - Библиотечное издание [ править ]

Продукт IBM Linear Tape File System - Library Edition (LTFS-LE) позволяет использовать тома LTFS в ленточной библиотеке . Каждый ленточный картридж в формате LTFS в библиотеке отображается как отдельная папка в точке монтирования файловой системы, и пользователь или приложение может перейти в каждую из этих папок для доступа к файлам, хранящимся на каждой ленте. Программное обеспечение LTFS-LE автоматически управляет робототехникой ленточной библиотеки для загрузки и выгрузки необходимых томов LTFS.

Операционные системы, поддерживаемые IBM LTFS-LE [ править ]

• Red Hat Enterprise Linux (RHEL) 5.4, 5.5 с LTFS-LE 2.0.0 для Linux (последний выпуск: июнь 2011 г.)
• SUSE Linux Enterprise Server (SLES) 11 SP 1 с LTFS-LE 2.0.0 для Linux (последний выпуск: июнь 2011 г.)

Файловая система Oracle StorageTek Linear Tape, открытая версия [ править ]

Бесплатная версия Oracle StorageTek Linear Tape File System (LTFS) с открытым исходным кодом, программное обеспечение Open Edition ^[3], как утверждается, является первой программой, которая хранит 8,5 ТБ (собственная емкость) на одном картридже. Он поддерживает ленточные накопители Oracle StorageTek LTO 5 и LTO 6 среднего уровня от HP и IBM, а также ленточные накопители Oracle StorageTek T10000C и T10000D. ^{[4] [5]}

Файловая система Oracle StorageTek Linear Tape, Library Edition [ править ]

Программное обеспечение Oracle StorageTek LTFS-LE поддерживает модульную библиотечную систему StorageTek SL8500, модульную библиотечную систему StorageTek SL3000 и модульную ленту StorageTek SL150. ^[6]

Файловая система HP Linear Tape [ править ]

HP Linear Tape File System (HP LTFS) является реализация НР. Это бесплатное приложение с открытым исходным кодом.

Операционные системы, поддерживаемые HP LTFS [ править ]

• Linux
• Mac OS X
• Windows

Файловая система Quantum Linear Tape [ править ]

Quantum Corporation предоставляет продукт LTFS с поддержкой Windows, Linux и Mac OS X.

Scalar LTFS Appliance - это файловая система, которая представляет ленточную библиотеку Quantum как общий ресурс NAS. Это устройство делает файлы доступными для просмотра, как если бы они находились на локальном диске, и позволяет пользователям перетаскивать файлы непосредственно на ленточный картридж и с него.

LTFS-совместимые продукты [ править ]

Корпоративные диски [ править ]

• Ленточный накопитель IBM TS1140

Ленточный накопитель IBM емкостью 4 ТБ ^[7]

• Ленточный накопитель Oracle StorageTek T10000C

Ленточный накопитель Oracle емкостью 5 ТБ ^[8]

LTO приводы [ править ]

• HP StorageWorks LTO-5 Ultrium 3000

Внешний ленточный накопитель HP LTO5 половинной высоты, SAS 6 Гбит / с

• HP StorageWorks LTO-5 Ultrium 3280

Ленточный накопитель HP LTO5 полной высоты, SAS 6 Гбит / с

• Ленточный накопитель IBM System Storage TS2250

Внешний автономный ленточный накопитель IBM LTO5 половинной высоты, интерфейс SAS 6 Гбит / с ^[9]

• Ленточный накопитель IBM System Storage TS2350

Внешний автономный ленточный накопитель полной высоты IBM LTO5, интерфейс SAS 6 Гбит / с ^[10]

• Ленточный накопитель IBM LTO5 FH FC

Внутренний накопитель на магнитной ленте IBM LTO5, интерфейс Fibre Channel 8 Гбит / с ^[11]

• Ленточный накопитель IBM LTO5 FH SAS

Внутренний ленточный накопитель полной высоты IBM LTO5, интерфейс SAS 6 Гбит / с ^[11]

• Ленточный накопитель IBM LTO5 HH FC

Внутренний ленточный накопитель IBM LTO5 половинной высоты, интерфейс Fibre Channel 8 Гбит / с ^[11]

• Ленточный накопитель IBM LTO5 HH SAS

Внутренний ленточный накопитель IBM LTO5 половинной высоты, интерфейс SAS 6 Гбит / с ^[11]

• Ленточный накопитель Quantum LTO5 HH SAS

Внешний ленточный накопитель половинной высоты Quantum LTO5, интерфейс SAS 6 Гбит / с ^[12]

• Ленточный накопитель Quantum LTO5 FH SAS

Внутренний ленточный накопитель половинной высоты Quantum LTO5, интерфейс SAS 6 Гбит / с ^[12]

Техника [ править ]

• Хранилище Heaven TapeMaster LTFS | Устройства для клонирования ленты LTO Ultrium

TapeMaster ^[13] LTFS | Система переноса и дублирования ленты LTO Ultrium отличается высокоскоростным клонированием ленты без использования компьютера или программного обеспечения. Система клонирования TapeMaster LTO поставляется в ручной или полностью автоматизированной конфигурации, включает поддержку штрих-кодов, зашифрованных лент и поддерживает все поколения лент LTO Ultrium.

• 1 разгрузочные станции Beyond Wrangler LTO-5

1 Beyond ^[14] Wrangler LTO-5 Offload Stations - это устройство для хранения широковещательного контента непосредственно на ленте через LTFS.

• Продукты Cache-A на основе LTO-5

Cache-A Corporation ^[15] продемонстрировала одну из первых интеграций формата LTFS в LTO Gen5 с использованием кодовой базы LTFS IBM ^[16] на NAB 2010. Cache-A продолжает эту разработку с кодовой базой HP ^[17] для обеспечения на основе LTFS устройства архивирования, которые предоставляют доступ к этой технологии, не требуя никакого клиентского программного обеспечения.

• Ленточный архив StrongBox LTFS

StrongBox Data ^[18], ранее известный как Crossroads ^[19], объявил 11 апреля 2011 года ^[20] о запуске нового продукта для архивирования на магнитной ленте, в котором используется технология Linear Tape File System (LTFS). Это решение ^{[ модное слово ]} будет служить в качестве онлайн-архива для данных уровня 3 (третичное хранилище), представляя себя как дисковое хранилище, но включающее в себя как диск для быстрого хранения и поиска файлов, так и физическую ленту LTO для экономичного и длительного хранения емкости. . Доступны продукты StrongBOX T1 и StrongBOX T3.

• Регистратор видеоархивов FOR-A LTR-110HS / 120HS

Цифровой видеорегистратор FOR-A ^[21] LTR-100HS использует кассеты с магнитной лентой, отформатированные IBM LTFS. Он был представлен на выставке NAB 2010 и получил награду IBC 2010 Pick Hit Awards от Broadcast Engineering. Его преемником является FOR-A LTR-120HS [модель AVC-Intra / DVCPRO], который поддерживает дополнительный формат MXF.

• Nodeum LTFS Appliance

Nodeum ^[22] - это программно-определяемое решение. Это решение, совместимое с LTFS. ^[23] Решение основано на Linux, установка может быть выполнена с помощью Ansible playbook на любом стандартном оборудовании x86. Устройство предоставляет виртуализированную файловую систему, доступную по протоколам NAS; Архитектура состоит из флэш-диска для кэширования и диспетчера ленточных библиотек для увеличения емкости лент LTO . Виртуализированное хранилище устройства также может быть представлено как конечная точка S3, позволяя S3 доступ к данным, хранящимся на лентах.

• Spectra Logic BlackPearl

Устройство BlackPearl ^[24] - это шлюз с глубоким хранилищем, который позволяет читать и записывать ленты в формате LTFS через интерфейс S3.

Независимые поставщики программного обеспечения (ISV), поддерживающие LTFS [ править ]

• BRU PE

Версия 2.3.0 BRU Producer's Edition от TOLIS Group ^[25] предоставляет пользователям OS X встроенную файловую систему LTFS (поддержку файловой системы на магнитной ленте). ^[26]

• FlashNet

SGL ^[27] (Software Generation Limited), британская компания ^{[ модное слово ],} занимающаяся разработкой программного обеспечения для архивирования вещания , была первым независимым поставщиком программного обеспечения (ISV), объявившим ^[28] о поддержке LTFS в своем продукте FlashNet.

• Masstech Group Inc.

Masstech Group Inc., ^[29] из Торонто, Канада, разработчик решений для управления мультимедийными активами, архивирования, автоматизации рабочих процессов и транскодирования ^{[ модное слово ]} для индустрии мультимедиа и развлечений, объявила о поддержке LTFS в своем портфеле решений ^{[ модное слово ]} в 2012 году. . ^[30]

• Open Source Storage Inc.

Open Source Storage Inc., ^[31] корпорация Колорадо, разрабатывает, устанавливает и поддерживает реализацию LTFS с открытым исходным кодом с расширениями для поддержки ленточных библиотек, так что одна или несколько полных ленточных библиотек отображаются как единое пространство имен файловой системы с автоматическое копирование и извлечение файлов с томов LTFS. Два продукта, OSVault и Wellspring, основаны на базовой линии IBM LTFS SE, носитель является взаимозаменяемым с любой другой реализацией LTFS. Впервые внедренная в 2006 году, поддержка файловой системы LTFS и поддержка автоматического монтирования LTFS были добавлены в 2012 году, а первая производственная система была запущена в январе 2013 года, и сегодня в ней работает более 100 производственных сайтов в сфере вещания / развлечений и медицинских приложений. ^{[ необходима цитата ]}

• PreRollPost

PreRollPost ^[32] может использоваться с любым ленточным накопителем, совместимым с LTFS, в Macintosh OSX 10.9 и выше или в Windows 10, 8 или 7. Резервное копирование, планирование и получение - все это возможно с PreRollPost, который также использует технологию контрольных сумм для обеспечения соответствия всех архивов 100 %. Никакого форматирования, программного или другого оборудования не требуется. Для установки всего для LTFS требуется один щелчок. Резервное копирование можно использовать с любыми файлами, например файлами проекта NLE или целыми жесткими дисками. PreRollPost также поддерживает резервное копирование оригиналов камеры с индексом, сохраненным на локальном жестком диске или ленте LTO. Совместим с архивом оптических дисков Sony , mTape mLogic , MagStor от MagNext и LT60 от Unitex .

• QStar Archive Manager с LTFS Volume Spanning

Компания QStar ^[33] объявила 19 июля 2012 года ^{[34], что} QStar представляет первую в отрасли программную технологию LTFS Volume-Spanning и File-Spanning для ленточных библиотек. При использовании технологии распределения томов LTFS QStar все носители в ленточной библиотеке можно рассматривать как один или несколько постоянно растущих сетевых ресурсов. Новый носитель LTFS автоматически добавляется в набор по мере заполнения предыдущего носителя. Такой подход исключает постоянную остановку и ручную реконфигурацию, требуемые стандартными методологиями LTFS, когда лента достигает емкости.

• XenData

Весь ассортимент цифровых видеоархивов XenData поддерживает LTFS ^[35], предлагая ряд преимуществ по сравнению с другими решениями LTFS. ^{[ модное слово ] [36]}

• ЙоЙотта

YoYotta создает программное обеспечение для производства и публикации для архивирования, резервного копирования и восстановления с использованием LTFS на лентах LTO-7, LTO-6 или LTO-5. YoYottaID LTFS управляет двумя автономными накопителями LTO. YoYottaID Automation управляет библиотекой LTO и позволяет автоматически создавать многоленточные архивы LTFS. ^[37]

Проекты LTFS [ править ]

• Thought Equity Motion ^[38] выполняет крупный проект по оцифровке и сохранению фильмов для Института кино EYE, Нидерланды . Проект предусматривает сканирование более 150 миллионов отдельныхфайлов DPX и их сохранение на LTO Gen5 с использованием формата LTFS. ^[39] Более 1 петабайта пленки будет ^{[ необходимо обновить ]} отсканировано и заархивировано в течение двух лет (2010–2012).

Признание в отрасли [ править ]

• Технология IBM LTFS получила награду Pick Hit Award от Broadcast Engineering на выставке NAB 2011. ^[40]
• IBM и FOX Networks получили награду Engineering Emmy Award в 2011 году за проект, в котором LTFS используется для хранения, обмена и архивирования видеоконтента. ^[41]
• IBM получила в 2011 году награду за выдающиеся достижения в области инженерного искусства Hollywood Post-Alliance ( HPA ). ^[42]

Ссылки [ править ]

Внешние ссылки [ править ]

• Линейная файловая система на магнитной ленте (LTFS) в LTO.
• LTFS в СНИА
• LTFS для чайников
• Архив всех документов спецификации формата LTFS
• StorageHeaven TapeMaster LTFS | Система дублирования ленты LTO Ultrium
• FOR-A LTR-100HS Video Archive Recorder - цифровой видеорегистратор, использующий ленточные картриджи формата LTFS
• 1 Станции разгрузки LTO Beyond Wrangler - система разгрузки и резервного копирования

Реализации:

• LinearTapeFileSystem на GitHub (эталонная реализация LTFS для автономного ленточного накопителя)
• Файловая система IBM Linear Tape - IBM Spectrum Archive Single Drive Edition (SDE)
• Oracle Linear Tape File System - Oracle Linear Tape File System, Open Edition
• Файловая система HP Linear Tape - программное обеспечение HPE LTFS
• Quantum Linear Tape File System - Ресурсы Quantum LTFS