Linear Tape File System ( LTFS ) является файловой системой , которая позволяет файлы , хранящиеся на магнитной ленте , чтобы получить доступ к таким же образом для тех , на диске или съемного флэш - накопителях. Для этого требуется как особый формат данных на ленточном носителе, так и программное обеспечение, обеспечивающее интерфейс файловой системы с данными.
Технология, основанная на формате ленты с самоописанием, разработанном IBM , была принята консорциумом LTO в 2010 году.
История
Хранение данных на магнитной ленте используется более 50 лет, но обычно метаданные файлов не хранятся в форме, удобной для доступа или изменения независимо от данных содержимого файла. Часто внешние базы данных использовались для поддержки метаданных файлов (имен файлов, отметок времени, иерархии каталогов) для хранения этих данных, но эти внешние базы данных, как правило, не были предназначены для взаимодействия, и ленты могли содержать или не содержать индекс их содержимого. В Unix-подобных системах существует стандарт взаимодействия tar , но он не очень подходит для модификации метаданных файла независимо от изменения данных содержимого файла - и не поддерживает центральный индекс файлов и не предоставляет интерфейс или характеристики файловой системы.
Технология LTFS была впервые реализована IBM в качестве прототипа для Linux и Mac OS X в 2008/2009 годах. Этот прототип был продемонстрирован на NAB 2009. На основе отзывов об этой первоначальной демонстрации и опыта в IBM файловая система была переработана при подготовке к выпуску в качестве продукта. Команда разработчиков LTFS работала с поставщиками ленточных продуктов LTO (HP и Quantum), чтобы обеспечить поддержку и понимание формата LTFS и реализации файловой системы, что привело к общедоступной версии.
Спецификация формата LTFS и реализация файловой системы были выпущены 12 апреля 2010 г. при поддержке IBM, HP, Quantum и LTO Consortium. [1]
LTFS v2.0.0 был выпущен в марте 2011 года, улучшив текст, чтобы прояснить и устранить двусмысленность. Также добавлена поддержка разреженных файлов ; постоянные идентификаторы файлов; виртуальные расширенные атрибуты для метаданных файловой системы и управления, а также определенные минимальные и рекомендуемые значения размера блока для томов LTFS для совместимости с различными аппаратными реализациями HBA.
Спецификация формата
Стандарт ISO / IEC 20919: 2016 определяет требования формата LTFS для взаимозаменяемых носителей, которые заявляют о соответствии LTFS. Он определяет формат данных, независимо от физического носителя и формата программных команд, чтобы сделать данные действительно взаимозаменяемыми. Стандарт ISO был подготовлен SNIA . Он основан на LTFS v2.2 и был принят в ISO совместным техническим комитетом ISO / IEC JTC 1 Information Technology .
Рабочая группа SNIA продолжает разработку LTFS и выпуск обновлений. Версия 2.0.0 определяет правила того, как номер версии может измениться в будущем, и как поддерживается совместимость в различных реализациях. Все реализации должны:
- правильно читать носители, совместимые с любой предыдущей версией
- записывать носитель, совместимый с версией, которую они заявляют о соответствии
Версия | Опубликовано | ISO / IEC | Соответствующее программное обеспечение |
---|---|---|---|
1.0 [2] | Апрель 2010 г. | N / A | IBM Long Term File System ( LTFS ) v1.0.0, v1.0.1 Файловая система HP Linear Tape File System ( LTFS ) v1.0.0, v1.1.0 |
2.0.0 [3] | Март 2011 г. | N / A | Файловая система IBM Linear Tape - Single Drive Edition (LTFS-SDE) v1.2.0 Oracle StorageTek Linear Tape File System, Open Edition v1.0.0 |
2.1.0 | Октябрь 2012 г. | N / A | ? |
2.2.0 [4] | Декабрь 2013 | 20919: 2016 | ? |
2.3.0 [5] | Март 2014 г. | N / A | ? |
2.4.0 [6] | Декабрь 2017 г. | N / A | ? |
2.5.0 [7] | Май 2019 | TBA | ? |
Техническая рабочая группа SNIA
В августе 2012 года SNIA объявило [8], что формирует TWG (техническую рабочую группу) для продолжения технической разработки спецификации. LTFS Format Specification v 2.1 - это базовая линия для процесса аккредитации технических работ и стандартов; Членами SNIA LTFS TWG являются HP , IBM , Oracle и Quantum .
Природа
Хотя LTFS может сделать ленту похожей на диск, она не меняет фундаментально последовательную природу ленты. Файлы всегда добавляются в конец ленты. Если файл изменен и перезаписан или удален с тома, связанные с ним блоки ленты не освобождаются, они просто помечаются как недоступные, а использованная емкость тома не восстанавливается. Данные удаляются и емкость восстанавливается только при переформатировании всей ленты. [ необходима цитата ]
Несмотря на эти недостатки, есть несколько случаев использования, когда лента, отформатированная в LTFS, превосходит диски и другие технологии хранения данных. Хотя время поиска LTO может составлять от 10 до 100 секунд, скорость потоковой передачи данных может соответствовать или превышать скорость передачи данных на диске. Кроме того, картриджи LTO легко транспортируются и содержат гораздо больше данных, чем любой другой съемный формат хранения данных. Возможность копировать большой файл или большой выбор файлов (до 1,5 ТБ несжатых данных для LTO-5 и 12 ТБ для LTO-8) на ленту формата LTFS, позволяет легко обмениваться данными с сотрудником или сохранять архивной копии.
Поскольку LTFS является открытым стандартом, ленты в формате LTFS могут использоваться в самых разных вычислительных системах.
Реализации
Производители ленточных накопителей часто предлагают две разные версии, одну для одинарных накопителей, а другую для ленточных библиотек , на основе эталонной реализации LTFS .
Файловая система IBM Linear Tape - Single Drive Edition
IBM Linear Tape File System - Single Drive издание (первоначально выпущен как «IBM Long Term File System»), позволяет ленты быть отформатированы как тома LTFS, и эти объемы должны быть установлены - и пользователи и приложения доступа к файлам и каталогам хранятся непосредственно на ленте, включая перетаскивание файлов.
Файловая система IBM Linear Tape - Библиотека
Продукт IBM Linear Tape File System - Library Edition (LTFS-LE) позволяет использовать тома LTFS в ленточной библиотеке . Каждый ленточный картридж в формате LTFS в библиотеке отображается как отдельная папка в точке монтирования файловой системы, и пользователь или приложение могут перейти в каждую из этих папок для доступа к файлам, хранящимся на каждой ленте. Программное обеспечение LTFS-LE автоматически управляет робототехникой ленточной библиотеки для загрузки и выгрузки необходимых томов LTFS.
Файловая система Oracle StorageTek Linear Tape, открытая версия
Бесплатное программное обеспечение Oracle StorageTek Linear Tape File System (LTFS) с открытым исходным кодом, Open Edition [9], как утверждается, является первым, в котором хранится 8,5 ТБ (собственная емкость) на одном картридже. Он поддерживает ленточные накопители Oracle StorageTek LTO 5 и LTO 6 среднего уровня от HP и IBM, а также ленточные накопители Oracle StorageTek T10000C и T10000D. [10] [11]
Файловая система Oracle StorageTek Linear Tape, версия библиотеки
Программное обеспечение Oracle StorageTek LTFS-LE поддерживает модульную библиотечную систему StorageTek SL8500, модульную библиотечную систему StorageTek SL3000 и модульную ленту StorageTek SL150. [12]
Файловая система HP Linear Tape
HP Linear Tape File System (HP LTFS) является реализация НР. Это бесплатное приложение с открытым исходным кодом.
Квантовая линейная файловая система на магнитной ленте
Quantum Corporation предоставляет продукт LTFS с поддержкой Windows, Linux и Mac OS X.
Scalar LTFS Appliance - это файловая система, которая представляет ленточную библиотеку Quantum как общий ресурс NAS. Это устройство делает файлы доступными для просмотра, как если бы они находились на локальном диске, и позволяет пользователям перетаскивать файлы непосредственно на ленточный картридж и с него.
LTFS-совместимые продукты
Ленточные накопители DDS
- HPE:
- DAT-160 и DAT-320
Ленточные накопители для предприятий
- IBM:
- TS1140, TS1150, TS1155 и TS1160
- Oracle (Sun / StorageTek):
- T10000C и T10000D
Ленточные накопители LTO
- HPE:
- с LTO-5 на LTO-8
- IBM:
- с LTO-5 на LTO-8
- Квантовая:
- с LTO-5 на LTO-8
- Данные Тандберга:
- с LTO-5 на LTO-8
Устройства и ISV (независимые поставщики программного обеспечения), поддерживающие LTFS
Полный список поставщиков указан на веб-сайте LTO. [13]
LTFS проекты
- Thought Equity Motion [14] выполняет крупный проект по оцифровке и сохранению фильмов для Нидерландского института кино EYE . Проект предусматривает сканирование более 150 миллионов дискретныхфайлов DPX и их сохранение на LTO Gen5 с использованием формата LTFS. [15] Более 1 петабайта пленки будет [ необходимо обновить ] отсканировано и заархивировано в течение двух лет (2010–2012).
Признание в отрасли
- Технология IBM LTFS получила награду Pick Hit Award от Broadcast Engineering на выставке NAB 2011. [16]
- IBM и FOX Networks получили награду Engineering Emmy Award в 2011 году за проект, в котором LTFS используется для хранения, обмена и архивирования видеоконтента. [17]
- IBM получила в 2011 году награду за выдающиеся достижения в области инженерного искусства Hollywood Post-Alliance ( HPA ). [18]
Рекомендации
- ^ NAB-2010 Архивировано 4 сентября 2012 г. в archive.today
- ^ Спецификация формата файловой системы линейной ленты (LTFS) v1.0
- ^ Спецификация формата файловой системы линейной ленты (LTFS) v2.0.1
- ^ Спецификация формата файловой системы линейной ленты (LTFS) v2.2.0
- ^ Спецификация формата файловой системы линейной ленты (LTFS) v2.3.1
- ^ Спецификация формата файловой системы линейной ленты (LTFS) v2.4.0
- ^ Спецификация формата файловой системы линейной ленты (LTFS) v2.5.1
- ^ "SNIA объявляет о технической рабочей группе по файловой системе линейной ленты"
- ^ Oracle StorageTek Linear Tape File System, веб-страница Open Edition
- ^ Пресс-релиз по ленточному накопителю Oracle StorageTek T10000C
- ^ Oracle представляет ленточный накопитель StorageTek T10000D
- ^ Oracle StorageTek LTFS, Пресс-релиз Library Edition
- ^ Разработчики LTFS
- ^ Thought Equity Motion - Домашняя страница
- ^ Thought Equity Motion - Пресс-релиз: Проект оцифровки и сохранения киноархива для EYE Film Institute, Нидерланды
- ^ NAB 2011 Pick Hit Объявление
- ^ "Блог IBM Almaden" . Архивировано из оригинального 25 апреля 2012 года . Проверено 26 октября 2011 года .
- ^ Объявление премии HPA
Внешние ссылки
- LTFS в LTO
- LTFS в СНИА
- LTFS для чайников
- Реализации:
- LinearTapeFileSystem на GitHub (эталонная реализация LTFS для автономного ленточного накопителя)
- IBM Spectrum Archive - выпуск IBM Spectrum Archive для одного диска (SDE)
- Ленточное хранилище Oracle - файловая система Oracle Linear Tape, открытая версия
- Файловая система HP Linear Tape - программное обеспечение HPE LTFS
- Квантовая линейная файловая система на магнитной ленте - источник Quantum LTFS
- Управление данными LTFS на GitHub