Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
«Кластерные файловые системы» перенаправляются сюда. Общий термин см. В разделе Кластерная файловая система . О языке программирования см. Lustre (язык программирования) .
Блеск
Файловая система Lustre logo.gif
изначальный выпуск16 декабря 2003 г . ; 17 лет назад [1] (2003-12-16)
Стабильный выпуск
2.14.0 (последний основной выпуск), [2]

2.12.6 (последняя отладочная версия), [3]

/ 9 декабря 2020 г . ; 2 месяца назад (2020-12-09)
Репозиторий
Отредактируйте это в Викиданных
Написано вC
Операционная системаЯдро Linux
ТипРаспределенная файловая система
ЛицензияGPL v2 LGPL
Интернет сайтwww .lustre .org Отредактируйте это в Викиданных
Cluster File Systems, Inc.
ТипЧастный
Основан2001 г.
ОсновательПитер Дж. Браам
Штаб-квартира
Боулдер, Колорадо
Ключевые люди
Андреас Дилгер , Эрик Бартон (HPC) , Фил Шван
ТоварыФайловая система Lustre
Блеск
ВведеноДекабрь 2003 г. с Linux
Структуры
Содержимое каталогаХеш, чередующийся хеш с DNE в 2.7+
Тип файлафайл, каталог, жесткая ссылка, символическая ссылка, специальный блок, специальный символ, сокет, FIFO
ЗагрузочныйНет
Пределы
Мин. размер тома32 МБ
Максимум. размер тома300 ПБ (производственная), более 16 ЭБ (теоретическая)
Максимум. размер файла3,2 ПБ (ext4), 16 ЭБ (ZFS)
Детализация размера файла4 КБ
Максимум. количество файловЦелевой объект для метаданных (MDT): 4 миллиарда файлов (бэкэнд ldiskfs), 256 триллионов файлов (бэкэнд ZFS) [4], до 128 MDT на файловую систему
Максимум. длина имени файла255 байт
Максимум. длина dirname255 байт
Максимум. глубина каталога4096 байт
Допустимые символы в именах файловВсе байты, кроме NUL ('\ 0') и '/' и специальных имен файлов "." и ".."
Функции
Даты записанымодификация (mtime), модификация атрибута (ctime), доступ (atime), удаление (dtime), создание (crtime)
Диапазон дат2 ^ 34 бит (ext4), 2 ^ 64 бит (ZFS)
Разрешение даты1 с
ВилкиНет
Атрибуты32bitapi, acl, контрольная сумма, flock, lazystatfs, localflock, lruresize, noacl, nochecksum, noflock, nolazystatfs, nolruresize, nouser_fid2path, nouser_xattr, user_fid2path, user_xattr
Разрешения файловой системыPOSIX , POSIX.1e ACL , SELinux
Прозрачное сжатиеДа (только ZFS)
Прозрачное шифрованиеДа (сеть, хранилище только с ZFS 0.8)
Дедупликация данныхДа (только ZFS)
Копирование при записиДа (только ZFS)
Другой
Поддерживаемые операционные системыЯдро Linux

Lustre - это тип параллельной распределенной файловой системы , обычно используемой для крупномасштабных кластерных вычислений . Название Lustre - это слово-портмоне, полученное от Linux и кластера . [5] Программное обеспечение файловой системы Lustre доступно под Стандартной общественной лицензией GNU (только версия 2) и обеспечивает высокопроизводительные файловые системы для компьютерных кластеров размером от небольших кластеров рабочих групп до крупномасштабных многосайтовых систем. С июня 2005 года Lustre постоянно используется по крайней мере половиной из первой десятки и более чем 60 из 100 самых быстрых суперкомпьютеров в мире, [6] [7] [8]включая суперкомпьютер № 1 в мире, занявший первое место в рейтинге TOP500 в июне 2020 года, Fugaku , [9], а также предыдущие суперкомпьютеры, такие как Titan [10] и Sequoia . [11]

Файловые системы Lustre масштабируемы и могут быть частью нескольких компьютерных кластеров с десятками тысяч клиентских узлов, десятками петабайт (ПБ) хранилища на сотнях серверов и более терабайта в секунду (ТБ / с) совокупных операций ввода-вывода. O пропускная способность . [12] [13] Это делает файловые системы Lustre популярным выбором для предприятий с крупными центрами обработки данных, в том числе в таких отраслях, как метеорология , моделирование , [14] нефть и газ, наука о жизни , мультимедиа и финансы. [15] Производительность ввода-вывода Lustre широко влияет на эти приложения и привлекает широкое внимание. [16][17] [18] [19]

История [ править ]

Архитектура файловой системы Lustre была начата в качестве исследовательского проекта в 1999 году Питером Дж. Браамом , который в то время работал в Университете Карнеги-Меллона (CMU). В 2001 году Браам основал свою собственную компанию Cluster File Systems [20], начав с работы над файловой системой InterMezzo в проекте Coda в CMU. [21] Lustre был разработан в рамках проекта Path Forward Accelerated Strategic Computing Initiative, финансируемого Министерством энергетики США , в который входили Hewlett-Packard и Intel . [22] В сентябре 2007 г. Sun Microsystemsприобрела активы Cluster File Systems Inc., включая ее интеллектуальную собственность. [23] [24] Sun включила Lustre в свои предложения высокопроизводительного вычислительного оборудования с намерением внедрить технологии Lustre в файловую систему Sun ZFS и операционную систему Solaris . В ноябре 2008 года Браам покинул Sun Microsystems, и Эрик Бартон и Андреас Дилгер взяли на себя управление проектом. В 2010 году корпорация Oracle , приобретя Sun, начала управлять и выпускать Lustre.

В декабре 2010 года Oracle объявила о прекращении разработки Lustre 2.x и переводе Lustre 1.8 в режим поддержки только для технического обслуживания, что создало неопределенность в отношении будущего развития файловой системы. [25] После этого объявления возникло несколько новых организаций, обеспечивающих поддержку и развитие модели открытого сообщества, в том числе Whamcloud, [26] Open Scalable File Systems, Inc. (OpenSFS) , EUROPEAN Open File Systems (EOFS) и другие. . К концу 2010 года большинство разработчиков Lustre покинули Oracle. Браам и несколько сотрудников присоединились к ориентированной на оборудование Xyratex, когда она приобрела активы ClusterStor [27] [28], в то время как Бартон, Дилгер и другие основали программный стартап.Whamcloud , где продолжили работу над Lustre. [29]

В августе 2011 года OpenSFS заключила контракт с Whamcloud на разработку функции Lustre. [30] Этот контракт охватывал завершение функций, включая улучшенное масштабирование производительности метаданных одного сервера, что позволяет Lustre лучше использовать преимущества многоядерного сервера метаданных; онлайн-проверка распределенной файловой системы Lustre (LFSCK), которая позволяет проверять состояние распределенной файловой системы между серверами данных и метаданных, когда файловая система смонтирована и используется; и распределенная среда пространства имен (DNE), ранее называвшаяся Clustered Metadata (CMD), которая позволяет распределять метаданные Lustre между несколькими серверами. Также продолжалась разработка серверного объектного хранилища на основе ZFS в Ливерморской национальной лаборатории Лоуренса . [11]Эти функции были включены в план выпуска сообщества Lustre 2.2–2.4. [31] В ноябре 2011 года с Whamcloud был заключен отдельный контракт на поддержку исходного кода Lustre 2.x, чтобы гарантировать, что код Lustre будет подвергаться достаточному тестированию и исправлению ошибок, пока разрабатываются новые функции. [32]

В июле 2012 года Whamcloud была приобретена Intel , [33] [34] после того, как Whamcloud выиграл контракт FastForward МЭ расширить Luster для ExaScale вычислительных систем в 2018 году . [35] OpenSFS затем передала контракты на разработку Lustre в Intel.

В феврале 2013 года компания Xyratex Ltd. объявила о приобретении оригинального товарного знака Lustre, логотипа, веб-сайта и соответствующей интеллектуальной собственности у Oracle. [27] В июне 2013 года Intel начала расширять использование Lustre за пределы традиционных высокопроизводительных вычислений, например, в Hadoop . [36] В 2013 году OpenSFS объявила запрос предложений (RFP), чтобы охватить разработку функций Lustre, инструменты параллельной файловой системы, решение проблемы технической задолженности Lustre и инкубаторы параллельных файловых систем. [37] OpenSFSтакже был создан портал сообщества Lustre, технический сайт, на котором собрана информация и документация в одной области для справок и рекомендаций для поддержки сообщества Lustre с открытым исходным кодом. 8 апреля 2014 года Кен Клаффи объявил, что Xyratex / Seagate жертвует домен lustre.org обратно сообществу пользователей [38], и это было завершено в марте 2015 года.

В июне 2018 года команда и активы Lustre были приобретены у Intel DDN . DDN организовала новое приобретение как независимое подразделение, возродив имя Whamcloud для нового подразделения. [39]

В ноябре 2019 года OpenSFS и EOFS объявили на SC19 Lustre BOF, что торговая марка Lustre была передана им совместно от Seagate . [40]

История выпусков [ править ]

Файловая система Luster была впервые установлена для производства в марте 2003 года на MCR Linux Cluster в Национальной лаборатории Лоуренса Ливермора , [41] один из крупнейших суперкомпьютеров в то время. [42]

Lustre 1.0.0 был выпущен в декабре 2003 года [1] и обеспечивал базовые функциональные возможности файловой системы Lustre, включая отказоустойчивость сервера и восстановление.

Lustre 1.2.0, выпущенный в марте 2004 года, работал с ядром Linux 2.6 и имел функцию «проблеска размера», позволяющую избежать снятия блокировки файлов, находящихся на запись, и учет кэша с обратной записью на стороне клиента (предоставление).

Lustre 1.4.0, выпущенный в ноябре 2004 года, обеспечивал совместимость протоколов между версиями, мог использовать сети InfiniBand и мог использовать extents / mballoc в файловой системе на диске ldiskfs .

Lustre 1.6.0, выпущенный в апреле 2007 года, разрешал конфигурацию монтирования («mountconf»), позволяющую настраивать серверы с помощью «mkfs» и «mount», разрешал динамическое добавление целевых хранилищ объектов (OST), включал диспетчер распределенных блокировок Lustre (LDLM). ) масштабируемость на серверах с симметричной многопроцессорной обработкой (SMP) и управление свободным пространством для распределения объектов.

Lustre 1.8.0, выпущенный в мае 2009 года, предоставлял OSS Read Cache, улучшал восстановление после нескольких сбоев, добавлял базовое управление разнородным хранилищем через пулы OST, адаптивные сетевые тайм-ауты и восстановление на основе версий. Это был переходный выпуск, совместимый как с Lustre 1.6, так и с Lustre 2.0. [43]

Lustre 2.0, выпущенный в августе 2010 года, был основан на значительной внутренней реструктуризации кода для подготовки к крупным архитектурным достижениям. Клиенты Lustre 2.x не могут взаимодействовать с серверами 1.8 или более ранней версии . Однако клиенты Lustre 1.8.6 и более поздних версий могут взаимодействовать с серверами Lustre 2.0 и более поздних версий. Формат метаданных (MDT) и OST на диске с версии 1.8 можно обновить до версии 2.0 и выше без необходимости переформатировать файловую систему.

Lustre 2.1, выпущенный в сентябре 2011 года, был инициативой всего сообщества в ответ на приостановку Oracle разработки выпусков Lustre 2.x. [44] Он добавил возможность запускать серверы на Red Hat Linux 6 и увеличил максимальный размер OST на основе ext4 с 24 ТБ до 128 ТБ [45], а также ряд улучшений производительности и стабильности. Серверы Lustre 2.1 оставались совместимыми с клиентами 1.8.6 и более поздних версий.

Lustre 2.2, выпущенный в марте 2012 года, был ориентирован на улучшение производительности метаданных и новые функции. [46] Добавлены параллельные операции с каталогами, позволяющие нескольким клиентам одновременно просматривать и изменять один большой каталог, более быстрое восстановление после сбоев сервера, увеличенное количество полос для одного файла (до 2000 OST) и улучшенная производительность обхода каталога для одного клиента. .

Lustre 2.3, выпущенный в октябре 2012 года, продолжал улучшать код сервера метаданных для устранения узких мест внутренней блокировки на узлах с большим количеством ядер ЦП (более 16). В хранилище объектов добавлена ​​предварительная возможность использования ZFS в качестве резервной файловой системы. Функция Lustre File System ChecK (LFSCK) может проверять и восстанавливать индекс объекта MDS (OI) во время использования файловой системы, после резервного копирования / восстановления на уровне файлов или в случае повреждения MDS. Статистика ввода-вывода на стороне сервера была улучшена, чтобы обеспечить интеграцию с планировщиками пакетных заданий, такими как SLURM, для отслеживания статистики по заданию. Клиентское программное обеспечение обновлено для работы с ядрами Linux до версии 3.0.

Lustre 2.4, выпущенный в мае 2013 года, добавил значительное количество основных функций, многие из которых финансируются напрямую через OpenSFS . Распределенная среда пространства имен (DNE) позволяет горизонтально масштабировать емкость метаданных и производительность для клиентов 2.4, позволяя размещать деревья подкаталогов одного пространства имен на отдельных MDT. ZFS теперь можно использовать в качестве резервной файловой системы для хранилища MDT и OST. Функция LFSCK добавила возможность сканировать и проверять внутреннюю согласованность атрибутов MDT FID и LinkEA. Планировщик сетевых запросов [47] [48](NRS) добавляет политики для оптимизации обработки клиентских запросов для упорядочения или справедливости дисков. Клиенты могут дополнительно отправлять массовые RPC размером до 4 МБ. Клиентское программное обеспечение было обновлено для работы с ядрами Linux до версии 3.6, и оно по-прежнему совместимо с клиентами 1.8.

В Lustre 2.5, выпущенном в октябре 2013 года, добавлена ​​долгожданная функция Hierarchical Storage Management (HSM). HSM является основным требованием в корпоративных средах и позволяет клиентам легко внедрять многоуровневые решения для хранения данных в своей операционной среде. Этот выпуск является текущим ответвлением Lustre, предназначенным для обслуживания OpenSFS. [49] [50] [51] [52] Самая последняя техническая версия - 2.5.3, выпущенная в сентябре 2014 года. [53]

Lustre 2.6, выпущенный в июле 2014 года [54], был более скромной функцией выпуска, добавляя функциональность LFSCK для выполнения локальной проверки согласованности OST, а также проверки согласованности между объектами MDT и OST. Была добавлена ​​политика фильтра корзины токенов NRS [55] (TBF). Производительность ввода-вывода для одного клиента была улучшена по сравнению с предыдущими выпусками. [56] В этом выпуске также была добавлена ​​предварительная версия чередующихся каталогов DNE, позволяющая хранить отдельные большие каталоги на нескольких MDT для повышения производительности и масштабируемости.

Lustre 2.7, выпущенный в марте 2015 года, [57] добавил функциональность LFSCK для проверки согласованности DNE удаленных и чередующихся каталогов между несколькими MDT. Dynamic LNet Config добавляет возможность настраивать и изменять сетевые интерфейсы, маршруты и маршрутизаторы LNet во время выполнения. Была добавлена ​​новая оценочная функция для сопоставления UID / GID для клиентов с разными административными доменами, а также улучшена функциональность чередующегося каталога DNE.

Lustre 2.8, выпущенный в марте 2016 г., [58] завершил функцию чередующихся каталогов DNE, включая поддержку переноса каталогов между MDT, а также жесткую ссылку и переименование между MDT . Кроме того, он включал улучшенную поддержку Security-Enhanced Linux ( SELinux ) на клиенте, аутентификацию Kerberos и шифрование RPC по сети, а также улучшения производительности для LFSCK.

Lustre 2.9 был выпущен в декабре 2016 года [59] и включал ряд функций, связанных с безопасностью и производительностью. Вариант безопасности с общим секретным ключом использует тот же механизм GSSAPI , что и Kerberos, для обеспечения проверки подлинности узла клиента и сервера, а также целостности и безопасности сообщений RPC (шифрование). Функция Nodemap позволяет классифицировать клиентские узлы в группы и затем отображать UID / GID для этих клиентов, позволяя удаленно управляемым клиентам прозрачно использовать общую файловую систему, не имея единого набора UID / GID для всех клиентских узлов. Функция монтирования подкаталога позволяет клиентам монтировать подмножество пространства имен файловой системы из MDS. В этом выпуске также добавлена ​​поддержка RPC размером до 16 МБ для более эффективной отправки операций ввода-вывода на диск и добавленыladviseинтерфейс, позволяющий клиентам предоставлять серверам подсказки ввода-вывода для предварительной выборки данных файла в кэш сервера или удаления данных файла из кеша сервера. Была улучшена поддержка указания пулов OST по умолчанию для всей файловой системы и улучшено наследование пулов OST в сочетании с другими параметрами макета файла.

Lustre 2.10 был выпущен в июле 2017 года [60] и имеет ряд значительных улучшений. Функция LNet Multi-Rail (LMR) позволяет связывать несколько сетевых интерфейсов ( InfiniBand , Omni-Path и / или Ethernet ) на клиенте и сервере для увеличения совокупной пропускной способности ввода-вывода. Отдельные файлы могут использовать составные макеты файлов, которые состоят из нескольких компонентов, которые представляют собой области файлов на основе смещения файла, что позволяет использовать различные параметры макета, такие как количество полос, пул / тип хранилища OST и т. Д. Прогрессивный макет файла(PFL) - это первая функция, использующая составные макеты, но эта реализация является гибкой для использования с другими макетами файлов, такими как зеркальное отображение и кодирование со стиранием. Планировщик на стороне сервера NRS Token Bucket Filter (TBF) реализовал новые типы правил, включая планирование типа RPC и возможность указывать несколько параметров, таких как JobID и NID, для сопоставления правил. Были добавлены инструменты для управления снимками файловых систем ZFS файловых систем Lustre, чтобы упростить создание, монтирование и управление снимками MDT и OST ZFS как отдельными точками монтирования Lustre.

Lustre 2.11 был выпущен в апреле 2018 года [61] и содержит две важные новые функции и несколько более мелких функций. Функция резервирования на уровне файлов (FLR) расширяет реализацию 2.10 PFL, добавляя возможность указывать зеркальные макеты файлов для повышения доступности в случае сбоя хранилища или сервера и / или повышения производительности при одновременном чтении. Данные на MDTФункция (DoM) позволяет хранить небольшие (несколько МБ) файлы на MDT, чтобы использовать типичное хранилище RAID-10 на основе флеш-памяти для снижения задержки и уменьшения количества конфликтов ввода-вывода вместо типичного жесткого диска RAID-6, используемого в OST. Кроме того, функция LNet Dynamic Discovery позволяет автоматически настраивать LNet Multi-Rail между одноранговыми узлами, которые совместно используют сеть LNet. Функция LDLM Lock Ahead позволяет соответствующим образом модифицированным приложениям и библиотекам предварительно извлекать блокировки экстентов DLM из OST для файлов, если приложение знает (или прогнозирует), что этот экстент файла будет изменен в ближайшем будущем, что может уменьшить конкуренцию за блокировки для несколько клиентов пишут в один и тот же файл.

Lustre 2.12 был выпущен 21 декабря 2018 г. [62] и был направлен на улучшение удобства использования и стабильности Lustre с улучшением производительности и функциональности функций FLR и DoM, добавленных в Lustre 2.11, а также меньшими изменениями в NRS TBF , HSM и JobStats. Он добавил LNet Network Health, чтобы позволить функции LNet Multi-Rail из Lustre 2.10 лучше обрабатывать сетевые сбои, когда узел имеет несколько сетевых интерфейсов. Ленивый размер на MDT [63](LSOM) позволяет сохранять оценку размера файла на MDT для использования механизмами политик, сканерами файловой системы и другими инструментами управления, которые могут более эффективно принимать решения о файлах без полностью точных размеров файлов или подсчета блоков без необходимости запрашивать OST для этой информации. В этом выпуске также добавлена ​​возможность вручную перезаписывать существующий каталог в нескольких MDT, чтобы разрешить миграцию каталогов с большим количеством файлов для использования емкости и производительности нескольких узлов MDS. Контрольная сумма данных Lustre RPC добавила контрольные суммы интегрированных данных SCSI T10-PI [64] от клиента на уровень блоков ядра, хост-адаптер SCSI и жесткие диски с поддержкой T10 .

Lustre 2.13 был выпущен 5 декабря 2019 г. [65] и добавил новые функции, связанные с производительностью, Постоянный клиентский кэш [66] (PCC), который позволяет напрямую использовать хранилище NVMe и NVRAM на клиентских узлах, сохраняя при этом файлы как часть глобальное пространство имен файловой системы и OST Overstriping [67], который позволяет файлам хранить несколько полос в одном OST, чтобы лучше использовать быстрое оборудование OSS. Кроме того, функциональность LNet Multi-Rail Network Health была улучшена для работы с узлами маршрутизатора LNet RDMA. Функциональность PFL была расширена за счет саморасширяющихся макетов [68](SEL), чтобы позволить файловым компонентам иметь динамический размер, чтобы лучше справляться с флэш-файлами OST, которые могут быть намного меньше, чем дисковые OST в той же файловой системе. Релиз также включал ряд небольших улучшений, таких как балансировка создания удаленных каталогов DNE между MDT, использование Lazy-size-on-MDT для уменьшения накладных расходов на «lfs find», каталоги с 10M файлами на сегмент для ldiskfs и массовый RPC. размеры до 64 МБ. [69]

Lustre 2.14 был выпущен 19 февраля 2021 года [2] и включает в себя три основные функции. Client Data Encryption реализует fscrypt, чтобы разрешить шифрование файловых данных на клиенте перед сетевой передачей и постоянным хранением на OST и MDT. OST Pool Quotas расширяет структуру квот, позволяя назначать и применять квоты на основе пулов хранения OST. Автоматическая перезагрузка DNE теперь может регулировать количество MDT, по которым выполняется чередование большого каталога, на основе пороговых значений размера, определенных администратором, аналогично прогрессивным макетам файлов для каталогов.

Архитектура [ править ]

Файловая система Lustre состоит из трех основных функциональных единиц:

  • Один или несколько узлов серверов метаданных (MDS), которые имеют одно или несколько целевых устройств метаданных (MDT) для каждой файловой системы Lustre, в которой хранятся метаданные пространства имен, такие как имена файлов, каталоги, права доступа и макет файла. Данные MDT хранятся в файловой системе локального диска. Однако, в отличие от блочных распределенных файловых систем, таких как GPFS и PanFS, где сервер метаданных контролирует все распределение блоков, сервер метаданных Lustre участвует только в проверках имени пути и разрешений и не участвует в каких-либо операциях ввода-вывода файлов, избегая узких мест масштабируемости ввода-вывода на сервере метаданных. Возможность иметь несколько MDT в одной файловой системе - это новая функция в Lustre 2.4, которая позволяет поддеревьям каталогов размещаться на вторичных MDT, в то время как 2.7 и более поздние версии позволяют распределять большие отдельные каталоги по нескольким MDT.
  • Один или несколько узлов сервера хранения объектов (OSS), которые хранят данные файлов на одном или нескольких целевых устройствах хранения объектов (OST) . В зависимости от оборудования сервера OSS обычно обслуживает от двух до восьми файлов OST, при этом каждый OST управляет одной файловой системой на локальном диске. Емкость файловой системы Lustre - это сумма возможностей, предоставляемых файлами OST.
  • Клиент (ы), которые получают доступ и используют данные. Lustre предоставляет всем клиентам единое пространство имен для всех файлов и данных в файловой системе, используя стандартную семантику POSIX , и обеспечивает параллельный и согласованный доступ для чтения и записи к файлам в файловой системе.

MDT, OST и клиент могут находиться на одном узле (обычно в целях тестирования), но в типичных производственных установках эти устройства находятся на разных узлах, обменивающихся данными по сети. Каждый MDT и OST могут быть частью только одной файловой системы, хотя на одном узле может быть несколько MDT или OST, которые являются частью разных файловых систем. Уровень Lustre Network (LNet) может использовать несколько типов сетевых соединений, включая встроенные команды InfiniBand , Omni-Path , RoCE и iWARP через OFED , TCP / IP на Ethernet и другие проприетарные сетевые технологии, такие как CrayБлизнецы взаимосвязаны. В Lustre 2.3 и ранее также поддерживались сети Myrinet , Quadrics , Cray SeaStar и RapidArray, но эти сетевые драйверы устарели, когда эти сети больше не были коммерчески доступны, а в Lustre 2.8 поддержка была полностью удалена. Lustre будет использовать преимущества передачи удаленного прямого доступа к памяти ( RDMA ), когда они доступны, для повышения пропускной способности и сокращения использования ЦП.

Хранилище, используемое для резервных файловых систем MDT и OST, обычно предоставляется аппаратными устройствами RAID , хотя будет работать с любыми блочными устройствами. Начиная с Lustre 2.4, MDT и OST могут также использовать ZFS для резервной файловой системы в дополнение к ext4 , что позволяет им эффективно использовать JBOD.хранилище вместо аппаратных RAID-устройств. Серверы Lustre OSS и MDS читают, записывают и изменяют данные в формате, установленном файловой системой резервного копирования, и возвращают эти данные клиентам. Это позволяет Lustre воспользоваться улучшениями и функциями базовой файловой системы, такими как сжатие и контрольные суммы данных в ZFS. У клиентов нет прямого доступа к базовому хранилищу, что гарантирует, что неисправный или злонамеренный клиент не сможет повредить структуру файловой системы.

ОСТ представляет собой специализированную файловая система , которая экспортирует интерфейс для диапазонов байт файла объектов для операций чтения / записи, при степени блокировки , чтобы защитить целостности данных. MDT - это выделенная файловая система, которая хранит inodes, каталоги, POSIX и расширенные атрибуты файлов , управляет разрешениями на доступ к файлам / ACL и сообщает клиентам макет объекта (ов), составляющих каждый обычный файл. MDT и OST в настоящее время используют либо расширенную версию ext4 под названием ldiskfs , либо ZFS / DMU для внутреннего хранилища данных для хранения файлов / объектов [70] с использованием порта ZFS-on-Linux с открытым исходным кодом. [71]

Клиент монтирует файловую систему Lustre локально с драйвером VFS для ядра Linux, который подключает клиента к серверу (-ам). При первоначальном подключении клиенту предоставляется идентификатор файла (FID) для корневого каталога точки монтирования. Когда клиент обращается к файлу, он выполняет поиск имени файла в MDS . Когда поиск имени файла MDS завершен и пользователь и клиент имеют разрешение на доступ и / или создание файла, либо макет существующего файла возвращается клиенту, либо новый файл создается от имени клиента, если требуется. Для операций чтения или записи клиент затем интерпретирует макет файла на уровне тома логических объектов (LOV) , которыйсопоставляет логическое смещение и размер файла с одним или несколькими объектами . Затем клиент блокирует обрабатываемый диапазон файлов и выполняет одну или несколько параллельных операций чтения или записи непосредственно на узлах OSS, которые содержат объекты данных. При таком подходе устраняются узкие места для связи между клиентом и OSS, поэтому общая пропускная способность, доступная клиентам для чтения и записи данных, почти линейно масштабируется с количеством OST в файловой системе.

После первоначального поиска макета файла MDS обычно не участвует в операциях ввода-вывода файлов, поскольку все распределение блоков и ввод-вывод данных управляется внутренне OST. Клиенты не изменяют напрямую объекты или данные в файловых системах OST, а вместо этого делегируют эту задачу узлам OSS. Такой подход обеспечивает масштабируемость для крупномасштабных кластеров и суперкомпьютеров, а также повышает безопасность и надежность. Напротив, общие файловые системы на основе блоков, такие как GPFS и OCFS, обеспечивают прямой доступ к базовому хранилищу для всех клиентов файловой системы, что требует большого внутреннего SAN, подключенного ко всем клиентам, и увеличивает риск повреждения файловой системы из-за плохо себя ведут / некачественные клиенты.

Реализация [ править ]

В типичной установке Lustre на клиенте Linux модуль драйвера файловой системы Lustre загружается в ядро, и файловая система монтируется как любая другая локальная или сетевая файловая система. Клиентские приложения видят единую унифицированную файловую систему, даже если она может состоять из десятков и тысяч отдельных серверов и файловых систем MDT / OST.

В некоторых установках с массовым параллельным процессором (MPP) вычислительные процессоры могут получить доступ к файловой системе Lustre, перенаправляя свои запросы ввода-вывода на выделенный узел ввода-вывода, настроенный как клиент Lustre. Этот подход используется в Blue Gene установки [72] в Ливерморской национальной лаборатории .

Другой подход, использованный в первые годы существования Lustre, - это библиотека liblustre на Cray XT3 с использованием операционной системы Catamount в таких системах, как Sandia Red Storm , [73]который предоставил приложениям пользовательского пространства прямой доступ к файловой системе. Liblustre была библиотекой пользовательского уровня, которая позволяет вычислительным процессорам монтировать и использовать файловую систему Lustre в качестве клиента. Используя liblustre, вычислительные процессоры могли получить доступ к файловой системе Lustre, даже если сервисный узел, на котором было запущено задание, не является клиентом Linux. Liblustre позволяет перемещать данные напрямую между пространством приложения и OSS Lustre, не требуя промежуточного копирования данных через ядро, тем самым обеспечивая доступ вычислительных процессоров к файловой системе Lustre непосредственно в ограниченной операционной среде. Функциональность liblustre была удалена из Lustre 2.7.0 после того, как была отключена с Lustre 2.6.0, и не тестировалась с Lustre 2.3.0.

В Linux Kernel версии 4.18 неполный порт клиента Lustre был удален из промежуточной области ядра, чтобы ускорить разработку и перенос на новые ядра. [74] Нестандартные клиент и сервер Lustre по-прежнему доступны для ядер дистрибутивов RHEL, SLES и Ubuntu, а также для ванильных ядер.

Объекты данных и чередование файлов [ править ]

В традиционной дисковой файловой системе Unix структура данных inode содержит основную информацию о каждом файле, например, где хранятся данные, содержащиеся в файле. Файловая система Lustre также использует inodes, но inodes на MDT указывают на один или несколько объектов OST, связанных с файлом, а не на блоки данных. Эти объекты реализованы в виде файлов на OST. Когда клиент открывает файл, операция открытия файла передает набор идентификаторов объектов и их макет от MDS к клиенту, так что клиент может напрямую взаимодействовать с узлом OSS, где хранится объект. Это позволяет клиенту выполнять ввод-вывод параллельно для всех объектов OST в файле без дальнейшего взаимодействия с MDS.

Если только один объект OST связан с индексным дескриптором MDT, этот объект содержит все данные в файле Lustre. Когда с файлом связано более одного объекта, данные в файле «распределяются» по кускам циклическим способом по объектам OST, как в RAID 0.кусками обычно 1 МБ или больше. Распределение файла по нескольким объектам OST дает значительные преимущества в производительности, если требуется доступ с высокой пропускной способностью к одному большому файлу. Когда используется чередование, максимальный размер файла не ограничивается размером отдельной цели. Емкость и совокупная пропускная способность ввода-вывода масштабируются в зависимости от количества файлов OST, которые чередуются с файлом. Кроме того, поскольку блокировка каждого объекта управляется независимо для каждого OST, добавление дополнительных полос (по одной на OST) пропорционально масштабирует блокирующую способность файлового ввода-вывода. Каждый файл, созданный в файловой системе, может указывать различные параметры макета, такие как количество полос (количество объектов OST, составляющих этот файл), размер полосы (единица данных, сохраняемых в каждом OST перед переходом к следующему) и выбор OST, поэтому что производительность и емкость можно оптимально настроить для каждого файла.Когда многие потоки приложения читают или записывают в отдельные файлы параллельно, оптимально иметь одну полосу для каждого файла, поскольку приложение обеспечивает собственный параллелизм. Когда существует много потоков, которые одновременно читают или записывают один большой файл, тогда оптимально иметь одну полосу на каждом OST, чтобы максимизировать производительность и емкость этого файла.

В выпуске Lustre 2.10 была добавлена возможность указывать составные макеты, чтобы файлы могли иметь разные параметры макета для разных областей файла. Функция прогрессивного макета файла (PFL) использует составные макеты для повышения производительности ввода-вывода файлов в более широком диапазоне рабочих нагрузок, а также для упрощения использования и администрирования. Например, небольшой файл PFL может иметь одну полосу на флэш-памяти для снижения накладных расходов на доступ, в то время как большие файлы могут иметь много полос для высокой совокупной пропускной способности и лучшей балансировки нагрузки OST. Составные макеты дополнительно улучшены в версии 2.11 с помощью функции избыточности на уровне файлов (FLR), которая позволяет файлу иметь несколько перекрывающихся макетов для файла, обеспечивая RAID 0 + 1.избыточность для этих файлов, а также улучшенная производительность чтения. В выпуске Lustre 2.11 также добавлена функция Data-on-Metadata (DoM), которая позволяет сохранять первый компонент PFL-файла непосредственно на MDT с индексным дескриптором. Это снижает накладные расходы на доступ к небольшим файлам, как с точки зрения использования пространства (объект OST не требуется), так и использования сети (для доступа к данным требуется меньше RPC). DoM также улучшает производительность для небольших файлов, если MDT основан на SSD , а OST - на диске. В Lustre 2.13 функция OST Overstriping позволяет одному компоненту иметь несколько полос на одном OST, в то время как саморасширяющийся макет Функция позволяет динамическому размеру компонента во время записи, чтобы он мог справиться с (flash) OST, исчерпывающим пространство, прежде чем вся файловая система иссякнет.

Объекты метаданных и удаленные или чередующиеся каталоги DNE [ править ]

Когда клиент изначально монтирует файловую систему, ему предоставляется 128-битный идентификатор файла блеска (FID, состоящий из 64-битного порядкового номера, 32-битного идентификатора объекта и 32-битной версии) корневого каталога для точки монтирования. При поиске имени файла клиент выполняет поиск каждого компонента имени пути путем сопоставления порядкового номера FID родительского каталога с конкретным MDT через базу данных местоположения FID (FLDB), а затем выполняет поиск в MDS, управляя этим MDT с помощью родительского FID и имя файла. MDS вернет FID для запрошенного компонента имени пути вместе с DLM.замок. Как только MDT последнего родительского каталога определен, дальнейшие операции с каталогом (для каталогов без чередования) выполняются исключительно на этом MDT, избегая конфликтов между MDT. Для чередующихся каталогов DNE макет каталога, хранящийся в родительском каталоге, предоставляет хэш-функцию и список FID каталогов MDT, по которым этот каталог распределяется. Logical Volume Metadata (LMV) на клиенте хеши имени файла и отображает его в каталоге конкретной MDT осколок , который будет обрабатывать дальнейшие операции над этим файлом идентичным образом к не-полосатому каталогу. Для readdir () операции, записи из каждого сегмента каталога возвращаются клиенту, отсортированные в порядке хеширования локального каталога MDT, и клиент выполняет сортировку слиянием, чтобы чередовать имена файлов в порядке хеширования, чтобы можно было использовать один 64-битный файл cookie для определения текущее смещение в каталоге.

Блокировка [ править ]

Диспетчер распределенных блокировок Lustre (LDLM), реализованный в стиле OpenVMS , защищает целостность данных и метаданных каждого файла. Доступ и изменение файла Lustre полностью согласованы с кешем для всех клиентов. Блокировкой метаданных управляет MDT, который хранит индексный дескриптор файла, используя FID в качестве имени ресурса. Блокировки метаданных разделены на отдельные биты, которые защищают поиск файла (владелец и группа файла, разрешение и режим и список управления доступом (ACL)), состояние inode (размер каталога, содержимое каталога, количество ссылок, временные метки). ), макет (чередование файлов, начиная с Lustre 2.4) и расширенные атрибуты(xattrs, начиная с Lustre 2.5). Клиент может получить несколько битов блокировки метаданных для одного индексного дескриптора с помощью одного запроса RPC, но в настоящее время им предоставляется только блокировка чтения для этого индексного дескриптора. MDS управляет всеми модификациями индексного дескриптора, чтобы избежать конфликта за ресурсы блокировки, и в настоящее время является единственным узлом, который получает блокировку записи на индексные дескрипторы.

Замки данных файла управляются ОСТ , на котором каждый объект файла полосатой, используя байт дальности экстентов блокировки. Клиентам могут быть предоставлены перекрывающиеся блокировки экстентов чтения для части или всего файла, позволяющие нескольким одновременным читателям одного и того же файла, и / или неперекрывающиеся блокировки экстентов записи для независимых областей файла. Это позволяет многим клиентам Lustre одновременно обращаться к одному файлу как для чтения, так и для записи, избегая узких мест во время файлового ввода-вывода. На практике, поскольку клиенты Linux управляют своим кешем данных в единицах страниц, клиенты будут запрашивать блокировки, которые всегда являются целым числом, кратным размеру страницы (4096 байт для большинства клиентов). Когда клиент запрашивает блокировку экстента, OST может предоставить блокировку большего размера, чем первоначально запрашивалось, чтобы уменьшить количество запросов блокировки, которые делает клиент. Фактический размер предоставленной блокировки зависит от нескольких факторов, включая количество предоставленных в настоящее время блокировок для этого объекта, наличие конфликтующих блокировок записи для запрошенной степени блокировки и количество ожидающих запросов блокировки для этого объекта. Предоставленная блокировка никогда не бывает меньше первоначально запрошенной степени. Блокировки экстентов OST используют Lustre FID объекта в качестве имени ресурса для блокировки. Поскольку количество серверов блокировки экстентов масштабируется вместе с количеством файлов OST в файловой системе,это также масштабирует совокупную производительность блокировки файловой системы и одного файла, если он распределен по нескольким OST.

Сеть [ править ]

Связь между клиентами и серверами Lustre реализована с использованием сети Lustre Networking (LNet), которая изначально была основана на интерфейсе прикладного программирования сетевого программирования Sandia Portals . Дисковое хранилище подключается к серверным узлам Lustre MDS и OSS с помощью хранилища с прямым подключением ( SAS , FC , iSCSI ) или традиционных сетей хранения данных (SAN), которые не зависят от сети клиент-сервер.

LNet может использовать многие часто используемые типы сетей, такие как сети InfiniBand и TCP (обычно Ethernet ), и обеспечивает одновременную доступность в нескольких типах сетей с маршрутизацией между ними. Удаленный прямой доступ к памяти (RDMA) используется для передачи данных и метаданных между узлами, если они предоставляются базовыми сетями, такими как InfiniBand, RoCE , iWARP и Omni-Path , а также проприетарными высокоскоростными сетями, такими как Cray Aries и Gemini. , и Atos BXI. Функции высокой доступности и восстановления обеспечивают прозрачное восстановление в сочетании с отказоустойчивыми серверами.

Начиная с Lustre 2.10 функция LNet Multi-Rail (MR) [75] позволяет объединять два или более сетевых интерфейса между клиентом и сервером для увеличения пропускной способности. Типы интерфейса LNet не обязательно должны быть одного и того же типа сети. В 2.12 Multi-Rail был улучшен для повышения отказоустойчивости, если между одноранговыми узлами доступно несколько сетевых интерфейсов.

LNet обеспечивает сквозную пропускную способность в сетях Gigabit Ethernet, превышающую 100 МБ / с [76], пропускную способность до 11 ГБ / с при использовании каналов с повышенной скоростью передачи данных (EDR) InfiniBand и пропускную способность более 11 ГБ / с на 100 гигабитах. Интерфейсы Ethernet . [77]

Высокая доступность [ править ]

Функции обеспечения высокой доступности файловой системы Lustre включают надежный механизм аварийного переключения и восстановления, который делает сбои и перезагрузки серверов прозрачными. Совместимость версий между последовательными второстепенными версиями программного обеспечения Lustre позволяет обновить сервер, переведя его в автономный режим (или переключив его на резервный сервер), выполнив обновление и перезапустив его, в то время как все активные задания продолжают выполняться с задержкой в то время как сервер резервного копирования берет на себя хранение.

Lustre MDS настроены как активная / пассивная пара, экспортирующая один MDT, или одна или несколько пар активных / активных MDS с DNE, экспортирующими два или более отдельных MDT, в то время как OSS обычно развертываются в активной / активной конфигурации, экспортирующей отдельные OST для обеспечения избыточности без дополнительных системных накладных расходов. В файловых системах с одним MDT резервный MDS для одной файловой системы является MGS и / или узлом мониторинга или активным MDS для другой файловой системы, поэтому в кластере нет свободных узлов.

HSM (иерархическое управление хранилищем) [ править ]

Lustre предоставляет возможность иметь несколько уровней хранения в одном пространстве имен файловой системы. Он позволяет традиционным функциям HSM копировать (архивировать) файлы из первичной файловой системы на вторичный уровень архивного хранилища. Уровень архива, как правило, представляет собой ленточную систему, на которую часто выходит дисковый кеш. После того, как файл заархивирован, его можно освободить из основной файловой системы, оставив только заглушку, которая ссылается на архивную копию. Если выпущенный файл открывается, Координатор блокирует открытие, отправляет запрос на восстановление в инструмент копирования, а затем завершает открытие после того, как инструмент копирования завершил восстановление файла.

Помимо многоуровневого хранения внешнего хранилища, в одном пространстве имен файловой системы может быть несколько уровней хранения. OST разных типов (например, HDD и SSD) могут быть объявлены в именованных пулах хранения. Пулы OST могут быть выбраны при указании макетов файлов, а различные пулы могут использоваться в рамках одного макета файла PFL. Файлы можно переносить между уровнями хранения вручную или под управлением механизма политик. Начиная с Lustre 2.11, также можно зеркалировать файл в разные пулы OST с помощью макета файла FLR, например, для предварительной обработки файлов во флэш-памяти для выполнения вычислительной задачи.

HSM включает некоторые дополнительные компоненты Lustre для управления интерфейсом между первичной файловой системой и архивом:

  • Координатор: принимает запросы на архивирование и восстановление и отправляет их узлам агентов.
  • Агент: запускает инструмент копирования для копирования данных из основного хранилища в архив и наоборот.
  • Copytool: обрабатывает движение данных и обновления метаданных. Существуют разные инструменты копирования для взаимодействия с разными архивными системами. Универсальный инструмент копирования POSIX доступен для архивов, которые предоставляют интерфейс, подобный POSIX. Инструменты копирования также доступны для высокопроизводительной системы хранения [78] (HPSS), Tivoli Storage Manager [79] (TSM), Amazon S3 , [80] и Google Drive . [81]
  • Механизм политики: отслеживает журналы изменений файловой системы на предмет новых файлов для архивации, применяет политики для освобождения файлов в зависимости от возраста или использования места и взаимодействует с MDT и координатором. Механизм политик также может запускать такие действия, как миграция, очистка и удаление. Наиболее часто используется политика двигатель RobinHood , но и другие политики двигатели также могут быть использованы.

HSM также определяет новые состояния для файлов, включая: [82]

  • Существовать: некоторая копия, возможно, неполная, существует в HSM.
  • Архив: полная копия существует на стороне архива HSM.
  • Грязный: основная копия файла была изменена и отличается от архивной копии.
  • Выпущено: inode-заглушка существует на MDT, но объекты данных были удалены, и в архиве существует единственная копия.
  • Утеряно: архивная копия файла утеряна и не может быть восстановлена.
  • No Release: файл не должен быть освобожден из файловой системы
  • Без архива: файл не нужно архивировать

Развертывания [ править ]

Lustre используется на многих суперкомпьютерах из TOP500 и на крупных многокластерных сайтах. Шесть из 10 лучших и более 60 из 100 лучших суперкомпьютеров используют файловые системы Lustre. К ним относятся: K компьютер в RIKEN Advanced Институт вычислительных наук, [11] Tianhe-1A в Национальном суперкомпьютерный центр в Тяньцзине, Китай , в Jaguar и Titan в Oak Ridge National Laboratory (ORNL), Blue Waters в университете Иллинойс , и Sequoia and Blue Gene / L atЛиверморская национальная лаборатория имени Лоуренса (LLNL).

Есть также большие файловые системы Блеск на Национальный энергетический научно - исследовательский вычислительный центр , Национальной лаборатории Pacific Northwest , Texas Advanced Computing Center , бразильской Национальной лабораторией научных вычислений , [83] и НАСА [84] в Северной Америке, в Азии , в Токио институте Technology , [85] в Европе в CEA , [86] [87] и многих других.

Коммерческая техническая поддержка [ править ]

Коммерческая техническая поддержка Lustre часто входит в комплект поставки вычислительной системы или аппаратного обеспечения для хранения данных, продаваемых поставщиком. Некоторые поставщики включают Dell , [88] Hewlett-Packard (как масштабируемый файловый ресурс HP StorageWorks, примерно с 2004 по 2008 год), [89] Groupe Bull , Fujitsu . [90] В число поставщиков оборудования для хранения данных с включенной поддержкой Lustre входят Hitachi Data Systems , [91] DataDirect Networks (DDN), [92] NetApp и другие. Также возможно получить программную поддержку файловых систем Lustre от некоторых поставщиков, включая Whamcloud . [93]

Amazon Web Services предлагает Amazon FSx for Lustre [94] - полностью управляемую услугу, позволяющую легко запускать и экономично запускать высокопроизводительные файловые системы в облаке.

См. Также [ править ]

  • Распределенная файловая система
  • Список файловых систем, раздел распределенной параллельной отказоустойчивой файловой системы

Ссылки [ править ]

  1. ^ a b Корбет, Джонатон (17 декабря 2003 г.). "Lustre 1.0 выпущен" . Еженедельные новости Linux . LWN.net . Проверено 15 марта 2015 года .
  2. ^ a b «Версия 2.14.0» . Lustre Wiki . OpenSFS . 19 февраля 2021 . Проверено 19 февраля 2021 года .
  3. ^ "Lustre 2.12.6 выпущен" . Lustre.org . 9 декабря 2020 . Проверено 9 декабря 2020 года .
  4. ^ Oracle Corporation / Intel Corporation (4 августа 2002 г.). «Руководство по эксплуатации программного обеспечения Lustre * версии 2.x» (PDF) . Инструкция по эксплуатации . Intel . Проверено 19 мая 2015 года .
  5. ^ "Блеск дома" . Архивировано из оригинала на 31 марта 2001 года . Проверено 23 сентября 2013 года .
  6. ^ «Файловая система Lustre, версия 2.4 выпущена» . Открытые масштабируемые файловые системы . Проверено 18 октября 2014 .
  7. ^ "Lustre с открытым исходным кодом получает одобрение суперкомпьютеров" . Проверено 18 октября 2014 .
  8. ^ «Xyratex захватывает блеск Oracle» . HPCWire . Проверено 18 октября 2014 .
  9. ^ "Информация о Post-K (Fugaku)" . Fujitsu . Проверено 23 июня 2020 .
  10. ^ «Обзор системы Titan» . Национальная лаборатория Ок-Ридж. Архивировано из оригинала на 2018-02-13 . Проверено 19 сентября 2013 .
  11. ^ a b c Брайан Белендорф. «ZFS для Linux для блеска» (PDF) . Ливерморская национальная лаборатория Лоуренса. Архивировано из оригинального (PDF) 31 октября 2014 года . Проверено 23 июня 2020 .
  12. ^ "Файловая система на уровне центра паука" . Вычислительный центр Oak Ridge Leadership Computing. Архивировано из оригинала на 2016-03-04 . Проверено 2 февраля 2012 .
  13. ^ «Твердый блеск: тенденции масштабируемости и качества» (PDF) . Натан Рутман, Xyratex . Проверено 2 февраля 2012 .
  14. ^ Ван, Тэн; Бына, Сурен; Донг, Бин; Тан, Ходжун (сентябрь 2018 г.). «UniviStor: интегрированное иерархическое и распределенное хранилище для высокопроизводительных вычислений». 2018 IEEE Международная конференция по вычислительной кластерной (Кластер) . IEEE. С. 134–144. DOI : 10,1109 / CLUSTER.2018.00025 . ISBN 978-1-5386-8319-4. S2CID  53235423 .
  15. ^ Luster File System презентации, ноябрь 2007 на YouTube Питер Braam, 10 ноября 2007
  16. ^ Ван, Тэн; Бына, Сурен; Локвуд, Гленн К .; Снайдер, Шейн; Карнс, Филип; Ким, Сунггон; Райт, Николас Дж. (Май 2019 г.). «Подробный анализ журналов ввода-вывода для выявления основных причин узких мест в производительности ввода-вывода». 2019 девятнадцатом IEEE / ACM Международный симпозиум по кластеру, Облако и Grid Computing (CCGRID) . IEEE. С. 102–111. DOI : 10,1109 / CCGRID.2019.00021 . ISBN 978-1-7281-0912-1. S2CID  195832257 .
  17. ^ «Сравнительная характеристика нагрузки ввода-вывода двух кластеров хранения ведущего класса» (PDF) . ACM. Ноя 2015.
  18. ^ Ван, Тэн; Снайдер, Шейн; Локвуд, Гленн; Карнс, Филип; Райт, Николас; Бына, Сурен (декабрь 2018 г.). «IOMiner: крупномасштабная аналитическая платформа для получения знаний из журналов ввода-вывода». 2018 IEEE Международная конференция по вычислительной кластерной (Кластер) . IEEE. С. 466–476. DOI : 10,1109 / CLUSTER.2018.00062 . ISBN 978-1-5386-8319-4. S2CID  53235850 .
  19. ^ Шайни, Субхаш; Рэппли, Джейсон; Чанг, Джонни; Баркер, Дэвид; Мехротра, Пиюш; Бисвас, Рупак (декабрь 2012 г.). "Характеристики производительности ввода-вывода приложений Lustre и НАСА на Плеядах". 2012 19-я Международная конференция по высокопроизводительным вычислениям . IEEE. С. 1–10. DOI : 10.1109 / HiPC.2012.6507507 . ISBN 978-1-4673-2371-0. S2CID  14323627 .
  20. ^ "Компания" . старый веб-сайт . Cluster File Systems, Inc. Архивировано 12 августа 2007 года.CS1 maint: bot: original URL status unknown (link)
  21. ↑ Питер Дж. Браам (4 августа 2002 г.). "Блеск, Межгалактическая файловая система" (PDF) . Презентационные слайды . Ливерморская национальная лаборатория Лоуренса . Проверено 23 сентября 2013 года .
  22. ↑ Р. Кент Кенингер (июнь 2003 г.). «Ультра-масштабируемая файловая система HPTC Lustre» (PDF) . Слайды для презентации на Cluster World 2003 . Проверено 23 сентября 2013 года .
  23. ^ Бритта Wülfing (13 сентября 2007). "Солнце ассимилирует файловую систему блеска" . Журнал Linux . Проверено 23 сентября 2013 года .
  24. ^ «Sun Microsystems расширяет портфель высокопроизводительных вычислений с окончательным соглашением о приобретении активов кластерных файловых систем, включая файловую систему Lustre» . Пресс-релиз . Sun Microsystems. 12 сентября, 2007. Архивировано из оригинального 2 -го октября 2007 года . Проверено 23 сентября 2013 года .
  25. ^ "Оракул выбил блеск к обочине" . Внутри HPC. 2011-01-10.
  26. ^ J. Leidel (20 августа 2010). «Whamcloud стремится обеспечить будущее Lustre в области высокопроизводительных вычислений» . Внутри HPC . Проверено 23 сентября 2013 года .
  27. ^ a b «Xyratex продвигает инициативу Lustre®, принимает на себя права собственности на связанные активы» . Пресс-релиз . Ксиратекс. 19 февраля 2013 г. Архивировано из оригинала 7 сентября 2016 года . Проверено 18 сентября 2013 года .
  28. ↑ Rich Brueckner (9 ноября 2010 г.). "Боянич и Браам снова объединяют блеск группы в Xyratex" . Внутри HPC . Проверено 23 сентября 2013 года .
  29. ↑ Рич Брюкнер (4 января 2011 г.). «Посохи Whamcloud для более яркого блеска» . Внутри HPC . Проверено 18 сентября 2013 года .
  30. ^ «Whamcloud подписывает многолетний контракт на разработку Lustre с OpenSFS» . Пресс-релиз . Провод HPC. 16 августа 2011 года Архивировано из оригинального 25 -го января 2013 года . Проверено 23 сентября 2013 года .
  31. ↑ Гален Шипман (18 ноября 2011 г.). «Обновление OpenSFS» (PDF) . Слайды для презентации Supercomputing 2011 . Открытые масштабируемые файловые системы . Проверено 23 сентября 2013 года .
  32. ^ Whamcloud (15 ноября 2011). «OpenSFS и Whamcloud подписывают соглашение о разработке дерева сообщества Lustre» . Пресс-релиз . Проверено 23 сентября 2013 года .
  33. ↑ Джоаб Джексон (16.07.2012). «Intel покупает поставщика глянцевых материалов Whamcloud» . Мир ПК.
  34. ^ Тимоти Прикетт Морган (2012-07-16). "Intel пожирает Whamcloud эксперта по файловой системе Lustre" . Реестр.
  35. ^ Тимоти Прикетт Морган (2012-07-11). «Министерство энергетики раздает AMD и Whamcloud денежные средства для проведения исследований в области масштабных масштабов» . Реестр.
  36. ^ Николь Hemsoth (12 июня 2013). «Intel прокладывает себе дорогу для блеска» . Провод HPC . Проверено 23 сентября 2013 года .
  37. ^ Брюкнер, Рич. «С новым запросом предложений OpenSFS инвестирует в важнейшие технологии с открытым исходным кодом для высокопроизводительных вычислений» . внутриHPC . Проверено 1 октября 2013 года .
  38. ^ «Seagate возвращает Lustre.org сообществу пользователей» . Проверено 9 сентября 2014 года .
  39. ↑ Дэниел Робинсон (27 июня 2018 г.). «DDN вдыхает новую жизнь в файловую систему Lustre» .
  40. ^ «Торговая марка Lustre передана сообществу пользователей» . ВнутриHPC. 24 ноября 2019 . Проверено 5 декабря 2019 года .
  41. ^ «Глянец помогает третьему быстрейшему суперкомпьютеру мощности» . DSStar. Архивировано из оригинала на 2013-02-03.
  42. ^ "MCR Linux Cluster Xeon 2.4 GHz - Quadrics" . Top500.Org.
  43. ^ Питер Bojanic (15 июня 2008). «Дорожная карта блеска и планы на будущее» (PDF) . Презентация консорциуму Sun HPC . Sun Microsystems . Проверено 23 сентября 2013 года .
  44. ^ «OpenSFS объявляет о совместных усилиях по поддержке распространения Lustre 2.1 в сообществе» . Открытые масштабируемые файловые системы. 8 февраля 2011 года Архивировано из оригинального 23 мая 2011 года . Проверено 13 декабря 2016 года .
  45. ^ "Lustre 2.1 выпущен" . Проверено 2 февраля 2012 .
  46. ^ "Lustre 2.2 выпущен" . Yahoo! Финансы . Проверено 8 мая 2012 .
  47. ^ «Новый планировщик сетевых запросов для крупномасштабной системы хранения данных» (PDF) . Lustre Wiki . OpenSFS . Июнь 2009 г.
  48. ^ «Новый планировщик сетевых запросов для крупномасштабной системы хранения данных» . Lustre Wiki . OpenSFS . Июнь 2009 г.
  49. ^ Прикетт Морган, Тимоти. «OpenSFS объявляет о доступности Lustre 2.5» . EnterpriseTech.
  50. ^ Брюкнер, Рич. «Видео: новый выпуск Lustre 2.5 предлагает возможности HSM» . Внутри больших данных . Проверено 11 декабря 2013 года .
  51. ^ Хемсот, Николь. «Lustre получает обновление бизнес-класса с помощью HSM» . HPCwire. Архивировано из оригинала 17 декабря 2013 года . Проверено 11 декабря 2013 года .
  52. ^ "Глянец 2.5" . Мир научных вычислений . Проверено 11 декабря 2013 года .
  53. ↑ Джонс, Питер (9 сентября 2014 г.). «Вышел Lustre 2.5.3» . Архив рассылки HPDD-обсуждения . Проверено 21 октября 2014 года .Морроне, Крис (7 декабря 2015 г.). «Терминология устаревшего выпуска» . Lustre Wiki . Проверено 18 января, 2016 .
  54. ^ "Lustre 2.6.0 выпущен" . Архив рассылки HPDD-обсуждения . 30 июля 2014 . Проверено 21 октября 2014 года .
  55. ^ Ихары, Шуичи (2014-10-14). «Lustre QoS на основе политики NRS фильтра Token Bucket Filter» (PDF) .
  56. ^ Уселтон, Эндрю. «Демонстрация улучшения производительности клиента Single Lustre с версии 1.8 до версии 2.6» (PDF) . Проверено 18 октября 2014 .
  57. ↑ Джонс, Питер (13 марта 2015 г.). «Вышел Lustre 2.7.0» . Архив рассылки HPDD-обсуждения . Проверено 15 марта 2015 года .
  58. ↑ Джонс, Питер (16 марта 2016 г.). "Вышел Lustre 2.8.0" . Архив рассылки Lustre-announce . OpenSFS . Проверено 28 марта 2016 года .
  59. ^ "Lustre 2.9.0 Список изменений" . Lustre Wiki . OpenSFS . 7 декабря 2016 . Проверено 8 декабря 2016 года .
  60. ^ "Список изменений Lustre 2.10.0" . Lustre Wiki . OpenSFS . 13 июля 2017 . Проверено 3 октября 2017 года .
  61. ^ "Выпуск 2.11.0" . Lustre Wiki . OpenSFS . 3 апреля 2018 . Проверено 4 апреля 2018 года .
  62. ^ "Выпуск 2.12.0" . Lustre Wiki . OpenSFS . 21 декабря 2018 . Проверено 11 февраля 2019 года .
  63. ↑ Ли Си, DDN (июнь 2018 г.). «Ленивый размер на MDS» (PDF) . Lustre Wiki . Проверено 5 декабря 2019 года .
  64. ^ Shuichi Ихары, DDN (июнь 2018). «T10PI End-to-End Data Integrity Protection for Lustre» (PDF) . Lustre Wiki . Проверено 5 декабря 2019 года .
  65. ^ "Выпуск 2.13.0" . Lustre Wiki . OpenSFS . 5 декабря 2019 . Проверено 5 декабря 2019 года .
  66. ↑ Ли Си, Whamcloud (июнь 2018 г.). «Постоянный клиентский кэш Lustre» (PDF) . Lustre Wiki . Проверено 5 декабря 2019 года .
  67. ↑ Патрик Фаррелл, Whamcloud (апрель 2019 г.). «Overstriping: извлечение максимальной производительности совместно используемых файлов» (PDF) . Lustre Wiki . Проверено 5 декабря 2019 года .
  68. ↑ Патрик Фаррелл, Крей (15 марта 2019 г.). «Переливное пространство: самораспространяющиеся макеты HLD» (PDF) . Проверено 5 декабря 2019 года .
  69. ^ "Lustre 2.13.0 Список изменений" . Lustre Wiki . 5 декабря 2019.
  70. ^ «Блеск для работы на ZFS» . Правительственные компьютерные новости. 2008-10-26.
  71. ^ "ZFS на гляне" . 2011-05-10. Архивировано из оригинала на 2011-12-05 . Проверено 25 ноября 2011 .
  72. ^ «DataDirect выбран в качестве технологии хранения данных, обеспечивающей поддержку BlueGene / L» . Провод HPC . 15 октября, 2004. Архивировано из оригинального 14 июня 2013 года . Проверено 9 мая 2012 года .
  73. ^ Сюзанна М. Келли (2006). «Архитектура программного обеспечения Catamount с двухъядерными расширениями» (PDF) . Проверено 16 февраля 2016 .
  74. ^ «Примечания к выпуску ядра Linux 4.18rc1» .
  75. ^ Шехата, Амир. "Multi-Rail LNet для глянца" (PDF) . Группа пользователей Lustre, апрель 2016 г.
  76. ^ Лафукриер, Жак-Шарль. «Опыт работы с блеском в CEA / DIF» (PDF) . HEPiX Forum, апрель 2007. Архивировано из оригинала (PDF) на 2012-02-08.
  77. Рианна Колдуэлл, Блейн (9 марта 2016 г.). "Lustre Networking Technologies: Ethernet против Infiniband" (PDF) . Центр передового опыта OLCF Lustre . Проверено 6 декабря 2019 года .
  78. ^ Aurélien DEGREMONT (17 сентября 2013). "ПРИВЯЗКА LUSTER / HSM ЕСТЬ!" (PDF) .
  79. ^ Томас Stibor (20 сентября 2016). "TSM Copytool для Lustre HSM" (PDF) .
  80. ↑ Роберт Рид (24 марта 2015 г.). «Блеск HSM в облаке» (PDF) .
  81. ^ Стефан Тиель. "Инструмент для копирования блеска / HSM Google Диска" .
  82. ^ Орелиен Дегремон; Томас Лейбовичи (16 апреля 2009 г.). «Проект Lustre HSM - расширенные семинары для пользователей Lustre» (PDF) . Архивировано 25 мая 2010 г. (PDF) . Проверено 5 мая 2018 года .
  83. ^ «LNCC - Национальная лаборатория вычислительной техники» . Lncc.br . Проверено 27 мая 2015 .
  84. ^ "Суперкомпьютер Pleiades" . www.nas.nasa.gov. 2008-08-18.
  85. ^ «Список TOP500 - ноябрь 2006 г.» . TOP500.Org.
  86. ^ «Список TOP500 - июнь 2006 г.» . TOP500.Org.
  87. ^ "Французская группа по атомной энергии расширяет файловую систему HPC до 11 петабайт" . HPCwire.com. 2012-06-15. Архивировано из оригинала на 2012-02-04 . Проверено 15 июня 2012 .
  88. ^ "Решения Dell HPC" . 2015-04-14.
  89. ^ «Масштабируемый файловый ресурс HP StorageWorks» . Hewlett Packard. Архивировано из оригинала на 12 июня 2008 года . Проверено 13 декабря 2016 года .
  90. ^ "Fujitsu выпускает самую высокопроизводительную файловую систему в мире - программное обеспечение масштабируемой файловой системы FEFS для передовых кластерных систем x86 HPC" . 2015-06-13.
  91. ^ "Решения для хранения данных с высокой пропускной способностью с блеском" . 2015-04-14.
  92. ^ «Exascaler: Масштабируемое, высокопроизводительное устройство файловой системы с блеском» . 2015-04-14.
  93. ^ «Поддержка блеска» . 2018-11-27.
  94. ^ «Amazon FSx для блеска» . 2019-06-11.

Внешние ссылки [ править ]

  • Официальный веб-сайт

Информационные вики [ править ]

  • Вики Сообщества Lustre
  • Lustre (DDN) вики
  • Lustre (OpenSFS) вики

Фонды местных сообществ [ править ]

  • OpenSFS
  • EOFS - Европейская открытая файловая система

Поставщики оборудования и программного обеспечения [ править ]

  • Сети DataDirect (DDN)
  • Hewlett Packard Enterprise / Cray (включая бывших сотрудников Xyratex [1] )
  • NetApp
  • Aeon Computing
  1. ↑ Черный, Дуг. «Cray движется к приобретению линейки Seagate ClusterStor» . HPCWire . HPCWire . Проверено 1 декабря 2017 .