Из Википедии, свободной энциклопедии
Перейти к навигации Перейти к поиску
Не путать с кластером данных .
Сюда перенаправляются "Сетевая файловая система" и "Параллельная файловая система". Для протокола Sun NFS см. Сетевая файловая система .

Кластерная файловая система является файловой системой , которая разделяет будучи одновременно установлены на нескольких серверах . Существует несколько подходов к кластеризации , в большинстве из которых не используется кластерная файловая система (только хранилище с прямым подключением для каждого узла). Кластерные файловые системы могут предоставлять такие функции, как независимая от местоположения адресация и избыточность, которые повышают надежность или снижают сложность других частей кластера. Параллельные файловые системы - это тип кластерной файловой системы, которая распределяет данные по нескольким узлам хранения, обычно для обеспечения избыточности или производительности. [1]

Файловая система общего диска [ править ]

Файл разделяемого диска система использует сеть хранения данных (SAN) , чтобы позволить нескольким компьютерам , чтобы получить прямой доступ к диску на уровне блоков . Управление доступом и преобразование операций уровня файлов, используемых приложениями, в операции уровня блоков, используемые SAN, должны происходить на клиентском узле. Наиболее распространенный тип кластеризованной файловой системы, файловая система с общим диском - за счет добавления механизмов контроля параллелизма - обеспечивает согласованное и сериализуемое представление файловой системы, предотвращая повреждение и непреднамеренную потерю данных, даже когда несколько клиентов пытаются получить доступ к одним и тем же файлам в то же время. Файловые системы с общими дисками обычно используют своего рода ограждение механизм для предотвращения повреждения данных в случае сбоев узла, поскольку незащищенное устройство может вызвать повреждение данных, если оно теряет связь со своими родственными узлами и пытается получить доступ к той же информации, к которой обращаются другие узлы.

Базовая сеть хранения данных может использовать любой из ряда протоколов блочного уровня, включая SCSI , iSCSI , HyperSCSI , ATA через Ethernet (AoE), Fibre Channel , сетевое блочное устройство и InfiniBand .

Существуют разные архитектурные подходы к файловой системе с общим диском. Некоторые распространяют информацию о файлах по всем серверам в кластере (полностью распределены). [2]

Примеры [ править ]

  • Кластерная файловая система Blue Whale (BWFS)
  • Кластерная файловая система Silicon Graphics (SGI) ( CXFS )
  • Кластерная файловая система Veritas
  • Общие тома кластера Microsoft (CSV)
  • DataPlow Nasan File System
  • Общая параллельная файловая система IBM (GPFS)
  • Кластерная файловая система Oracle (OCFS)
  • Файловая система OpenVMS Files-11
  • Решения для хранения данных PolyServe
  • Файловая система Quantum StorNext (SNFS), бывшая ADIC, бывшая файловая система CentraVision (CVFS)
  • Глобальная файловая система Red Hat (GFS2)
  • Вс QFS
  • TerraScale Technologies TerraFS
  • Veritas CFS (Cluster FS: Clustered VxFS)
  • Версии VSM (SAM-QFS портирован на Linux), ScoutFS
  • VMware VMFS
  • WekaFS
  • Яблочный Xsan

Распределенные файловые системы [ править ]

Распределенные файловые системы не используют общий доступ на уровне блоков к одному и тому же хранилищу, но используют сетевой протокол . [3] [4] Они широко известны как сетевые файловые системы , хотя они не единственные файловые системы, которые используют сеть для отправки данных. [5] Распределенные файловые системы могут ограничивать доступ к файловой системе в зависимости от списков доступа или возможностей как серверов, так и клиентов, в зависимости от того, как разработан протокол.

Разница между распределенной файловой системой и распределенным хранилищем данных заключается в том, что распределенная файловая система позволяет доступ к файлам с использованием тех же интерфейсов и семантики, что и локальные файлы - например, монтирование / размонтирование, перечисление каталогов, чтение / запись на границах байтов, собственная модель разрешений системы. Распределенные хранилища данных, напротив, требуют использования другого API или библиотеки и имеют другую семантику (чаще всего таковую для базы данных). [6]

Цели дизайна [ править ]

Распределенные файловые системы могут стремиться к «прозрачности» во многих аспектах. То есть они стремятся быть «невидимыми» для клиентских программ, которые «видят» систему, аналогичную локальной файловой системе. За кулисами распределенная файловая система занимается поиском файлов, переносом данных и, возможно, предоставлением других функций, перечисленных ниже.

  • Прозрачность доступа : клиенты не знают, что файлы распространяются, и могут обращаться к ним так же, как к локальным файлам.
  • Прозрачность расположения : существует согласованное пространство имен, охватывающее как локальные, так и удаленные файлы. Имя файла не указывает его местонахождение.
  • Прозрачность параллелизма : все клиенты имеют одинаковое представление о состоянии файловой системы. Это означает, что если один процесс изменяет файл, любые другие процессы в той же системе или удаленных системах, которые обращаются к файлам, будут видеть изменения согласованным образом.
  • Прозрачность отказов : клиентские и клиентские программы должны правильно работать после сбоя сервера.
  • Неоднородность : файловая служба должна предоставляться на разных платформах оборудования и операционных систем.
  • Масштабируемость : файловая система должна хорошо работать в небольших средах (1 машина, дюжина машин), а также плавно масштабироваться до более крупных (от сотен до десятков тысяч систем).
  • Прозрачность репликации : клиенты не должны знать о репликации файлов, выполняемой на нескольких серверах, для поддержки масштабируемости.
  • Прозрачность миграции : файлы должны иметь возможность перемещаться между разными серверами без ведома клиента.

История [ править ]

Мультисобственность System Несовместимые используются виртуальные устройства для прозрачного доступа к файловой системе между машиной в 1960 - е годы. В 1970-х годах было разработано больше файловых серверов. В 1976 году Digital Equipment Corporation создала прослушиватель доступа к файлам (FAL), реализацию протокола доступа к данным в рамках фазы II DECnet, которая стала первой широко используемой сетевой файловой системой. В 1985 году Sun Microsystems создала файловую систему под названием « Сетевая файловая система » (NFS), которая стала первой широко используемой сетевой файловой системой на основе Интернет-протокола . [4] Другими известными сетевыми файловыми системами являются файловая система Andrew File System.(AFS), Apple Filing Protocol (AFP), NetWare Core Protocol (NCP) и Server Message Block (SMB), также известный как Common Internet File System (CIFS).

В 1986 году IBM объявила о поддержке клиентской и серверной архитектуры распределенной архитектуры управления данными (DDM) для мэйнфреймов System / 36 , System / 38 и IBM, на которых работает CICS . За этим последовала поддержка IBM Personal Computer , AS / 400 , мэйнфреймов IBM под операционными системами MVS и VSE , а также FlexOS . DDM также стал основой для архитектуры распределенной реляционной базы данных , также известной как DRDA.

Существует множество одноранговых сетевых протоколов для распределенных файловых систем с открытым исходным кодом для облачных или кластерных файловых систем с закрытым исходным кодом, например: 9P , AFS , Coda , CIFS / SMB , DCE / DFS , WekaFS , Lustre , PanFS , Google. Файловая система , Mnet , Chord Project .

Примеры [ править ]

Основная статья: Список распределенных файловых систем
  • Alluxio
  • BeeGFS (Фраунгофер)
  • CephFS (Inktank, Red Hat, SUSE)
  • Распределенная файловая система Windows (DFS) (Microsoft)
  • Infinit (приобретен Docker)
  • GfarmFS
  • GlusterFS (Red Hat)
  • GFS (Google Inc.)
  • HDFS (Фонд программного обеспечения Apache)
  • IPFS
  • гнев
  • JuiceFS (JuiceData)
  • LizardFS (Skytechnology)
  • Блеск
  • MapR FS
  • MooseFS (основная технология / Gemius)
  • ObjectiveFS
  • OneFS (EMC Isilon)
  • OrangeFS (Университет Клемсона, Omnibond Systems), ранее - Параллельная виртуальная файловая система
  • ПанФС (Панасас)
  • Параллельная виртуальная файловая система (Университет Клемсона, Аргоннская национальная лаборатория, Суперкомпьютерный центр Огайо)
  • РозоФС (Розо Системы)
  • Тор (CoreOS)
  • WekaFS (WekaIO)
  • XtreemFS

Сетевое хранилище [ править ]

Основная статья: Сетевое хранилище

Сетевое хранилище (NAS) обеспечивает как хранилище, так и файловую систему, например файловую систему на общем диске поверх сети хранения данных (SAN). NAS обычно использует файловые протоколы (в отличие от блочных протоколов, которые использует SAN), такие как NFS (популярный в системах UNIX ), SMB / CIFS ( блок сообщений сервера / общая файловая система Интернета ) (используется с системами MS Windows). , AFP (используется с компьютерами Apple Macintosh ) или NCP (используется с OES и Novell NetWare ).

Соображения по дизайну [ править ]

Как избежать единой точки отказа [ править ]

Отказ дискового оборудования или данного узла хранения в кластере может создать единую точку отказа, которая может привести к потере или недоступности данных. Отказоустойчивость и высокая доступность могут быть обеспечены за счет репликации данных того или иного типа, так что данные остаются нетронутыми и доступными, несмотря на отказ любого отдельного элемента оборудования. Примеры см. В списках распределенных отказоустойчивых файловых систем и распределенных параллельных отказоустойчивых файловых систем .

Производительность [ править ]

Обычным производительность измерений из кластерной файловой системы является количество времени , необходимого для обслуживания запросов , удовлетворяют. В обычных системах это время складывается из времени доступа к диску и небольшого количества времени обработки ЦП . Но в кластерной файловой системе удаленный доступ имеет дополнительные накладные расходы из-за распределенной структуры. Сюда входит время доставки запроса на сервер, время доставки ответа клиенту и для каждого направления накладные расходы ЦП при запуске программного обеспечения протокола связи .

Параллелизм [ править ]

Управление параллелизмом становится проблемой, когда несколько человек или клиентов обращаются к одному и тому же файлу или блоку и хотят его обновить. Следовательно, обновления файла от одного клиента не должны мешать доступу и обновлениям от других клиентов. Эта проблема более сложна с файловыми системами из-за одновременной записи с перекрытием, когда разные средства записи одновременно записывают в перекрывающиеся области файла. [7] Эта проблема обычно решается с помощью управления параллелизмом или блокировкой, которые могут быть либо встроены в файловую систему, либо обеспечены дополнительным протоколом.

История [ править ]

Мэйнфреймы IBM в 1970-х могли совместно использовать физические диски и файловые системы, если бы каждая машина имела собственное соединение канала с блоками управления накопителями. В 1980 - е годы, Digital Equipment Corporation «s TOPS-20 и OpenVMS кластеры (VAX / ALPHA / IA64) включены общие файловые системы на диске. [8]

См. Также [ править ]

  • Распределенная файловая система
  • Network Attached Storage
  • Сеть хранения данных
  • Общий ресурс
  • Хранилище с прямым подключением
  • Одноранговый обмен файлами
  • Совместное использование диска
  • Распределенное хранилище данных
  • Распределенная файловая система для облака
  • Глобальная файловая система
  • Суслик (протокол)
  • Список распределенных файловых систем
  • CacheFS
  • RAID

Ссылки [ править ]

  1. ^ Сайфи, Амина; Кочхар, Гарима; Се, Дженвэй; Челебиоглу, Онур (май 2005 г.). «Улучшение высокопроизводительных вычислительных кластеров с помощью параллельных файловых систем» (PDF) . Решения Dell Power . Dell Inc . Проверено 6 марта 2019 .
  2. ^ Мокадем, Риад; Литвин, Витольд; Шварц, Томас (2006). «Резервное копирование диска с помощью алгебраических подписей в масштабируемых распределенных структурах данных» (PDF) . DEXA 2006 Springer . Проверено 8 июнь 2 006 .
  3. ^ Зильбершац, Авраам; Галвин, Питер; Гань, Грег (2009). «Основные понятия операционной системы, 8-е издание» (PDF) . Вавилонский университет . John Wiley & Sons, Inc., стр. 705–725 . Проверено 4 марта 2019 .
  4. ^ a b Arpaci-Dusseau, Remzi H .; Арпачи-Дюссо, Андреа К. (2014), Сетевая файловая система Sun (PDF) , Книги Арпачи-Дюссо
  5. ^ Сандберг, Рассел (1986). «Сетевая файловая система Sun: дизайн, реализация и опыт» (PDF) . Труды Летней 1986 Технической конференции и выставки USENIX . Sun Microsystems, Inc . Проверено 6 марта 2019 . NFS был разработан для упрощения совместного использования ресурсов файловой системы в сети неоднородных машин.
  6. ^ Соого Тарек (2008). Достижения в области компьютерных и информационных наук и инженерии . Springer Science & Business Media. С. 423–440.
  7. ^ Pessach, Yaniv (2013). Распределенное хранилище: концепции, алгоритмы и реализации . ISBN 978-1482561043 . 
  8. ^ Мерфи, Дэн (1996). «Истоки и развитие ТОПС-20» . Дэн Мерфи. Амбициозные планы на Юпитер . Проверено 6 марта 2019 . В конечном итоге и VMS, и TOPS-20 предоставляли такую ​​возможность.

Дальнейшее чтение [ править ]

  • Таксономия распределенных систем хранения
  • Таксономия и обзор распределенных файловых систем
  • Обзор распределенных файловых систем
  • Эволюция файловых систем