В вычислениях распределенная файловая система (DFS) или сетевая файловая система - это любая файловая система, которая обеспечивает доступ к файлам с нескольких хостов, совместно используемых через компьютерную сеть . Это позволяет нескольким пользователям на нескольких машинах совместно использовать файлы и ресурсы хранения.
Распределенные файловые системы различаются своей производительностью, изменчивостью содержимого, обработкой одновременных операций записи, обработкой постоянной или временной потери узлов или хранилища и своей политикой хранения содержимого.
Локально управляемый
СОПО
Клиент | Написано в | Лицензия | Доступ к API | Высокая доступность | Осколки | Эффективное резервирование | Гранулярность избыточности | Год первого выпуска | Требования к памяти (ГБ) |
---|---|---|---|---|---|---|---|---|---|
Alluxio (виртуальная распределенная файловая система) | Ява | Лицензия Apache 2.0 | HDFS , FUSE , HTTP / REST , S3 | горячий резерв | Нет | Репликация [1] | Файл [2] | 2013 | |
Ceph | C ++ | LGPL | librados (C, C ++, Python, Ruby), S3 , Swift, FUSE | да | да | Подключаемые коды стирания [3] | Бассейн [4] | 2010 г. | 1 на ТБ хранилища |
Coda | C | GPL | C | да | да | Репликация | Том [5] | 1987 г. | |
GlusterFS | C | GPLv3 | libglusterfs, FUSE , NFS, SMB, Swift, libgfapi | зеркало | да | Рид-Соломон [6] | Том [7] | 2005 г. | |
HDFS | Ява | Лицензия Apache 2.0 | Клиент Java и C, HTTP, FUSE [8] | прозрачный главный отказоустойчивый | Нет | Рид-Соломон [9] | Файл [10] | 2005 г. | |
IPFS | Идти | Apache 2.0 или MIT | HTTP - шлюз , FUSE , Go - клиент , Java - клиент , инструмент командной строки | да | с кластером IPFS | Репликация [11] | Блок [12] | 2015 [13] | |
СокFS | Идти | AGPLv3 | POSIX , ПРЕДОХРАНИТЕЛЬ , HDFS , S3 | да | Нет | Рид-Соломон | Объект | 2021 г. | |
Кертиш-ДФС | Идти | GPLv3 | HTTP (REST), интерфейс командной строки, клиент C #, клиент Go | да | Репликация | 2020 г. | |||
Ящерица | C ++ | GPLv3 | POSIX , FUSE , NFS-Ganesha , Ceph FSAL (через libcephfs) | владелец | Нет | Рид-Соломон [14] | Файл [15] | 2013 | |
Блеск | C | GPLv2 | POSIX , NFS-Ганеша , NFS , SMB | да | да | Без избыточности [16] | Без избыточности [17] | 2003 г. | |
MinIO | Идти | Лицензия Apache 2.0 | AWS S3 API | да | да | Рид-Соломон [18] | Объект [19] | 2014 г. | |
MooseFS | C | GPLv2 | POSIX , ПРЕДОХРАНИТЕЛЬ | владелец | Нет | Репликация [20] | Файл [21] | 2008 г. | |
OpenAFS | C | Общественная лицензия IBM | Виртуальная файловая система , устанавливаемая файловая система | Репликация | Том [22] | 2000 [23] | |||
OpenIO [24] | C | AGPLv3 / LGPLv3 | Собственный ( Python , C , Java ), HTTP / REST , S3 , Swift , FUSE ( POSIX , NFS , SMB , FTP ) | да | Подключаемые коды стирания [25] | Объект [26] | 2015 г. | 0,5 | |
Ори [27] | C, C ++ | Массачусетский технологический институт | libori, FUSE | Репликация | Файловая система [28] | 2012 г. | |||
Файловая система Quantcast | C | Лицензия Apache 2.0 | Клиент C ++, FUSE (сервер C ++: MetaServer и ChunkServer находятся на C ++) | владелец | Нет | Рид-Соломон [29] | Файл [30] | 2012 г. | |
РозоФС | C, Python | GPLv2 | ПРЕДОХРАНИТЕЛЬ , SMB , NFS , ключ / значение | да | Мохетт [31] | Том [32] | 2011 [33] | ||
Морские водорослиFS | Go, Java | Лицензия Apache 2.0 | HTTP ( ОТДЫХ ), POSIX , FUSE , S3 , HDFS | требуется CockroachDB, недокументированный конфиг | Рид-Соломон [34] | Том [35] | 2015 г. | ||
Тахо-ЛАФС | Python | GNU GPL [36] | HTTP (браузер или CLI ), SFTP , FTP , FUSE через SSHFS , pyfilesystem | Рид-Соломон [37] | Файл [38] | 2007 г. | |||
XtreemFS | Java, C ++ | Лицензия BSD | libxtreemfs (Java, C ++), FUSE | Репликация [39] | Файл [40] | 2009 г. |
Проприетарный
Клиент | Написано в | Лицензия | Доступ к API |
---|---|---|---|
BeeGFS | C / C ++ | Лицензионное соглашение с FRAUNHOFER FS (FhGFS), [41] Клиент GPLv2 | POSIX |
ObjectiveFS [42] | C | Проприетарный | POSIX , ПРЕДОХРАНИТЕЛЬ |
Шкала спектра (GPFS) | C, C ++ | Проприетарный | POSIX , NFS, SMB , Swift, S3 , HDFS |
MapR-FS | C, C ++ | Проприетарный | POSIX , NFS , FUSE , S3 , HDFS , интерфейс командной строки |
PanFS | C, C ++ | Проприетарный | DirectFlow , POSIX , NFS , SMB / CIFS , HTTP , CLI |
Бесконечный [43] | C ++ | Собственный (с открытым исходным кодом) [44] | FUSE , устанавливаемая файловая система , NFS / SMB , POSIX , CLI , SDK (libinfinit) |
Isilon OneFS | C / C ++ | Проприетарный | POSIX , NFS , SMB / CIFS , HDFS , HTTP , FTP , объект SWIFT, CLI , Rest API |
Масштабность | C | Проприетарный | ПРЕДОХРАНИТЕЛЬ , NFS , REST , AWS S3 |
Quobyte | Java, C ++ | Проприетарный | POSIX , FUSE , NFS , SMB / CIFS , HDFS , AWS S3 , подключаемый модуль TensorFlow , интерфейс командной строки , Rest API |
Удаленный доступ
Имя | Бежать | Доступ к API |
---|---|---|
Amazon S3 | Amazon.com | HTTP ( ОТДЫХ / МЫЛО ) |
Облачное хранилище Google | HTTP ( ОТДЫХ ) | |
SWIFT (часть OpenStack ) | Rackspace , Hewlett-Packard , другие | HTTP ( ОТДЫХ ) |
Microsoft Azure | Microsoft | HTTP ( ОТДЫХ ) |
IBM Cloud Object Storage | IBM (ранее Cleversafe ) [45] | HTTP ( ОТДЫХ ) |
Сравнение
Некоторые исследователи провели функциональный и экспериментальный анализ нескольких распределенных файловых систем, включая HDFS, Ceph, Gluster, Lustre и старую (1.6.x) версию MooseFS, хотя этот документ выпущен в 2013 году, и большая часть информации устарела (например, MooseFS имел в то время нет HA для сервера метаданных). [46]
Облачное удаленное распределенное хранилище от основных поставщиков имеет разные API и разные модели согласованности. [47]
Смотрите также
- Распределенная файловая система
- Список файловых систем, раздел Распределенные файловые системы
Рекомендации
- ^ «Кэширование: управление репликацией данных в Alluxio» .
- ^ «Кэширование: управление репликацией данных в Alluxio» .
- ^ «Профили кода стирания» .
- ^ «Бассейны» .
- ^ Сатьянараянан, Махадев; Кистлер, Джеймс Дж .; Кумар, Пунит; Окасаки, Мария Э .; Siegel, Ellen H .; Стир, Дэвид К. «Coda: файловая система с высокой доступностью для распределенной среды рабочих станций» (PDF) . Цитировать журнал требует
|journal=
( помощь ) - ^ «Реализация стирания кодирования» .
- ^ «Настройка томов GlusterFS» .
- ^ «MountableHDFS» .
- ^ «Поддержка кодирования стирания HDFS-7285 внутри HDFS» .
- ^ «Apache Hadoop: сетреп» .
- ^ План кодирования стирания: «Слой Рида-Соломона поверх IPFS # 196» ., «Уровень кодирования стирания №6» .
- ^ "Команды CLI: список желаний ipfs bitwap" .
- ^ «Почему Интернету нужна IPFS, пока еще не поздно» .
- ^ «Настройка режимов репликации» .
- ^ «Настройка режимов репликации: установка и отображение цели файла / каталога» .
- ^ "Руководство по эксплуатации блеска: что такое файловая система блеска (и чем она не является)" . Рид-Соломон в процессе: «LU-10911 FLR2: кодирование стирания» .
- ^ "Руководство по эксплуатации блеска: что такое файловая система блеска (и чем она не является)" . План резервирования на уровне файлов: «Архитектура решения для резервирования на уровне файлов» .
- ^ «Краткое руководство по коду стирания MinIO» .
- ^ «Краткое руководство по классу хранения MinIO» .
- ^ Доступно только в проприетарной версии 4.x «[функция] стирание-кодирование №8» .
- ^ "mfsgoal (1)" .
- ^ «Репликация томов (создание томов только для чтения)» .
- ^ https://www.openafs.org/release/openafs-1.0.html
- ^ «Документация OpenIO SDS» . docs.openio.io .
- ^ «Стирающее кодирование» .
- ^ «Объявить политики хранения» .
- ^ «Ори: безопасная распределенная файловая система» .
- ^ Маштизаде, Али Хосе; Биттау, Андреа; Хуанг, Ифэн Франк; Мазьер, Давид. «Репликация, история и пересадка в файловой системе Ori» (PDF) . Цитировать журнал требует
|journal=
( помощь ) - ^ "Файловая система Quantcast" (PDF) .
- ^ "qfs / src / cc / tools / cptoqfs_main.cc" .
- ^ «О RozoFS: Трансформация Мохетт» .
- ^ «Настройка RozoFS: файл конфигурации Exportd» .
- ^ «Начальная фиксация» .
- ^ «Erasure Coding для теплого хранения» .
- ^ «Репликация» .
- ^ «О Тахо-ЛАФС» .
- ^ «zfec - быстрая реализация кодирования стирания Рида-Соломона на языке C» .
- ^ «Архитектура Tahoe-LAFS: кодирование файлов» .
- ^ «Под капотом: репликация файлов» .
- ^ «Быстрый старт: репликация файла» .
- ^ «ЛИЦЕНЗИОННОЕ СОГЛАШЕНИЕ С КОНЕЧНЫМ ПОЛЬЗОВАТЕЛЕМ FRAUNHOFER FS (FhGFS)» . Общество Фраунгофера . 2012-02-22.
- ^ «Официальный сайт ObjectiveFS» .
- ^ «Платформа хранения Infinit» .
- ^ «Проекты Infinit с открытым исходным кодом» .
- ^ «IBM планирует приобрести Cleversafe для хранения объектов в облаке» . www-03.ibm.com . 2015-10-05 . Проверено 6 мая 2019 .
- ^ Сеген, Кирилл; Депардон, Бенджамин; Ле Махек, Гаэль. «Анализ шести распределенных файловых систем» (PDF) . HAL .
- ^ «Модели согласованности данных в публичных облачных хранилищах: Amazon S3, Google Cloud Storage и Windows Azure Storage» . SysTutorials . Дата обращения 19 июня 2017 .