Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
BeeGFS
BeeGFS-Logo.png
Разработчики)ThinkParQ Fraunhofer ITWM,
Стабильный выпуск
7.2.1 [1] / 4 марта 2021 г.
Операционная системаLinux
ТипРаспределенная файловая система
ЛицензияСервер: проприетарный , клиент: GPL v2
Интернет сайтbeegfs .io

BeeGFS (ранее FhGFS) - это параллельная файловая система , разработанная и оптимизированная для высокопроизводительных вычислений . BeeGFS включает распределенную архитектуру метаданных по причинам масштабируемости и гибкости. Самый важный его аспект - это скорость передачи данных.

Изначально BeeGFS был разработан в Центре высокопроизводительных вычислений Фраунгофера в Германии командой Свена Бройнера [2], который позже стал генеральным директором ThinkParQ (2014–2018 гг.), Дочерней компании, основанной в 2014 г. для поддержки BeeGFS. и предлагаем профессиональные услуги.

Хотя Community Edition BeeGFS можно загрузить и использовать бесплатно, Enterprise Edition должна использоваться в соответствии с контрактом на профессиональную поддержку по подписке. [3]

История и использование [ править ]

BeeGFS началась в 2005 году как внутренняя разработка Центра Фраунгофера для высокопроизводительных вычислений, призванная заменить существующую файловую систему в новом вычислительном кластере института и использоваться в производственной среде.

В 2007 году первая бета-версия программного обеспечения была анонсирована на ISC07 в Дрездене, Германия, и представлена ​​публике на SC07 в Рино, штат Невада. Год спустя стал доступен первый стабильный основной выпуск.

В 2014 году Fraunhofer начал свое отделение, новую компанию под названием ThinkParQ [4] для BeeGFS. В этом процессе FhGFS был переименован в BeeGFS®. [5] Пока ThinkParQ обслуживает программное обеспечение и предлагает профессиональные услуги, дальнейшая разработка функций будет продолжена в сотрудничестве с ThinkParQ и Fraunhofer.

Поскольку BeeGFS является бесплатным, неизвестно, сколько сейчас активных установок. Однако в 2014 году уже около 100 клиентов по всему миру использовали BeeGFS при коммерческой поддержке ThinkParQ и Fraunhofer. Среди них - академические пользователи, такие как университеты и исследовательские центры [6], а также коммерческие компании в таких областях, как финансы или нефтегазовая промышленность.

Известные установки включают несколько компьютеров TOP500, таких как кластер Loewe-CSC [7] в Университете Гете во Франкфурте , Германия (№22 по установке), Венский научный кластер [8] в Венском университете , Австрия (№56 по установке). и кластер Abel [9] в Университете Осло , Норвегия (№ 96 по установке).

Ключевые концепции и особенности [ править ]

При разработке BeeGFS Фраунгофер стремился к трем ключевым концепциям программного обеспечения: масштабируемость, гибкость и удобство использования.

BeeGFS работает на любой машине Linux и состоит из нескольких компонентов, которые включают службы для клиентов, серверов метаданных и серверов хранения. Кроме того, существует служба для хоста управления, а также служба для графической системы администрирования и мониторинга.

  • Обзор системы BeeGFS

[10]

Для запуска BeeGFS требуется как минимум один экземпляр сервера метаданных и сервера хранения. Но BeeGFS позволяет нескольким экземплярам каждой службы распределять нагрузку с большого количества клиентов. Масштабируемость каждого компонента гарантирует масштабируемость самой системы.

Содержимое файла распределяется по нескольким серверам хранения с использованием чередования, то есть каждый файл разбивается на блоки заданного размера, и эти блоки распределяются по существующим серверам хранения. Размер этих фрагментов может быть определен администратором файловой системы. Кроме того, метаданные также распределяются по нескольким серверам метаданных на уровне каталогов, причем каждый сервер хранит часть полного дерева файловой системы. Такой подход обеспечивает быстрый доступ к данным.

Клиенты, а также серверы метаданных или хранилища могут быть добавлены в существующую систему без простоев. Сам клиент - это легкий модуль ядра, не требующий каких-либо исправлений ядра. Серверы работают поверх существующей локальной файловой системы. Нет никаких ограничений на тип базовой файловой системы, если она поддерживает POSIX ; Рекомендуется использовать ext4 для серверов метаданных и XFS для серверов хранения. Оба сервера работают в пользовательском пространстве.

Кроме того, нет строгих требований к выделенному оборудованию для отдельных сервисов. Дизайн позволяет администратору файловой системы запускать службы в любой комбинации на заданном наборе машин и расширять их в будущем. Среди пользователей BeeGFS распространенный способ воспользоваться этим - объединить серверы метаданных и серверы хранения на одних и тех же машинах.

BeeGFS поддерживает различные сетевые соединения с динамическим аварийным переключением, такие как Ethernet или Infiniband, а также множество различных дистрибутивов и ядер Linux (от 2.6.16 до последней версии vanilla). Программное обеспечение имеет простой механизм настройки и запуска с использованием сценариев инициализации. Для пользователей, которые предпочитают графический интерфейс командным строкам, доступен графический интерфейс на основе Java (AdMon). Графический интерфейс пользователя обеспечивает мониторинг состояния BeeGFS и управление настройками системы. Помимо управления и администрирования установки BeeGFS, этот инструмент также предлагает несколько вариантов мониторинга, которые помогают выявлять проблемы с производительностью в системе.

BeeOND (BeeGFS по запросу) [ править ]

BeeOND (BeeGFS on-demand) позволяет создавать экземпляры файловой системы BeeGFS на наборе узлов с помощью одной командной строки. Возможные варианты использования инструмента разнообразны; Некоторые из них включают настройку выделенной параллельной файловой системы для кластерного задания (часто называемого пакетной буферизацией ), облачные вычисления или быстрые и простые временные настройки для целей тестирования.

Контрольные показатели [ править ]

Следующие тесты были выполнены на Fraunhofer Seislab, тестовом и экспериментальном кластере в Fraunhofer ITWM с 25 узлами (20 вычислений + 5 хранилищ) и трехуровневой памятью: 1 ТБ ОЗУ, 20 ТБ SSD, 120 ТБ жесткого диска. Производительность одного узла в локальной файловой системе без BeeGFS составляет 1332 МБ / с (запись) и 1317 МБ / с (чтение).

Узлы оснащены 2x Intel Xeon X5660, 48 ГБ ОЗУ, 4x Intel 510 Series SSD (RAID 0), Ext4, QDR Infiniband и работают под управлением Scientific Linux 6.3, Kernel 2.6.32-279 и FhGFS 2012.10-beta1.

  • Пропускная способность чтения / записи

  • Файл Создает

  • IOPS

BeeGFS и exascale [ править ]

Fraunhofer ITWM участвует в проекте Европейского Союза Dynamic-Exascale Entry Platform - Extended Reach (DEEP-ER) [11], который решает проблемы растущего разрыва между скоростью вычислений и пропускной способностью ввода-вывода, а также отказоустойчивостью системы для больших -масштабные системы.

Некоторые аспекты, над которыми разработчики BeeGFS работают в рамках этого проекта:

  • поддержка многоуровневого хранения,
  • Расширения интерфейса POSIX,
  • отказоустойчивость и высокая доступность (HA), а также
  • улучшенные средства мониторинга и диагностики.

План состоит в том, чтобы сохранить интерфейс POSIX для обратной совместимости, но также дать приложениям больше контроля над тем, как файловая система обрабатывает такие вещи, как размещение данных и согласованность, с помощью расширений API.

См. Также [ править ]

  • Распределенная файловая система
  • Список файловых систем, раздел распределенной параллельной файловой системы

Ссылки [ править ]

  1. ^ "Последний стабильный выпуск BeeGFS" . 4 марта 2021 г.
  2. ^ «FhGFS: быстрая и масштабируемая параллельная файловая система | Файловые системы | Столбцы» . www.clustermonkey.net . Проверено 13 января 2019 .
  3. ^ «Лицензионное соглашение с конечным пользователем BeeGFS (EULA)» . Fraunhofer ITWM. 22 февраля 2012 . Проверено 15 марта 2014 года .
  4. ^ "Сайт ThinkParQ" . Проверено 17 марта 2014 года .
  5. ↑ Рич Брюкнер (13 марта 2014 г.). «Фраунгофер выделит переименованную файловую систему BeeGFS» . внутриHPC . Проверено 17 марта 2014 года .
  6. ^ "Высокопроизводительная параллельная файловая система FraunhoferFS" . ClusterVision eNews . Ноябрь 2012. Архивировано из оригинального 17 -го марта 2014 года . Проверено 17 марта 2014 года .
  7. ^ "... И фраунгофера" . StorageNewsletter.com . 18 июня 2010 . Проверено 17 марта 2014 года .
  8. ^ "VSC-2" . Список Top500 . 20 июня 2011 . Проверено 17 марта 2014 года .
  9. ^ "Авель" . Список Top500 . 18 июня 2012 . Проверено 17 марта 2014 года .
  10. ^ «BeeGFS - Ведущая файловая система параллельного кластера» . BeeGFS . Проверено 7 декабря 2017 .
  11. ^ "Сайт проекта DEEP-ER" . Проверено 17 марта 2014 года .