Из Википедии, свободной энциклопедии
Перейти к навигацииПерейти к поиску

Кластерная файловая система Blue Whale ( BWFS ) - это файловая система с общим диском (также называемая кластерной файловой системой , файловыми системами с общим хранилищем или файловой системой SAN ), созданная Tianjin Zhongke Blue Whale Information Technologies Company в Китае .

Обзор

BWFS обеспечивает одновременный доступ к файлам на разнородных платформах и обеспечивает высокопроизводительное создание, хранение и совместное использование файлов. BWFS устанавливается на хостах, которые подключены к одному и тому же массиву дисков в сети хранения данных (SAN). Клиентские системы не обязаны запускать одну и ту же операционную систему для доступа к общей файловой системе, содержащей данные StorNext. По состоянию на январь 2010 года, операционные системы с версии программного обеспечения клиента являются Microsoft Windows , Linux и Mac OS X .

BWFS может преобразовывать множество дисковых массивов FibreChannel или iSCSI в кластер хранения, который поддерживает многосерверную параллельную обработку, обеспечивает высокопроизводительную и расширяемую службу совместного использования файлов и поддерживает многомашинный рабочий процесс или приложения в кластерной среде.

Файловая система BWFS реализована в режиме прямого доступа к данным. Общие файловые данные имеют прямой доступ к дисковым массивам FC или iSCSI через сеть SAN для передачи данных, пропуская файловый сервер или головку NAS, что в полной мере демонстрирует преимущества высокой пропускной способности среды SAN. BWFS позволяет значительно расширить возможности системы для одновременной обработки файлов без изменения внешней среды приложения и состояния внутренней SAN.

BWFS поддерживает MDC избыточной структуры (контроллер метаданных), обеспечивая отличную производительность и возможности высокой доступности в сочетании с инфраструктурой SAN, чтобы обеспечить надежность системы и безопасность данных для хранения на уровне предприятия.

Процесс доступа к данным

BWFS поддерживает гетерогенную платформу с несколькими операционными системами, позволяя нескольким серверам одновременно обращаться к одному и тому же набору дисков и файлов, независимо от типа их соответствующей файловой системы. В настоящее время BWFS поддерживает различные платформы Linux корпоративного класса и Windows 2000, Windows XP и Windows 2003. Нацеленная на разные операционные системы, BWFS имеет различные клиентские программы, некоторые из которых могут идентифицировать и предоставлять доступ к общей файловой системе BWFS. , и обеспечить единообразное представление файловой системы в разных операционных системах. Запросы ввода-вывода могут обрабатываться должным образом.

Когда несколько серверов одновременно обращаются к одной и той же файловой системе, необходим определенный механизм для предотвращения записи двумя серверами в одно и то же место на диске. Также следует убедиться, что определенный сервер не будет читать различное содержимое в файле чтения, пока другой сервер обновляет этот файл. В BWFS такой механизм и функция обеспечивается контроллером метаданных.

MDC отвечает за координацию доступа сервера к файловой системе BWFS, находящейся за пределами пути чтения и записи файловых данных. Клиент обменивается данными через отдельные IP-ссылки и MDC для получения информации о расположении файлов и распределении ресурсов блока данных. Затем через сеть SAN выполняется прямое чтение и запись на диск в блочном режиме. Такая конструкция архитектуры в техническом смысле называется «кадр внеполосной передачи» или «асимметричная архитектура»:

Процесс доступа к данным можно разбить следующим образом:

  1. Прикладная программа выдает запрос на запись
  2. Клиент BWFS отправляет рабочий запрос в MDC через LAN
  3. MDC обрабатывает этот запрос и отвечает клиенту, для которого дисковые блоки могут считываться данными через локальную сеть.
  4. Клиент BWFS напрямую записывает данные в файловую систему на линейной скорости.

BWFS разработана на основе среды SAN, что позволяет большому количеству серверов или рабочих станций, подключенных к FC SAN или IP SAN (iSCSI), получать прямой доступ к одной и той же файловой системе. BWFS FC может использовать один или несколько каналов FC для доступа к дисковым ресурсам, так что производительность ввода-вывода отдельного сервера может быть увеличена до нескольких ГБ / с с более чем 100 МБ / с путем простого увеличения платы FC HBA.

Конечно, общая производительность системы не только связана с производительностью хоста и сети, но также зависит от производительности дисковой файловой системы. Таким образом, файловая система BWFS может быть структурирована LUN из нескольких дисковых массивов. Это равносильно другому уровню RAID, структурированному между несколькими дисковыми массивами, который максимизирует производительность дисковых массивов.

Еще один фактор производительности, который следует учитывать, - это расположение метаданных. Файл состоит из реальных данных и метаданных. Фактические данные - это содержимое файла, а метаданные включают атрибуты файла, разрешения и так далее. Когда файл создается, изменяется или удаляется, информация метаданных должна быть изменена, что означает, что файл обрабатывается путем чтения как данных файла, так и метаданных. Обычно большой файл читается и записывается непрерывно, в то время как метаданные читаются путем перемещения головки магнитного диска в другое место. Для диска его режим чтения и записи намного выше степени случайности. Если данные и метаданные запоминаются на одном диске (режим большинства файловых систем), степень случайности большого файла будет соответственно увеличена, чтобы снизить производительность чтения и записи. По этой причине,Файловая система BWFS запоминает метаданные на разных дисках или томах в разметке, так что непрерывное чтение и запись файла разделены случайностью метаданных. Они не подвергаются взаимному влиянию, что позволяет максимально увеличить пропускную способность ввода-вывода.

Кроме того, после разделения данных и метаданных данные и метаданные могут обрабатываться независимо на разных хостах, не занимая полосу пропускания канала данных, что может улучшить параллелизм данных и метаданных для дальнейшего повышения производительности файловой системы.

Коммерциализация

В публикации Gartner 2006 г. говорится:

"Кластерная файловая система (CFS) протокола Интернет-протокола (IP) BWFS вышла за рамки исследовательской лаборатории и перешла на стадию коммерциализации и теперь успешно применяется в различных отраслях промышленности, включая энергетику, автомобилестроение, военную промышленность и средства массовой информации. Успех демонстрирует сильные стороны китайских исследовательских институтов в области технологий, несмотря на их относительную нехватку коммерческого опыта и инвестиционных ресурсов по сравнению со многими западными поставщиками технологий. Хотя CFS еще не распространены на рынке обычных систем хранения, для некоторых пользователей, которым требуется очень большой вклад / output I / O performance - особенно передовые приложения, такие как нефть и газ, биотехнологии и автоматизированное проектирование (CAD) - BWFS предлагает хорошее решение по соотношению цена / производительность. Пользователи также должны рассмотреть BWFS, если ищут недорогой CFS .Пользователи, которым требуется более коммерциализированное решение - или которые хотят иметь более «нестандартный» интерфейс, должны рассмотреть других поставщиков, таких как Panasas, Isilon и Ibrix, а не BWFS ».[1]

BWFS был разработан в Национальных исследовательских центрах высокопроизводительных компьютеров Китайской академии наук . В 2007 году FalconStor объявила о создании совместного предприятия по продаже программного обеспечения. [2] Совместное предприятие было названо Tianjin Zhongke Blue Whale Information Technologies Company и расположено в Тяньцзине , Китай . [3] Венчурная компания VantagePoint Capital также инвестировала. [4] Было объявлено, что BWFS будет использоваться для видео со спутника, предназначенного для освещения летних Олимпийских игр 2008 года . [5]

См. Также

Ссылки

  1. ↑ Джимми Чанг (28 сентября 2006 г.). «Dataquest Insight: пример из практики Китайской исследовательской лаборатории демонстрирует преимущества передовых технологий собственного производства» . ID номер: G00142484 . Gartner . п. 2.
  2. ↑ Джеймс Роджерс (27 октября 2007 г.). «FalconStor запускает китайское предприятие» . Сетевые вычисления . Архивировано из оригинального 19 марта 2012 года . Проверено 15 июля 2011 года .
  3. ^ "CAS объединяет усилия с FalconStor" . Пресс-релиз . 26 октября 2007 года Архивировано из оригинала 19 марта 2012 года . Проверено 15 июля 2011 года .
  4. ^ "BlueWhale" . Портфолио: Азия . Партнеры VantagePoint Capital. Архивировано из оригинального 2 -го октября 2011 года . Проверено 15 июля 2011 года .
  5. ^ «Файловая система Blue Whale, которая будет использоваться для Олимпийского спутника » . Китайская академия наук. 21 июня 2006 Архивировано из оригинала 27 сентября 2011 года . Проверено 15 июля 2011 года .

Дальнейшее чтение

  • Чжэньхань Лю, Сяосюань Мэн, Лу Сюй. Управление блокировками в файловой системе синего кита. В материалах 2-й Международной конференции по наукам о взаимодействии: информационные технологии, культура и человек (ICIS 2009)
  • Чжэнхань Лю, Сяосюань Мэн, Лу Сюй (2009). «Оптимизация производительности при интенсивных рабочих нагрузках малых файлов в BWFS». Международная конференция по параллельным и распределенным вычислениям, приложениям и технологиям : 154–159. DOI : 10,1109 / PDCAT.2009.60 .CS1 maint: использует параметр авторов ( ссылка )
  • Лю Ши, Цзинлян Чжан, Лу Сюй (2010). «Изоляция клиентских данных файловой системы Blue Whale в поле нелинейного редактирования». Труды 12-й Международной конференции IEEE по высокопроизводительным вычислениям и коммуникациям : 49–54. DOI : 10.1109 / HPCC.2010.39 .CS1 maint: использует параметр авторов ( ссылка )
  • Распределитель хранилищ для управления дисковыми хранилищами в файловой системе [Q] ， NAS'09，2009
  • Лу Сю, Хунюань Ма, Чжэньцзюнь Лю, Хуан Чжан, Шуо Фэн, Сяомин Хан, «Опыт поддержки иерархического управления хранением в файловой системе Blue Whale», pdcat, стр. 369–374, 2010 Международная конференция по параллельным и распределенным вычислениям, приложениям и технологии, 2010 г.

Внешние ссылки

  • "数据 高性能 存储 子 与 解决 方案 提供子" . официальный сайт (на китайском языке). Архивировано из оригинального 20 -го августа 2011 года . Проверено 15 июля 2011 года .