Высокая производительность система хранения ( ГАЭС ) представляет собой гибкий, масштабируемый , на основе политик иерархического управления хранением продукт , разработанный в сотрудничестве ГАЭС . Он обеспечивает масштабируемое иерархическое управление хранилищем (HSM), архивирование и службы файловой системы с использованием технологий кластера, LAN и SAN для объединения емкости и производительности многих компьютеров, дисков, дисковых систем, ленточных накопителей и ленточных библиотек. [1]
Разработчики) | Совместная работа HPSS ( IBM , LANL , LBNL , LLNL , ORNL , SNL ) |
---|---|
Стабильный выпуск | 9.2 / май 2021 г. |
Операционная система | Linux |
Тип | Иерархическое управление хранилищем |
Лицензия | Проприетарный |
Веб-сайт | hpss-сотрудничество |
Архитектура
HPSS поддерживает множество методов доступа и создания данных. Среди них поддержка FTP , параллельного FTP, FUSE (Linux), а также надежный клиентский API с поддержкой параллельного ввода-вывода.
Начиная с версии 7.5, HPSS полностью поддерживает Linux . Клиентский API HPSS поддерживается в AIX , Linux и Solaris . [1]
Реализация построена на IBM Db2 , масштабируемой системе управления реляционными базами данных .
Сотрудничество HPSS
Сотрудничество , которое производится ГАЭС началось осенью 1992 года, и участие IBM «s Houston Global Services и пять Департамент энергетики Соединенных Штатов Америки (DOE) Национальной лаборатории ( Lawrence Berkeley , Лоуренс Ливермор , Лос - Аламос , Oak Ridge , и Sandia ). [1] В то время национальная лаборатория Министерства энергетики США и группа разработчиков IBM HPSS признали, что произойдет взрывной рост хранилищ данных, вызванный увеличением вычислительной мощности до тераопов / петаопов, требующих, чтобы данные, хранящиеся в HSM, увеличились до петабайт и выше, скорость передачи данных с HSM должен увеличиться до гигабайт / с и выше, а ежедневная пропускная способность с HSM составит 10 терабайт в день. Таким образом, сотрудничество было направлено на разработку и развертывание системы, которая могла бы масштабироваться в 1000 или более раз и развиваться от указанной выше базы к этим ожидаемым целям и далее. [2]
Сотрудничество с HPSS основано на предпосылке, что ни у одной организации нет опыта и ресурсов для решения всех проблем, представленных растущим дисбалансом между вычислительной мощностью и возможностями сбора данных, а также вводом-выводом, емкостью и функциональностью системы хранения. Более двадцати организаций по всему миру, включая промышленность, Министерство энергетики США (DOE), другие федеральные лаборатории, университеты, суперкомпьютерные центры Национального научного фонда (NSF) и Французский комиссариат по атомной энергии ( CEA ) внесли свой вклад в различные аспекты этих усилий.
По состоянию на 2014 год основная команда разработчиков HPSS состоит из:
- IBM Global Business Services ( Хьюстон , Техас )
- Лос-Аламосская национальная лаборатория ( Лос-Аламос , Нью-Мексико )
- Ливерморская национальная лаборатория имени Лоуренса ( Ливермор , Калифорния )
- Национальный научно-вычислительный центр исследований энергетики им. Лоуренса Беркли ( Беркли , Калифорния )
- Национальная лаборатория Ок-Ридж ( Ок-Ридж , Теннесси )
- Сандийская национальная лаборатория ( Альбукерке , Нью-Мексико )
- Commissariat a l'Energie Atomique Direction des Applications Militaires ( Брюйер-ле-Шатель , Франция )
- Gleicher Enterprises ( Тусон , Аризона )
Заметные достижения
- На двух крупных сайтах HPSS, ECMWF и UK Met Office , по состоянию на 7 декабря 2016 г. в одном экземпляре HPSS и пространстве имен хранилось 217 и 99 петабайт данных [2].
- 14 ноября 2007 года Суперкомпьютерный центр Сан-Диего вместе с IBM , DataDirect и Brocade продемонстрировал тест «Миллиард файлов», который успешно скопировал миллиард файлов из GPFS в HPSS. [3]
- В мае 2013 года в Национальном центре суперкомпьютерных приложений (NCSA) Иллинойского университета в Урбана-Шампейн была введена в эксплуатацию установка HPSS на 380 петабайт . [4]
Рекомендации
- ^ a b c «Официальный сайт сотрудничества HPSS» . IBM.
- ^ a b Крупнейшие сайты HPSS 1+ петабайт
- ^ HPCwire 15 ноября 2007 архивации 17 ноября 2007, в Wayback Machine
- ^ «NCSA запускает в производство самую большую в мире высокопроизводительную систему хранения данных» . 2013-05-30 . Проверено 30 августа 2014 .