В среде высокопроизводительных вычислений буфер пакетов - это быстрый и промежуточный уровень хранения, расположенный между процессами внешних вычислений и внутренними системами хранения . Это своевременное решение для хранения данных, позволяющее преодолеть постоянно увеличивающийся разрыв в производительности между скоростью обработки вычислительных узлов и пропускной способностью ввода-вывода (I / O) систем хранения. Пакетный буфер построен из массивов высокопроизводительных запоминающих устройств, таких как NVRAM и SSD . Обычно он предлагает на один-два порядка большую пропускную способность ввода-вывода, чем серверные системы хранения.
Сценарии использования
Появление импульсного буфера способствует появлению широкого спектра решений на основе импульсного буфера, которые ускоряют перемещение научных данных на суперкомпьютерах . Например, жизненные циклы научных приложений обычно чередуются между фазами вычислений и фазами ввода-вывода. [1] А именно, после каждого раунда вычислений (т. Е. Фазы вычислений) все вычислительные процессы одновременно записывают свои промежуточные данные во внутренние системы хранения (т. Е. Фаза ввода-вывода), после чего следует еще один раунд вычислений и данных. двигательные операции. Благодаря развертыванию пакетного буфера процессы могут быстро записывать свои данные в пакетный буфер после одного раунда вычислений вместо записи в медленные системы хранения на основе жесткого диска и немедленно переходить к следующему этапу вычислений, не дожидаясь перемещения данных. к внутренним системам хранения; [2] [3] данные затем асинхронно сбрасываются из буфера пакетов в системы хранения одновременно со следующим циклом вычислений. Таким образом, длительное время ввода-вывода, затрачиваемое на перемещение данных в системы хранения, скрывается за временем вычислений. Кроме того, буферизация данных в пакетном буфере также дает приложениям множество возможностей для изменения формы трафика данных к внутренним системам хранения для эффективного использования полосы пропускания систем хранения. [4] [5] В другом распространенном случае научные приложения могут помещать свои промежуточные данные в буфер пакетов и из него, не взаимодействуя с более медленными системами хранения. Обход систем хранения позволяет приложениям получить большую часть выигрыша в производительности от пакетного буфера. [6]
Типичные архитектуры пакетного буфера
В среде высокопроизводительных вычислений существует две типичных архитектуры буферов пакетов: локальный для узла буфер пакетов и удаленный общий буфер пакетов. В архитектуре буфера пакетов с локальным узлом хранилище буфера пакетов располагается на отдельном вычислительном узле, поэтому совокупная полоса пропускания буфера пакетов растет линейно с увеличением количества вычислительных узлов. Это преимущество масштабируемости хорошо задокументировано в недавней литературе. [7] [8] [9] [10] Это также связано с потребностью в масштабируемой стратегии управления метаданными для поддержания глобального пространства имен для данных, распределенных по всем пакетным буферам. [11] [12] В архитектуре удаленного общего буфера пакетов хранилище буферов пакетов размещается на меньшем количестве узлов ввода-вывода, расположенных между вычислительными узлами и внутренними системами хранения. Движение данных между вычислительными узлами и буфером пакетов должно происходить по сети. Размещение буфера пакетов на узлах ввода-вывода упрощает независимую разработку, развертывание и обслуживание службы буфера пакетов. Следовательно, для управления этим типом пакетного буфера было разработано несколько хорошо известных коммерческих программных продуктов, таких как DataWarp и Infinite Memory Engine. Поскольку будущие суперкомпьютеры будут развертываться с несколькими разнородными уровнями буфера пакетов, такими как NVRAM на вычислительных узлах и SSD на выделенных узлах ввода-вывода, растет интерес к разработке и внедрению унифицированного программного решения, которое прозрачно перемещается. данные на нескольких уровнях хранения. [13] [14] [15]
Суперкомпьютеры с пакетным буфером
Из-за своей важности буфер пакетов получил широкое распространение на ведущих суперкомпьютерах. Например, узел локального буфера взрыв был установлен на DASH суперкомпьютер в суперкомпьютерного центра Сан - Диего , [16] TSUBAME суперкомпьютеров в Токийском технологическом институте , Тета и Aurora суперкомпьютеров в Национальной лаборатории Аргон , Summit суперкомпьютер в Национальной лаборатории Oak Ridge , и суперкомпьютер Sierra в Ливерморской национальной лаборатории Лоуренса и т. д. Удаленный общий пакетный буфер был принят суперкомпьютером Tianhe-2 в Национальном суперкомпьютерном центре в Гуанчжоу , суперкомпьютером Trinity в Национальной лаборатории Лос-Аламос , суперкомпьютером Cori в Национальной лаборатории Лоуренса Беркли и суперкомпьютер ARCHER2 в Эдинбургском центре параллельных вычислений .
Рекомендации
- ^ Лю, Чжо; Лофстед, Джей; Ван, Тэн; Ю, Вэйкуань (сентябрь 2013 г.). «Пример общесистемного управления питанием для научных приложений». 2013 IEEE Международная конференция по вычислительной кластерной (Кластер) . IEEE. С. 1–8. DOI : 10,1109 / CLUSTER.2013.6702681 . ISBN 978-1-4799-0898-1. S2CID 6156410 .
- ^ Ван, Тэн; Орал, Сарп; Ван, Яньдун; Сеттлмайер, Брэд; Атчли, Скотт; Ю, Вэйкуань (октябрь 2014 г.). «BurstMem: высокопроизводительная буферная система для научных приложений». 2014 IEEE Международная конференция по большим данным (Big Data) . IEEE. С. 71–79. DOI : 10.1109 / BigData.2014.7004215 . ISBN 978-1-4799-5666-1. S2CID 16764901 .
- ^ Лю, Нин; Коп, Джейсон; Карнс, Филипп; Карозерс, Кристофер; Росс, Роберт; Грайдер, Гэри; Крум, Адам; Мальцан, Карлос (апрель 2012 г.). «О роли пакетных буферов в системах хранения высшего класса». 012 28-й симпозиум IEEE по системам и технологиям хранения данных (MSST) . IEEE. С. 1–11. DOI : 10.1109 / MSST.2012.6232369 . ISBN 978-1-4673-1747-4. S2CID 9676920 .
- ^ Ван, Тэн; Орал, Сарп; Причард, Майкл; Ван, Бин; Ю, Вэйкуань (сентябрь 2015 г.). «TRIO: оркестровка ввода-вывода на основе буфера пакетов». 2015 IEEE Международная конференция по кластерной вычислительной . IEEE. С. 194–203. DOI : 10,1109 / CLUSTER.2015.38 . ISBN 978-1-4673-6598-7. ОСТИ 1265517 . S2CID 12482308 .
- ^ Кугкас, Энтони; Дорье, Матье; Лэтам, Роб; Росс, Роб; Сунь, Сиань-Хэ (март 2017 г.). «Использование координации буфера пакетов для предотвращения интерференции ввода-вывода». 2016 IEEE 12 - я Международная конференция по электронной науке (E-Science) . IEEE. С. 371–380. DOI : 10.1109 / eScience.2016.7870922 . ISBN 978-1-5090-4273-9. ОСТИ 1366308 . S2CID 14514395 .
- ^ Ван, Тэн; Моррор, Кэтрин; Муди, Адам; Сато, Кенто; Ю, Вэйкуань (ноябрь 2016 г.). «Файловая система с временным буфером пакетов для научных приложений». SC16: Международная конференция по высокопроизводительным вычислениям, сетям, хранилищам и анализу . IEEE. С. 807–818. DOI : 10,1109 / SC.2016.68 . ISBN 978-1-4673-8815-3. S2CID 260667 .
- ^ «BurstFS: Файловая система с распределенным буфером пакетов для научных приложений» (PDF) . Ноябрь 2015 г.
- ^ Муди, Адам; Броневецкий, Грег; Моррор, Кэтрин; Супински, Бронис Р. де (ноябрь 2010 г.). «Дизайн, моделирование и оценка масштабируемой многоуровневой системы контрольных точек». 2010 Международная конференция ACM / IEEE по высокопроизводительным вычислениям, сетям, хранению данных и анализу . ACM. С. 1–11. DOI : 10,1109 / SC.2010.18 . ISBN 978-1-4244-7557-5. S2CID 7352923 .
- ^ «Файловая система со скоростью 1 ПБ / с для проверки трех миллионов задач MPI» (PDF) . ACM. Июнь 2013.
- ^ Чжао, Дунфан; Чжан, Чжао; Чжоу, Сяобин; Ли, Тонглинь; Ван, Кэ; Kimpe, Dries; Карнс, Филипп; Росс, Роберт; Райку, Иоан (октябрь 2014 г.). «FusionFS: на пути к поддержке научных приложений с большим объемом данных в высокопроизводительных вычислительных системах». 2014 IEEE Международная конференция по большим данным (Big Data) . IEEE. С. 61–70. DOI : 10.1109 / BigData.2014.7004214 . ISBN 978-1-4799-5666-1. S2CID 5288472 .
- ^ Ван, Тэн; Муди, Адам; Чжу, Юэ; Моррор, Кэтрин; Сато, Кенто; Ислам, Танзима; Ю, Вэйкуань (май 2017 г.). «MetaKV: хранилище ключей и значений для управления метаданными распределенных буферов пакетов». Международный симпозиум по параллельной и распределенной обработке IEEE 2017 г. (IPDPS) . IEEE. С. 1174–1183. DOI : 10.1109 / IPDPS.2017.39 . ISBN 978-1-5386-3914-6. S2CID 8148699 .
- ^ Ли, Тонглинь; Чжоу, Сяобин; Брандстаттер, Кевин; Чжао, Дунфан; Ван, Кэ; Раджендран, Анупам; Чжан, Чжао; Райку, Иоан (май 2013 г.). «ZHT: легковесная надежная постоянная динамическая масштабируемая распределенная хеш-таблица с нулевым переходом». 2013 27-й Международный симпозиум IEEE по параллельной и распределенной обработке . IEEE. С. 775–787. CiteSeerX 10.1.1.365.7329 . DOI : 10.1109 / IPDPS.2013.110 . ISBN 978-1-4673-6066-1. S2CID 16614868 .
- ^ Ван, Тэн; Бына, Сурен; Донг, Бин; Тан, Ходжун (сентябрь 2018 г.). «UniviStor: интегрированное иерархическое и распределенное хранилище для высокопроизводительных вычислений». 2018 IEEE Международная конференция по вычислительной кластерной (Кластер) . IEEE. С. 134–144. DOI : 10,1109 / CLUSTER.2018.00025 . ISBN 978-1-5386-8319-4. S2CID 53235423 .
- ^ «Гермес: многоуровневая распределенная буферизация ввода-вывода с учетом гетерогенности». ACM. Июнь 2018 г. doi : 10.1145 / 3208040.3208059 . S2CID 47019714 . Цитировать журнал требует
|journal=
( помощь ) - ^ Тан, Ходзюнь; Бына, Сурен; Тессье, Франсуа; Ван, Тэн; Донг, Бин; Му, Цзинцин; Козиол, Куинси; Сумань, Джером; Вишванатх, Венкатрам; Лю, Цзялинь; Уоррен, Ричард (май 2018 г.). «На пути к масштабируемому и асинхронному объектно-ориентированному управлению данными для высокопроизводительных вычислений». 2018 18-й Международный симпозиум IEEE / ACM по кластерам, облачным и сетевым вычислениям (CCGRID) . IEEE. С. 113–122. DOI : 10,1109 / CCGRID.2018.00026 . ISBN 978-1-5386-5815-4. S2CID 13811397 .
- ^ «DASH: рецепт суперкомпьютера с интенсивным использованием данных на базе Flash» (PDF) . ACM. Ноябрь 2010 г.
Внешние ссылки
- Cray DataWarp , производственная система буферизации пакетов, разработанная Cray.
- Infinite Memory Engine , производственная система буферизации пакетов, разработанная Data Direct Network.
- Суперкомпьютер Theta, суперкомпьютер , расположенный в Аргоннской национальной лаборатории.
- Суперкомпьютер Summit, суперкомпьютер , расположенный в Национальной лаборатории Ок-Ридж.
- Суперкомпьютер Sierra, суперкомпьютер , размещенный в Национальной лаборатории Лоуренса.
- Суперкомпьютер Trinity, суперкомпьютер , размещенный в Национальной лаборатории Лос-Аламоса.
- Суперкомпьютер Cori, суперкомпьютер , размещенный в Национальной лаборатории Лоуренса Беркли.