Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

InfiniBand ( IB ) - это стандарт компьютерной сетевой связи, используемый в высокопроизводительных вычислениях, который отличается очень высокой пропускной способностью и очень низкой задержкой . Он используется для передачи данных как между компьютерами, так и внутри них. InfiniBand также используется как прямое или переключаемое соединение между серверами и системами хранения, а также как соединение между системами хранения. Он разработан с учетом возможности масштабирования и использует топологию сети с коммутируемой структурой .

По состоянию на 2014 год это было наиболее часто используемое межсоединение в суперкомпьютерах. Mellanox производит адаптеры хост-шины InfiniBand и сетевые коммутаторы , а в феврале 2016 года сообщалось, что корпорация Oracle разработала собственные коммутаторы InfiniBand и микросхемы серверных адаптеров для использования в собственных линейках продуктов и третьими сторонами. [1] Карты Mellanox IB доступны для Solaris , FreeBSD , [2] [3] RHEL , SLES , Windows , HP-UX , VMware ESX , [4] и AIX.. [5]

В качестве межсоединения IB конкурирует с Ethernet , Fibre Channel и Intel Omni-Path .

Технология продвигается торговой ассоциацией InfiniBand .

Спецификация [ править ]

Производительность [ править ]

Характеристики
 SDRDDRQDRFDR10FDREDRHDRОтчет о недоставкеXDR
Скорость передачи (Гбит / с)000 2,5000 500 1000 10,312500 14.0625 [6]00 25.7812500 500 1000 250
Теоретическая
эффективная
пропускная способность
( Гбит / с ) [7]		для 0 1 ссылка s000 2000 4000 800 1000 13,6400 2500 500 1000 250
для 0 4 ссылки000 800 1600 3200 4000 54,540 1000 2000 4001000
для 0 8 ссылок00 1600 3200 6400 800 109,080 2000 4000 8002000 г.
для 12 ссылок00 2400 4800 960 1200 163,640 3000 60012003000
Кодирование ( биты )8b / 10b64b / 66bподлежит уточнениюподлежит уточнению
Задержка адаптера ( мкс ) [8]000 5000 2,5000 1,3000 0,7000 0,7000 0,5меньше?подлежит уточнениюподлежит уточнению
Год [9]2001, 20032005 г.2007 г.2011 г.2011 г.2014 [10]2018 [10]2021 [10]после 2023 г.?

Ссылки могут быть агрегированы: в большинстве систем используется 4-кратное агрегирование. Каналы 8 × и 12 × обычно используются для межкомпонентных соединений кластера и суперкомпьютера, а также для межкоммутаторных соединений.

InfiniBand также предоставляет возможности RDMA для снижения нагрузки на ЦП.

Топология [ править ]

InfiniBand использует топологию коммутируемой фабрики, в отличие от ранней разделяемой среды Ethernet . Все передачи начинаются или заканчиваются на адаптере канала. Каждый процессор содержит адаптер канала хоста (HCA), а каждое периферийное устройство имеет адаптер целевого канала (TCA). Эти адаптеры также могут обмениваться информацией для обеспечения безопасности или качества обслуживания (QoS).

Сообщения [ править ]

InfiniBand передает данные пакетами размером до 4 КБ, которые собираются вместе для формирования сообщения. Сообщение может быть:

  • удаленный прямой доступ к памяти для чтения или записи
  • канал отправить или получить
  • операция на основе транзакции (которая может быть отменена)
  • многоадресной передачи
  • атомарная операция

Физическое соединение [ править ]

Коммутатор InfiniBand с разъемами CX4 / SFF-8470

Помимо форм-фактора подключения платы, он может использовать как активный, так и пассивный медный кабель (до 10 метров) и оптоволоконный кабель (до 10 км). [11] Используются разъемы QSFP .

Ассоциация InfiniBand также определила систему разъемов CXP для скорости до 120 Гбит / с по медным, активным оптическим кабелям и оптическим трансиверам с использованием параллельных многомодовых оптоволоконных кабелей с 24-волоконными разъемами MPO. [ необходима цитата ]

API [ править ]

InfiniBand не имеет стандартного API . Стандарт перечисляет только набор глаголов, таких как ibv_open_deviceили ibv_post_send, которые являются абстрактными представлениями функций или методов, которые должны существовать. Синтаксис этих функций оставлен на усмотрение поставщиков. Иногда для справки это называется API глаголов . Стандартный программный стек де-факто разработан OpenFabrics Alliance . Он выпущен под двумя лицензиями GPL2 или BSD для GNU / Linux и FreeBSD и как Mellanox OFED для Windows (названия продуктов: WinOF / WinOF-2; приписывается как драйвер хост-контроллера для сопоставления конкретных устройств ConnectX 3–5) [12]по выбору лицензии BSD для Windows. Он принят большинством поставщиков InfiniBand для GNU / Linux , FreeBSD и Windows . IBM заявляет об этом в своем центре знаний по API глаголов :

An AIX ® приложение может определить глаголы API , который является либо Distribution Open Fabrics Enterprise ( OFED ) глаголами или в AIX InfiniBand (IB) глаголы , которые должны взаимодействовать с конкретным назначением. [13]

В презентации Mellanox Technologies, датированной 2014 годом, с заголовком «Учебник по программированию глаголов» на странице 31 говорится: [14]

  • libibverbs , разработанные и поддерживаемые Roland Dreier с 2006 года, де-факто являются стандартом API глаголов в * nix.
    • Разработан как открытый исходный код
    • Ядровая часть глаголов интегрирована в ядро Linux с 2005 года - ядро ​​2.6.11.
    • Входящие в нескольких дистрибутивах * nix
    • Существуют низкоуровневые библиотеки от нескольких поставщиков аппаратного обеспечения.

История [ править ]

InfiniBand возник в 1999 году в результате слияния двух конкурирующих проектов: Future I / O и Next Generation I / O. Это привело к формированию торговой ассоциации InfiniBand (IBTA), который включал Compaq , Dell , Hewlett-Packard , IBM , Intel , Microsoft и Sun . В то время считалось, что некоторые из более мощных компьютеров приближались к узкому месту соединения шины PCI , несмотря на такие обновления, как PCI-X . [15]Версия 1.0 спецификации архитектуры InfiniBand была выпущена в 2000 году. Первоначально видение IBTA для IB было одновременно заменой PCI в вводе-выводе, Ethernet в машинном отделении , межсоединения кластера и Fibre Channel . IBTA предусматривается также разлагать серверное оборудование на IB ткани . После того, как лопнул пузырь доткомов, в отрасли возникли сомнения относительно того, стоит ли инвестировать в такой далеко идущий технологический скачок. [16]

Хронология [ править ]

  • 2001: Mellanox поставляет устройства InfiniBridge 10 Гбит / с и поставляет более 10 000 портов InfiniBand. [17]
  • 2002: принятие терпит неудачу, когда Intel объявляет, что вместо поставки чипов IB она сосредоточится на разработке PCI Express , а Microsoft прекращает разработку IB в пользу расширения Ethernet, хотя Sun и Hitachi продолжают поддерживать IB. [18]
  • 2003: Технологический институт штата Вирджиния создает кластер InfiniBand, который в то время занимал третье место в Top500 .
  • 2004: IB начинает рассматривать внедрение как кластерное межсоединение, превосходящее Ethernet по задержкам и цене. [16] OpenFabrics Alliance разрабатывает стандартизированную, Linux на основе InfiniBand стека программного обеспечения. В следующем году Linux добавляет поддержку IB. [19]
  • 2005: IB начинает реализовываться как межсоединение для устройств хранения. [20]
  • 2009 г .: из 500 лучших суперкомпьютеров в мире Gigabit Ethernet является внутренней технологией межсоединений в 259 установках по сравнению с 181, использующим InfiniBand. [21]
  • 2010: Лидеры рынка Mellanox и Voltaire объединяются, в результате чего остается только один другой поставщик IB, QLogic , в основном поставщик Fibre Channel. [22] Oracle делает крупные инвестиции в Mellanox.
  • 2011: Коммутаторы и адаптеры FDR анонсированы на Международной конференции по суперкомпьютерам . [23]
  • 2012: Intel приобретает технологию InfiniBand от QLogic. [24]
  • 2016: Oracle Corporation производит собственные межкомпонентные микросхемы и коммутаторы InfiniBand. [25]
  • 2019: Nvidia приобрела Mellanox за 6,9 млрд долларов [26]

Ethernet через InfiniBand [ править ]

Ethernet через InfiniBand, сокращенно EoIB, представляет собой реализацию Ethernet через протокол InfiniBand и технологию соединителей.

EoIB обеспечивает несколько полос пропускания Ethernet, различающихся в версии InfiniBand (IB).

Реализация пакета Internet Protocol Suite в Ethernet , обычно называемого TCP / IP, отличается от некоторых реализаций, используемых поверх протокола InfiniBand в IP over IB (IPoIB).

Производительность Ethernet через InfiniBand
ТипПереулкиПропускная способность (Гбит / с)Совместимый тип (ы) EthernetСовместимое количество Ethernet
SDR00 1000 2,5GbE до 2,5 GbE0 2 × GbE в 1 × 0 2,5 GbE
00 400 10GbE на 10 GbEОт 10 × GbE до 1 × 10 GbE
00 800 20GbE на 10 GbEОт 20 × GbE до 2 × 10 GbE
0 1200 30GbE на 25 GbEОт 30 × GbE до 1 × 25 GbE + 1 × 0 5 GbE
DDR00 1000 5GbE на 5 GbE0 5 × GbE в 1 × 0 5 GbE
00 400 20GbE на 10 GbEОт 20 × GbE до 2 × 10 GbE
00 800 40GbE на 40 GbEОт 40 × GbE до 1 × 40 GbE
0 1200 60GbE на 50 GbEОт 60 × GbE до 1 × 50 GbE + 1 × 10 GbE
QDR00 100 10GbE на 10 GbEОт 10 × GbE до 1 × 10 GbE
00 400 40GbE на 40 GbEОт 40 × GbE до 1 × 40 GbE

См. Также [ править ]

  • 100 Гбит Ethernet
  • Расширения iSCSI для RDMA
  • iWARP
  • Список битрейтов интерфейса
  • Оптическая связь
  • Параллельный оптический интерфейс
  • Протокол SCSI RDMA

Ссылки [ править ]

  1. ^ «Oracle разрабатывает собственные межкомпонентные соединения InfiniBand» . 23 февраля 2016.
  2. ^ "Mellanox OFED для FreeBSD" . Mellanox . Проверено 19 сентября 2018 года .
  3. ^ Mellanox Technologies (3 декабря 2015 г.). "Руководство по интерфейсам ядра FreeBSD, mlx5en" . Справочные страницы FreeBSD . FreeBSD . Проверено 19 сентября 2018 года .
  4. ^ «Карты InfiniBand - Обзор» . Mellanox . Проверено 30 июля 2014 года .
  5. ^ «Внедрение InfiniBand в IBM System p (IBM Redbook SG24-7351-00)» (PDF) .
  6. ^ https://cw.infinibandta.org/document/dl/7260
  7. ^ "Архивная копия" . Архивировано из оригинала на 2011-09-29 . Проверено 27 октября 2009 .CS1 maint: заархивированная копия как заголовок ( ссылка )
  8. ^ http://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf // Mellanox
  9. ^ Панда, Dhabaleswar K .; Саянтан Сур (2011). «Ускорение скорости сети с помощью IB и HSE» (PDF) . Проектирование облачных и сетевых вычислительных систем с InfiniBand и высокоскоростным Ethernet . Ньюпорт-Бич, Калифорния, США: CCGrid 2011. стр. 23 . Проверено 13 сентября 2014 года .
  10. ^ a b c «Дорожная карта InfiniBand - Развитие InfiniBand» . Торговая ассоциация InfiniBand .
  11. ^ «Спецификация FAQ» . ITA. Архивировано из оригинального 24 ноября 2016 года . Проверено 30 июля 2014 года .
  12. ^ Mellanox OFED для Windows - WinOF / WinOF-2
  13. ^ API глаголов
  14. ^ Учебник по программированию глаголов
  15. ^ Pentakalos, Одиссей. «Введение в архитектуру InfiniBand» . О'Рейли . Проверено 28 июля 2014 .
  16. ^ а б Ким, Тед. «Краткая история InfiniBand: обман к прагматизму» . Oracle. Архивировано из оригинала 8 -го августа 2014 года . Проверено 28 июля 2014 .
  17. ^ «Хронология» . Mellanox Technologies . Проверено 28 июля 2014 .
  18. ^ «Sun подтверждает приверженность InfiniBand» . Реестр . Проверено 28 июля 2014 .
  19. ^ «Ядро Linux 2.6.11 поддерживает InfiniBand» . Проверено 29 июля 2014 года .
  20. ^ "InfiniBand готов к возвращению?" , Инфостор , 10 (2)
  21. ^ Лоусон, Стивен. «Два конкурирующих суперкомпьютера побеждают за первое место» . КОМПЬЮТЕРНЫЙ МИР . Проверено 29 июля 2014 года .
  22. ^ Раффо, Дэйв. «Крупнейшие поставщики InfiniBand объединяются; конвергентные сети на глаз» . Проверено 29 июля 2014 года .
  23. ^ "Mellanox демонстрирует улучшенную версию InfiniBand" . ИТ-директор. 20 июня 2011 . Проверено 1 августа 2011 года .
  24. ^ "Intel Snaps Up InfiniBand Technology, продуктовая линейка от QLogic" . HPCwire . 23 января 2012 . Проверено 27 января 2012 .
  25. ^ «Oracle разрабатывает собственные межкомпонентные соединения InfiniBand» . Следующая платформа . Проверено 24 февраля 2016 .
  26. ^ https://nvidianews.nvidia.com/news/nvidia-to-acquire-mellanox-for-6-9-billion

Внешние ссылки [ править ]

  • Керр, Грегори (2011), Анатомический Маленькую InfiniBand приложения Использование API глаголов , Arxiv : 1105,1827 , Bibcode : 2011arXiv1105.1827K