gLite (произносится как «gee-lite») - это проект компьютерного программного обеспечения промежуточного слоя для грид-вычислений, используемый в экспериментах CERN LHC и в других областях науки. Он был реализован совместными усилиями более 80 человек в 12 различных академических и промышленных исследовательских центрах Европы. gLite предоставляет основу для создания приложений, использующих распределенные вычислительные ресурсы и ресурсы хранения в Интернете . Сервисы gLite были приняты более чем 250 вычислительными центрами и используются более чем 15000 исследователей в Европе и во всем мире.
Разработчики) | EGEE |
---|---|
Стабильный выпуск | 3.2 / 23 марта 2009 г. |
Операционная система | Научный Linux 3, 4, 5 |
Тип | Грид-вычисления |
Лицензия | Сотрудничество с EGEE 2004 |
Веб-сайт | glite |
История
После этапов создания прототипа в 2004 и 2005 годах конвергенция с распределением LHC Computing Grid (LCG-2) была достигнута в мае 2006 года, когда был выпущен gLite 3.0, который стал официальным промежуточным программным обеспечением для E-sciencE (EGEE). проект, завершившийся в 2010 году.
Затем разработка промежуточного программного обеспечения gLite была взята на себя Европейской инициативой по промежуточному программному обеспечению и теперь поддерживается как часть программного стека EMI.
Инфраструктура распределенных вычислений, созданная EGEE, теперь поддерживается европейской грид-инфраструктурой . Он запускает промежуточное программное обеспечение Grid, созданное «Европейской инициативой промежуточного программного обеспечения», многие компоненты которого были получены из промежуточного программного обеспечения gLite.
Описание промежуточного программного обеспечения
Безопасность
Сообщество пользователей gLite сгруппировано в виртуальные организации (ВО). [1] Пользователь должен присоединиться к ВО, поддерживаемой инфраструктурой, на которой запущен gLite, чтобы пройти аутентификацию и получить разрешение на использование ресурсов сети.
Инфраструктура безопасности сети (GSI) в WLCG / EGEE обеспечивает безопасную аутентификацию и обмен данными по открытой сети. [2] GSI основан на шифровании с открытым ключом, сертификатах X.509 и протоколе связи Secure Sockets Layer (SSL) с расширениями для единой регистрации и делегирования.
Чтобы аутентифицировать себя, пользователь должен иметь цифровой сертификат X.509, выданный центром сертификации (ЦС), которому доверяет инфраструктура, на которой запущено промежуточное программное обеспечение.
Авторизация пользователя на конкретном сетевом ресурсе может быть выполнена двумя разными способами. Первый более простой и основан на механизме файловой сетки и карты. Второй способ основан на службе членства в виртуальной организации (VOMS) и механизме LCAS / LCMAPS, которые позволяют более детально определять привилегии пользователей.
Пользовательский интерфейс
Точкой доступа к gLite Grid является пользовательский интерфейс (UI). Это может быть любая машина, на которой у пользователей есть личная учетная запись и на которой установлен их сертификат пользователя. Из пользовательского интерфейса пользователь может быть аутентифицирован и авторизован для использования ресурсов WLCG / EGEE, а также может получить доступ к функциям, предлагаемым системами управления информацией, рабочей нагрузкой и данными. Он предоставляет инструменты CLI для выполнения некоторых основных операций с сеткой:
- перечислить все ресурсы, подходящие для выполнения заданного задания ;
- подавать задания к исполнению;
- отменить работу;
- получить вывод готовых работ;
- показывать статус отправленных вакансий;
- получать информацию о регистрации и бухгалтерском учете рабочих мест;
- копировать, реплицировать и удалять файлы из Grid;
- получать статус различных ресурсов из информационной системы.
Вычислительный элемент
Вычислительный элемент (CE), в терминологии Grid, - это некоторый набор вычислительных ресурсов, локализованных на сайте (то есть в кластере, вычислительной ферме). CE включает Grid Gate (GG), который действует как общий интерфейс для кластера; локальная система управления ресурсами (LRMS) (иногда называемая пакетной системой) и сам кластер, совокупность рабочих узлов (WN), узлов, на которых выполняются задания.
В gLite 3.1 есть две реализации CE: LCG CE, разработанный EDG и используемый в LCG-22, и gLite CE, разработанный EGEE. Сайты могут выбирать, что устанавливать, а некоторые из них предоставляют оба типа. GG отвечает за прием заданий и отправку их для выполнения в WN через LRMS.
В gLite 3.1 Поддерживаемые типы МСНР были OpenPBS / PBSPro, Платформа LSF , Maui / затяжке, BQS и Кондор , и Sun Grid Engine . [3]
Элемент хранения
Элемент хранения (SE) обеспечивает единообразный доступ к ресурсам хранения данных. Элемент хранения может управлять простыми дисковыми серверами, большими дисковыми массивами или ленточными системами хранения данных (MSS). Большинство сайтов WLCG / EGEE предоставляют по крайней мере один SE.
Элементы хранения могут поддерживать различные протоколы и интерфейсы доступа к данным. Проще говоря, GSIFTP (GSI-secure FTP) - это протокол для передачи файлов целиком, в то время как локальный и удаленный доступ к файлам осуществляется с помощью RFIO или gsidcap.
Большинство ресурсов хранения управляется диспетчером ресурсов хранения (SRM), промежуточным сервисом, предоставляющим такие возможности, как прозрачная миграция файлов с диска на ленту, закрепление файлов, резервирование места и т. Д. Однако разные SE могут поддерживать разные версии протокола SRM. и возможности могут отличаться.
Существует ряд реализаций SRM с различными возможностями. Disk Pool Manager (DPM) используется только для довольно небольших SE с дисковым хранилищем, в то время как CASTOR предназначен для управления крупномасштабным MSS с внешними дисками и внутренним ленточным хранилищем. dCache нацелен как на MSS, так и на системы хранения больших дисковых массивов. Другие реализации SRM находятся в разработке, и сама спецификация протокола SRM также развивается.
Классические SE, не имеющие интерфейса SRM, предоставляют простую дисковую модель хранения. Они находятся в процессе вывода из употребления. [ когда? ]
Информационная служба
Информационная служба (IS) предоставляет информацию о ресурсах WLCG / EGEE Grid и их состоянии. Эта информация важна для работы всей сети, поскольку именно через IS обнаруживаются ресурсы. Опубликованная информация также используется для целей мониторинга и учета.
Большая часть данных, публикуемых в IS, соответствует схеме GLUE [4], которая определяет общую концептуальную модель данных, которая будет использоваться для мониторинга и обнаружения ресурсов Grid.
Информационная система, которая используется в gLite 3.1, наследует свои основные концепции от службы мониторинга и обнаружения Globus (MDS). [5] Однако GRIS и GIIS в MDS были заменены индексом информации базы данных Berkeley (BDII), который по сути является сервером OpenLDAP, который обновляется внешним процессом.
Управление рабочей нагрузкой
Цель системы управления рабочей нагрузкой (WMS) [6] - принимать пользовательские задания, назначать их наиболее подходящим вычислительным элементам, записывать их статус и получать их выходные данные. Брокер ресурсов (RB) - это компьютер, на котором работают службы WMS.
Отправляемые задания описываются с помощью языка описания заданий (JDL), который указывает, например, какой исполняемый файл запускать и его параметры, файлы, которые нужно переместить на рабочий узел и обратно, на котором выполняется задание, необходимые входные файлы сетки , а также любые требования к CE и Worker Node.
Выбор CE, на который будет отправлено задание, осуществляется в процессе, называемом сопоставлением, который сначала выбирает среди всех доступных CE те, которые удовлетворяют требованиям, выраженным пользователем, и которые близки к указанным входным файлам Grid. Затем он выбирает CE с наивысшим рангом, количество, полученное из информации о статусе CE, которая выражает качество CE (обычно это функция количества выполняемых заданий и заданий в очереди).
RB находит входные файлы Grid, указанные в описании задания, с помощью службы, называемой Data Location Interface (DLI), которая предоставляет общий интерфейс для каталога файлов. Таким образом, брокер ресурсов может взаимодействовать с каталогами файлов, отличными от LFC (при условии, что у них есть интерфейс DLI).
Самая последняя реализация WMS от EGEE позволяет отправлять не только отдельные задания, но и наборы заданий (возможно, с зависимостями между ними) гораздо более эффективным способом, чем старый LCG-2 WMS, и имеет множество других новых возможностей. .
Наконец, служба ведения журнала и бухгалтерского учета (LB) [7] отслеживает задания, управляемые WMS. Он собирает события от многих компонентов WMS и записывает статус и историю задания.
Рекомендации
- ^ Фостер, Кессельман, Туеке, Анатомия сети: обеспечение масштабируемости виртуальных организаций. Архивировано 10 марта 2009 г.в Wayback Machine , Int. J. Прикладные программы для высокопроизводительных вычислений, 2001 г.
- ^ The Globus Toolkit 4.0, Обзор инфраструктуры безопасности сети Архивировано 20 апреля2008 г. на Wayback Machine
- ^ Опыт CESGA с пакетной системой Grid Engine
- ^ Функции OGF MDS 2.2, заархивированные 13 декабря 2012 г. на Wayback Machine в выпуске Globus Toolkit 2.2
- ^ Рабочая группа по клею (КЛЕЙ)
- ^ Ф. Пачини, Руководство пользователя EGEE, Служба WMS , DATAMAT, 2005 г.
- ^ Руководство пользователя EGEE, Журнал сервисов и бухгалтерия (L&B) , CESNET, 2005
Внешние ссылки
- Официальный веб-сайт gLite
- gLite 3 Руководство пользователя
- Европейская грид-инфраструктура
- Европейская инициатива по промежуточному программному обеспечению
Программные компоненты
Некоторые компоненты и услуги gLite с участвующими партнерами:
- VOMS и VOMSAdmin ( INFN )
- Обновление сертификата прокси и атрибута ( CESNET )
- Совместимость Shibboleth: SLCS, VASH, STS ( SWITCH )
- LCAS / LCMAPS ( НИХЕФ )
- gLExec (NIKHEF)
- Структура делегирования ( CERN , HIP , STFC )
- CGSI_gSOAP (ЦЕРН)
- gsoap-плагин (CESNET)
- Trustmanager (HIP)
- Утилита-java (HIP)
- Гридсайт (STFC)
- Структура авторизации (HIP, INFN, NIKHEF, SWITCH)
- BDII (ЦЕРН)
- Grid Laboratory Uniform Environment (CERN)
- R-GMA (STFC)
- КРЕМ (INFN)
- CEMon (INFN)
- BLAH (INFN)
- WMS (INFN, ElsagDatamat)
- LB (CESNET)
- DPM (ЦЕРН)
- GFAL (ЦЕРН)
- LFC (ЦЕРН)
- FTS (ЦЕРН)
- lcg_utils (ЦЕРН)
- EDS и Hydra (HIP)
- АМГА (ЦЕРН, КИСТИ, ИНФН)