HTCondor - это программная среда с открытым исходным кодом для высокопроизводительных вычислений, предназначенная для крупномасштабного распределенного распараллеливания ресурсоемких вычислительных задач. [1] Его можно использовать для управления рабочей нагрузкой на выделенном кластере компьютеров или для передачи работы простаивающим настольным компьютерам - так называемая очистка цикла . HTCondor работает на Linux , Unix , Mac OS X , FreeBSD и Microsoft Windows операционных систем . HTCondor может интегрировать как выделенные ресурсы (монтируемые в стойку кластеры), так и неспециализированные настольные компьютеры (циклическая очистка) в одной вычислительной среде.
Разработчики) | Университет Висконсина-Мэдисона |
---|---|
Стабильный выпуск | 9.0.1 Стабильный / 18 мая 2021 г . |
Предварительный выпуск | 9.1.0 Текущее / 20 мая 2021 г . |
Операционная система | Microsoft Windows , Mac OS X , Linux , FreeBSD |
Тип | Вычисления с высокой пропускной способностью |
Лицензия | Лицензия Apache 2.0 |
Веб-сайт | htcondor |
HTCondor разработан командой HTCondor из Университета Висконсин-Мэдисон и находится в свободном доступе для использования. HTCondor следует философии открытого исходного кода и находится под лицензией Apache License 2.0. [2]
В то время как HTCondor использует неиспользованное вычислительное время, оставление компьютеров включенными для использования с HTCondor увеличит потребление энергии и связанные с этим расходы. Начиная с версии 7.1.1, HTCondor может переводить машины в спящий и пробуждающий режим в соответствии с политиками, заданными пользователем, - функция, ранее доступная только через стороннее программное обеспечение.
История
Разработка HTCondor началась в 1988 году.
HTCondor ранее назывался Condor; название было изменено в октябре 2012 года в связи с судебным разбирательством по делу о товарных знаках. [3]
HTCondor был программным планировщиком, используемым для распределения заданий для первого чернового варианта сборки генома человека.
Пример использования
В качестве примера пул HTCondor Advanced Supercomputing (NAS) NASA состоит из примерно 350 рабочих станций SGI и Sun, приобретенных и используемых для разработки программного обеспечения, визуализации, электронной почты, подготовки документов и т. Д. На каждой рабочей станции работает демон, который наблюдает за вводом- выводом пользователя. и загрузка процессора. Когда рабочая станция бездействует в течение двух часов, ей назначается задание из пакетной очереди, которое будет выполняться до тех пор, пока демон не обнаружит нажатие клавиши, движение мыши или высокую загрузку ЦП, не относящуюся к HTCondor. В этот момент задание будет удалено с рабочей станции и снова помещено в пакетную очередь.
Функции
HTCondor может выполнять как последовательные, так и параллельные задания. Последовательные задания могут выполняться в нескольких разных «юниверсах», включая «ванильную», которая обеспечивает возможность запуска большинства «пакетных» программ, и «стандартную вселенную», в которой целевое приложение повторно связано с библиотекой ввода-вывода HTCondor. который обеспечивает удаленный ввод-вывод заданий и контрольные точки заданий. HTCondor также предоставляет «локальную вселенную», которая позволяет запускать задания на «хосте отправки».
В мире параллельных заданий HTCondor поддерживает стандартный интерфейс передачи сообщений и параллельную виртуальную машину (Goux, et al. 2000) в дополнение к своей собственной библиотеке Master Worker «MW» для чрезвычайно параллельных задач.
HTCondor-G позволяет заданиям HTCondor использовать ресурсы, не находящиеся под его непосредственным контролем. В основном он используется для взаимодействия с сетевыми и облачными ресурсами, такими как pre-WS и WS Globus , Nordugrid ARC , UNICORE и Amazon Elastic Compute Cloud . Но его также можно использовать для взаимодействия с другими системами дозирования, такими как Torque / PBS и LSF . Поддержка Sun Grid Engine в настоящее время находится в стадии разработки в рамках проекта EGEE . [ необходима цитата ]
HTCondor поддерживает API заданий DRMAA . Это позволяет клиентам, совместимым с DRMAA, отправлять и отслеживать задания HTCondor. SAGA C ++ Reference Implementation предоставляет HTCondor плагин (адаптер), который делает HTCondor представление работы и мониторинга доступны через Python Saga и API для C ++.
Другие функции HTCondor включают « DAGMan », который предоставляет механизм для описания зависимостей работы.
Смотрите также
Рекомендации
- ^ Тейн, Дуглас; Танненбаум, Тодд; Ливны, Мирон (2005). «Распределенные вычисления на практике: опыт Condor» (PDF) . Параллелизм и вычисления: практика и опыт . 17 (2–4): 323–356. CiteSeerX 10.1.1.6.3035 . DOI : 10.1002 / cpe.938 .
- ^ «HTCondor - Информация о лицензии» . research.cs.wisc.edu .
- ^ Танненбаум, Тодд. « » Название Кондор «меняется на„HTCondor “ » . Проверено 11 марта 2013 года .
Внешние ссылки
- Официальный веб-сайт