Эта статья или раздел содержит подробный перефраз из несвободного источника, защищенного авторским правом, http://www.iosrjournals.org/iosr-jce/papers/Vol16-issue3/Version-4/C016341019.pdf ( отчет Duplication Detector ) . ( Июнь 2020 г. ) |
Грид-вычисления - это использование широко распределенных компьютерных ресурсов для достижения общей цели. Вычислительную сетку можно рассматривать как распределенную систему с неинтерактивными рабочими нагрузками, включающими множество файлов. Грид-вычисления отличаются от традиционных высокопроизводительных вычислительных систем, таких как кластерные вычисления, в которых в грид-компьютерах каждый узел настроен для выполнения различных задач / приложений. Грид-компьютеры также имеют тенденцию быть более разнородными и географически рассредоточенными (следовательно, физически не связанными), чем кластерные компьютеры. [1]Хотя отдельная сетка может быть выделена для конкретного приложения, обычно сетка используется для различных целей. Сетки часто создаются с помощью программных библиотек промежуточного программного обеспечения общего назначения . Размеры сетки могут быть довольно большими. [2]
Грид - это форма распределенных вычислений, при которой «супер виртуальный компьютер» состоит из множества подключенных к сети слабосвязанных компьютеров, действующих вместе для выполнения больших задач. Для определенных приложений распределенные или сеточные вычисления можно рассматривать как особый тип параллельных вычислений , основанный на полных компьютерах (со встроенными процессорами, хранилищем, источниками питания, сетевыми интерфейсами и т. Д.), Подключенными к компьютерной сети (частной или общедоступной) посредством обычный сетевой интерфейс , такой как Ethernet . Это контрастирует с традиционным понятием суперкомпьютера , у которого есть много процессоров, соединенных локальной высокоскоростной компьютерной шиной.. Эта технология была применена к вычислительно интенсивным научным, математическим и научным задачам с помощью добровольца вычислений , и он используется в коммерческих предприятиях для таких разнообразных применений , как открытие наркотиков , экономическое прогнозирование , анализ сейсмических данных , а также бэк - офис обработки данных в поддержке e- коммерция и веб-сервисы .
Грид-вычисления объединяют компьютеры из нескольких административных доменов для достижения общей цели [3] для решения одной задачи, а затем могут исчезнуть так же быстро. Размер сети может варьироваться от небольшого (например, ограниченного сетью компьютерных рабочих станций внутри корпорации) до крупных, публичных совместных проектов во многих компаниях и сетях. «Понятие ограниченной сетки также может быть известно как взаимодействие внутри узлов, тогда как понятие более широкой и широкой сетки, таким образом, может относиться к взаимодействию между узлами». [4]
Координация приложений в гридах может быть сложной задачей, особенно при координации потока информации через распределенные вычислительные ресурсы. Грид- системы рабочих процессов были разработаны как специализированная форма системы управления рабочими процессами, разработанная специально для составления и выполнения серии вычислительных шагов или шагов манипулирования данными или рабочего процесса в контексте грид.
«Распределенные» или «сеточные» вычисления в целом - это особый тип параллельных вычислений , основанный на полных компьютерах (со встроенными процессорами, хранилищем, источниками питания, сетевыми интерфейсами и т. Д.), Подключенными к сети (частной, общедоступной или через Интернет ). с помощью обычного сетевого интерфейса, производящего обычное оборудование, по сравнению с более низкой эффективностью проектирования и создания небольшого числа специализированных суперкомпьютеров. Основной недостаток производительности заключается в том, что различные процессоры и локальные хранилища не имеют высокоскоростных соединений. Таким образом, такая компоновка хорошо подходит для приложений, в которых несколько параллельных вычислений могут выполняться независимо, без необходимости передавать промежуточные результаты между процессорами.[5] Высокий конец масштабируемости географически распределенных сетейкак правилоблагоприятный,связи с низкой потребностью для соединения между узлами по отношению к емкости сети Интернет общего. [ необходима цитата ]
Также есть некоторые отличия в программировании и MC. [ требуется пояснение ] Написание программ, которые могут работать в среде суперкомпьютера, который может иметь настраиваемую операционную систему, или требовать, чтобы программа решала проблемы параллелизма, может быть дорогостоящим и трудным . Если проблема может быть адекватно распараллелена, «тонкий» слой «грид-инфраструктуры» может позволить обычным автономным программам, учитывая различные части одной и той же проблемы, работать на нескольких машинах. Это позволяет писать и отлаживать на одном обычном компьютере и устраняет сложности, связанные с одновременным запуском нескольких экземпляров одной и той же программы в одной и той же общей памяти и пространстве хранения.
В этом разделе не процитировать любые источники . ( Декабрь 2015 г. ) |
Одной из особенностей распределенных гридов является то, что они могут быть сформированы из вычислительных ресурсов, принадлежащих одному или нескольким частным лицам или организациям (известным как несколько административных доменов ). Это может облегчить коммерческие транзакции, как в коммунальных вычислениях , или упростить сборку добровольных вычислительных сетей.
Одним из недостатков этой функции является то, что компьютеры, которые фактически выполняют вычисления, могут быть не совсем надежными. Таким образом, разработчики системы должны принять меры для предотвращения сбоев или получения злонамеренных участников ложных, вводящих в заблуждение или ошибочных результатов и использования системы в качестве вектора атаки. Это часто включает случайное распределение работы по разным узлам (предположительно с разными владельцами) и проверку того, что по крайней мере два разных узла сообщают один и тот же ответ для данной единицы работы. Несоответствия могут идентифицировать неисправные и вредоносные узлы. Однако из-за отсутствия централизованного контроля над оборудованием невозможно гарантировать, что узлы не выпадут из сети в случайное время. Некоторые узлы (например, ноутбуки или коммутируемое соединение)Интернет-клиенты) также могут быть доступны для вычислений, но не для сетевых коммуникаций в течение непредсказуемых периодов. Эти вариации могут быть согласованы путем назначения больших рабочих единиц (таким образом, снижая потребность в непрерывном сетевом подключении) и переназначения рабочих единиц, когда данный узел не может сообщить о своих результатах в ожидаемое время.
Еще один набор проблем, которые можно было бы назвать проблемами социальной совместимости на заре грид-вычислений, был связан с целями разработчиков грид-приложений по переносу своих инноваций за пределы исходной области высокопроизводительных вычислений и через дисциплинарные границы в новые области, такие как область высокопроизводительных вычислений. энергетическая физика. [6]
Влияние доверия и доступности на производительность и сложность разработки может повлиять на выбор между развертыванием в выделенном кластере, простаивающими машинами внутри развивающейся организации или открытой внешней сетью добровольцев или подрядчиков. Во многих случаях участвующие узлы должны доверять центральной системе, чтобы она не злоупотребляла предоставленным доступом, вмешиваясь в работу других программ, искажая хранимую информацию, передавая личные данные или создавая новые дыры в безопасности. В других системах используются меры по уменьшению степени доверия «клиентским» узлам к центральной системе, например, размещение приложений на виртуальных машинах.
Общедоступные системы или системы, пересекающие административные области (включая разные отделы в одной организации), часто приводят к необходимости работать в гетерогенных системах с использованием разных операционных систем и аппаратных архитектур . Для многих языков существует компромисс между инвестициями в разработку программного обеспечения и количеством поддерживаемых платформ (и, следовательно, размером результирующей сети). Кросс-платформенные языки могут уменьшить необходимость идти на этот компромисс, хотя потенциально за счет высокой производительности на любом конкретном узле (из-за интерпретации во время выполнения или отсутствия оптимизации для конкретной платформы). Различное промежуточное ПОпроекты создали общую инфраструктуру, позволяющую различным научным и коммерческим проектам использовать конкретную связанную сеть или с целью создания новых сетей. BOINC является обычным для различных академических проектов, ищущих общественных добровольцев; другие перечислены в конце статьи .
Фактически, промежуточное ПО можно рассматривать как слой между оборудованием и программным обеспечением. Помимо промежуточного программного обеспечения, необходимо учитывать ряд технических областей, которые могут быть или не быть независимыми от промежуточного программного обеспечения. Примеры областей включают управление SLA , доверие и безопасность, управление виртуальной организацией, управление лицензиями, порталы и управление данными. Об этих технических областях можно позаботиться в коммерческом решении, хотя передовые позиции в каждой области часто можно найти в рамках конкретных исследовательских проектов, посвященных данной области.
Для сегментации рынка грид-вычислений необходимо учитывать две точки зрения: со стороны провайдера и со стороны пользователя:
Общий рынок электросетей включает несколько конкретных рынков. Это рынок межсетевого ПО, рынок сетевых приложений, рынок коммунальных вычислений и рынок программного обеспечения как услуги (SaaS).
ПО промежуточного слоя Grid - это особый программный продукт, который обеспечивает совместное использование разнородных ресурсов и виртуальных организаций. Он устанавливается и интегрируется в существующую инфраструктуру вовлеченной компании или компаний и обеспечивает специальный уровень, расположенный между разнородной инфраструктурой и конкретными пользовательскими приложениями. Основными промежуточными программами grid являются Globus Toolkit , gLite и UNICORE .
Коммунальные вычисления упоминаются как предоставление сетевых вычислений и приложений в качестве услуги либо в виде открытой сетевой утилиты, либо в качестве решения для хостинга для одной организации или ВО . Основными игроками на рынке служебных вычислений являются Sun Microsystems , IBM и HP .
Грид-приложения - это особые программные приложения, которые могут использовать грид-инфраструктуру. Это стало возможным благодаря использованию промежуточного программного обеспечения grid, как указывалось выше.
Программное обеспечение как услуга (SaaS) - это «программное обеспечение, которое принадлежит, доставляется и управляется удаленно одним или несколькими поставщиками». ( Gartner 2007) Кроме того, приложения SaaS основаны на едином наборе общих кодов и определений данных. Они используются по модели «один ко многим», а SaaS использует модель Pay As You Go (PAYG) или модель подписки, основанную на использовании. Провайдеры SaaS не обязательно сами владеют вычислительными ресурсами, которые необходимы для работы их SaaS. Таким образом, поставщики SaaS могут использовать рынок коммунальных услуг. Рынок коммунальных услуг предоставляет вычислительные ресурсы поставщикам SaaS.
Для компаний, занимающихся спросом или пользователями на рынке распределенных вычислений, различные сегменты имеют существенное значение для их стратегии развертывания ИТ. Стратегия развертывания ИТ, а также тип инвестиций в ИТ являются важными аспектами для потенциальных пользователей сети и играют важную роль для внедрения сети.
CPU-поглощающий , цикл-поглощающий или совместно вычислительное создает «сетку» из свободных ресурсов в сети участников (будь то во всем мире или внутренней к организации). Как правило, этот метод использует `` запасные '' циклы инструкций, возникающие из-за периодического бездействия, которое обычно происходит ночью, во время обеденных перерывов или даже во время (сравнительно незначительных, хотя и многочисленных) моментов простоя в ожидании того, что современный настольный процессор работает в течение дня ( когда компьютер ожидает ввода-вывода от пользователя, сети или хранилища ). На практике участвующие компьютеры также предоставляют некоторый поддерживаемый объем дискового пространства для хранения, ОЗУ и пропускную способность сети в дополнение к чистой мощности ЦП. [цитата необходима ]
Многие добровольные вычислительные проекты, такие как BOINC , используют модель очистки ЦП. Поскольку узлы могут время от времени отключаться, поскольку их владельцы используют свои ресурсы для своей основной цели, эта модель должна быть разработана для обработки таких непредвиденных обстоятельств.
Создание оппортунистической среды - еще одна реализация очистки ЦП, при которой специальная система управления рабочими нагрузками собирает простаивающие настольные компьютеры для выполнения ресурсоемких задач, она также называется Enterprise Desktop Grid (EDG). Например, HTCondor [7]Программная среда с открытым исходным кодом для высокопроизводительных вычислений для крупномасштабной распределенной рационализации вычислительно-ресурсоемких задач может быть сконфигурирована для использования только настольных компьютеров, где клавиатура и мышь простаивают, чтобы эффективно использовать потраченную впустую мощность процессора от простаивающих настольных рабочих станций. Как и другие полнофункциональные пакетные системы, HTCondor предоставляет механизм очереди заданий, политику планирования, схему приоритетов, мониторинг ресурсов и управление ресурсами. Он также может использоваться для управления рабочей нагрузкой на выделенном кластере компьютеров или может легко интегрировать как выделенные ресурсы (монтируемые в стойку кластеры), так и невыделенные настольные машины (циклическая очистка) в одной вычислительной среде.
Термин « сетевые вычисления» возник в начале 1990-х годов как метафора для упрощения доступа к компьютерной мощности, как к электросети . Метафора энергосистемы для доступных вычислений быстро стала канонической, когда Ян Фостер и Карл Кессельман опубликовали свою основополагающую работу «Грид: проект новой вычислительной инфраструктуры» (1999). Этому на десятилетия предшествовала метафора служебных вычислений (1961 г.): вычисления как общественная полезность, аналогичная телефонной системе. [8] [9]
Очистка ЦП и добровольные вычисления были популяризированы, начиная с 1997 г. с помощью distribution.net, а затем в 1999 г. с помощью SETI @ home, чтобы использовать возможности сетевых ПК по всему миру для решения исследовательских задач, требующих интенсивного использования ЦП. [10] [11]
Идеи сетки ( в том числе и от распределенных вычислений, объектно-ориентированного программирования и веб - сервисов) объединяла Ян Фостер и Стив Tuecke из Университета Чикаго , и Карл Кесельман из Университета Южной Калифорнии «s информационного института наук . Трио, возглавлявшее усилия по созданию инструментария Globus Toolkit , широко считается «отцами сети». [12] Набор инструментов включает не только управление вычислениями, но и управление хранилищем., обеспечение безопасности, перемещение данных, мониторинг и набор инструментов для разработки дополнительных услуг на основе той же инфраструктуры, включая согласование соглашений, механизмы уведомления, триггерные службы и агрегацию информации. Хотя Globus Toolkit остается фактическим стандартом для построения грид-решений, был создан ряд других инструментов, отвечающих определенному подмножеству сервисов, необходимых для создания корпоративной или глобальной грид-сети. [ необходима цитата ]
В 2007 году приобрел популярность термин « облачные вычисления» , который концептуально аналогичен каноническому определению Фостера для сетевых вычислений (с точки зрения потребляемых вычислительных ресурсов, поскольку электроэнергия поступает из энергосистемы ) и более ранних коммунальных вычислений. Действительно, грид-вычисления часто (но не всегда) связаны с поставкой систем облачных вычислений, примером чего является система AppLogic от 3tera . [ необходима цитата ]
В ноябре 2006 года Зайдель получил премию Сидни Фернбаха на конференции по суперкомпьютерам в Тампе, Флорида . [13] «За выдающийся вклад в разработку программного обеспечения для высокопроизводительных вычислений и грид-вычислений, позволяющего проводить совместные численные исследования сложных проблем физики; в частности, моделирование столкновений черных дыр». [14] Эта награда, которая является одной из высших наград в области вычислений, была присуждена за его достижения в численной теории относительности.
Кроме того, по состоянию на март 2019 года измеренная вычислительная мощность сети Биткойн составляла более 80000 экзафлопс ( операций с плавающей запятой в секунду ). [21] Это измерение отражает количество FLOPS, необходимое для равного хеш-вывода сети Биткойн, а не ее пропускную способность для общих арифметических операций с плавающей запятой, поскольку элементы сети Биткойн ( ASIC для майнинга биткойнов ) выполняют только конкретный криптографический хеш. вычисления, требуемые протоколом Биткойн .
Грид-вычисления предлагают способ решения проблем Grand Challenge, таких как сворачивание белков , финансовое моделирование , моделирование землетрясений и моделирование климата / погоды , и были неотъемлемой частью создания Большого адронного коллайдера в ЦЕРНе. [22] Гриды предлагают способ оптимального использования ресурсов информационных технологий внутри организации. Они также предоставляют средства для предложения информационных технологий в качестве полезности для коммерческих и некоммерческих клиентов, при этом эти клиенты платят только за то, что они используют, например, за электричество или воду.
По состоянию на октябрь 2016 года более 4 миллионов компьютеров, на которых работает платформа Berkeley Open Infrastructure for Network Computing (BOINC) с открытым исходным кодом, являются членами World Community Grid . [15] Одним из проектов, использующих BOINC, является SETI @ home , в котором на октябрь 2016 г. использовалось более 400 000 компьютеров для достижения 0,828 терафлопс . По состоянию на октябрь 2016 г. Folding @ home , который не является частью BOINC, достиг более 101 x86 -эквивалент в петафлопс на более чем 110 000 машин. [16]
Европейский Союз финансирует проекты через рамочные программы в Европейской комиссии . BEinGRID (Бизнес-эксперименты в сети) был исследовательским проектом, финансируемым Европейской Комиссией [23] как интегрированный проект в рамках спонсорской программы Шестой рамочной программы (FP6). Стартовал 1 июня 2006 года, проект длился 42 месяца, до ноября 2009 года. Проект координировал Atos Origin.. Согласно информационному бюллетеню проекта, их миссия - «установить эффективные маршруты для содействия внедрению грид-вычислений в ЕС и стимулировать исследования инновационных бизнес-моделей с использованием грид-технологий». Чтобы извлечь передовой опыт и общие темы из экспериментальных реализаций, две группы консультантов анализируют серию пилотных проектов: одну техническую, а другую - бизнес. Проект важен не только своей продолжительностью, но и своим бюджетом, который составляет 24,8 миллиона евро, что является крупнейшим из всех интегрированных проектов FP6. Из них 15,7 миллиона предоставлены Европейской комиссией, а оставшаяся часть - 98 компаниями-партнерами. После завершения проекта результаты BEinGRID были приняты и продвинуты IT-Tude.com .
Проект «Обеспечивающие сети для E-sciencE», базирующийся в Европейском Союзе и включающий сайты в Азии и США, был продолжением проекта European DataGrid (EDG) и превратился в Европейскую грид-инфраструктуру . Он, наряду с вычислительной сеткой LHC [24] (LCG), был разработан для поддержки экспериментов с использованием Большого адронного коллайдера ЦЕРН . Список активных сайтов, участвующих в LCG, можно найти в Интернете [25], а также мониторинг инфраструктуры EGEE в реальном времени. [26] Соответствующее программное обеспечение и документация также общедоступны. [27]Есть предположение, что выделенные оптоволоконные каналы, такие как те, что установлены ЦЕРНом для удовлетворения потребностей LCG в обработке данных, могут однажды стать доступными для домашних пользователей, тем самым предоставляя интернет-услуги со скоростью до 10 000 раз быстрее, чем традиционное широкополосное соединение. [28] Европейская сетевая инфраструктура была также использована для других исследовательских работ и экспериментов , таких как моделирование онкологических клинических испытаний. [29]
Проект distribution.net был начат в 1997 году. Система NASA Advanced Supercomputing (NAS) запускала генетические алгоритмы с использованием мусорщика цикла Condor, работающего примерно на 350 рабочих станциях Sun Microsystems и SGI .
В 2001 году United Devices управляла проектом United Devices по исследованию рака на основе своего продукта Grid MP , который циклически очищает компьютеры добровольцев, подключенные к Интернету. Перед закрытием проекта в 2007 г. [30]
Сегодня существует множество определений грид-вычислений :
Имя | Область | Начинать | Конец |
---|---|---|---|
Европейская грид-инфраструктура (EGI) | Европа | Май 2010 г. | Декабрь 2014 г. |
Европейский институт инфраструктуры открытого промежуточного программного обеспечения (OMII-Europe) | Европа | Май 2006 г. | Май 2008 г. |
Включение гридов для E-sciencE (EGEE, EGEE II и EGEE III) | Европа | Март 2004 г. | Апрель 2010 г. |
Удаленное контрольно-измерительное оборудование с включенной сетью и распределенным управлением и вычислениями (GridCC) | Европа | Сентябрь 2005 г. | Сентябрь 2008 г. |
Европейская инициатива по промежуточному программному обеспечению (EMI) | Европа | Май 2010 г. | активный |
KnowARC | Европа | Июнь 2006 г. | Ноябрь 2009 г. |
Грид-центр данных Северных стран | Скандинавия и Финляндия | Июнь 2006 г. | Декабрь 2012 г. |
Сетка мирового сообщества | Глобальный | Ноябрь 2004 г. | активный |
XtreemOS | Европа | Июнь 2006 г. | (Май 2010 г.) доб. к сентябрю 2010 г. |
OurGrid | Бразилия | Декабрь 2004 г. | активный |