Многие задачи-вычисление ( MTC ) [1] [2] [3] [4] [5] [6] [7] в вычислительной науке является подходом к параллельным вычислениям , который направлен на преодоление разрыва между двумя вычислительными парадигмами : высоко- вычисления с пропускной способностью (HTC) [8] и высокопроизводительные вычисления (HPC).
Определение
MTC напоминает HTC, но "отличается акцентом на использование множества вычислительных ресурсов в течение коротких периодов времени для выполнения многих вычислительных задач (т.е. включая как зависимые, так и независимые задачи), где основные показатели измеряются в секундах (например, FLOPS, задач / с, скорость ввода-вывода МБ / с), в отличие от операций (например, заданий) в месяц. MTC обозначает высокопроизводительные вычисления, включающие несколько различных действий, связанных через операции файловой системы. Задачи могут быть небольшими или большими, однопроцессорными или многопроцессорность, интенсивность вычислений или данных . Набор задач может быть статическим или динамическим, однородным или гетерогенным, слабосвязанным или тесно связанным. Совокупное количество задач, количество вычислений и объемы данных могут быть чрезвычайно большими. MTC включает слабосвязанные приложения, которые обычно интенсивно взаимодействуют, но не выражаются естественным образом с использованием стандартного интерфейса передачи сообщений, обычно встречающегося в HPC, что привлекает внимание ко многим вычислениям, которые Этерогенный, но не «счастливый» параллельный. [6]
Райку и др. Далее говорится: «Для HPC есть нечто большее, чем тесно связанный MPI, и для HTC - больше, чем досадно параллельные длительные задания. Подобно приложениям HPC и самой науке, приложения становятся все более сложными, открывая новые возможности для многих возможностей применения HPC по-новому. Если мы расширим нашу перспективу. У некоторых приложений так много простых задач, что управлять ими сложно. Приложения, которые работают с большими объемами данных или производят большие объемы данных, нуждаются в сложном управлении данными для масштабирования. Существуют приложения, которые включают множество задач, каждое из тесно связанные задачи MPI. Слабосвязанные приложения часто имеют зависимости между задачами и обычно используют файлы для межпроцессного взаимодействия. Эффективная поддержка таких приложений в существующих крупномасштабных системах потребует значительных технических проблем и окажет большое влияние на науку ». [6]
Связанные области
Некоторыми связанными областями являются множественные программы и множественные данные (MPMD), вычисления с высокой пропускной способностью (HTC), рабочие процессы, вычисление емкости или досадно параллельное выполнение . Некоторые проекты, которые могут поддерживать рабочие нагрузки MTC, - это Condor , [9] Mapreduce , [10] Hadoop , [11] Boinc , [12] Cobalt [ постоянная мертвая ссылка ], HTC-mode, [13] Falkon , [14] и Swift ., [15] [16]
Рекомендации
- ^ Семинар IEEE по многозадачным вычислениям в сетях и суперкомпьютерах (MTAGS08) 2008 г., http://datasys.cs.iit.edu/events/MTAGS08/
- ^ Семинар ACM по многозадачным вычислениям в сетях и суперкомпьютерах (MTAGS09) 2009, http://datasys.cs.iit.edu/events/MTAGS09/
- ^ IEEE Workshop on Many-Task Computing on Grid and Supercomputers (MTAGS10) 2010, http://datasys.cs.iit.edu/events/MTAGS10/
- ^ Семинар ACM по многозадачным вычислениям в сетях и суперкомпьютерах (MTAGS11) 2011, http://datasys.cs.iit.edu/events/MTAGS11/
- ^ Транзакции IEEE в параллельных и распределенных системах, специальный выпуск по многозадачным вычислениям, июнь 2011 г., http://datasys.cs.iit.edu/events/TPDS_MTC/
- ^ a b c И. Райку, И. Фостер, Ю. Чжао. «Многозадачные вычисления для сетей и суперкомпьютеров», семинар IEEE по многозадачным вычислениям в сетях и суперкомпьютерах (MTAGS08), 2008 г.
- ^ «Многозадачные вычисления: преодоление разрыва между производительностью и пропускной способностью», International Science Grid This Week (iSGTW), 28 января 2009 г., http://www.isgtw.org/?pid=1001602 Архивировано 01.01.2011 в Wayback Machine
- ^ М. Ливни, Дж. Басни, Р. Раман, Т. Танненбаум. "Механизмы высокопроизводительных вычислений", SPEEDUP Journal 1 (1), 1997 г.
- ^ Д. Тейн, Т. Танненбаум, М. Ливни, "Распределенные вычисления на практике: опыт Condor" Параллелизм и вычисления: практика и опыт 17 (2-4), стр. 323-356, 2005
- ^ Дж. Дин, С. Гемават. «MapReduce: упрощенная обработка данных на больших кластерах». В OSDI, 2004 г.
- ^ А. Bialecki, М. Cafarella, Д. Режущий, О. О'Мэлли. «Hadoop: платформа для запуска приложений в больших кластерах, построенных из массового оборудования», http://lucene.apache.org/hadoop/ Архивировано 10 февраля 2007 г.на Wayback Machine , 2005 г.
- ^ DP Андерсон, "BOINC: система для вычислений и хранения общедоступных ресурсов", Международный семинар IEEE / ACM по грид-вычислениям, 2004 г.
- ^ Корпорация IBM. «Парадигма высокопроизводительных вычислений (HTC)», Решение IBM System Blue Gene: разработка приложений Blue Gene / P, IBM RedBooks, 2008 г.
- ^ I. Raicu, Y. Zhao, C. Dumitrescu, И. Фостер, М. Wilde. «Falkon: быстрый и легкий фреймворк для выполнения задач», IEEE / ACM SC, 2007 г.
- ↑ Y. Zhao, M. Hategan, B. Clifford, I. Foster, G. Laszewski, I. Raicu, T. Stef-Praun, M. Wilde. «Swift: быстрые, надежные, слабосвязанные параллельные вычисления», IEEE SWF, 2007 г.
- ^ М. Уайлд, М. Хатеган, Дж. М. Возняк, Б. Клиффорд, Д. С. Кац и И. Фостер. «Swift: язык для распределенного параллельного написания сценариев». Параллельные вычисления, 37: 633–652, 2011.