Разреженная матрица

Пример разреженной матрицы${\ displaystyle \ left ({\ begin {smallmatrix} 11 & 22 & 0 & 0 & 0 & 0 & 0 \\ 0 & 33 & 44 & 0 & 0 & 0 & 0 \\ 0 & 0 & 55 & 66 & 77 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 88 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 99 \\} end {small)$

Вышеупомянутая разреженная матрица содержит только 9 ненулевых элементов с 26 нулевыми элементами. Его разреженность составляет 74%, а плотность - 26%.

Разреженная матрица, полученная при решении задачи конечных элементов в двух измерениях. Ненулевые элементы показаны черным.

В численном анализе и научных вычислений , A разреженная матрица или разреженный массив является матрица , в которой большинство элементов равны нулю. Не существует строгого определения того, сколько элементов должно быть нулевым, чтобы матрица считалась разреженной, но общий критерий состоит в том, что количество ненулевых элементов примерно равно количеству строк или столбцов. Напротив, если большинство элементов отличны от нуля, матрица считается плотной . Количество элементов с нулевым знаком, деленное на общее количество элементов (например, m × n для матрицы m × n), иногда называют разреженностью матрицы.

Концептуально разреженность соответствует системам с небольшим количеством парных взаимодействий. Например, рассмотрим линию шаров, соединенных пружинами от одного к другому: это разреженная система, поскольку связаны только соседние шары. Напротив, если бы одна и та же линия шаров имела пружины, соединяющие каждый шар со всеми другими шарами, система соответствовала бы плотной матрице. Концепция разреженности полезна в комбинаторике и прикладных областях, таких как теория сетей и численный анализ , которые обычно имеют низкую плотность важных данных или соединений. Большие разреженные матрицы часто появляются в научных или инженерных приложениях при решении уравнений в частных производных .

При хранении разреженных матриц и манипулировании ими на компьютере полезно и часто необходимо использовать специализированные алгоритмы и структуры данных, которые используют преимущества разреженной структуры матрицы. Специализированные компьютеры были созданы для разреженных матриц ^[1], поскольку они распространены в области машинного обучения. ^[2] Операции с использованием стандартных структур и алгоритмов с плотной матрицей являются медленными и неэффективными при применении к большим разреженным матрицам, поскольку обработка и память тратятся на нули. Разреженные данные по своей природе легче сжимаются и, следовательно, требуют значительно меньшего объема памяти.. Некоторыми очень большими разреженными матрицами невозможно манипулировать с помощью стандартных алгоритмов плотных матриц.

Хранение разреженной матрицы [ править ]

Матрица обычно хранится как двумерный массив. Каждая запись в массиве представляет собой элемент a _{i , j} матрицы и доступна по двум индексам i и j . Обычно i - это индекс строки, пронумерованный сверху вниз, а j - индекс столбца, пронумерованный слева направо. Для матрицы размером m × n объем памяти, необходимый для хранения матрицы в этом формате, пропорционален m × n (без учета того факта, что размеры матрицы также должны быть сохранены).

В случае разреженной матрицы существенное сокращение требований к памяти может быть реализовано путем сохранения только ненулевых элементов. В зависимости от количества и распределения ненулевых записей могут использоваться разные структуры данных, что дает огромную экономию памяти по сравнению с базовым подходом. Компромисс заключается в том, что доступ к отдельным элементам становится более сложным, и требуются дополнительные структуры, чтобы иметь возможность однозначно восстановить исходную матрицу.

Форматы можно разделить на две группы:

• Те, которые поддерживают эффективную модификацию, например DOK (Словарь ключей), LIL (Список списков) или COO (Список координат). Обычно они используются для построения матриц.
• Те, которые поддерживают эффективный доступ и матричные операции, такие как CSR (сжатая разреженная строка) или CSC (сжатый разреженный столбец).

Словарь ключей (DOK) [ править ]

ДОК состоит из словаря , который отображает (строка, столбец) - пары к значению элементов. Элементы, отсутствующие в словаре, считаются равными нулю. Формат хорош для постепенного построения разреженной матрицы в случайном порядке, но плохой для перебора ненулевых значений в лексикографическом порядке. Обычно в этом формате создается матрица, а затем преобразуется в другой, более эффективный формат для обработки. ^[3]

Список списков (LIL) [ править ]

LIL хранит по одному списку на строку, каждая запись содержит индекс столбца и значение. Обычно эти записи отсортированы по индексу столбца для более быстрого поиска. Это еще один формат, подходящий для построения инкрементальной матрицы. ^[4]

Список координат (COO) [ править ]

COO хранит список кортежей (строка, столбец, значение) . В идеале записи сортируются сначала по индексу строки, а затем по индексу столбца, чтобы сократить время произвольного доступа. Это еще один формат, который подходит для построения инкрементальной матрицы. ^[5]

Сжатая разреженная строка (формат CSR, CRS или Йельского университета) [ править ]

Сжатого разреженным строки (КСО) или сжатого хранения строк (СВК) или формат Йельского представляет собой матрицу M с помощью трех (одномерных массивов), которые соответственно содержат ненулевые значения, экстенты строк и столбцов индексов. Он похож на COO, но сжимает индексы строк, отсюда и название. Этот формат обеспечивает быстрый доступ к строке и умножение матрицы на вектор ( M x ). Формат CSR используется по крайней мере с середины 1960-х годов, а первое полное описание появилось в 1967 году ^[6].

Формат CSR хранит разреженную матрицу M размера m × n в виде строки с использованием трех (одномерных) массивов (V, COL_INDEX, ROW_INDEX) . Пусть NNZ обозначает число ненулевых элементов в М . (Обратите внимание, что здесь должны использоваться индексы , начинающиеся с нуля .)

• Массивы V и COL_INDEX имеют длину NNZ и содержат ненулевые значения и индексы столбцов этих значений соответственно.

• Массив ROW_INDEX имеет длину m + 1 и кодирует индекс в V и COL_INDEX, где начинается данная строка. Последний элемент - это NNZ , т. Е. Фиктивный индекс в V сразу после последнего действительного индекса NNZ - 1 . ^[7]

Например, матрица

${\ displaystyle {\ begin {pmatrix} 5 & 0 & 0 & 0 \\ 0 & 8 & 0 & 0 \\ 0 & 0 & 3 & 0 \\ 0 & 6 & 0 & 0 \\\ end {pmatrix}}}$

это 4 × 4 матрица с 4 ненулевых элементов, следовательно ,

 V = [5 8 3 6] COL_INDEX = [0 1 2 1] ROW_INDEX = [0 1 2 3 4] 

предполагая язык с нулевым индексом.

Чтобы извлечь строку, мы сначала определяем:

 row_start = ROW_INDEX [строка] row_end = ROW_INDEX [строка + 1]

Затем мы берем срезы из V и COL_INDEX, начиная с row_start и заканчивая row_end.

Чтобы извлечь строку 1 (вторую строку) этой матрицы, мы устанавливаем row_start=1и row_end=2. Затем делаем дольки V[1:2] = [8]и COL_INDEX[1:2] = [1]. Теперь мы знаем, что в строке 1 у нас есть один элемент в столбце 1 со значением 8.

В этом случае представление CSR содержит 13 элементов по сравнению с 16 в исходной матрице. Формат CSR сохраняет память только тогда, когда NNZ <( m ( n - 1) - 1) / 2 . Другой пример, матрица

${\ displaystyle {\ begin {pmatrix} 10 & 20 & 0 & 0 & 0 & 0 \\ 0 & 30 & 0 & 40 & 0 & 0 \\ 0 & 0 & 50 & 60 & 70 & 0 \\ 0 & 0 & 0 & 0 & 0 & 80 \\\ end {pmatrix}}}$

это 4 × 6 матрица (24 записей) с 8 ненулевых элементов, так

 V = [10 20 30 40 50 60 70 80] COL_INDEX = [0 1 1 3 2 3 4 5]  ROW_INDEX = [0 2 4 7 8]

Всего хранится 21 запись.

• ROW_INDEX разбивает массив V в строки: (10, 20) (30, 40) (50, 60, 70) (80);
• COL_INDEX выравнивает значения в столбцах: (10, 20, ...) (0, 30, 0, 40, ...)(0, 0, 50, 60, 70, 0) (0, 0, 0, 0, 0, 80).

Обратите внимание, что в этом формате первое значение ROW_INDEX всегда равно нулю, а последнее - всегда NNZ , поэтому они в некотором смысле избыточны (хотя в языках программирования, где длина массива должна быть явно сохранена, NNZ не будет избыточным). Тем не менее, это позволяет избежать необходимости обрабатывать исключительный случай при вычислении длины каждой строки, поскольку это гарантирует, что формула ROW_INDEX [ i + 1] - ROW_INDEX [ i ] работает для любой строки i . Более того, стоимость памяти этого избыточного хранилища, вероятно, незначительна для достаточно большой матрицы.

Форматы разреженных матриц Йельского университета (старые и новые) являются экземплярами схемы CSR. Старый формат Йельского университета работает точно так же, как описано выше, с тремя массивами; новый формат объединяет ROW_INDEX и COL_INDEX в единый массив и обрабатывает диагональ матрицы отдельно. ^[8]

Для матриц логической смежности массив данных может быть опущен, поскольку наличие записи в массиве строк достаточно для моделирования двоичного отношения смежности.

Он, вероятно, известен как формат Йельского университета, потому что он был предложен в отчете о пакете разреженных матриц Йельского университета 1977 года, подготовленном факультетом компьютерных наук Йельского университета. ^[9]

Сжатый разреженный столбец (CSC или CCS) [ править ]

CSC похож на CSR, за исключением того, что значения сначала считываются по столбцу, для каждого значения сохраняется индекс строки и сохраняются указатели столбцов. Например, CSC - это (val, row_ind, col_ptr) , где val - это массив (сверху вниз, затем слева направо) ненулевых значений матрицы; row_ind - это индексы строк, соответствующие значениям; и col_ptr - это список индексов val, с которых начинается каждый столбец. Название основано на том факте, что информация индекса столбца сжимается относительно формата COO. Обычно для построения используется другой формат (LIL, DOK, COO). Этот формат эффективен для арифметических операций, нарезки столбцов и произведений матрица-вектор. Видетьscipy.sparse.csc_matrix . Это традиционный формат для указания разреженной матрицы в MATLAB (через sparseфункцию).

Особая структура [ править ]

Бандиты [ править ]

Важным специальным типом разреженных матриц является матрица полос , определяемая следующим образом. Нижняя полоса пропускания матрицы А является наименьшим числом р таким образом, что запись _{я , J} обращается в нуль каждый раз , когда я > J + р . Точно так же верхняя ширина полосы - это наименьшее число p такое, что a _{i , j} = 0 всякий раз, когда i < j - p ( Голуб и Ван Лоан 1996 , §1.2.1). Например, трехдиагональная матрицаимеет нижнюю полосу пропускания 1 и верхнюю полосу пропускания 1 . В качестве другого примера следующая разреженная матрица имеет нижнюю и верхнюю полосы пропускания, равные 3. Обратите внимание, что для ясности нули представлены точками.

${\displaystyle \left({\begin{smallmatrix}X&X&X&\cdot &\cdot &\cdot &\cdot &\\X&X&\cdot &X&X&\cdot &\cdot &\\X&\cdot &X&\cdot &X&\cdot &\cdot &\\\cdot &X&\cdot &X&\cdot &X&\cdot &\\\cdot &X&X&\cdot &X&X&X&\\\cdot &\cdot &\cdot &X&X&X&\cdot &\\\cdot &\cdot &\cdot &\cdot &X&\cdot &X&\\\end{smallmatrix}}\right)}$

Матрицы с достаточно малой верхней и нижней полосой пропускания известны как матрицы полос и часто поддаются более простым алгоритмам, чем общие разреженные матрицы; или иногда можно применять алгоритмы с плотной матрицей и повысить эффективность, просто перебирая сокращенное количество индексов.

Путем переупорядочивания строк и столбцов матрицы A можно получить матрицу A ' с более низкой полосой пропускания. Ряд алгоритмов разработан для минимизации полосы пропускания .

Диагональ [ править ]

Очень эффективная структура для крайнего случая ленточных матриц, диагональной матрицы , заключается в хранении только элементов главной диагонали в виде одномерного массива , поэтому для диагональной матрицы размера n × n требуется только n элементов.

Симметричный [ править ]

Симметричный разреженная матрица возникает как смежности матрицы из с неориентированного графа ; его можно эффективно сохранить как список смежности .

Диагональ блока [ править ]

Блочно-диагональная матрица состоит из суб-матриц вдоль ее диагональных блоков. Блочно-диагональная матрица A имеет вид

${\displaystyle \mathbf {A} ={\begin{bmatrix}\mathbf {A} _{1}&0&\cdots &0\\0&\mathbf {A} _{2}&\cdots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &\mathbf {A} _{n}\end{bmatrix}},}$

где A _k - квадратная матрица для всех k = 1, ..., n .

Уменьшение заполнения [ править ]

Принудительные матриц являются теми элементами , которые изменяются от начального нуля до ненулевого значения во время выполнения алгоритма. Чтобы уменьшить требования к памяти и количество арифметических операций, используемых во время алгоритма, полезно минимизировать заполнение путем переключения строк и столбцов в матрице. Символическое Cholesky разложение может быть использовано для расчета наихудших принудительный , прежде чем делать фактическое разложение Холецкого .

Существуют и другие методы, кроме разложения Холецкого . Методы ортогонализации (такие как QR-факторизация) распространены, например, при решении задач методом наименьших квадратов. Хотя теоретическая подстановка остается прежней, с практической точки зрения «ложные ненулевые значения» могут быть разными для разных методов. И символические версии этих алгоритмов могут использоваться таким же образом, как и символические версии Холецкого, для вычисления заполнения наихудшего случая.

Решение разреженных матричных уравнений [ править ]

Для решения разреженных матриц существуют как итерационные, так и прямые методы.

Итерационные методы, такие как метод сопряженных градиентов и GMRES, используют быстрые вычисления произведений матрица-вектор , где матрица разреженная. Использование предобуславливателей может значительно ускорить сходимость таких итерационных методов.${\displaystyle Ax_{i}}$${\displaystyle A}$

Программное обеспечение [ править ]

Многие программные библиотеки поддерживают разреженные матрицы и предоставляют решатели для разреженных матричных уравнений. Следующие программы имеют открытый исходный код:

• SuiteSparse , набор алгоритмов разреженных матриц, направленных на прямое решение разреженных линейных систем.
• PETSc , большая библиотека C, содержащая множество различных решателей матриц для различных форматов хранения матриц.
• Trilinos , большая библиотека C ++ с под-библиотеками, предназначенными для хранения плотных и разреженных матриц и решения соответствующих линейных систем.
• Eigen3 - это библиотека C ++, которая содержит несколько решателей разреженных матриц. Однако ни один из них не распараллелен .
• MUMPS ( MU ltifrontal M assively P arallel sparse direct S olver), написанный на Fortran90, является фронтальным решателем .
• DUNE , библиотека конечных элементов, которая также имеет подбиблиотеку для разреженных линейных систем и их решений.
• PaStix .
• SuperLU .
• Armadillo предоставляет удобную оболочку C ++ для BLAS и LAPACK.
• SciPy обеспечивает поддержку нескольких форматов разреженных матриц, линейной алгебры и решателей.
• Пакет SPArse Matrix (spam) R для разреженных матриц.
• Инструменты Wolfram Language для работы с разреженными массивами
• ALGLIB - это библиотека C ++ и C # с поддержкой разреженной линейной алгебры.
• ARPACK Библиотека Fortran 77 для диагонализации и обработки разреженных матриц с использованием алгоритма Арнольди
• SPARSE Справочный (старый) пакет NIST для диагонализации (реальной или комплексной) разреженной матрицы
• Библиотека SLEPc для решения крупномасштабных линейных систем и разреженных матриц
• Sympiler , генератор кода для конкретной предметной области и библиотека для решения линейных систем и задач квадратичного программирования.

История [ править ]

Термин разреженная матрица, возможно, был придуман Гарри Марковицем, который инициировал некоторую новаторскую работу, но затем покинул эту область. ^[10]

См. Также [ править ]

Заметки [ править ]

Ссылки [ править ]

• Голуб, Джин Х .; Ван Лоан, Чарльз Ф. (1996). Матричные вычисления (3-е изд.). Балтимор: Джонс Хопкинс. ISBN 978-0-8018-5414-9.
• Стоер, Йозеф; Булирш, Роланд (2002). Введение в численный анализ (3-е изд.). Берлин, Нью-Йорк: Springer-Verlag . ISBN 978-0-387-95452-3.
• Тьюарсон, Реджинальд П. (май 1973 г.). Разреженные матрицы (часть серии «Математика в науке и технике») . Academic Press Inc. (Эта книга, написанная профессором Университета штата Нью-Йорк в Stony Book, была первой книгой, посвященной исключительно разреженным матрицам. В начале 1980-х в этом университете были предложены курсы для аспирантов, использующие ее в качестве учебника).
• Bank, Randolph E .; Дуглас, Крейг К. «Пакет умножения разреженных матриц» (PDF) .
• Писсанецки, Серджио (1984). Технология разреженной матрицы . Академическая пресса.
• Снай, Ричард А. (1976). «Снижение профиля разреженных симметричных матриц». Бюллетень Géodésique . 50 (4): 341–352. Bibcode : 1976BGeod..50..341S . DOI : 10.1007 / BF02521587 . HDL : 2027 / uc1.31210024848523 . S2CID  123079384 .Также NOAA Technical Memorandum NOS NGS-4, National Geodetic Survey, Rockville, MD. ^[1]

Дальнейшее чтение [ править ]

• Гиббс, Норман Э .; Пул, Уильям Дж .; Штокмейер, Пол К. (1976). «Сравнение нескольких алгоритмов сокращения пропускной способности и профиля» . Транзакции ACM на математическом ПО . 2 (4): 322–330. DOI : 10.1145 / 355705.355707 . S2CID  14494429 .
• Гилберт, Джон Р .; Молер, Клив; Шрайбер, Роберт (1992). «Разреженные матрицы в MATLAB: разработка и реализация» . Журнал SIAM по матричному анализу и приложениям . 13 (1): 333–356. CiteSeerX  10.1.1.470.1054 . DOI : 10.1137 / 0613024 .
• Исследование алгоритмов разреженной матрицы в Техасском университете A&M.
• SuiteSparse Matrix Коллекция
• МАЛЕНЬКИЙ проект Финансируемый ЕС проект по разреженным моделям, алгоритмам и изучению словарей для крупномасштабных данных.