Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Это сравнение программного обеспечения статистического анализа, которое позволяет делать выводы с гауссовскими процессами, часто используя приближения .

Эта статья написана с точки зрения байесовской статистики , которая может использовать терминологию, отличную от той, которая обычно используется в кригинге . В следующем разделе следует пояснить математическое / вычислительное значение информации, представленной в таблице, независимо от контекстной терминологии.

Описание столбцов [ править ]

В этом разделе подробно описаны значения столбцов в таблице ниже.

Решатели [ править ]

Эти столбцы относятся к алгоритмам, используемым для решения линейной системы, определенной априорной ковариационной матрицей , то есть матрицей, построенной путем вычисления ядра.

  • Точный : реализованы ли общие точные алгоритмы. Эти алгоритмы обычно подходят только для нескольких тысяч точек данных.
  • Специализированный : реализованы ли специализированные точные алгоритмы для конкретных классов задач. Поддерживаемые специализированные алгоритмы могут быть обозначены как:
    • Кронекер : алгоритмы для разделяемых ядер на сеточных данных. [1]
    • Теплиц : алгоритмы для стационарных ядер на равномерно распределенных данных. [2]
    • Семисеп. : алгоритмы для полусепарабельных ковариационных матриц. [3]
    • Sparse : алгоритмы, оптимизированные для разреженных ковариационных матриц.
    • Блок : алгоритмы, оптимизированные для блочно-диагональных ковариационных матриц.
  • Приблизительный : реализованы ли общие или специализированные приближенные алгоритмы. Поддерживаемые приблизительные алгоритмы могут быть обозначены как:
    • Разреженный : алгоритмы, основанные на выборе набора «наводящих точек» во входном пространстве. [4]
    • Иерархический : алгоритмы, которые аппроксимируют ковариационную матрицу иерархической матрицей . [5]

Ввод [ редактировать ]

В этих столбцах указаны точки, по которым оценивается гауссовский процесс, т. Е. Оценивается ли процесс .

  • ND : поддерживается ли многомерный ввод. Если это так, многомерный вывод всегда возможен путем добавления измерения к входу, даже без прямой поддержки.
  • Non-реальный : ли произвольное не- реальный поддерживается ввод (например, текст или комплексных числа ).

Вывод [ править ]

Эти столбцы содержат информацию о значениях, полученных в результате процесса, и о том, как они связаны с данными, используемыми при подборе.

  • Вероятность : поддерживаются ли произвольные негауссовские вероятности .
  • Ошибки : поддерживаются ли произвольные неоднородные коррелированные ошибки на точках данных для гауссовского правдоподобия. Ошибки можно обрабатывать вручную, добавляя компонент ядра, в этом столбце рассказывается о возможности управления ими по отдельности. Поддержка частичных ошибок может обозначаться как:
    • iid : точки данных должны быть независимыми и одинаково распределенными .
    • Некоррелированный : точки данных должны быть независимыми, но могут иметь разное распределение.
    • Стационарный : точки данных могут быть коррелированы, но ковариационная матрица должна быть матрицей Теплица , в частности, это означает, что дисперсии должны быть однородными.

Гиперпараметры [ править ]

Эти столбцы предназначены для поиска значений переменных, которые каким-то образом входят в определение конкретной проблемы, но не могут быть выведены с помощью гауссовского процесса, например, параметров в формуле ядра.

Если обе ячейки «Prior» и «Posterior» содержат «Manually», программное обеспечение предоставляет интерфейс для вычисления предельного правдоподобия и его градиента по гиперпараметрам, которые могут быть введены в алгоритм оптимизации / выборки, например, градиентный спуск или Монте цепи Маркова Карло .

Линейные преобразования [ править ]

Эти столбцы посвящены возможности одновременной подгонки точек данных к процессу и к его линейным преобразованиям.

  • Deriv. : можно ли для любого дифференцируемого ядра взять произвольное число производных до максимума, допускаемого гладкостью ядра. Пример частичных спецификаций может быть максимальной производной возможностью или реализацией только для некоторых ядер. Интегралы могут быть получены косвенно из производных.
  • Конечный : является ли конечные произвольным линейными преобразованиями допускаются на указанных точках данных.
  • Итог : можно ли суммировать различные ядра и получать доступ отдельно к процессам, соответствующим каждому слагаемому. Это частный случай конечного линейного преобразования, но он указан отдельно, поскольку является общей чертой.

Таблица сравнения [ править ]

ИмяЛицензияЯзыкРешателиВходВыходГиперпараметрыЛинейные преобразованияИмя
ТочныйСпециализированныйПриблизительныйNDНенастоящийВероятностьОшибкиПрежнийЗаднийDeriv.КонечныйСумма
PyMC3ApachePythonдаКронекерРазреженныйNDНетЛюбойКоррелированныйдадаНетдадаPyMC3
GPvecchiaGNU GPLрдаНетРазреженный, иерархический1DНетЭкспоненциальная семьяКоррелированныйНетНетНетдадаGPvecchia
GpGpМассачусетский технологический институтрНетНетРазреженныйNDНетГауссовскийКоррелированныйдадаНетдадаGpGp
GPy [6]BSDPythonдаНетРазреженныйNDНетМногиеНекоррелированныйдадаНетНетНетGPy
pyGPs [7]BSDPythonдаНетРазреженныйNDГрафики, вручнуюБернуллиiidВручнуюВручнуюНетНетНетpyGPs
СтэнBSD , GPLобычайдаНетНетNDНетЛюбойКоррелированныйдадаНетдадаСтэн
GPyTorch [8]Массачусетский технологический институтPythonдаНетРазреженныйNDНетБернуллиНетПервый RBFGPyTorch
GPML [9] [10]BSDMATLABдаНетРазреженныйNDНетМногиеiidВручнуюВручнуюНетНетНетGPML
fbm [10]БесплатноCдаНетНетNDНетБернулли, ПуассонНекоррелированный, стационарныйМногиедаНетfbm
gptkBSDрдаБлокировать?РазреженныйNDНетГауссовскийНетВручнуюВручнуюНетНетНетgptk
SuperGaussGNU GPLR , C ++НетТеплиц [а]Нет1DНетГауссовскийНетВручнуюВручнуюНетНетНетSuperGauss
целерит [3]Массачусетский технологический институтPython , Юлия , C ++НетСемисеп. [b]Нет1DНетГауссовскийНекоррелированныйВручнуюВручнуюНетНетцелерит
ДжорджМассачусетский технологический институтPython , C ++даНетИерархическийNDНетГауссовскийНекоррелированныйВручнуюВручнуюНетНетВручнуюДжордж
нейронные касательные [11] [c]ApachePythonдаБлок, КронекерНетНетГауссовскийНетНетНетНетНетНетнейронные касательные
СТКGNU GPLMATLABдаНетНетNDНетГауссовскийНекоррелированныйВручнуюВручнуюНетНетВручнуюСТК
UQLab [12]ПроприетарныйMATLABUQLab
ooDACE [13]ПроприетарныйMATLABNDНетooDACE
GPstuff [10]GNU GPLMATLAB , RдаНетРазреженныйNDНетМногиеМногиедаПервый RBFGPstuff
GSToolsGNU LGPLPythonдаНетНетNDНетГауссовскийНетНетНетНетНетНетGSTools
ГеорадарApacheC ++даНетРазреженныйNDНетГауссовскийiidНекоторые, вручнуюВручнуюПервыйНетНетГеорадар
scikit-learnBSDPythonдаНетНет1DНетБернуллиscikit-learn
PyKrigeBSDPython2D, 3DНетPyKrige
GPflow [6]ApachePythonдаНетРазреженныйМногиедадаGPflow
ИмяЛицензияЯзыкТочныйСпециализированныйПриблизительныйNDНенастоящийВероятностьОшибкиПрежнийЗаднийDeriv.КонечныйСуммаИмя
РешателиВходВыходГиперпараметрыЛинейные преобразования

Заметки [ править ]

  1. ^ SuperGauss реализует сверхбыстрый решатель Теплица с вычислительной сложностью.
  2. ^ celerite реализует только определенную подалгебру ядер, которая может быть решена в. [3]
  3. ^ neural-tangents - это специализированный пакет для бесконечно широких нейронных сетей.

Ссылки [ править ]

  1. ^ П. Каннингем, Джон; Гильбоа, Элад; Саатчи, Юнус (февраль 2015 г.). «Масштабирование многомерного вывода для структурированных гауссовских процессов». IEEE Transactions по анализу шаблонов и машинному анализу . 37 (2): 424–436. DOI : 10.1109 / TPAMI.2013.192 . PMID  26353252 . S2CID  6878550 .
  2. ^ Лейт, DJ; Чжан, Юнонг; Leithead, WE (2005). «Регрессия гауссовского процесса временных рядов на основе тёплицевых вычислений O (N2) операций и хранения O (N) -уровня». Труды 44-й конференции IEEE по решениям и контролю : 3711–3716. DOI : 10.1109 / CDC.2005.1582739 . S2CID 13627455 . 
  3. ^ a b c Бригадир-Макки, Дэниел; Ангус, Рут; Агол, Эрик; Амбикасаран, Шиварам (9 ноября 2017 г.). «Быстрое и масштабируемое моделирование гауссовских процессов с приложениями к астрономическим временным рядам». Астрономический журнал . 154 (6): 220. arXiv : 1703.09710 . Bibcode : 2017AJ .... 154..220F . DOI : 10.3847 / 1538-3881 / aa9332 . S2CID 88521913 . 
  4. ^ Киньонеро-Кандела, Хоакин; Расмуссен, Карл Эдвард (5 декабря 2005 г.). "Единый взгляд на разреженную приближенную регрессию гауссовского процесса" . Журнал исследований в области машинного обучения . 6 : 1939–1959 . Дата обращения 23 мая 2020 . CS1 maint: discouraged parameter (link)
  5. ^ Ambikasaran, S .; Форман-Макки, Д .; Greengard, L .; Hogg, DW; О'Нил, М. (1 февраля 2016 г.). «Быстрые прямые методы для гауссовских процессов». IEEE Transactions по анализу шаблонов и машинному анализу . 38 (2): 252–265. arXiv : 1403.6015 . DOI : 10.1109 / TPAMI.2015.2448083 . PMID 26761732 . S2CID 15206293 .  
  6. ^ a b Мэтьюз, Александр Г. де G .; ван дер Вилк, Марк; Никсон, Том; Фудзи, Кейсуке; Букувалас, Алексис; Леон-Виллагра, Пабло; Гахрамани, Зубин; Хенсман, Джеймс (апрель 2017 г.). «GPflow: библиотека процессов Гаусса с использованием TensorFlow» . Журнал исследований в области машинного обучения . 18 (40): 1–6. arXiv : 1610.08733 . Дата обращения 6 июля 2020 . CS1 maint: discouraged parameter (link)
  7. ^ Нойман, Мэрион; Хуанг, Шань; Э. Марталер, Дэниел; Керстинг, Кристиан (2015). «pyGPs - библиотека Python для регрессии и классификации гауссовских процессов» . Журнал исследований в области машинного обучения . 16 : 2611–2616.
  8. ^ Гарднер, Джейкоб R; Плейс, Джефф; Биндель, Дэвид; Вайнбергер, Килиан Кью; Уилсон, Эндрю Гордон (2018). «GPyTorch: гауссовский вывод матриц-матриц черного ящика с ускорением графического процессора» (PDF) . Достижения в системах обработки нейронной информации . 31 : 7576–7586. arXiv : 1809.11165 . Дата обращения 23 мая 2020 . CS1 maint: discouraged parameter (link)
  9. ^ Расмуссен, Карл Эдвард; Никиш, Ханнес (ноябрь 2010 г.). "Набор инструментов Гауссовские процессы для машинного обучения (GPML)". Журнал исследований в области машинного обучения . 11 (2): 3011–3015. DOI : 10.1016 / 0002-9610 (74) 90157-3 . PMID 4204594 . 
  10. ^ a b c Ванхатало, Ярно; Риихимяки, Яакко; Хартикайнен, Йоуни; Юлянки, Паси; Толванен, Вилле; Вехтари, Аки (апрель 2013 г.). "GPstuff: байесовское моделирование с гауссовскими процессами" . Журнал исследований в области машинного обучения . 14 : 1175−1179 . Дата обращения 23 мая 2020 . CS1 maint: discouraged parameter (link)
  11. ^ Новак, Роман; Сяо, Лехао; Хрон, Иржи; Ли, Джэхун; Alemi, Александр А .; Золь-Дикштейн, Яша; Шёнхольц, Самуэль С. (2020). «Нейронные касательные: быстрые и простые бесконечные нейронные сети в Python». Международная конференция по обучающим представительствам . arXiv : 1912.02803 .
  12. ^ Марелли, Стефано; Судрет, Бруно (2014). «UQLab: структура для количественной оценки неопределенности в MATLAB» (PDF) . Уязвимость, неопределенность и риск. Количественная оценка, смягчение последствий и управление : 2554–2563. DOI : 10.3929 / ethz-a-010238238 . Проверено 28 мая 2020 . CS1 maint: discouraged parameter (link)
  13. ^ Couckuyt, Иво; Дхейн, Том; Демейстер, Пит (2014). «Набор инструментов ooDACE: гибкая объектно-ориентированная реализация кригинга» (PDF) . Журнал исследований в области машинного обучения . 15 : 3183–3186 . Проверено 8 июля 2020 . CS1 maint: discouraged parameter (link)