Из Википедии, свободной энциклопедии
Перейти к навигацииПерейти к поиску

Alluxio - это виртуальная распределенная файловая система с открытым исходным кодом (VDFS). Первоначально в качестве исследовательского проекта «Тахионов», Alluxio был создан в Университете Калифорнии, Беркли «s AMPLab как Haoyuan Li » s Ph.D. Тезис [2] был подготовлен профессором Скоттом Шенкером и профессором Ионом Стойкой . Alluxio находится между вычислением и хранением в стеке аналитики больших данных . Он обеспечивает уровень абстракции данных для вычислительных сред, позволяя приложениям подключаться к многочисленным системам хранения через общий интерфейс. Программное обеспечение опубликовано под лицензией Apache License .

Приложения, управляемые данными, такие как аналитика данных, машинное обучение и искусственный интеллект, используют API-интерфейсы (такие как Hadoop HDFS API, S3 API, FUSE API), предоставляемые Alluxio, для быстрого взаимодействия с данными из различных систем хранения. Популярные фреймворки, работающие поверх Alluxio, включают Presto , Apache Spark , Apache Hive , TensorFlow и т. Д.

Alluxio можно развернуть локально, в облаке (например, Microsoft Azure , AWS , Google Compute Engine ) или в гибридной облачной среде. Он может работать на голом железе или в контейнерных средах, таких как Kubernetes , Docker , Apache Mesos .

История

Alluxio первоначально была начата Haoyuan Li в UC Беркли AMPLab в 2013 году, и открытым исходным кодом в 2014 г. Alluxio имел более 1000 участников в 2018 году, [3] , что делает его одним из наиболее активных проектов в данных эко-системы.

Предприятия, использующие Alluxio

Ниже приводится список известных предприятий, которые использовали или используют Alluxio:

См. Также

  • Кластерная файловая система
  • Сравнение распределенных файловых систем
  • Глобальное пространство имен
  • Список файловых систем

Ссылки

  1. ^ "Релизы · Alluxio / alluxio" . github.com . Проверено 29 июня 2021 .
  2. ^ Li, Haoyuan (7 мая 2018). Alluxio: виртуальная распределенная файловая система (технический отчет). Департамент EECS, Калифорнийский университет, Беркли. UCB / EECS-2018-29.
  3. ^ Open HUB Alluxio деятельность по разработке
  4. ^ «Этот новый проект с открытым исходным кодом в 100 раз быстрее, чем Spark SQL в петабайтном масштабе» .
  5. ^ «Сделать невозможное возможным с помощью Tachyon: ускорить работу Spark с часов до секунд» .
  6. ^ «China Unicom делает большую ставку на открытый исходный код» .
  7. ^ «Операционализация машинного обучения - управление происхождением от исходных данных до прогнозов» .
  8. ^ «Cray Analytics и Alluxio - Борьба с корпоративным хранилищем» . Архивировано из оригинала на 2019-07-14 . Проверено 19 февраля 2019 .
  9. ^ «Использование и практика Аллуксио в Диди» .
  10. ^ «Преобразование данных в финансовых услугах» .
  11. ^ «ArcGIS и Alluxio - Использование Alluxio для расширения возможностей ArcGIS по работе с данными и более быстрого получения аналитической информации из всех ваших данных» .
  12. ^ «Huawei обнимает Alluxio с открытым исходным кодом: спасибо за воспоминания» .
  13. ^ «Как Alluxio ускоряет рабочие нагрузки Apache Spark» . Архивировано из оригинала на 2019-07-14 . Проверено 19 февраля 2019 .
  14. ^ «Начало работы с Tachyon по сценариям использования» .
  15. ^ «Использование Alluxio в качестве отказоустойчивого подключаемого компонента оптимизации вычислительных фреймворков JD.com» .
  16. ^ "Крупнейший в мире производитель компьютеров Lenovo выбирает Alluxio для управления данными со смартфонов во всем мире" .
  17. ^ «Повышение ценности Alluxio с помощью твердотельных накопителей Samsung NVMe» .
  18. ^ «Tencent доставляет индивидуальные новости более чем 100 миллионам пользователей в месяц с Alluxio» .
  19. ^ «Практика Alluxio на платформе данных, близкой к реальному времени, в VIPShop» .
  20. ^ «Оживление данных - методы управления данными и визуализации» .

Внешние ссылки

  • www .alluxio .io