Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Apache Airflow
Логотип Apache Airflow
Автор (ы) оригиналаМаксим Бошемин / Airbnb
Разработчики)Фонд программного обеспечения Apache
изначальный выпуск3 июня 2015 г . ; 5 лет назад ( 2015-06-03 )
Стабильный выпуск2.0.1 (8 февраля 2021 г . ; 36 дней назад [1] ) [±] ( 2021-02-08 )
Репозиторий
Отредактируйте это в Викиданных
Написано вPython
Операционная системаMicrosoft Windows , macOS , Linux
Доступно вPython
ТипПлатформа управления рабочим процессом
ЛицензияЛицензия Apache 2.0
Интернет сайтвоздушный поток .apache .org

Apache Airflow - это платформа для управления рабочими процессами с открытым исходным кодом . Он был запущен в Airbnb в октябре 2014 года [2] как решение для управления все более сложными рабочими процессами компании. Создание Airflow позволило Airbnb программно создавать и планировать свои рабочие процессы и отслеживать их через встроенный пользовательский интерфейс Airflow . [3] [4] С самого начала проект был сделан с открытым исходным кодом, став в марте 2016 года проектом Apache Incubator, а в январе 2019 года - проектом Apache Software Foundation высшего уровня .

Airflow написан на Python , а рабочие процессы создаются с помощью скриптов Python. Воздушный поток разработан по принципу «конфигурация как код». В то время как другие платформы рабочих процессов «конфигурация как код» существуют с использованием языков разметки, таких как XML , использование Python позволяет разработчикам импортировать библиотеки и классы, чтобы помочь им создавать свои рабочие процессы.

Обзор [ править ]

Airflow использует направленные ациклические графы (DAG) для управления оркестровкой рабочих процессов. Задачи и зависимости определены в Python, а затем Airflow управляет планированием и выполнением. Группы DAG могут запускаться либо по определенному расписанию (например, ежечасно или ежедневно), либо на основе триггеров внешних событий (например, файла, появляющегося в Hive [5] ). Предыдущие планировщики на основе DAG, такие как Oozie и Azkaban, как правило, полагались на несколько файлов конфигурации и деревьев файловых систем для создания DAG, тогда как в Airflow DAG часто можно записать в один файл Python. [6]

Управляемые поставщики [ править ]

Три известных провайдера предлагают дополнительные услуги для основного проекта с открытым исходным кодом. Astronomer создал инструмент SaaS и развертываемый стек Airflow в Kubernetes, который помогает с мониторингом, предупреждениями, DevOps и управлением кластером. [7] Cloud Composer - это управляемая версия Airflow, которая работает на Google Cloud Platform (GCP) и хорошо интегрируется с другими сервисами GCP. [8] С ноября 2020 года Amazon Web Services предлагает управляемые рабочие процессы для Apache Airflow. [9]

Ссылки [ править ]

  1. ^ "Объявления - Apache Airflow" . airflow.apache.org . Фонд программного обеспечения Apache . Проверено 16 марта 2021 .
  2. ^ "Apache Airflow" . Apache Airflow . Архивировано 12 августа 2019 года . Проверено 30 сентября 2019 года .
  3. ^ Beauchemin, Maxime (2 июня 2015). «Airflow: платформа для управления рабочим процессом» . Средний . Архивировано 13 августа 2019 года . Проверено 30 сентября 2019 года .
  4. ^ «Воздушный поток» . Архивировано 6 июля 2019 года . Проверено 30 сентября 2019 года .
  5. ^ Trencseni, Мартон (16 января 2016). «Обзор воздушного потока» . BytePawn . Архивировано 28 февраля 2019 года . Проверено 1 октября 2019 года .
  6. ^ "AirflowProposal" . Фонд программного обеспечения Apache . 28 марта 2019 . Проверено 1 октября 2019 года .
  7. ↑ Липп, Кэсси (13 июля 2018 г.). «Астроном - теперь компания Apache Airflow» . americaninno . Проверено 18 сентября 2019 года .
  8. ^ "Google запускает Cloud Composer, новый инструмент автоматизации рабочего процесса для разработчиков" . TechCrunch . Проверено 18 сентября 2019 .
  9. ^ «Представляем Amazon Managed Workflows для Apache Airflow (MWAA)» . Amazon Web Services . 2020-11-24 . Проверено 17 декабря 2020 .

Внешние ссылки [ править ]