Airflow

Airflow 是一個可以程式化地編寫、排程和監控資料管線的平台。

使用 Airflow 以有向無環圖 (DAG) 的形式編寫任務工作流程。Airflow 排程器會在遵循指定的依賴關係下，於一組工作節點上執行您的任務。豐富的命令列工具讓您能輕鬆地對 DAG 執行複雜的操作。豐富的使用者介面讓您能輕鬆地視覺化正在生產環境中運行的管線、監控進度，並在需要時排除問題。

原則

• 動態性： Airflow 管線是以程式碼 (Python) 的形式進行配置，允許動態產生管線。這允許編寫能動態實例化管線的程式碼。
• 可擴展性： 輕鬆定義您自己的運算符、執行器，並擴展函式庫，使其符合您環境的抽象層級。
• 優雅性： Airflow 管線簡潔且明確。使用強大的 Jinja 樣板引擎，參數化您的腳本是 Airflow 核心內建的功能。
• 可擴展性： Airflow 採用模組化架構，並使用訊息佇列來與任意數量的工作節點進行協調。Airflow 已準備好擴展到無限大。