Интеграция Kubernetes с Apache Airflow
мы строим приложение планирования рабочего процесса. Мы нашли Airflow как хороший вариант для workflow manager и Kubernetes как хороший вариант для Cluster manager. Таким образом, поток был бы,
- мы отправим рабочий процесс DAG в Воздушный поток.
- воздушный поток должен представить задачи данного DAG Kubernetes, указав изображение docker.
- Kubernetes должен выполнить задачу, запустив контейнер docker на доступном рабочем узле EC2 кластера.
при поиске мы обнаружили, что Airflow имеет операторов для интеграции с ECS, Mesos, но не для Kubernetes. Тем не менее, мы нашли запрос для оператора Kubernetes на воздушный поток wiki, но не каких-либо дальнейших обновлений на нем.
Итак, вопрос, который нужно просто поставить, как интегрировать воздушный поток с Kubernetes?
2 ответов
это в полете прямо сейчас. Вы просто можете следовать вместе с этот майор Джира билет
одна из наиболее стабильных ветвей (работу ведет много этой команды) находится в Bloomberg вилка на github в воздушном потоке-kubernetes-филиал исполнителя хотя он находится в процессе перезагрузки от постоянно движущегося мастера воздушного потока.
у меня есть ветка на моей вилке, которая решает многие краткосрочные проблемы и работает достаточно хорошо называется Франкенштейна-монстр. Используйте это на свой страх и риск, хотя сейчас это работает для меня. Я создаю изображение docker, используя build.sh скрипт находится в scripts/ci/kubernetes/docker.
удачи!
мы проделали некоторую работу по запуску Apache Airflow на Kubernetes с помощью нашего Enterprise Edition http://enterprise.astronomer.io/airflow