[Airflow] Airflow가 무엇인가?

Airflow란?

Apache Airflow는 배치 지향 워크플로우를 개발, 스케줄링 및 모니터링하기 위한 오픈 소스 플랫폼으로 python을 이용해 구축 가능하며 웹 인터페이스를 통해 워크플로우 상태 모니터링이 가능하다는 점이 특징이다.

출처 : https://airflow.apache.org/docs/apache-airflow/stable/index.html

Workflow란?

---

• Workflow는 특정 이벤트 혹은 스케줄에 의해 트리거되는 태스크의 시퀀스를 의미한다.
• ETL과 같은 빅데이터 처리 파이프라인에서 주로 사용된다.

일반적인 Workflow

---

• 전형적인 Workflow는 다음과 같다.

1. 데이터수집
2. 데이터 전처리
3. 모니터링
4. 리포트 생성
5. 리포트 발송
   

   

   
   출처 : https://www.youtube.com/watch?v=AHMm1wfGuHE

Cron이 있는데 이게 필요할까?

---

전통적인 ETL 접근 방식으로는 Cron Script를 이용하여 특정 배치작업을 수행할 수 있다. 하지만 이 경우 다음과 같은 이슈가 발생할 수 있다.

• 만약 배치작업이 실패하면 재시도를 해야하는데 얼마나 많이, 자주 해야하는가?
• 각 태스크의 성공, 실패 및 얼마나 오래 걸리는지 모니터링 할 필요성이 있다.
• upstream 데이터가 소실 된 경우 downstream 태스크를 수행하면 안된다.
• A 작업이 끝나면 B 작업을 시작해야하는데 정해진 스케줄보다 딜레이되면 어떻게 관리하는가?
• 다양한 크론 작업들을 관리하는 중앙 집중형 관리 스케줄러의 부재
• 새로운 변화들을 지속적으로 어떻게 효율적으로 배포하고 관리하는가?
• 버그 발견과 같은 특정 이슈로 인해 Historical한 데이터를 백필해야하는 경우는 어떻게 해야하는가?

이러한 문제점들을 Airflow를 통해 해결할 수 있다.

Components

---

출처 : https://www.bucketplace.com/post/2021-04-13-%EB%B2%84%ED%82%B7%ED%94%8C%EB%A0%88%EC%9D%B4%EC%8A%A4-airflow-%EB%8F%84%EC%9E%85%EA%B8%B0/

• DAG Directory : Python으로 작성한 DAG를 보관한다.
• Scheduler : DAG와 Task를 모니터링하고 스케줄링한다.
• Executor : Task가 어떻게 실행될지를 정의한다.
• Worker : 실제 Task를 실행하는 주체이다. Executor 종류에 따라 동작 방식이 다양하다.
• Webserver : Airflow의 웹 UI 서버이다.
• Database : Airflow에 존재하는 DAG와 Task들의 메타데이터를 저정하는 데이터베이스이다.

DAG

---

DAG(Directed Acyclic Graph)는 방향성이 있는 비순환 그래프로 각각의 태스크를 독립적으로 실행할 수 있는 워크플로우이며 Task들로 구성된다.

출처 : https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html

Airflow Operator

---

Airflow DAG는 여러 Task로 구성되는데 이러한 Task는 operator나 sensor로 만들어진다.

Airflow는 기본적인 Task를 위해 다양한 operator를 제공한다.

• BashOperator: bash command 실행
• PythonOperator: Python 함수 실행
• EmailOperator: Email 발송
• MySqlOperator: sql 쿼리 수행
• Sensor: 시간, 파일, db row 등을 기다리는 센서

위와 같은 기본적인 operator 외에도 커뮤니티에서 다양한 operator들이 존재한다.

REF

• https://airflow.apache.org/docs/apache-airflow/stable/index.html
• https://github.com/tuanavu/airflow-tutorial?tab=readme-ov-file
• https://www.bucketplace.com/post/2021-04-13-%EB%B2%84%ED%82%B7%ED%94%8C%EB%A0%88%EC%9D%B4%EC%8A%A4-airflow-%EB%8F%84%EC%9E%85%EA%B8%B0/