🔨 첫 DAG 만들기DAG를 생성하기 위해 먼저 dags 폴더를 하나 만들고 tutorials.py 라는 DAG를 작성할 python 파일을 생성한다.처음으로 만들어볼 DAG는 3개의 Task로 구성된다.Task1 : 현재 날짜와 시간을 문자열로 출력Task2 : 5초 동안 대기 상태 유지Task3 : "Hello Airflow!" 문자열을 5번 출력Task4 : Gmail로 작업 완료 메일 전송DAG가 트리거되면 Task1이 가장 먼저 수행되고 Task2, Task3가 병렬로 실행되고 그 이후 Task4가 수행된다.webserver에서 Graph 기능을 제공하기 때문에 아래와 같이 내가 만든 DAG가 어떤 순서로 동작하는지 시각적으로 확인할 수 있다.🪄 Importing ModulesDAG 객체를 ..

⚙️ Airflow 설치Airflow를 설치하기 위해 먼저 가상환경을 세팅한다.개인적으로 poetry가 편해 poetry를 사용했지만 venv를 사용해도 무방하다.poetry add apache-airflow🛢️ 데이터베이스 초기화가상환경에서 apache-airflow를 설치하고 데이터베이스를 init해준다.airflow db init🤠 Admin 계정 생성webserver에 접속하기 위한 테스트용 Admin 계정을 생성한다.계정 생성 양식은 다음과 같다.airflow users create \ --username admin \ --firstname FIRST_NAME \ --lastname LAST_NAME \ --role Admin ..

Airflow란?Apache Airflow는 배치 지향 워크플로우를 개발, 스케줄링 및 모니터링하기 위한 오픈 소스 플랫폼으로 python을 이용해 구축 가능하며 웹 인터페이스를 통해 워크플로우 상태 모니터링이 가능하다는 점이 특징이다.출처 : https://airflow.apache.org/docs/apache-airflow/stable/index.htmlWorkflow란?Workflow는 특정 이벤트 혹은 스케줄에 의해 트리거되는 태스크의 시퀀스를 의미한다.ETL과 같은 빅데이터 처리 파이프라인에서 주로 사용된다.일반적인 Workflow전형적인 Workflow는 다음과 같다.데이터수집데이터 전처리모니터링리포트 생성리포트 발송출처 : https://www.youtube.com/watch?v=AHMm1w..