[Airflow] Airflow 세팅하기

⚙️ Airflow 설치

---

Airflow를 설치하기 위해 먼저 가상환경을 세팅한다.
개인적으로 poetry가 편해 poetry를 사용했지만 venv를 사용해도 무방하다.

poetry add apache-airflow

🛢️ 데이터베이스 초기화

---

가상환경에서 apache-airflow를 설치하고 데이터베이스를 init해준다.

airflow db init

🤠 Admin 계정 생성

---

1. webserver에 접속하기 위한 테스트용 Admin 계정을 생성한다.
   계정 생성 양식은 다음과 같다.

airflow users create \
          --username admin \
          --firstname FIRST_NAME \
          --lastname LAST_NAME \
          --role Admin \
          --email admin@example.org

📡 Webserver

---

1. webserver에 접속하여 airflow가 정상적으로 설치되었는지 확인한다.

기본적으로 airflow webserver는 로컬호스트의 8080포트를 사용한다.

airflow webserver

다음과 같이 webserver가 정상적으로 열리지 않는 경우 터미널 내 다른 작업이 해당 포트를 점유하고 있을 수 있으니 다음의 방법으로 조치하자.

# 현재 실행중인 포트 확인
sudo lsof -PiTCP -sTCP:LISTEN

# 8080 포트에서 실행중인 작업 강제 종료
kill -9 $(lsof -i:8080 -t) 2> /dev/null

실행된 webserver의 모습

webserver가 정상적으로 동작하니 다음엔 DAG를 작성하여 직접 실행시켜보자.