[Airflow] 우선 실행해보자

Airflow

 

Apache Airflow에 대해서 자세하게는 나중에 알아보고 우선 한번 실행해보자

 

설치하기

 

실습 폴더 준비하기

 

가상환경 생성 및 실행하기

 

pip 버전 업그레이드

 

Airflow 설치하기

• 최신 버전을 설치하면 여러 이슈 발생 가능성이 높음
• 파이썬 버전에 맞는 airflow 설치가 필요함

AIRFLOW_VERSION=2.6.3
PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)" CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-${PYTHON_VERSION}.txt"
pip3 install "apache-airflow==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}"

 

현재 위치의 폴더로 경로 설정

• 안하면 환경이 분리안되고 home에 별도로 생성됨

 

Airflow에서 사용할 DB 초기화

• airflow.cfg : Airflow 설정 파일
• airflow.db : Airflow DB(여기선 SQLite 사용)

 

Airflow에서 사용할 admin 계정 생성

airflow users create \
--username admin \
--password '!aitech!' \
--firstname sy \
--lastname yang \
--role Admin \
--email jyyt0147@gmail.com

 

Airflow Webserver 실행

airflow webserver --port 8080

 

web 접속 및 확인

• localhost:8080

 

생성한 admin 계정으로 접속

 

scheduler 실행 관련 알림 확인

 

Airflow scheduler 실행

• 새로운 터미널창 실행 후 진행해야함

source .venv/bin/activate
export AIRFLOW_HOME=`pwd`
airflow scheduler

 

web 새로고침 후 변경 확인

• 참고로 화면에 보이는 DAG들은 example 임

 

 

여기까지가 기본적인 Airflow 설치 및 webserver 실행방법이다

이후에는 DAG 작성하는 방법에 대해서 알아보자!!