Miner

Airflow, Docker 위에 설치법 본문

데이터 엔지니어링/Airflow

Airflow, Docker 위에 설치법

MineTime76 2024. 1. 10. 09:46

1. 터미널 프로그램에서 적당한 폴더(docker) 만들고 폴더로 이동

 

2. Airflow setup을 Github repo를 클론한다.

 

git clone https://github.com/keeyong/airflow-setup.git

 

3. airflow-setup 폴더로 이동하고 2.5.1 이미지 관련 yml 파일 다운로드

 

cd airflow-setup
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.5.1/docker-compose.yaml'

 

Window의 경우, 

 

Invoke-WebRequest -Uri 'https://airflow.apache.org/docs/apache-airflow/2.5.1/docker-compose.yaml' -OutFile 'docker-compose.yaml'

 

4. 이미지 다운로드

docker-compose -f docker-compose.yaml pull

 

5. 컨테이너 실행

docker-compose -f docker-compose.yaml up

 

※ 8080 포트가 막혀서 Yaml 파일에 Port 부분을 8080:8080을 9090:8080으로 교체

 

6. 연결

'데이터 엔지니어링 > Airflow' 카테고리의 다른 글

Dag 작성 - 필요 모듈  (0) 2024.02.19
Airflow (4) - ETL 작성  (0) 2024.01.24
Airflow (3) - Caution  (0) 2024.01.24
Airflow (2) - ETL, ELT, 데이터 파이프라인  (0) 2024.01.24
Airflow (1)  (0) 2024.01.24