Miner

Dag 작성 - 필요 모듈 본문

데이터 엔지니어링/Airflow

Dag 작성 - 필요 모듈

MineTime76 2024. 2. 19. 18:36
# AWS 리소스와 상호 작용하기 위한 boto3
import boto3

# 데이터 추출 및 변환을 위한 pandas 및 기타 관련 라이브러리
import pandas as pd

# Airflow에서 DAG 및 작업을 정의하는 데 사용되는 모듈
from airflow import DAG
from airflow.operators.python_operator import PythonOperator

# Airflow에서 날짜 및 시간 관련 기능을 사용하기 위한 모듈
from datetime import datetime

# task라는 데코레이터를 사용해서 실행될 각 작업을 정의하고 
# 코드의 재사용성을 높이고 작업 간의 의존성을 명확하게 만들 수 있다
from airflow.decorators import task

# Airflow에서 사용되는 변수를 관리하는 데 사용됩니다. 
# 이는 환경 설정, 연결 정보, 특정 DAG에서 사용되는 상수 등을 저장하는 데 유용
from airflow.models import Variable

 

decorators 모듈은 사용자 정의 작업을 정의하는 데 사용되고,

models 모듈은 Airflow에서 사용되는 핵심 모델을 정의하는 데 사용된다.

 

'데이터 엔지니어링 > Airflow' 카테고리의 다른 글

Dag 작성 중 알게 된 사실  (1) 2024.02.24
로컬 Airflow 모듈 설치  (0) 2024.02.22
Airflow (4) - ETL 작성  (0) 2024.01.24
Airflow (3) - Caution  (0) 2024.01.24
Airflow (2) - ETL, ELT, 데이터 파이프라인  (0) 2024.01.24