Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- 후기
- 웹/모바일
- Ubuntu 20.04
- Virtual Box 7.0.6
- 백준 #baekjoon # 2563
- 네이버
- 부스트캠프
- 보기 편하라고 만든
- id # tr # 환경변수
- 운영체제론
- 네이버 부스트 코스
- 8기
Archives
- Today
- Total
Miner
Dag 작성 - 필요 모듈 본문
# AWS 리소스와 상호 작용하기 위한 boto3
import boto3
# 데이터 추출 및 변환을 위한 pandas 및 기타 관련 라이브러리
import pandas as pd
# Airflow에서 DAG 및 작업을 정의하는 데 사용되는 모듈
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
# Airflow에서 날짜 및 시간 관련 기능을 사용하기 위한 모듈
from datetime import datetime
# task라는 데코레이터를 사용해서 실행될 각 작업을 정의하고
# 코드의 재사용성을 높이고 작업 간의 의존성을 명확하게 만들 수 있다
from airflow.decorators import task
# Airflow에서 사용되는 변수를 관리하는 데 사용됩니다.
# 이는 환경 설정, 연결 정보, 특정 DAG에서 사용되는 상수 등을 저장하는 데 유용
from airflow.models import Variable
decorators 모듈은 사용자 정의 작업을 정의하는 데 사용되고,
models 모듈은 Airflow에서 사용되는 핵심 모델을 정의하는 데 사용된다.
'데이터 엔지니어링 > Airflow' 카테고리의 다른 글
Dag 작성 중 알게 된 사실 (1) | 2024.02.24 |
---|---|
로컬 Airflow 모듈 설치 (0) | 2024.02.22 |
Airflow (4) - ETL 작성 (0) | 2024.01.24 |
Airflow (3) - Caution (0) | 2024.01.24 |
Airflow (2) - ETL, ELT, 데이터 파이프라인 (0) | 2024.01.24 |