목록2024/02/24 (1)

Miner

Dag 작성 중 알게 된 사실

* airflow 에서 Dag 파일 인식 문제에 관해 조금만 함수가 맞지 않아도 인식이 안됨 한글을 적으면 바로 인식을 못함 ( 한글 주석 조차 인식을 못함 ) 리턴 값을 데이터 프레임으로 했을 때 오류 ( Xcom 문제 ?) -> Json 파일로 리턴시킴 1. stck_pastdata_to_s3 2월 17일 ~ 현재까지 데이터도 가져오도록 하기 중간에 "0"으로 에러처리 했으니까 ELT 과정에서 제거하기 variable 처리 -acml_vol 누적 거래량 String Y 18 누적 거래량 (하루 거래량이 안나옴) **elt 과정에서 다시 해야됨 짜 2. stck_pastdata_to_s3 주말에 돌렸을 때의 문제 ( 24일 토요일 에 돌리면 23 일 데이터 가 나옴 ) 3. stck_pastdata_t..
데이터 엔지니어링/Airflow 2024. 2. 24. 18:24
이전 Prev 1 Next 다음