Miner

Opencv 는 이미지처리를 위한 라이브러리 1. pip install opencv-python pip install opencv-contrib-python

(앞이 참이면 앞에 꺼를 아니면 뒤에 꺼를)

FACT : 숫자로 이루어진 문자열을 각각 INT 형으로 바꾸면 자동으로 깨진다. map : 각각의 요소에 따라 function을 적용한다

하게되면 , map Object가 JSON serializable 직렬화가 되지 않았다는 것 JSON 직렬화란 파이썬 객체를 JSON 형식의 문자열로 변환하는 과정을 말합니다. JSON은 문자열, 숫자, 리스트, 딕셔너리 등의 데이터 유형을 지원하지만, 파이썬의 일부 데이터 유형은 직렬화 과정에서 문제를 일으킬 수 있습니다. 그래서 직렬화가 가능한 리스트, 튜플로 묶어서 반환해주어야 한다는 것 왜 map 형식으로는 반환이 안되나? - 미해결

* airflow 에서 Dag 파일 인식 문제에 관해 조금만 함수가 맞지 않아도 인식이 안됨 한글을 적으면 바로 인식을 못함 ( 한글 주석 조차 인식을 못함 ) 리턴 값을 데이터 프레임으로 했을 때 오류 ( Xcom 문제 ?) -> Json 파일로 리턴시킴 1. stck_pastdata_to_s3 2월 17일 ~ 현재까지 데이터도 가져오도록 하기 중간에 "0"으로 에러처리 했으니까 ELT 과정에서 제거하기 variable 처리 -acml_vol 누적 거래량 String Y 18 누적 거래량 (하루 거래량이 안나옴) **elt 과정에서 다시 해야됨 짜 2. stck_pastdata_to_s3 주말에 돌렸을 때의 문제 ( 24일 토요일 에 돌리면 23 일 데이터 가 나옴 ) 3. stck_pastdata_t..

1. Docker Desktop을 실행한 상태에서 2. CLI 로 들어가 docker ps airflow-setup-airflow-webserver-1 의 ID를 찾는다. 3. docker exec -it [docekr_id] /bin/bash 를 통해 안으로 들어간다. 4. pip install s3fs 5. docker restart [docker_id]