Spark(6) - Spark 사용

Spark 데이터 시스템 사용 예들

기본적으로 대용량 데이터 배치 처리, 스트림 처리, 모델 빌딩

1) 대용량 비구조화된 데이터 처리하기 (ETL / ELT)

2) ML 모델에 사용되는 대용량 피쳐 처리 (배치 / 스트림)

3) Spark ML을 이용한 대용량 훈련 데이터 모델 학습

---

예시 1)

대용량 비구조화된 데이터 처리하기 (Hive의 대체 기술)

ETL 혹은 ELT

예시 2)

ML 모델에 사용되는 대용량 피쳐 처리