스트리밍 데이터 처리(6) - 장점/단점

장점

즉각적인 인사이트 발견

운영 효율성 향상

사고와 같은 이벤트에 대한 신속 대응

더 효율적인 개인화된 사용자 경험

IOT 및 센서 데이터 활용

사기 탐지 및 보안

실시간 협업 및  커뮤니케이션

 

단점

전체적으로 시스템이 복잡해짐

• 배치 시스템은 주기적으로 동작하며 보통은 실제 사용자에게 바로 노출되는 일을 하지 않음
• 실시간 처리의 경우에는 실제 사용자와 관련된 일에 사용될 확률이 더 높기에 시스템 장애 대응이 중요해짐
  • 배치 추천 vs 실시간 추천
  • Devops의 영역으로 들어가기 시작함
• 이에 따른 운영 비용 증가
  • 배치처리는 잘못 되어도 데이터 유실 이슈가 적지만 실시간 처리는 데이터 유실의 가능성이 커지기에 항상 데이터 백업에 신경을 써야함

실시간 처리 : Realtime vs Semi-Realtime

Realtime (ex : payment / 카드가 올바른 카드인지 확인)

• 짧은 Latency
• 연속적인 데이터 스트림
• 이벤트 중심 아키텍처 : 수신 데이터 이벤트에 의해 작업이나 계산이 트리거되는 구조
• 동적 및 반응형 : 데이터 스트림의 변화에 동적으로 실시간 분석, 모니터링 및 의사 결정을 수행

Semi-Realtime

• 합리적인 Latency
• 배치와 유사한 거리 (Micro-batch)
• 적시성과 효율성 사이의 균형 : 처리 용량과 리소스 활용도를 높이기 위해 일부 즉각성을 희생하기도 함
• 주기적인 업데이트