스트리밍 데이터 처리(4) - 처리 시스템 구조

처리 시스템 구조

Producer(Publisher)가 있어서 데이터 생성

생성된 데이터를 메세지 큐와 같은 시스템에 저장

• Kafka, Kinesis, Pub/Sub 등의 시스템 존재
• 데이터 스트림(Kafka에서는 토픽이라 부름) 마다 별도의 데이터 보유 기한 설정

Consumer(Subscriber)가 있어서 큐로부터 데이터를 읽어서 처리

• Consumer마다 별도 포인터 유지, 다수의 Consumer가 데이터 읽기를 공동 수행하기도 함

 

해당 기술을 이용해서,

 

구글 검색 엔진의 데이터 처리 - 계속적인 검색 인덱스 업데이트

구글이  기술적인 부분을 공개하지 않았지만 가능하다는 것을 보여줌,,