Apache Kafka 정리류재섭

5문장으로 정리 하자면?

• 분산 / 분리 /복제 커밋 가능한 큐

• 토픽이라는 메세지 feeds를 유지

• producers : 메세지 생산자

• consumers : 메세지 소비자

• broker 라고 불리는 서버들로 cluster 구성

클라이언트

• 자바를 기본으로 제공하지만 tcp 프로토콜로 제공하기 때문에 충분히 다른언어로 클라이언트 이용가능

분산구조

• leader로 불리는 마스터 개념의 노드와 follower라고 불리는 그외에 노드가 존재.

• 하나의 리더가 문제가 생긴다면 follower들중에 하나가 자동적으로 리더가 됨

• 리더가 전체의 read/write를 조정함

Producers

• topic을 선택한 메세지 발생

• 메세지 키 기반 / RR 기반 으로 발생 가능

Consumers

• queuing / publish-subscribe 두 가지 방식이 존재

• queuing —> unicating 방식

• publish-subscribe —> broadcasting 방식

• 단일 Consumers 추상화 개념으로 Consumers group생성 가능

쓰이기 적합한 시스템• Log Aggregation

• Stream Processing

• Metrics

• Website Activity Tracking

• Event Sourcing

• Commit Log

다음모임때 할 목표

broker

broker

푸쉬발송was

producer

producer

consumer

consumer

가짜클라이언트