현록의 기록저장소

간단한 설정 실습 https://github.com/BlackdeerY/docker-kafka-example 환경변수 등의 설정 없이 기본 openjdk 환경에 ZooKeeper, Kafka 쌩 파일에 설정 파일만으로 가동하고 테스트하는 예시를 두었다. (Docker Compose 사용) 분산된 머신들과 사용하는 포트 및 데이터 저장 디렉터리, 사용 명령어 등에 대해 감을 잡고 나면, 좀 더 세밀한 설정으로 넘어가기 수월할 것. Kafka 공식 문서 https://kafka.apache.org/documentation/ Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org Broker 설정 - server.propert..

Kafka의 정말 기본 개념 Kafka는 데이터 처리를 위한 플랫폼이다. '느슨한 결합'을 목표로 한다. 기존의 데이터 처리 플랫폼은 애플리케이션과 강하게 결합되어 있어, 같은 데이터를 처리하려고 해도 애플리케이션마다 별도의 창구가 필요하거나, 그마저도 바로 되지 않아 더 길고 복잡한 경로나 새로운 저장소가 추가되거나 하여 시스템을 복잡하게 만들었다. Kafka는 느슨하게 결합되어 있기에, 애플리케이션에서 통일된 형태로 바로 데이터를 생산/소비하고, 이 데이터를 연결된 다른 모든 애플리케이션에서 바로 사용할 수 있다. Kafka는 이벤트 브로커 (※ 이 부분은 하나의 견해인지 잘 모르겠다. 나도 이 모두를 사용해본 것이 아니라...) Redis, MQTT가 메시지 브로커라면, Kafka, AWS Kine..