Kafka 생성 환경설정

Q. kafka 새로 생성 시 cluster ID를 설정하고 안하고 차이가 뭐야?

카프카를 새로 생성하실 때 cluster.id를 설정하는 것과 설정하지 않는 것의 주요 차이는 클러스터 식별자를 수동으로 지정하느냐 아니면 카프카가 자동으로 생성하도록 하느냐에 있습니다.

cluster.id는 해당 카프카 클러스터를 고유하게 식별하는 ID입니다. 이 ID는 클러스터 내의 브로커들이 서로 같은 클러스터에 속해 있는지 확인하는 용도로 사용됩니다.

차이점은 다음과 같습니다.

cluster.id를 설정하지 않는 경우:
카프카가 처음 시작될 때 (특히 KRaft 모드에서는 kafka-storage.sh format 실행 시) 고유한 cluster.id를 자동으로 생성합니다.
이후 동일한 클러스터에 참여하려는 다른 브로커들은 처음 생성된 이 cluster.id를 사용해야 합니다. 만약 다른 ID를 사용하거나 설정하지 않으면 클러스터 ID 불일치로 인해 클러스터에 참여하지 못하고 에러가 발생합니다.
자동 생성된 ID는 예측하기 어렵습니다. 클러스터에 브로커를 추가할 때 이 ID를 확인하여 설정 파일에 넣어주어야 합니다.
cluster.id를 수동으로 설정하는 경우:

카프카를 시작하기 전에 미리 원하는 cluster.id를 설정 파일에 지정합니다.
해당 클러스터에 속할 모든 브로커는 동일한 cluster.id를 명시적으로 설정해야 합니다.
이 방식은 클러스터 ID를 예측 가능하게 하고, 여러 카프카 클러스터를 관리할 때 ID 충돌이나 혼동을 방지하는 데 도움이 될 수 있습니다.
핵심:

cluster.id는 클러스터를 식별하고 브로커들이 올바른 클러스터에 연결되도록 하는 중요한 역할을 합니다. broker.id는 클러스터 내에서 개별 브로커를 구분하는 ID이며 cluster.id와는 다릅니다.

cluster.id를 설정하지 않으면 카프카가 알아서 생성해주지만, 이후 브로커를 추가하거나 관리할 때 생성된 ID를 확인해야 하는 번거로움이 있을 수 있습니다. 수동으로 설정하면 ID 관리가 명확해지는 장점이 있습니다. 어떤 방식을 선택하든 클러스터 내의 모든 브로커는 동일한 cluster.id를 사용해야만 하나의 클러스터로 동작할 수 있습니다.

Q. Auto Create Topics은 뭐야?

auto.create.topics.enable은 카프카 브로커의 설정 옵션 중 하나로, 기본값은 true입니다.

이 설정이 true로 되어 있을 때, 다음과 같은 상황에서 토픽이 자동으로 생성됩니다.

-프로듀서가 존재하지 않는 토픽으로 메시지를 전송할 때
-컨슈머가 존재하지 않는 토픽으로부터 메시지를 가져오려고 할 때
-어떤 클라이언트든 존재하지 않는 토픽의 메타데이터를 요청할 때.
이 기능은 개발이나 테스트 환경에서는 편리할 수 있습니다. 미리 토픽을 생성하지 않아도 자동으로 만들어지기 때문입니다.

하지만 운영 환경에서는 이 설정을 false로 변경하는 것이 일반적입니다. 그 이유는 다음과 같습니다.

실수 방지: 토픽 이름을 잘못 입력했을 때 의도치 않게 새로운 토픽이 생성되는 것을 방지할 수 있습니다.
명확한 관리: 필요한 토픽만 관리자가 명시적으로 생성하고 설정함으로써 토픽 목록을 깨끗하게 유지하고 관리 정책(파티션 수, 복제 계수 등)을 일관되게 적용할 수 있습니다.
리소스 제어: 불필요한 토픽 생성을 막아 브로커의 디스크 공간이나 리소스 낭비를 줄일 수 있습니다.
따라서 auto.create.topics.enable 설정은 토픽을 미리 만들지 않아도 자동으로 생성되게 할 것인지, 아니면 반드시 수동으로 생성해야만 사용할 수 있게 할 것인지를 결정하는 기능이라고 보시면 됩니다. 운영 환경에서는 대부분 false로 설정하고 토픽은 kafka-topics.sh 명령어나 카프카 관리 도구를 통해 수동으로 생성합니다.

 

Q. 토픽이 뭔데?

토픽(Topic)은 카프카에서 메시지(이벤트)를 구분하는 논리적인 단위입니다. 쉽게 말해, 특정 종류의 메시지를 담는 '주제' 또는 **'카테고리'**라고 생각하시면 됩니다.

예를 들어, 온라인 쇼핑몰 시스템을 생각해보겠습니다.

-주문 발생에 대한 메시지는 orders라는 토픽에 담을 수 있습니다.
-결제 완료에 대한 메시지는 payments라는 토픽에 담을 수 있습니다.
-상품 재고 변경에 대한 메시지는 inventory-updates라는 토픽에 담을 수 있습니다.
이렇게 하면 메시지를 보내는 쪽(프로듀서)은 해당 주제에 맞는 토픽으로 메시지를 보내고, 메시지를 받아가는 쪽(컨슈머)은 자신이 관심 있는 주제의 토픽에서 메시지를 가져갈 수 있습니다.

토픽의 특징:

이름으로 구분: 각 토픽은 고유한 이름을 가집니다.
메시지 저장소: 프로듀서가 토픽으로 메시지를 보내면, 그 메시지는 해당 토픽에 저장됩니다.
구독 모델: 컨슈머는 특정 토픽을 '구독'하여 그 토픽에 저장된 메시지를 읽어옵니다.
파티션(Partition): 각 토픽은 하나 이상의 파티션으로 나뉘어 저장됩니다. 파티션은 토픽의 메시지를 분산 저장하고 병렬 처리를 가능하게 하는 물리적인 단위입니다. 이 파티션 덕분에 카프카는 대량의 데이터를 효율적으로 처리할 수 있습니다.
오프셋(Offset): 각 파티션 내에서 메시지는 순서대로 추가되며, 각 메시지에는 고유한 순번인 오프셋이 부여됩니다. 컨슈머는 이 오프셋을 기준으로 어디까지 메시지를 읽었는지 추적합니다.
정리하자면, 토픽은 카프카에서 데이터(메시지/이벤트)의 종류를 나누고 관리하는 가장 기본적인 단위입니다. 메시지를 보내는 사람과 받는 사람이 약속된 토픽을 통해 서로 데이터를 교환한다고 생각하시면 이해하기 쉬울 것 같습니다.

Q. Auto Create Topics을 auto로 했을 때에 토픽을 자동으로 생성해준다고 하면 어떻게 생성해준다는거야?
더미데이터인것 같은데. 내 생각이 맞나?

auto.create.topics.enable=true 설정 시 토픽이 자동으로 생성될 때, 생성되는 것은 "토픽 자체"이지, "더미 데이터"가 아닙니다.

즉, 카프카 브로커는 존재하지 않는 토픽 이름으로 메시지 전송 또는 구독 요청이 들어오면, 해당 이름으로 새로운 토픽 구조만 생성해주는 것입니다. 이 때 토픽 안에는 아무런 메시지도 들어있지 않은 빈 상태로 시작합니다.

자동으로 생성되는 토픽은 기본 설정값을 따릅니다. 이 기본 설정값은 카프카 브로커 설정 파일(server.properties)에 정의되어 있습니다. 주요 기본 설정은 다음과 같습니다.

num.partitions: 자동 생성되는 토픽의 기본 파티션 수.
default.replication.factor: 자동 생성되는 토픽의 기본 복제 계수. 복제 계수는 메시지를 몇 개의 브로커에 복제하여 저장할지를 결정합니다.
따라서 auto.create.topics.enable=true 설정으로 토픽이 자동 생성된다는 것은, 사용자가 지정한 이름으로 파티션과 복제 계수 등의 기본 설정을 가진 빈 토픽 컨테이너가 만들어진다는 의미입니다. 토픽이 생성된 후에는 프로듀서가 그 토픽으로 메시지를 보내야만 데이터가 채워집니다.

"더미 데이터"라는 생각은 맞지 않습니다. 자동 생성 기능은 데이터 자체를 만들어내는 것이 아니라, 데이터가 저장될 토픽이라는 틀만 만들어주는 것입니다.