Kafka Kubernetes Helm chart설치 및 테스트

Kafka Helm chart 설치

 

helm repo add bitnami https://charts.bitnami.com/bitnami
helm repo update
helm install kafka bitnami/kafka -n kafka

 

배포 확인

 

kubectl get pod -n kafka

# NAME                READY   STATUS    RESTARTS   AGE
# kafka-0             1/1     Running   3          10d
# kafka-zookeeper-0   1/1     Running   0          10d

 

정상 설치 후 Kafka사용 위한 정보는 아래와 같다.

• NIFI Client Connection 정보 : kafka:9092  / kafka-zookeeper:2181

 

테스트

설치 후 아래와 같이 친절한 설명과 간단한 테스트를 해볼수있는 문구가 뜬다.

 

Kafka can be accessed by consumers via port 9092 on the following DNS name from within your cluster:

kafka.kafka.svc.cluster.local
Each Kafka broker can be accessed by producers via port 9092 on the following DNS name(s) from within your cluster:

kafka-0.kafka-headless.kafka.svc.cluster.local:9092
To create a pod that you can use as a Kafka client run the following commands:

kubectl run kafka-client --restart='Never' --image docker.io/bitnami/kafka:2.8.1-debian-10-r0 --namespace flow --command -- sleep infinity
kubectl exec --tty -i kafka-client --namespace flow -- bash

PRODUCER:
    kafka-console-producer.sh \

        --broker-list kafka-0.kafka-headless.kafka.svc.cluster.local:9092 \
        --topic test

CONSUMER:
    kafka-console-consumer.sh \

        --bootstrap-server kafka.kafka.svc.cluster.local:9092 \
        --topic test \
        --from-beginning

 

 

Kafka 컨테이너 내부의 /opt/bitnami/kafka/bin 위치에서 다양한 카프카 명령어를 사용할수있다.

 

export KAFKA_OPTS="-Dfile.encoding=UTF-8"


# 토픽생성
kafka-topics.sh --create --topic wikipedia --bootstrap-server kafka.flow.svc.cluster.local:9092



# 토픽에 메시지 입력
kafka-console-producer.sh --broker-list kafka.flow.svc.cluster.local:9092 --topic wikipedia < {PATH_TO_DRUID}/quickstart/tutorial/wikiticker-2015-09-12-sampled.json



# 토픽의 저장된 메시지 출력
kafka-console-consumer.sh --bootstrap-server kafka.flow.svc.cluster.local:9092 --topic wikipedia --from-beginning