반응형 BigData12 Kafka Connect 설치 (on K8s) Kafka가 K8s환경에 설치되어있다는 가정하에 진행한다. Kafka Connect Kafka Connect Cluster가 있고 Kafka Connector를 등록해야 sink나 source작업이 시작된다. 1. Kafka connector 플러그인 준비하기 우선, Connector 이미지에는 connector 플러그인(JDBC connector 등)이 설치되어있지않아 수동으로 설치해야한다. 플러그인 다운은 confulent hub에서 할수있음. https://www.confluent.io/hub/ Home Confluent, founded by the original creators of Apache Kafka®, delivers a complete execution of Kafka for the E.. 2023. 3. 18. Druid Kubernetes Log 설정하기 Druid Log file저장 Druid 는 Log파일이 디폴트로 저장되지않고 따로 설정이 필요하다. 모든 쿼리 요청에 대한 Log는 쿼리를 실행하는 broker Pod에 저장할수있다. helm설치시 vaule파일 config란에 아래설정을 추가한다. config 공식문서: https://druid.apache.org/docs/latest/configuration/index.html#request-logging druid_request_logging_type=file druid_request_logging_dir=/opt/data/log Druid 쿼리 Log확인 broker pod : /opt/data/log 에서 로그를 확인할수있다. Druid 내부 테이블과 Hive연동 테이블에 대해 로그결과가 다.. 2022. 3. 22. Druid on Kubernetes Druid Kubernetes에 배포하기 Helm Chart Druid Cluster 모드로 Kubernetes에 배포. Druid helm으로 K8s에 설치 https://github.com/helm/charts/tree/master/incubator/druid 하지만 2020년11월부터 업데이트되지않으며 헬름차트내에서 Deprecated됨. helm repo add incubator https://charts.helm.sh/incubator helm repo update helm install druid incubator/druid -n druid -f druidValues.yaml 생성되는 Pod는 Druid Broker Druid Coordinator & Druid Overlord - Coord.. 2022. 3. 21. Airflow Provider vs Operator vs Hook 비교 정리 Airflow Provider Provider는 외부시스템과 통신할수있는 Operators,hooks,Sensor와 transfer Operator 등을 포함하는 패키지 Airflow Operator DAG안에서 선언적으로 정의 가능한, 미리 정의된Task 템플릿. 기본적으로 사용가능한 Operators 와 Hook 리스트는 여기서 확인 기본적으로 사용가능 한 예) BashOperator - executes a bash command PythonOperator - calls an arbitrary Python function EmailOperator - sends an email 추가적으로 사용하고싶은 Operator는 Providers Packages 리스트에서 설치하여 사용할수있다. Airflow H.. 2021. 12. 28. Driud란? Druid란? 공식문서에 의하면 아래와 같이 정의한다. Apache Druid is a real-time analytics database designed for fast slice-and-dice analytics ("OLAP" queries) on large data sets. 대용량 데이터를 실시간으로 빠르게 분석 및 처리(OLAP쿼리)할수있는 대용량 데이터베이스 Druid의 구성요소 Master: Data Availability(가용성) 와 Ingestion(가져오기) 관리 Coordinator: 데이터 가용성 관리 Overlord: 데이터 삽입 워크로드 할당을 관리 Query: 외부 유입 쿼리 처리 Broker: 외부 유입 쿼리 처리 Router(Optional): Brokers, Coordin.. 2021. 11. 22. Kafka Kubernetes Helm chart설치 및 테스트 Kafka Helm chart 설치 helm repo add bitnami https://charts.bitnami.com/bitnami helm repo update helm install kafka bitnami/kafka -n kafka 배포 확인 kubectl get pod -n kafka # NAME READY STATUS RESTARTS AGE # kafka-0 1/1 Running 3 10d # kafka-zookeeper-0 1/1 Running 0 10d 정상 설치 후 Kafka사용 위한 정보는 아래와 같다. NIFI Client Connection 정보 : kafka:9092 / kafka-zookeeper:2181 테스트 설치 후 아래와 같이 친절한 설명과 간단한 테스트를 해볼수있는 .. 2021. 10. 28. 이전 1 2 다음 반응형
