반응형 BigData/Druid3 Druid Kubernetes Log 설정하기 Druid Log file저장 Druid 는 Log파일이 디폴트로 저장되지않고 따로 설정이 필요하다. 모든 쿼리 요청에 대한 Log는 쿼리를 실행하는 broker Pod에 저장할수있다. helm설치시 vaule파일 config란에 아래설정을 추가한다. config 공식문서: https://druid.apache.org/docs/latest/configuration/index.html#request-logging druid_request_logging_type=file druid_request_logging_dir=/opt/data/log Druid 쿼리 Log확인 broker pod : /opt/data/log 에서 로그를 확인할수있다. Druid 내부 테이블과 Hive연동 테이블에 대해 로그결과가 다.. 2022. 3. 22. Druid on Kubernetes Druid Kubernetes에 배포하기 Helm Chart Druid Cluster 모드로 Kubernetes에 배포. Druid helm으로 K8s에 설치 https://github.com/helm/charts/tree/master/incubator/druid 하지만 2020년11월부터 업데이트되지않으며 헬름차트내에서 Deprecated됨. helm repo add incubator https://charts.helm.sh/incubator helm repo update helm install druid incubator/druid -n druid -f druidValues.yaml 생성되는 Pod는 Druid Broker Druid Coordinator & Druid Overlord - Coord.. 2022. 3. 21. Driud란? Druid란? 공식문서에 의하면 아래와 같이 정의한다. Apache Druid is a real-time analytics database designed for fast slice-and-dice analytics ("OLAP" queries) on large data sets. 대용량 데이터를 실시간으로 빠르게 분석 및 처리(OLAP쿼리)할수있는 대용량 데이터베이스 Druid의 구성요소 Master: Data Availability(가용성) 와 Ingestion(가져오기) 관리 Coordinator: 데이터 가용성 관리 Overlord: 데이터 삽입 워크로드 할당을 관리 Query: 외부 유입 쿼리 처리 Broker: 외부 유입 쿼리 처리 Router(Optional): Brokers, Coordin.. 2021. 11. 22. 이전 1 다음 반응형
