Druid Kubernetes Log 설정하기

Druid Log file저장

Druid 는 Log파일이 디폴트로 저장되지않고 따로 설정이 필요하다.

모든 쿼리 요청에 대한 Log는 쿼리를 실행하는 broker Pod에 저장할수있다.

 

helm설치시 vaule파일 config란에 아래설정을 추가한다.

config 공식문서: https://druid.apache.org/docs/latest/configuration/index.html#request-logging

druid_request_logging_type=file
druid_request_logging_dir=/opt/data/log​

 

Druid 쿼리 Log확인

broker pod : /opt/data/log 에서 로그를 확인할수있다.

 

Druid 내부 테이블과 Hive연동 테이블에 대해 로그결과가 다르게 나온다.

이를 비교해보자.

 

Druid와 Hive에서 같은 쿼리를 실행

 

# Druid
SELECT COUNT("value") as "count" FROM "hive" GROUP BY "tag"


# Hive
CREATE EXTERNAL TABLE hive_test
STORED BY 'org.apache.hadoop.hive.druid.DruidStorageHandler'
TBLPROPERTIES ("druid.datasource" = "hive");


SELECT COUNT("value") as count FROM hive_test GROUP BY "tag";

 

 

Druid상에서 sql문을 실행시 로그

로그 시작이  "sqlQuery/time"

 

2021-11-05T04:57:42.572Z        10.36.0.7               {"sqlQuery/time":39,"sqlQuery/bytes":470,"success":true,"context":{"sqlOuterLimit":100,"sqlQueryId":"0c743c3c-ad75-4b04-9f25-8eef4dfc960f","nativeQueryIds":"[0bf07594-aca7-4ef5-bc12-3829e4c68d39]"},"identity":"allowAll"}    {"query":"SELECT COUNT(\"tag\") as \"count\" FROM \"hive_hs\" GROUP BY \"value\"","context":{"sqlOuterLimit":100,"sqlQueryId":"0c743c3c-ad75-4b04-9f25-8eef4dfc960f","nativeQueryIds":"[0bf07594-aca7-4ef5-bc12-3829e4c68d39]"}}

 

 

Hive에서 연동된 테이블에대해 쿼리문 실행시 로그

로그 시작이  "queryType":"groupBy"

 

2021-11-05T04:59:12.758Z        10.36.0.6       {"queryType":"groupBy","dataSource":{"type":"table","name":"hive_hs"},"intervals":{"type":"LegacySegmentSpec","intervals":["1900-01-01T00:00:00.000Z/3000-01-01T00:00:00.000Z"]},"virtualColumns:["{"type":"expression","name":"vc","expression":"'tag'","outputType":"STRING"}],"filter":null,"granularity":{"type":"all"},"dimensions":[{"type":"default","dimension":"vc","outputName":"vc","outputType":"STRING"}],"aggregations":[{"type":"count","name":"$f1"}],"postAggregations":[],"having":null,"limitSpec":{"type":"default","columns":[],"limit":2147483647},"context":{"queryId":"8a33d787-2c0f-4365-a852-2ea38241831c"},"descending":false}

 

 

Hive에서 실행한 쿼리가 Druid에서 처리되는것을 확인할수있다.