Fluentd & Kibana

Fluentd

Fluentd는 로그수집기의 한 종류로 다양한 포맷의 데이터를 Json으로 변환하여,

수집된 데이터를 다양한 대상으로 전달 달 할 수있다.

보통 로그를 수집하지만, 다양한 데이터 소스(HTTP, TCP 등)로부터 데이터를 받아올 수 있다.

 

데이터 및 로그의 통합수집이 필요한 이유는 데이터 분석을 하기 전에 이루어지는 데이터 정제를 더 수월하게 할 수 있기 때문이다.

특히 Fluentd는 각각의 데이터를 JSON구조로 일관성 있게 변환함으로 이후 이루어질 분석을 더 수월하게 해준다.

 

* logstash vs Fluentd

Fluentd는 쿠버네티스와 같은 CNCF 재단에 속해 있는 범용 로그 수집용 오픈소스 프로젝트로써 C와 Ruby로 개발되었다.
logstash에 비해 안정성이 높고 아키텍쳐가 단순한 편이며 메모리 또한 적게 쓰는 편이다.

 

 

Kibana

Elasticsearch Stack 기반으로 구축된 오픈소스 어플리케이션으로, Elasticsearch 에서 색인된 데이터를 분석 및 시각화 하는 플랫폼이다.

히스토그램부터  Gro맵까지 다양한 시각화 도구를 이용해 사용자 지정 대시보드를 구성할 수 있고

고급 데이터 분석을 쉽게 수행하고 다양한 차트, 테이블 및 맵에서 데이터를 시각화 할 수 있다.