반응형 DevOps/EFK stack5 Elasticsearch (Aggregation) Aggregation Elasticsearch의 여러가지 연산이 가능한 기능으로 데이터를 그룹화하고 간단한 통계값을 얻을수 있는 기능이다. _search API 에서 지정자 aggregations 또는 aggs를 명시하고 그 아래 임의의 이름을 입력한 뒤 사용할 aggregation 종류와 옵션들을 명시. 크게 두가지로 나뉘며 숫자 또는 날짜 연속형 변수의 계산은 Metrics, 범위나 keyword 값 등을 가지고 도큐먼트들을 그룹화 Bucket 구문이나 옵션에 metrics 이거나 bucket 이라고 따로 명시를 하지는 않는다. Metrics Aggregations 특정 query문에 대한 min,max,sum,avg cardinality: 필드의 값이 모두 몇 종류인지 분포값 percentiles:.. 2021. 6. 30. Kubernetes + EFK stack 배포하기 EFK소개글에 이어 Kubernetes환경에 EFK stack을 구축 및 배포를 진행해보겠다. 1.네임스페이스 생성 kind: Namespace apiVersion: v1 metadata: name: kube-log 2. Elasticsearch 배포 apiVersion: apps/v1 kind: StatefulSet metadata: name: es-cluster namespace: kube-logging spec: serviceName: elasticsearch replicas: 3 selector: matchLabels: app: elasticsearch template: metadata: labels: app: elasticsearch spec: #volumes: # - name: data # p.. 2021. 4. 29. MSA MSA? 마이크로서비스 아키텍쳐(이하 MSA)란 소프트웨어 개발 기법 중 하나로 하나의 큰 어플리케이션을 여러개의 작은 어플리케이션으로 쪼개어 변경과 조합이 가능하도록 만든 아키텍쳐이다. 왜 MSA? MSA의 등장배경을 알아보자 기존에 우리가 사용하던 전통적인 방식의 개발방법은 모노리틱 아키텍쳐 모노리틱 아키텍쳐 스타일은 기존의 전통적인 웹 시스템 개발 스타일로, 하나의 애플리케이션이 단일단위로 설계되고 개발 및 배포되는 통합된 구조이다. 모노리틱 아키텍쳐는 간단한 아키텍쳐고 통합구조라 유지보수가 용이하여 소규모 프로젝트에는 적합하다. 하지만 일정규모 이상의 어플리케이션에서는 한계점이 드러나게된다. 서비스/프로젝트가 커질수록, 전체 시스템 구조와 특성 파악이 힘들다. 빌드 및 테스트, 그리고 배포시간이 .. 2021. 4. 6. Fluentd & Kibana Fluentd Fluentd는 로그수집기의 한 종류로 다양한 포맷의 데이터를 Json으로 변환하여, 수집된 데이터를 다양한 대상으로 전달 달 할 수있다. 보통 로그를 수집하지만, 다양한 데이터 소스(HTTP, TCP 등)로부터 데이터를 받아올 수 있다. 데이터 및 로그의 통합수집이 필요한 이유는 데이터 분석을 하기 전에 이루어지는 데이터 정제를 더 수월하게 할 수 있기 때문이다. 특히 Fluentd는 각각의 데이터를 JSON구조로 일관성 있게 변환함으로 이후 이루어질 분석을 더 수월하게 해준다. * logstash vs Fluentd Fluentd는 쿠버네티스와 같은 CNCF 재단에 속해 있는 범용 로그 수집용 오픈소스 프로젝트로써 C와 Ruby로 개발되었다. logstash에 비해 안정성이 높고 아키텍.. 2021. 4. 3. Elasticesearch 란? (DSL query) Elasticsearch란 Elasticsearch는 Apache Lucene(아파치 루씬) 기반의 java 오픈소스 분산 검색 엔진. * 검색엔진이란? 정보를 수집해 검색 결과를 제공하는 프로그램 Elasticsearch는 다양한 검색서비스에 활용되기도 하며, ELK 등의 로그모니터링 시스템에서도 활용되고 있다. Elasticsearch 특징 Elasticsearch는 1)Apache Lucene(아파치 루씬) 기반의 java 2)오픈소스 3)분산 검색 엔진. 1) 아파치 루씬 기반 : 검색 속도가 빠르다 아파치 루씬은 자바로 개발된 검색 서비스용 라이브러리로 전체 텍스트 검색에 뛰어나다. 문서가 색인될 때부터 검색 가능해질 때까지의 대기 시간이 보통 1초로 실시간 검색이 가능하다. 따라서, Elast.. 2021. 4. 3. 이전 1 다음 반응형
