이경민 7주차 학습일지

ELK Stack 곤부하기

❓ What is?

ELK 스택은 Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미하는 약어입니다. Elasticsearch라고도 불리는 ELK 스택은 사용자에게 모든 시스템과 애플리케이션에서 로그를 집계하고 이를 분석하며 애플리케이션과 인프라 모니터링 시각화를 생성하고, 빠르게 문제를 해결하며 보안 분석할 수 있는 능력을 제공합니다.

🔍 Elasticsearch

• 루씬(Apache Lucene) 기반의 Full Text로 검색이 가능한 오픈소스 분석엔진. 주로 REST API를 이용해 처리한다. 대량의 데이터를 신속하게 (거의 실시간으로) 저장, 검색, 분석 할 수 있다.

🔍 Logstash

• 플러그인을 이용해 데이터 집계와 보관, 서버 데이터 처리를 담당한다. 파이프라인으로 데이터를 수집해 필터를 통해 변환 후 Elastic Search로 전송한다.

🔍 Kibana

• Kibana는 로그와 시계열 분석, 애플리케이션 모니터링, 운영 인텔리전스사용 사례에 사용되는 데이터 시각화 및 탐색 도구입니다. 히스토그램, 선형 그래프, 원형 차트, 열 지도, 내장 지리 공간적 지원과 같은 강력하고 사용하기 쉬운 기능을 제공합니다.

⚙️ How It works?

🤿 Deep dive to

🪵 Logstash

• 하나 이상의 파이프라인으로 구성됨
• 하나 이상의 입력을 전달받는 입력 플러그인을 활용해 데이터를 수집 → 수집된 데이터를 Queue에 적재 → Queue 순서대로 필터 플러그인 적용 → Elasticsearch로 전송

• 두가지 분리 로직 적용

  • 구분 문자 기반 분리 (https://www.elastic.co/guide/en/logstash/6.2/plugins-filters-dissect.html)
  • 정규 표현식 일치 기반(https://www.elastic.co/guide/en/logstash/6.2/plugins-filters-grok.html)

• 병렬 파이프라인 처리 + CPU 집중 부하 해결 어케할거임? ← 도전

References

ELK 스택이란 무엇인가요? - Elasticsearch, Logstash, Kibana 스택 설명 - AWS

What is Elasticsearch? | Elasticsearch Guide [8.14] | Elastic

Logstash에 대한 실용적인 소개

Elastic Search (1) 서문, ES 시작하기, ES 시스템 구조