Logstash 시작하기 »
Elastic Docs ›Logstash 참조 [5.4]

Logstash 소개

edit
IMPORTANT: This documentation is no longer updated. Refer to Elastic's version policy and the latest documentation.

Logstash 소개

edit

Logstash는 실시간 파이프라인 기능을 가진 오픈소스 데이터 수집 엔진입니다. Logstash는 서로 다른 소스의 데이터를 탄력적으로 통합하고 사용자가 선택한 목적지로 데이터를 정규화할 수 있습니다. 다양한 고급 다운스트림 분석 및 시각화 활용 사례를 위해 모든 데이터를 정리하고 대중화(democratization)합니다.

Logstash는 근본적으로 로그 수집의 혁신을 주도해 왔으며 그 기능은 이러한 활용 사례 이외의 영역으로 확장되고 있습니다. 어떤 유형의 이벤트도 다양한 입력, 필터, 출력 플러그인을 통해 강화하고 전환할 수 있으며 기본 제공되는 여러 코덱으로 수집(ingestion) 프로세스를 한층 더 간소화할 수 있습니다. Logstash로 더 방대하고 다양한 데이터를 활용함으로써 더 신속하게 인사이트를 개발할 수 있습니다.

Logstash의 강점

edit

Elasticsearch 등을 위한 강력한 수집 기능

뛰어난 Elasticsearch 및 Kibana 시너지 효과를 발휘하는, 수평 확장이 가능한 데이터 처리 파이프라인

플러그형 파이프라인 아키텍처

다양한 입력, 필터, 출력을 믹스매치하고 조정하면서 파이프라인에서 조화롭게 운용

커뮤니티에서 확장 가능하고 개발자에게 편리한 플러그인 에코시스템

200여 개 플러그인 사용 가능, 또한 직접 플러그인을 만들어 제공할 수 있는 유연성

logstash

데이터의 가치를 높이는 Logstash

edit

더 많은 데이터를 수집하여 지식을 확장할 수 있습니다. Logstash는 모든 형태 및 규모의 데이터를 환영합니다.

로그와 메트릭

edit

모든 것의 출발점입니다.

  • 모든 유형의 로깅 데이터 처리

    • 다양한 웹 로그(예: Apache) 및 애플리케이션 로그(예: log4j for Java)를 손쉽게 수집
    • syslog, Windows 이벤트 로그, 네트워킹 및 방화벽 로그 등 다른 여러 로그 형식도 수집
  • Filebeat 와 연계하여 보충적인 보안 로그 전달 기능 활용 * Ganglia, collectd, NetFlow, JMX, 기타 여러 인프라 및 애플리케이션 플랫폼의 메트릭을 TCP 및 UDP를 통해 수집

웹

edit

월드 와이드 웹의 진정한 효용성을 실현합니다.

  • HTTP 요청을 이벤트로 변환

    • 소셜 정서 분석을 위해 Twitter와 같은 웹 서비스 파이어호스 활용
    • GitHub, HipChat, JIRA, 기타 많은 애플리케이션을 위한 웹후크 지원
    • 다양한 Watcher알림 활용 사례 지원

  • 필요에 따라 HTTP 엔드포인트 폴링으로 이벤트 생성

    • 보편적으로 웹 애플리케이션 인터페이스로부터 상태, 성능, 메트릭, 기타 데이터 유형 수집
    • 수신보다 폴링 제어를 선호하는 시나리오에 안성맞춤

데이터 저장소와 스트림

edit

이미 보유한 데이터에서 더 큰 가치를 발굴할 수 있습니다.

  • JDBC 인터페이스를 통해 관련 데이터베이스 또는 NoSQL 저장소의 데이터를 더 정확히 이해

  • Apache Kafka, RabbitMQ, Amazon SQS, ZeroMQ 와 같은 메시징 큐가 제공하는 각종 데이터 스트림 통합

    센서와 IoT

    edit

다른 데이터를 폭넓게 탐색합니다.

  • 이 기술 발전의 시대에 거대한 IoT 세상은 연결된 센서로부터 데이터를 수집하고 이용하는 무궁무진한 활용 사례를 내놓고 있습니다.
  • Logstash는 모바일 디바이스, 지능형 홈, 커넥티드 자동차, 의료 센서, 기타 다양한 산업용 애플리케이션에서 제공하는 데이터를 수집하는 공통 이벤트 수집 백본입니다.

손쉽게 모든 요소 강화

edit

양질의 데이터로부터 양질의 지식을 얻을 수 있습니다. 색인 또는 출력 시점에 거의 실시간으로 인사이트를 확보할 수 있도록 수집 과정에 데이터를 정리하고 변환합니다. Logstash에서는 패턴 일치, 지리적 맵핑, 동적 조회 기능과 함께 여러 집계 및 변이 기능을 즉시 사용할 수 있습니다.

  • Grok은 Logstash 필터의 가장 기본적인 요소로서 비정형 데이터로부터 구조를 도출하는 데 광범위하게 사용됩니다. 웹, 시스템, 네트워킹, 기타 유형의 이벤트 형식을 신속하게 확인할 수 있도록 제공된 여러 통합형 패턴을 활용하십시오.
  • IP 주소에서 지리 좌표를 판독하고 날짜 복잡성을 정규화하고 키-값 쌍 및 CSV 데이터를 간소화하고 민감한 정보를 익명 처리하고 로컬 조회 또는 Elasticsearch 쿼리로 데이터를 한층 더 강화함으로써 영역을 확장할 수 있습니다.
  • 코덱은 대개 JSON 및 multiline 이벤트와 같은 일반적인 이벤트 구조를 손쉽게 처리하는 데 사용됩니다.

보관(Stash) 선택

edit

데이터가 가장 중요해질 때 데이터를 라우팅합니다. 데이터를 저장, 분석하고 그에 대한 작업을 수행하여 각종 다운스트림 분석 및 운영 활용 사례에서 최고의 효과를 거둡니다.

분석

아카이빙

모니터링

알림
Logstash 시작하기 »