Elasticsearch 비용 절감의 핵심, LogsDB 도입 및 마이그레이션 방법

핵심 요약: 본 문서는 Elasticsearch의 혁신적인 로그 관리 기술인 LogsDB 인덱스 모드를 상세히 다룬다. 스마트 인덱스 정렬, 고급 압축, 합성 _source 등의 핵심 기술을 통해 로그 데이터 저장 공간을 최대 65%까지 절약하고, 이를 통해 관찰 가능성 및 보안 데이터 관리의 비용 효율성을 극대화하는 방법을 설명한다.

관찰 가능성(Observability) 및 보안 팀은 끊임없이 증가하는 로그 데이터와 한정된 예산 사이에서 어려운 싸움을 하고 있다. Elasticsearch의 새로운 인덱스 모드인 LogsDB는 이러한 문제를 해결하기 위해 탄생한 혁신적인 기술이다. LogsDB는 기존 방식 대비 로그 데이터의 저장 공간을 최대 65%까지 획기적으로 줄여주며, 이를 통해 조직은 비용 부담 없이 모든 로그 데이터를 즉시 검색하고 분석 가능한 상태로 보존하여 가시성을 확장할 수 있다.

0. 시작 전 준비 사항

LogsDB 기능을 활용하기 전, 아래의 요구사항이 충족되었는지 확인해야 한다.

• Elasticsearch 버전: Elasticsearch 8.17 이상 버전 또는 Elastic Cloud Serverless 환경
• 라이선스:
  • 기본 기능 (정렬, 압축): Standard, Gold, Platinum 라이선스
  • 전체 기능 (합성 _source 포함): Enterprise 라이선스 또는 Cloud Serverless 고객

1. LogsDB의 핵심 기술 혁신

LogsDB의 놀라운 저장 효율성은 세 가지 핵심 기술의 유기적인 결합을 통해 이루어진다.

1.1. 스마트 인덱스 정렬 (Smart Index Sorting)

유사한 데이터를 디스크에 인접하게 배치하여 압축률과 검색 성능을 동시에 향상시킨다. 기본적으로 host.name과 @timestamp를 기준으로 정렬되며, 사용자의 데이터 특성에 맞게 정렬 필드를 커스터마이징할 수 있다. 이 기술만으로도 최대 30%의 저장 효율성 향상을 기대할 수 있다.

1.2. 고급 압축 기술 (Advanced Compression)

LogsDB는 데이터를 컬럼(columnar) 방식으로 저장하고, Zstandard(Zstd), 델타 인코딩, 런-렝스 인코딩 등 다양한 압축 코덱을 자동으로 조합하여 최적의 압축률을 달성한다. 이를 통해 기존보다 훨씬 높은 수준의 데이터 압축이 가능하다.

1.3. 합성 _source (Synthetic _source)

로그 데이터에서 가장 큰 공간을 차지하는 _source 필드를 물리적으로 저장하지 않고, 필요 시 각 필드의 doc values를 조합하여 동적으로 재구성하는 기술이다. 약 2년간의 메트릭 데이터 프로덕션 운영을 통해 안정성이 검증되었으며, 추가적으로 20-40%의 저장 공간을 절약하는 효과를 제공한다. (Enterprise 라이선스 기능)

📌 LogsDB의 주요 혜택
- 비용 절감: 총 소유 비용(TCO)을 최대 50%까지 절감하여 예산 내에서 더 많은 데이터를 보존할 수 있다.
- 가시성 확장: 복잡한 필터링 규칙 없이 모든 로그를 원본 그대로 저장하고 즉시 검색하여 분석 사각지대를 해소한다.
- 운영 효율성 향상: SRE와 SOC 팀이 로그, 메트릭, 트레이스를 단일 플랫폼에서 통합 분석하여 문제 해결 및 위협 탐지 시간을 단축한다.

2. LogsDB 실제 구현 방법

LogsDB는 인덱스 템플릿에 간단한 설정을 추가하는 것만으로 손쉽게 적용할 수 있다.

2.1. LogsDB 인덱스 템플릿 설정

새로운 로그 인덱스에 LogsDB 모드를 적용하기 위한 인덱스 템플릿을 생성한다.

PUT _index_template/logs-logsdb-template
{
  "index_patterns": ["logs-*"],
  "template": {
    "settings": {
      "index": {
        "mode": "logsdb",
        "number_of_shards": 1,
        "sort.field": ["host.name", "@timestamp"],
        "sort.order": ["asc", "desc"],
        "mapping.source.mode": "synthetic"
      }
    },
    "mappings": {
      "properties": {
        "@timestamp": { "type": "date" },
        "host.name": { "type": "keyword" },
        "log.level": { "type": "keyword" },
        "message": { "type": "text" }
      }
    }
  },
  "priority": 200
}

2.2. 로그 데이터 인덱싱 및 검색

템플릿이 적용된 인덱스에 로그를 추가하고, 기존과 동일한 방식으로 검색을 수행할 수 있다. LogsDB는 내부적으로 최적화를 수행할 뿐, 사용자 경험은 그대로 유지된다.

# 데이터 인덱싱
POST logs-application-prod-000001/_doc
{
  "@timestamp": "2025-07-01T10:00:00.000Z",
  "host.name": "app-server-03",
  "log.level": "ERROR",
  "message": "User authentication failed for user 'admin'"
}

# 데이터 검색
POST logs-application-prod-000001/_search
{
  "query": {
    "term": { "log.level": "ERROR" }
  }
}

3. 성능 최적화 및 운영 전략

LogsDB의 효과를 극대화하기 위해 인덱스 라이프사이클 관리(ILM)와 지속적인 모니터링을 결합하는 것이 중요하다.

3.1. 인덱스 라이프사이클 관리 (ILM)

ILM을 사용하면 데이터의 수명 주기에 따라 Hot-Warm-Cold-Frozen-Delete 단계를 자동으로 관리할 수 있다. LogsDB는 모든 데이터 티어에서 비용 절감 효과를 제공한다.

PUT _ilm/policy/logs-ilm-policy
{
  "policy": {
    "phases": {
      "hot": { "actions": { "rollover": { "max_size": "25GB", "max_age": "1d" }}},
      "warm": { "min_age": "7d", "actions": { "forcemerge": { "max_num_segments": 1 }}},
      "cold": { "min_age": "30d", "actions": { "searchable_snapshot": { "snapshot_repository": "my_cold_repo" }}},
      "delete": { "min_age": "365d", "actions": { "delete": {} }}
    }
  }
}

3.2. 모니터링 및 검증

LogsDB 적용 후, 저장 공간 사용량과 압축률을 직접 확인하여 효과를 검증할 수 있다.

# 인덱스별 저장 공간 크기 확인
GET _cat/indices/logs-*?v&h=index,store.size,docs.count&s=store.size:desc

# 특정 인덱스의 상세한 저장소 통계 (압축률 확인)
GET logs-application-prod-000001/_stats/store

4. 마이그레이션 가이드

기존에 사용하던 로그 인덱스도 `_reindex` API를 통해 LogsDB 모드로 손쉽게 전환할 수 있다.

🧐 주의 사항
Reindex 작업은 클러스터에 상당한 부하를 유발할 수 있다. 운영 환경에 적용하기 전, 충분한 테스트를 거치고 트래픽이 적은 시간에 작업을 수행하는 것을 권장한다.

# 1. LogsDB 템플릿이 적용되도록 새 인덱스 생성 준비
# 2. Reindex API를 사용하여 기존 데이터를 새 인덱스로 이전
POST _reindex?wait_for_completion=false
{
  "source": { "index": "legacy-logs-2024-06" },
  "dest": { "index": "logs-reindexed-2024-06" }
}

결론

Elasticsearch LogsDB는 단순한 기능 개선을 넘어 로그 관리의 패러다임을 전환하는 혁신적인 기술이다. LogsDB가 제공하는 핵심 가치는 다음과 같다.

• 압도적인 비용 효율성: 최대 65%의 저장 공간 절약으로 TCO를 대폭 절감한다.
• 완전한 데이터 가시성: 예산 제약 없이 모든 로그를 즉시 검색 가능한 상태로 보존한다.
• 향상된 운영 효율성: 통합된 데이터 분석을 통해 장애 대응 및 위협 탐지 속도를 높인다.

이제 비용 문제로 로그 데이터를 포기할 필요가 없다. 지금 바로 LogsDB를 도입하여 차세대 관찰 가능성 및 보안 분석 환경을 구축해보길 바란다.