Quickwit. Когда Elasticsearch слишком дорогой

«Дорогой» – конечно в прежде всего в переносном значении, Elasticsearch сложно устанавливать, настраивать и обновлять. Это хорошо известно всем, кто работал ES про проде. SaaS версия Elastic позволяет сэкономить время, но это решение по понятным причинам не доступно для большинства компаний в России.

Я убежден, что «инфраструктура» – можно назвать это платформой или платформенными сервисами, должны быть максимально простыми и «дешевыми». Поэтому всегда нахожусь в поиске новых решений в этой сфере.

Quickwit – это поисковой движок нового поколения, альтернатива для Elasticsearch, Loki и Splunk. Одна из главных особенностей Quickwit, заключается в том, что индексы хранятся в объектном хранилище (s3, minio, другие s3-совместимые проекты). Такая архитектура позволяет сократить использование вычислительных ресурсов и хранилища в несколько раз.

Этот проект написан на Rust. Как и случае с Vector (Сборщик логов, альтернатива для Filebeat) это позволяет добиваться значительного прироста производительности и сократить расходы на on-prem и облачную инфраструктуру.

Не все возможности экосистемы Elastic реализованны в Quickwit. Нет красивого UI типа Kibana. Однако проект уже сейчас поддерживает интеграцию с Grafana, Jaeger, OpenTelemetry, Kafka.

Benchmark

Для того, чтобы, быстро, без заморочек проверить Quicktime, пишем программку на Go:

package main

import (
    "os"
    "log/slog"
)

func main() {
	for {
		logger := slog.New(slog.NewJSONHandler(os.Stdout, nil))
    		logger.Debug("Debug message")
    		logger.Info("Info message")
    		logger.Warn("Warning message")
    		logger.Error("Error message")
	}
}

Для структурированного логирования в json используется slog, которая теперь входит в стандартную библиотеку. Эта нехитрая программка генерирует 3,6 гигабайтов логов за 60 секунд – то есть примерно 5Т логов за 24 часа.

Программку упаковываем в Docker и вместе с сервисами Quickwit запускаем в docker-compose:

version: "3"

x-default-logging: &logging
 driver: "json-file"
 options:
   max-size: "5m"
   max-file: "2"
   tag: "{{.Name}}|{{.ImageName}}|{{.ID}}"

services:
  genlog1:
    image: genlogs/genlog
    command: ["./genlogs"]
    logging: *logging
  genlog2:
    image: genlogs/genlog
    command: ["./genlogs"]
    logging: *logging

  quickwit:
    image: quickwit/quickwit:${QW_VERSION:-0.8.1}
    volumes:
      - ./qwdata:/quickwit/qwdata
    ports:
      - 7280:7280
    environment:
      - NO_COLOR=true
      - QW_ENABLE_OPENTELEMETRY_OTLP_EXPORTER=true
      - OTEL_EXPORTER_OTLP_ENDPOINT=http://localhost:7281
    command: ["run"]
    logging: *logging

  otel-collector:
    user: "0"
    image: otel/opentelemetry-collector-contrib:${OTEL_VERSION:-0.87.0}
    volumes:
      - ./otel-collector-config.yaml:/etc/otel-collector-config.yaml
      - /var/lib/docker/containers:/var/lib/docker/containers:ro
    command: ["--config=/etc/otel-collector-config.yaml"]
    logging: *logging

Физический сервер на котором проводилось тестирование:

Процессор: Intel Xeon E-2236 3.4 ГГц 
Память: 32 ГБ DDR4 ECC 
Диск: 
2 × 480 ГБ SSD SATA

Создаем запрос для подсчета количества записей со значениями INFO, DEBUG, WARN, и ERROR в минуту:

{
  "query": "*",
  "max_hits": 0,
  "aggs": {
    "count_per_minute": {
      "histogram": {
          "field": "timestamp_nanos",
          "interval": 60000000
      },
      "aggs": {
        "severity_text_count": {
          "terms": {
            "field": "severity_text"
          }
        }
      }
    }
  }
}

Выполняем запрос с помощью curl:
curl -XPOST -H "Content-Type: application/json" http://IP_ADDRESS:7280/api/v1/otel-logs-v0_7/search --data @agg.json

Получаем ответ меньше чем за секунду. Индекс otel-logs-v0_7 содержит 140 миллионов документов, которые занимают около 92Г на диске в не сжатом виде:

{
  "num_hits": 139495352,
  "hits": [],
  "elapsed_time_micros": 20343,
  "errors": [],
  "aggregations": {
    "count_per_minute": {
      "buckets": [
        {
          "doc_count": 27826,
          "key": 1717560000000.0,
          "key_as_string": "2024-06-05T04:00:00Z",
          "severity_text_count": {
            "buckets": [],
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0
          }
        },
        {
          "doc_count": 139467526,
          "key": 1717620000000.0,
          "key_as_string": "2024-06-05T20:40:00Z",
          "severity_text_count": {
            "buckets": [],
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0
          }
        }
      ]
    }
  }
}

Для того, чтобы использовать UI Quickwit:

http://IP_ADDRESS:7280

На официальном сайте проекта можно найти более репрезентативные сравнения. Однако даже для такого простого теста Elastic потребовал гораздо больше времени и вычислительных ресурсов.

Quickwit благодаря свой простоте можно рассматривать в качестве альтернативы Elastic при разработке SEIM и XDR решений. Такие проекты как FortiSEIM и Wazuh используют ES, хотя Quickwit может быть гораздо эффективнее хранения и поиска по большим объемам логов. Но это уже тема для другой статьи.