Gerenciando o seu cluster Elasticsearch com o Curator

Quando possuímos um cluster de Elasticsearches triturando logs e outros tipos de dados de nossos sistemas, é necessário configurar processos que gerenciem esses dados, realizando ações como expurgas e backups. Para essa finalidade, entra em ação o Curator.

O Curator é uma ferramenta escrita em Python, que permite realizar diversas ações. Neste artigo iremos focar nas duas principais funcionalidades, expurga e backup. Para instalar o Curator, basta executar o comando pip, conforme abaixo:

sudo pip install elasticsearch-curator

Uma vez instalado, vamos começar preparando o nosso cluster para realizar os backups, através de um repositório de backup. Um repositório de backup consiste de um processo configurado no Elasticsearch, que realiza e direciona os backups para um local de armazenamento. Neste caso, vamos configurar para que os backups sejam armazenados em um bucket S3. Vamos instalar a última versão do plugin AWS Cloud do Elasticsearch, através do seguinte comando, a partir da home de cada nó de nosso cluster:

bin/plugin install cloud-aws

A seguir, é preciso configurar as credenciais da AWS. Para isso, configuramos nosso elasticsearch.yml acrescentando o seguinte código:

cloud:
  aws:
    access_key: <access key>
    secret_key: <secret key>

Por fim, vamos configurar o nosso repositório, utilizando a REST API, executando o seguinte comando:

PUT /_snapshot/elasticsearch_backups
{
 “type”: “s3”,
 “settings”: {
 “bucket”: “elastic-bckup”,
 “region”: “us-east-1”
 }
}

No comando acima criamos um novo repositório chamado “elasticsearch-backups”, definindo também o bucket onde iremos guardar os nossos backups. Com nosso repositório criado, vamos criar nossos YAMLs de configuração do Curator.

O primeiro YAML é o “curator-config.yml”, onde configuramos opções como o endereço do cluster. Um exemplo de configuração desse arquivo pode ser visto abaixo:

client:
  hosts:
    — localhost
  port: 9200
  url_prefix:
  use_ssl: False
  certificate:
  client_cert:
  client_key:
  aws_key:
  aws_secret_key:
  aws_region:
  ssl_no_validate: False
  http_auth:
  timeout: 240
  master_only: False
logging:
  loglevel: INFO
  logfile:
  logformat: default
  blacklist: [‘elasticsearch’, ‘urllib3’]
 

O outro YAML é o “curator-action.yml”, onde configuramos uma lista de ações a serem executadas através do Curator. No exemplo abaixo, temos índices de dados provenientes do Twitter, com o prefixo “twitter”, onde realizamos primeiro um backup de todos os índices criados a mais de 2 dias e em seguida realizamos uma expurga desses mesmos dados:

actions:
 1:
   action: snapshot
   description: >-
     Make backups of indices older then 2 days.
   options:
     repository: elasticsearch_backups
     name: twitter-%Y.%m.%d
     ignore_unavailable: False
     include_global_state: True
     partial: False
     wait_for_completion: True
     skip_repo_fs_check: False
     timeout_override:
     continue_if_exception: False
     disable_action: False
   filters:
   — filtertype: age
     source: creation_date
     direction: older
     unit: days
     unit_count: 2
     exclude:
  2:
    action: delete_indices
    description: >-
      Delete indices older than 2 days (based on index name).
    options:
      ignore_empty_list: True
      timeout_override:
      continue_if_exception: False
      disable_action: False
    filters:
    — filtertype: pattern
      kind: prefix
      value: twitter-
      exclude:
    — filtertype: age
      source: name
      direction: older
      timestring: ‘%Y.%m.%d’
      unit: days
      unit_count: 2
      exclude:

Com os YAMLs devidamente configurados, podemos executar o curator, com o seguinte comando:

curator — config curator-config.yml curator-action.yml

O comando irá gerar um log das ações realizadas, mostrando que nossas configurações foram um sucesso:

2016–08–27 16:14:36,576 INFO Action #1: snapshot
2016–08–27 16:14:40,814 INFO Creating snapshot “twitter-2016.08.27” from indices: [u’twitter-2016.08.14', u’twitter-2016.08.25']
2016–08–27 16:15:34,725 INFO Snapshot twitter-2016.08.27 successfully completed.
2016–08–27 16:15:34,725 INFO Action #1: completed
2016–08–27 16:15:34,725 INFO Action #2: delete_indices
2016–08–27 16:15:34,769 INFO Deleting selected indices: [u’twitter-2016.08.14', u’twitter-2016.08.25']
2016–08–27 16:15:34,769 INFO — -deleting index twitter-2016.08.14
2016–08–27 16:15:34,769 INFO — -deleting index twitter-2016.08.25
2016–08–27 16:15:34,860 INFO Action #2: completed
2016–08–27 16:15:34,861 INFO Job completed.

Pronto! Agora é só agendar esse script para executar de tempos em tempos (uma vez por dia, por exemplo) e teremos backup e expurga automatizados.