Удаление старых индексов в elasticsearch

У меня есть много моих журналов, индексированных в формате logstash-Year-Week. То есть, если я хочу удалить индексы старше нескольких недель, как я могу добиться этого в elasticsearch. Есть ли простой, плавный способ сделать это?

20
elasticsearch elasticsearch-plugin logstash

6 ответов

куратор был бы идеальным совпадением здесь. Вы можете найти ссылку здесь -https://github.com/elastic/curator

команда, как показано ниже, должна работать нормально -

curator --host <IP> delete indices --older-than 30 --prefix "twitter-" --time-unit days  --timestring '%Y-%m-%d'

вы можете сохранить это в CRON для удаления индексов иногда.

вы можете найти некоторые примеры и документы здесь - https://www.elastic.co/guide/en/elasticsearch/client/curator/current/examples.html

22

если вы используете elasticsearch версии 5.x затем вам нужно установить куратор версии 4.икс. Вы можете увидеть шаги совместимости версий и установки из документация

после установки. Тогда просто запустите команду 

curator --config path/config_file.yml [--dry-run] path/action_file.yml

куратор предоставляет флаг сухого запуска, чтобы просто вывести то, что куратор выполнил бы. Вывод будет в вашем файле журнала, который вы определили в config.файл yml. Если ключ журнала не определен в config_file.затем в формате YML currator выведет на консоль. Чтобы удалить индексы, выполните приведенную выше команду без флага -- dry-run

файл конфигурации файл_конфигурации.yml-это 

---
client:
  hosts:
   - 127.0.0.1
  port: 9200
logging:
  loglevel: INFO
  logfile: "/root/curator/logs/actions.log"
  logformat: default
  blacklist: ['elasticsearch', 'urllib3']

файл действия action_file.yml-это 

---
actions:
  1:
    action: delete_indices
    description: >-
      Delete indices older than 7 days (based on index name), for logstash-
      prefixed indices. Ignore the error if the filter does not result in an
      actionable list of indices (ignore_empty_list) and exit cleanly.
    options:
      ignore_empty_list: True
      timeout_override:
      continue_if_exception: False
      disable_action: False
    filters:
    - filtertype: pattern
      kind: prefix
      value: logstash-
      exclude:
    - filtertype: age
      source: name
      direction: older
      timestring: '%Y.%m.%d'
      unit: days
      unit_count: 7
      exclude:

если вы хотите удалить индексы еженедельно, ежемесячно и т. д. автоматически. Тогда просто напишите сценарий bash, как 

#!/bin/bash
# Script to delete the log event indices of the elasticsearch weekly

#This will delete the indices of the last 7 days
curator --config /path/config_file.yml /path/action_file.yml

положить скрипт в одну из этих папок: /etc/cron.daily, /etc/cron.hourly, /etc/cron.monthly or /etc/cron.weekly и ваша работа сделанный.

Примечание: убедитесь, что в файлах конфигурации и действий используется правильный отступ. Иначе не получится.

16

Я использую скрипт bash, просто измените 30 С # дней, которые вы хотите сохранить

#!/bin/bash

# Zero padded days using %d instead of %e
DAYSAGO=`date --date="30 days ago" +%Y%m%d`
ALLLINES=`/usr/bin/curl -s -XGET http://127.0.0.1:9200/_cat/indices?v | egrep logstash`

echo
echo "THIS IS WHAT SHOULD BE DELETED FOR ELK:"
echo

echo "$ALLLINES" | while read LINE
do
  FORMATEDLINE=`echo $LINE | awk '{ print  }' | awk -F'-' '{ print  }' | sed 's/\.//g' ` 
  if [ "$FORMATEDLINE" -lt "$DAYSAGO" ]
  then
    TODELETE=`echo $LINE | awk '{ print  }'`
    echo "http://127.0.0.1:9200/$TODELETE"
  fi
done

echo
echo -n "if this make sence, Y to continue N to exit [Y/N]:"
read INPUT
if [ "$INPUT" == "Y" ] || [ "$INPUT" == "y" ] || [ "$INPUT" == "yes" ] || [ "$INPUT" == "YES" ]
then
  echo "$ALLLINES" | while read LINE
  do
    FORMATEDLINE=`echo $LINE | awk '{ print  }' | awk -F'-' '{ print  }' | sed 's/\.//g' `
    if [ "$FORMATEDLINE" -lt "$DAYSAGO" ]
    then
      TODELETE=`echo $LINE | awk '{ print  }'`
      /usr/bin/curl -XDELETE http://127.0.0.1:9200/$TODELETE
      sleep 1
      fi
  done
else 
  echo SCRIPT CLOSED BY USER, BYE ...
  echo
  exit
fi
10

посмотри куратор, инструмент, разработанный специально для такого рода случаев использования.

пример команды для документации:

curator --host 10.0.0.2 delete indices --older-than 30 --time-unit days \
   --timestring '%Y.%m.%d'
6

янб (еще один удар)

#!/bin/bash
searchIndex=logstash-monitor
elastic_url=logging.core.k94.kvk.nl
elastic_port=9200

date2stamp () {
    date --utc --date "" +%s
}

dateDiff (){
    case  in
        -s)   sec=1;      shift;;
        -m)   sec=60;     shift;;
        -h)   sec=3600;   shift;;
        -d)   sec=86400;  shift;;
        *)    sec=86400;;
    esac
    dte1=$(date2stamp )
    dte2=$(date2stamp )
    diffSec=$((dte2-dte1))
    if ((diffSec < 0)); then abs=-1; else abs=1; fi
    echo $((diffSec/sec*abs))
}

for index in $(curl -s "${elastic_url}:${elastic_port}/_cat/indices?v" |     grep -E " ${searchIndex}-20[0-9][0-9]\.[0-1][0-9]\.[0-3][0-9]" | awk '{     print  }'); do
  date=$(echo ${index: -10} | sed 's/\./-/g')
  cond=$(date +%Y-%m-%d)
  diff=$(dateDiff -d $date $cond)
  echo -n "${index} (${diff})"
  if [ $diff -gt 1 ]; then
    echo " / DELETE"
    # curl -XDELETE "${elastic_url}:${elastic_port}/${index}?pretty"
  else
    echo ""
  fi
done
0
curator_cli delete_indices --filter_list '{"filtertype":"none"}'

удалит все или фильтр:

 --filter_list '[{"filtertype":"age","source":"creation_date","direction":"older","unit":"days","unit_count":13},{"filtertype":"pattern","kind":"prefix","value":"logstash"}]'
0