Модуль вывода Fluentd в Logstash

Я пытаюсь прочитать с сервера scribe с помощью flunetd и вывести эти журналы для хранения в logstash на данный момент. Я знаю, что очень глупо регистрировать журналы scribe_central в другом центральном регистраторе, но нам нужно, чтобы это было сделано в нашей текущей архитектуре.

кто-нибудь знает, есть ли плагин для этого? Я искал Google, но не смог найти ни одного.

7
fluentd log-shipping logging logstash

3 ответов

для Scribe Fluentd, есть fluent-plugin-scribe:

для Fluentd Logstash, несколько вариантов:

  1. используйте Redis в середине и используйте свободно-плагин-redis и input_redis на стороне Logstash. Таким образом, это будет Fluentd -> Redis -> Logstash. Это то, что Logstash рекомендует в любом случае с log shippers + Logstash.
  2. кроме того, вы можете использовать плагин out_forward Fluentd с TCP-входом Logstash. Logstash имеет кодек Fluentd для обработки ввода, поступающего от Fluentd.
5

вы можете переслать его непосредственно на вход tcp logstash:)

Я написал плагин вывода flunetd для пересылки событий fluentd в общий приемник через обеспеченный tcp-соединение (может быть настроено и для незащищенного).

fluent-plugin-loomsystems

чтобы добавить плагин к агенту fluentd, используйте следующую команду:

gem install fluent-plugin-loomsystems

Также см. Полный оригинальный ответ удачи.

1

я получил его работу с HTTP-выходом из fluentd и http-входом для logstash, ниже фрагментов конфигурации:

fluentd: 

<match **>
    @type http
    endpoint_url http://logstash-box:8080/
    http_method put
    serializer json
    raise_on_error false
</match>

Logstash: 

input {
    http {
        port => 8080 
    }
}

Примечание: возможно, Вам придется установить плагин gem install fluent-plugin-out-http

0