Как написать файл в Kafka Producer

Я пытаюсь загрузить простой текстовый файл вместо стандартного ввода в Kafka. После загрузки Kafka я выполнил следующие шаги:

начал zookeeper:

bin/zookeeper-server-start.sh config/zookeeper.properties

Запущен Сервер

bin/kafka-server-start.sh config/server.properties

создал тему с названием "Тест":

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

управлял производитель:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
Test1
Test2

слушал Потребитель:

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
Test1
Test2

вместо стандартного ввода я хочу передать файл данных или даже простой текстовый файл производителю, который может быть виден непосредственно потребителем. Любая помощь будет действительно оценили. Спасибо!

23
apache-kafka file kafka-consumer-api kafka-producer-api

4 ответов

вы можете передать его в:

kafka-console-producer.sh --broker-list localhost:9092 --topic my_topic
--new-producer < my_file.txt

нашел здесь.

С 0.9.0:

kafka-console-producer.sh --broker-list localhost:9092 --topic my_topic < my_file.txt
51
$ kafka-console-producer.sh --broker-list localhost:9092 --topic my_topic < my_file.txt

работал на меня в Кафке-0.9.0

5

вот несколько способов, которые немного более обобщены, но могут быть излишними для простого файла

хвост

tail -n0 -F my_file.txt | kafka-console-producer.sh --broker-list localhost:9092 --topic my_topic

объяснение

  1. tail читает с конца файла по мере его роста или журналы добавляются к нему непрерывно
  2. -n0 указывает outputlast 0 строк, поэтому выбрана только новая строка
  3. -F следует за файлом по имени вместо дескриптора, следовательно, он работает, даже если он повернут

syslog-ng

options {                                                                                                                             
    flush_lines (0);                                                                                                                
    time_reopen (10);                                                                                                               
    log_fifo_size (1000);                                                                                                          
    long_hostnames (off);                                                                                                           
    use_dns (no);                                                                                                                   
    use_fqdn (no);                                                                                                                  
    create_dirs (no);                                                                                                               
    keep_hostname (no);                                                                                                             
};

source s_file {
    file("path to my-file.txt" flags(no-parse));
}


destination loghost {
    tcp("*.*.*.*" port(5140));
}

потребления

nc -k -l 5140 | kafka-console-producer.sh --broker-list localhost:9092 --topic my_topic

объяснение(с man nc)

-k' Forces nc to stay listening for another connection after its current connection is completed. It is an error to use this option without the -l option.

-l' Used to specify that nc should listen for an incoming connection rather than initiate a connection to a remote host. It is an error to use this option in conjunction with the -p, -s, or -z options. Additionally, any timeouts specified with the -w option are ignored.

Ref

системный журнал-ng

3
echo "Hello" | kafka-console-producer.sh --broker-list localhost:9092 --topic my_topic
1