Java: параллельные чтения на InputStream

вместо этого хороший подход может заключаться в том, чтобы иметь одного читателя, который читает куски, а затем передает каждый кусок рабочему потоку из пула потоков. Учитывая, что они будут вставлены в базу данных, вставки будут медленными частями по сравнению с чтением ввода, поэтому одного потока должно быть достаточно для чтения.

Ниже приведен пример, который передает обработку каждой строки из System.in рабочий поток. Производительность вставок базы данных намного лучше, если вы выполняете большое количество вставок в одной транзакции, поэтому передача в группе, скажем, 1000 строк, будет лучше, чем передача в одной строке, как в Примере.

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

public class Main {
    public static class Worker implements Runnable {
        private final String line;

        public Worker(String line) {
            this.line = line;
        }

        @Override
        public void run() {
            // Process line here.
            System.out.println("Processing line: " + line);
        }
    }

    public static void main(String[] args) throws IOException {
        // Create worker thread pool.
        ExecutorService service = Executors.newFixedThreadPool(4);

        BufferedReader buffer = new BufferedReader(new InputStreamReader(System.in));
        String line;

        // Read each line and hand it off to a worker thread for processing.
        while ((line = buffer.readLine()) != null) {
            service.execute(new Worker(line));
        }
    }
}