Как преобразовать OutputStream в InputStream?

Я нахожусь на стадии разработки, где у меня есть два модуля и из одного я получил выход как OutputStream и второй, который принимает только InputStream. Вы знаете, как конвертировать OutputStream до InputStream (а не наоборот, я имею в виду, действительно так), что я смогу соединить эти две части?

спасибо

12 ответов


An OutputStream - Это тот, в который вы записываете данные. Если какой-то модуль предоставляет OutputStream, ожидание заключается в том, что на другом конце есть что-то читающее.

что-то, что подвергает InputStream, С другой стороны, указывает на то, что вам нужно будет слушать этот поток, и будут данные, которые вы можете прочитать.

таким образом, можно подключить InputStream до OutputStream

InputStream----read---> intermediateBytes[n] ----write----> OutputStream

как кто-то метил, это то, что copy() метод IOUtils позволяет вам делать. Нет смысла идти другим путем... надеюсь, это имеет смысл

обновление:

конечно, чем больше я думаю об этом, тем больше я понимаю, как это на самом деле было бы требование. Я знаю некоторые из упомянутых комментариев Piped потоки ввода/вывода, но есть и другая возможность.

если выходной поток, который подвергается действию, является ByteArrayOutputStream, то вы всегда можете получить полное содержимое, вызвав toByteArray() метод. Затем вы можете создать оболочку входного потока, используя ByteArrayInputStream суб-класса. Эти два псевдопотока, они оба в основном просто обертывают массив байтов. Таким образом, использование потоков технически возможно, но для меня это все еще очень странно...


кажется, что есть много ссылок и других подобных вещей, но нет фактического кода с использованием труб. Преимущество использования java.io.PipedInputStream и java.io.PipedOutputStream заключается в том, что нет дополнительного расхода памяти. ByteArrayOutputStream.toByteArray() возвращает копию исходного буфера, так что это означает, что все, что у вас есть в памяти, теперь у вас есть две копии. Тогда напиши ан InputStream значит, теперь у вас есть три копии данных.

код:

// take the copy of the stream and re-write it to an InputStream
PipedInputStream in = new PipedInputStream();
final PipedOutputStream out = new PipedOutputStream(in);
new Thread(new Runnable() {
    public void run () {
        try {
            // write the original OutputStream to the PipedOutputStream
            originalByteArrayOutputStream.writeTo(out);
        } catch (IOException e) {
            // logging and exception handling should go here
        }
    }
}).start();

этот код предполагает что originalByteArrayOutputStream это ByteArrayOutputStream поскольку это обычно единственный полезный выходной поток, если вы не пишете в файл. Надеюсь, это поможет! Самое замечательное в этом то, что, поскольку он находится в отдельном потоке, он также работает параллельно, поэтому все, что потребляет ваш входной поток, также будет потоковым из вашего старого выходного потока. Это полезно, потому что буфер может оставаться меньше, и у вас будет меньше задержки и меньше использования памяти.


вам понадобится промежуточный класс, который будет буфером между. Каждый раз InputStream.read(byte[]...) вызывается, класс буферизации заполнит переданный массив байтов следующим куском, переданным из OutputStream.write(byte[]...). Поскольку размеры блоков могут быть разными, класс адаптера должен будет хранить определенное количество, пока не будет достаточно для заполнения буфера чтения и / или не сможет сохранить переполнение буфера.

в этой статье есть хорошая разбивка нескольких различных подходов к этому проблема:

http://blog.ostermiller.org/convert-java-outputstream-inputstream


поскольку входные и выходные потоки являются только начальной и конечной точкой, решение заключается во временном хранении данных в массиве байтов. Поэтому вы должны создать intermediate ByteArrayOutputStream, из которых вы создаете byte[] который используется в качестве входных данных для new ByteArrayInputStream.

public void doTwoThingsWithStream(InputStream inStream, OutputStream outStream){ 
  //create temporary bayte array output stream
  ByteArrayOutputStream baos = new ByteArrayOutputStream();
  doFirstThing(inStream, baos);
  //create input stream from baos
  InputStream isFromFirstData = new ByteArrayInputStream(baos.toByteArray()); 
  doSecondThing(isFromFirstData, outStream);
}

надеюсь, что это помогает.


на easystream библиотека с открытым исходным кодом имеет прямую поддержку для преобразования OutputStream в InputStream:http://io-tools.sourceforge.net/easystream/tutorial/tutorial.html

Они также перечисляют другие варианты:http://io-tools.sourceforge.net/easystream/OutputStream_to_InputStream.html


ByteArrayOutputStream buffer = (ByteArrayOutputStream) aOutputStream;
byte[] bytes = buffer.toByteArray();
InputStream inputStream = new ByteArrayInputStream(bytes);

я столкнулся с той же проблемой при конвертировании ByteArrayOutputStream до ByteArrayInputStream и решил его, используя производный класс из ByteArrayOutputStream который может вернуть ByteArrayInputStream который инициализируется внутренним буфером ByteArrayOutputStream. Таким образом, дополнительная память не используется, и "преобразование" происходит очень быстро:

package info.whitebyte.utils;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;

/**
 * This class extends the ByteArrayOutputStream by 
 * providing a method that returns a new ByteArrayInputStream
 * which uses the internal byte array buffer. This buffer
 * is not copied, so no additional memory is used. After
 * creating the ByteArrayInputStream the instance of the
 * ByteArrayInOutStream can not be used anymore.
 * <p>
 * The ByteArrayInputStream can be retrieved using <code>getInputStream()</code>.
 * @author Nick Russler
 */
public class ByteArrayInOutStream extends ByteArrayOutputStream {
    /**
     * Creates a new ByteArrayInOutStream. The buffer capacity is
     * initially 32 bytes, though its size increases if necessary.
     */
    public ByteArrayInOutStream() {
        super();
    }

    /**
     * Creates a new ByteArrayInOutStream, with a buffer capacity of
     * the specified size, in bytes.
     *
     * @param   size   the initial size.
     * @exception  IllegalArgumentException if size is negative.
     */
    public ByteArrayInOutStream(int size) {
        super(size);
    }

    /**
     * Creates a new ByteArrayInputStream that uses the internal byte array buffer 
     * of this ByteArrayInOutStream instance as its buffer array. The initial value 
     * of pos is set to zero and the initial value of count is the number of bytes 
     * that can be read from the byte array. The buffer array is not copied. This 
     * instance of ByteArrayInOutStream can not be used anymore after calling this
     * method.
     * @return the ByteArrayInputStream instance
     */
    public ByteArrayInputStream getInputStream() {
        // create new ByteArrayInputStream that respects the current count
        ByteArrayInputStream in = new ByteArrayInputStream(this.buf, 0, this.count);

        // set the buffer of the ByteArrayOutputStream 
        // to null so it can't be altered anymore
        this.buf = null;

        return in;
    }
}

Я положил материал на github:https://github.com/nickrussler/ByteArrayInOutStream


библиотека io-экстра могут быть полезны. Например, если вы хотите gzip InputStream используя GZIPOutputStream и вы хотите, чтобы это произошло синхронно (используя размер буфера по умолчанию 8192):

InputStream is = ...
InputStream gz = IOUtil.pipe(is, o -> new GZIPOutputStream(o));

обратите внимание, что библиотека имеет 100% покрытие модульного теста (для чего это стоит, конечно!) и находится на Maven Central. Зависимость Maven:

<dependency>
  <groupId>com.github.davidmoten</groupId>
  <artifactId>io-extras</artifactId>
  <version>0.1</version>
</dependency>

обязательно проверьте более позднюю версию.


С моей точки зрения, java.Ио.PipedInputStream / java.Ио.PipedOutputStream является лучшим вариантом для considere. В некоторых ситуациях может потребоваться использовать ByteArrayInputStream / ByteArrayOutputStream. Проблема в том, что вам нужно дублировать буфер для преобразования ByteArrayOutputStream в ByteArrayInputStream. Также ByteArrayOutpuStream / ByteArrayInputStream ограничены 2 ГБ. Вот реализация OutpuStream/InputStream, которую я написал, чтобы обойти ByteArrayOutputStream/ByteArrayInputStream ограничения (код Scala, но легко понятный для разработчиков java):

import java.io.{IOException, InputStream, OutputStream}

import scala.annotation.tailrec

/** Acts as a replacement for ByteArrayOutputStream
  *
  */
class HugeMemoryOutputStream(capacity: Long) extends OutputStream {
  private val PAGE_SIZE: Int = 1024000
  private val ALLOC_STEP: Int = 1024

  /** Pages array
    *
    */
  private var streamBuffers: Array[Array[Byte]] = Array.empty[Array[Byte]]

  /** Allocated pages count
    *
    */
  private var pageCount: Int = 0

  /** Allocated bytes count
    *
    */
  private var allocatedBytes: Long = 0

  /** Current position in stream
    *
    */
  private var position: Long = 0

  /** Stream length
    *
    */
  private var length: Long = 0

  allocSpaceIfNeeded(capacity)

  /** Gets page count based on given length
    *
    * @param length   Buffer length
    * @return         Page count to hold the specified amount of data
    */
  private def getPageCount(length: Long) = {
    var pageCount = (length / PAGE_SIZE).toInt + 1

    if ((length % PAGE_SIZE) == 0) {
      pageCount -= 1
    }

    pageCount
  }

  /** Extends pages array
    *
    */
  private def extendPages(): Unit = {
    if (streamBuffers.isEmpty) {
      streamBuffers = new Array[Array[Byte]](ALLOC_STEP)
    }
    else {
      val newStreamBuffers = new Array[Array[Byte]](streamBuffers.length + ALLOC_STEP)
      Array.copy(streamBuffers, 0, newStreamBuffers, 0, streamBuffers.length)
      streamBuffers = newStreamBuffers
    }

    pageCount = streamBuffers.length
  }

  /** Ensures buffers are bug enough to hold specified amount of data
    *
    * @param value  Amount of data
    */
  private def allocSpaceIfNeeded(value: Long): Unit = {
    @tailrec
    def allocSpaceIfNeededIter(value: Long): Unit = {
      val currentPageCount = getPageCount(allocatedBytes)
      val neededPageCount = getPageCount(value)

      if (currentPageCount < neededPageCount) {
        if (currentPageCount == pageCount) extendPages()

        streamBuffers(currentPageCount) = new Array[Byte](PAGE_SIZE)
        allocatedBytes = (currentPageCount + 1).toLong * PAGE_SIZE

        allocSpaceIfNeededIter(value)
      }
    }

    if (value < 0) throw new Error("AllocSpaceIfNeeded < 0")
    if (value > 0) {
      allocSpaceIfNeededIter(value)

      length = Math.max(value, length)
      if (position > length) position = length
    }
  }

  /**
    * Writes the specified byte to this output stream. The general
    * contract for <code>write</code> is that one byte is written
    * to the output stream. The byte to be written is the eight
    * low-order bits of the argument <code>b</code>. The 24
    * high-order bits of <code>b</code> are ignored.
    * <p>
    * Subclasses of <code>OutputStream</code> must provide an
    * implementation for this method.
    *
    * @param      b the <code>byte</code>.
    */
  @throws[IOException]
  override def write(b: Int): Unit = {
    val buffer: Array[Byte] = new Array[Byte](1)

    buffer(0) = b.toByte

    write(buffer)
  }

  /**
    * Writes <code>len</code> bytes from the specified byte array
    * starting at offset <code>off</code> to this output stream.
    * The general contract for <code>write(b, off, len)</code> is that
    * some of the bytes in the array <code>b</code> are written to the
    * output stream in order; element <code>b[off]</code> is the first
    * byte written and <code>b[off+len-1]</code> is the last byte written
    * by this operation.
    * <p>
    * The <code>write</code> method of <code>OutputStream</code> calls
    * the write method of one argument on each of the bytes to be
    * written out. Subclasses are encouraged to override this method and
    * provide a more efficient implementation.
    * <p>
    * If <code>b</code> is <code>null</code>, a
    * <code>NullPointerException</code> is thrown.
    * <p>
    * If <code>off</code> is negative, or <code>len</code> is negative, or
    * <code>off+len</code> is greater than the length of the array
    * <code>b</code>, then an <tt>IndexOutOfBoundsException</tt> is thrown.
    *
    * @param      b   the data.
    * @param      off the start offset in the data.
    * @param      len the number of bytes to write.
    */
  @throws[IOException]
  override def write(b: Array[Byte], off: Int, len: Int): Unit = {
    @tailrec
    def writeIter(b: Array[Byte], off: Int, len: Int): Unit = {
      val currentPage: Int = (position / PAGE_SIZE).toInt
      val currentOffset: Int = (position % PAGE_SIZE).toInt

      if (len != 0) {
        val currentLength: Int = Math.min(PAGE_SIZE - currentOffset, len)
        Array.copy(b, off, streamBuffers(currentPage), currentOffset, currentLength)

        position += currentLength

        writeIter(b, off + currentLength, len - currentLength)
      }
    }

    allocSpaceIfNeeded(position + len)
    writeIter(b, off, len)
  }

  /** Gets an InputStream that points to HugeMemoryOutputStream buffer
    *
    * @return InputStream
    */
  def asInputStream(): InputStream = {
    new HugeMemoryInputStream(streamBuffers, length)
  }

  private class HugeMemoryInputStream(streamBuffers: Array[Array[Byte]], val length: Long) extends InputStream {
    /** Current position in stream
      *
      */
    private var position: Long = 0

    /**
      * Reads the next byte of data from the input stream. The value byte is
      * returned as an <code>int</code> in the range <code>0</code> to
      * <code>255</code>. If no byte is available because the end of the stream
      * has been reached, the value <code>-1</code> is returned. This method
      * blocks until input data is available, the end of the stream is detected,
      * or an exception is thrown.
      *
      * <p> A subclass must provide an implementation of this method.
      *
      * @return the next byte of data, or <code>-1</code> if the end of the
      *         stream is reached.
      */
    @throws[IOException]
    def read: Int = {
      val buffer: Array[Byte] = new Array[Byte](1)

      if (read(buffer) == 0) throw new Error("End of stream")
      else buffer(0)
    }

    /**
      * Reads up to <code>len</code> bytes of data from the input stream into
      * an array of bytes.  An attempt is made to read as many as
      * <code>len</code> bytes, but a smaller number may be read.
      * The number of bytes actually read is returned as an integer.
      *
      * <p> This method blocks until input data is available, end of file is
      * detected, or an exception is thrown.
      *
      * <p> If <code>len</code> is zero, then no bytes are read and
      * <code>0</code> is returned; otherwise, there is an attempt to read at
      * least one byte. If no byte is available because the stream is at end of
      * file, the value <code>-1</code> is returned; otherwise, at least one
      * byte is read and stored into <code>b</code>.
      *
      * <p> The first byte read is stored into element <code>b[off]</code>, the
      * next one into <code>b[off+1]</code>, and so on. The number of bytes read
      * is, at most, equal to <code>len</code>. Let <i>k</i> be the number of
      * bytes actually read; these bytes will be stored in elements
      * <code>b[off]</code> through <code>b[off+</code><i>k</i><code>-1]</code>,
      * leaving elements <code>b[off+</code><i>k</i><code>]</code> through
      * <code>b[off+len-1]</code> unaffected.
      *
      * <p> In every case, elements <code>b[0]</code> through
      * <code>b[off]</code> and elements <code>b[off+len]</code> through
      * <code>b[b.length-1]</code> are unaffected.
      *
      * <p> The <code>read(b,</code> <code>off,</code> <code>len)</code> method
      * for class <code>InputStream</code> simply calls the method
      * <code>read()</code> repeatedly. If the first such call results in an
      * <code>IOException</code>, that exception is returned from the call to
      * the <code>read(b,</code> <code>off,</code> <code>len)</code> method.  If
      * any subsequent call to <code>read()</code> results in a
      * <code>IOException</code>, the exception is caught and treated as if it
      * were end of file; the bytes read up to that point are stored into
      * <code>b</code> and the number of bytes read before the exception
      * occurred is returned. The default implementation of this method blocks
      * until the requested amount of input data <code>len</code> has been read,
      * end of file is detected, or an exception is thrown. Subclasses are encouraged
      * to provide a more efficient implementation of this method.
      *
      * @param      b   the buffer into which the data is read.
      * @param      off the start offset in array <code>b</code>
      *                 at which the data is written.
      * @param      len the maximum number of bytes to read.
      * @return the total number of bytes read into the buffer, or
      *         <code>-1</code> if there is no more data because the end of
      *         the stream has been reached.
      * @see java.io.InputStream#read()
      */
    @throws[IOException]
    override def read(b: Array[Byte], off: Int, len: Int): Int = {
      @tailrec
      def readIter(acc: Int, b: Array[Byte], off: Int, len: Int): Int = {
        val currentPage: Int = (position / PAGE_SIZE).toInt
        val currentOffset: Int = (position % PAGE_SIZE).toInt

        val count: Int = Math.min(len, length - position).toInt

        if (count == 0 || position >= length) acc
        else {
          val currentLength = Math.min(PAGE_SIZE - currentOffset, count)
          Array.copy(streamBuffers(currentPage), currentOffset, b, off, currentLength)

          position += currentLength

          readIter(acc + currentLength, b, off + currentLength, len - currentLength)
        }
      }

      readIter(0, b, off, len)
    }

    /**
      * Skips over and discards <code>n</code> bytes of data from this input
      * stream. The <code>skip</code> method may, for a variety of reasons, end
      * up skipping over some smaller number of bytes, possibly <code>0</code>.
      * This may result from any of a number of conditions; reaching end of file
      * before <code>n</code> bytes have been skipped is only one possibility.
      * The actual number of bytes skipped is returned. If <code>n</code> is
      * negative, the <code>skip</code> method for class <code>InputStream</code> always
      * returns 0, and no bytes are skipped. Subclasses may handle the negative
      * value differently.
      *
      * The <code>skip</code> method of this class creates a
      * byte array and then repeatedly reads into it until <code>n</code> bytes
      * have been read or the end of the stream has been reached. Subclasses are
      * encouraged to provide a more efficient implementation of this method.
      * For instance, the implementation may depend on the ability to seek.
      *
      * @param      n the number of bytes to be skipped.
      * @return the actual number of bytes skipped.
      */
    @throws[IOException]
    override def skip(n: Long): Long = {
      if (n < 0) 0
      else {
        position = Math.min(position + n, length)
        length - position
      }
    }
  }
}

простота в использовании, без дублирования буфера, без ограничения памяти 2 ГБ

val out: HugeMemoryOutputStream = new HugeMemoryOutputStream(initialCapacity /*may be 0*/)

out.write(...)
...

val in1: InputStream = out.asInputStream()

in1.read(...)
...

val in2: InputStream = out.asInputStream()

in2.read(...)
...

Если вы хотите сделать OutputStream из InputStream, есть одна основная проблема. Метод записи в OutputStream блокирует, пока это не будет сделано. Таким образом, результат доступен, когда метод записи завершен. Это имеет 2 последствия:

  1. Если вы используете только один поток, вам нужно подождать, пока все не будет записано (поэтому вам нужно сохранить данные потока в памяти или на диске).
  2. Если вы хотите получить доступ к данным до его завершения, вам нужна вторая нитка.

Вариант 1 может быть реализован с использованием байтовых массивов или подан. Вариант 1 может быть реализован с помощью pipies (либо напрямую, либо с дополнительной абстракцией - например, RingBuffer или Google lib из другого комментария).

действительно, со стандартной java нет другого способа решить проблему. Каждое решение-это implementataion одного из них.

существует одно понятие, называемое "продолжение" (см. Википедия для деталей). В этом деле в основном это означает:

  • существует специальный выходной поток, который ожидает определенной сумме
  • Если ammount достигнут, поток дает управление его аналогом, который является специальным входным потоком
  • входной поток делает объем данных доступным до тех пор, пока он не будет прочитан, после этого он передает управление выходному потоку

хотя в некоторых языках эта концепция встроена, для java вам нужна "магия". Для пример "commons-javaflow"из apache реализует такой для java. Недостатком является то, что это требует некоторых специальных модификаций байт-кода во время сборки. Поэтому имеет смысл поместить все материалы в дополнительную библиотеку с пользовательскими сценариями сборки.


старый пост, но может помочь другим, используйте таким образом:

OutputStream out = new ByteArrayOutputStream();
...
out.write();
...
ObjectInputStream ois = new ObjectInputStream(new ByteArrayInputStream(out.toString().getBytes()));

хотя вы не можете преобразовать OutputStream в InputStream, java предоставляет способ использования PipedOutputStream и PipedInputStream, что вы можете иметь данные, записанные в PipedOutputStream, чтобы стать доступными через связанный PipedInputStream.
некоторое время назад я столкнулся с аналогичной ситуацией при работе с сторонними библиотеками, которые требовали, чтобы экземпляр InputStream передавался им вместо экземпляра OutputStream.
способ, которым я исправил эту проблему, - использовать Переданным и PipedOutputStream.
кстати, они сложны в использовании, и вы должны использовать многопоточность для достижения того, что вы хотите. Недавно я опубликовал реализацию на github, которую вы можете использовать.
здесь ссылке . Вы можете пройти через wiki, чтобы понять, как его использовать.