использовать кодеки.getreader для создания объекта-оболочки:

text_stream = codecs.getreader("utf-8")(bytes_stream)

работает на Python 2 и Python 3.

оказывается, вам просто нужно обернуть свой io.BytesIO на io.BufferedReader который существует как на Python 2, так и на Python 3.

import io

reader = io.BufferedReader(io.BytesIO("Lorem ipsum".encode("utf-8")))
wrapper = io.TextIOWrapper(reader)
wrapper.read()  # returns Lorem ipsum

этот ответ первоначально предложил использовать ОС.труба, но считывающая сторона трубы должна быть обернута в io.BufferedReader на Python 2 все равно работает, поэтому это решение проще и позволяет избежать выделения канала.

хорошо, это, кажется, полное решение для всех случаев, упомянутых в вопросе, протестировано с Python 2.7 и Python 3.5. Общим решением стало повторное открытие дескриптора файла, но вместо io.BytesIO вам нужно использовать канал для тестового двойника, чтобы у вас был файловый дескриптор.

import io
import subprocess
import os

# Example function, re-opens a file descriptor for UTF-8 decoding,
# reads until EOF and prints what is read.
def read_as_utf8(fileno):
    fp = io.open(fileno, mode="r", encoding="utf-8", closefd=False)
    print(fp.read())
    fp.close()

# Subprocess
gpg = subprocess.Popen(["gpg", "--version"], stdout=subprocess.PIPE)
read_as_utf8(gpg.stdout.fileno())

# Normal file (contains "Lorem ipsum." as UTF-8 bytes)
normal_file = open("loremipsum.txt", "rb")
read_as_utf8(normal_file.fileno())  # prints "Lorem ipsum."

# Pipe (for test harness - write whatever you want into the pipe)
pipe_r, pipe_w = os.pipe()
os.write(pipe_w, "Lorem ipsum.".encode("utf-8"))
os.close(pipe_w)
read_as_utf8(pipe_r)  # prints "Lorem ipsum."
os.close(pipe_r)

мне это тоже было нужно, но, основываясь на потоке здесь, я определил, что невозможно использовать только Python 2 io модуль. В то время как это нарушает ваше "особое отношение к file" правило, техника, с которой я пошел, заключалась в создании чрезвычайно тонкой обертки для file (код ниже), который затем может быть обернут в io.BufferedReader, который в свою очередь может быть передан io.TextIOWrapper конструктор. Это будет боль для модульного теста, поскольку, очевидно, новый путь кода не может быть протестирован на Python 3.

кстати, причина в результатахopen() может быть передан непосредственно к io.TextIOWrapper в Python 3-это потому, что двоичный режим open() на самом деле возвращает io.BufferedReader экземпляр для начала (по крайней мере, на Python 3.4, где я тестировал в то время).

import io
import six  # for six.PY2

if six.PY2:
    class _ReadableWrapper(object):
        def __init__(self, raw):
            self._raw = raw

        def readable(self):
            return True

        def writable(self):
            return False

        def seekable(self):
            return True

        def __getattr__(self, name):
            return getattr(self._raw, name)

def wrap_text(stream, *args, **kwargs):
    # Note: order important here, as 'file' doesn't exist in Python 3
    if six.PY2 and isinstance(stream, file):
        stream = io.BufferedReader(_ReadableWrapper(stream))

    return io.TextIOWrapper(stream)

по крайней мере, это мало, поэтому, надеюсь, он минимизирует воздействие на детали, которые не могут быть легко проверены.

вот некоторый код, который я тестировал как в python 2.7, так и в python 3.6.

ключ здесь в том, что вам нужно сначала использовать detach() в предыдущем потоке. Это не закрывает базовый файл, он просто вырывает объект raw stream, чтобы его можно было использовать повторно. detach () вернет объект, который можно обернуть с помощью TextIOWrapper.

в качестве примера здесь я открываю файл в двоичном режиме чтения, делаю чтение на нем, а затем переключаюсь на декодированный текстовый поток UTF-8 через Ио.TextIOWrapper.

Я сохранил этот пример как this-file.py

import io

fileName = 'this-file.py'
fp = io.open(fileName,'rb')
fp.seek(20)
someBytes = fp.read(10)
print(type(someBytes) + len(someBytes))

# now let's do some wrapping to get a new text (non-binary) stream
pos = fp.tell() # we're about to lose our position, so let's save it
newStream = io.TextIOWrapper(fp.detach(),'utf-8') # FYI -- fp is now unusable
newStream.seek(pos)
theRest = newStream.read()
print(type(theRest), len(theRest))

вот что я получаю, когда я запускаю его с python2 и python3.

$ python2.7 this-file.py 
(<type 'str'>, 10)
(<type 'unicode'>, 406)
$ python3.6 this-file.py 
<class 'bytes'> 10
<class 'str'> 406

очевидно, что синтаксис печати отличается и, как и ожидалось, типы переменных отличаются между версиями python, но работает так, как должно в обоих случаях.