Запустите команду и получите ее stdout, stderr отдельно в режиме реального времени, как в терминале

были предоставлены два ответа, один из которых касается первых двух критериев и будет хорошо работать, когда вам просто нужны как stdout, так и stderr с использованием потоков и очереди. Другой ответ использует select, неблокирующий метод для чтения файловых дескрипторов, и pty, метод "обмануть" порожденный процесс, полагая, что он работает в реальном терминале, как если бы он был запущен из Bash напрямую, но может или не может иметь побочных эффектов. Я хотел бы принять оба ответа, потому что "правильный" метод действительно зависит от ситуации и от того, почему вы обрабатываете в первую очередь, но, увы, я мог принять только один.

Я пытаюсь найти способ в Python, чтобы запускать другие программы таким образом, что:

1. stdout и stderr запускаемой программы могут быть зарегистрированы отдельно.
2. stdout и stderr запускаемой программы могут быть просматривается в почти реальном времени, так что если дочерний процесс зависает, пользователь может видеть. (т. е. мы не ждем завершения исполнения печать stdout / stderr пользователю)
3. бонусные критерии: запускаемая программа не знает, что она запускается через python, и, таким образом не будет делать неожиданных вещей (например, chunk его выход вместо печатать его в реальное временя, или выход потому что он требует стержня к просмотр его вывода). Этот маленький критерий в значительной степени означает, что нам понадобится чтобы использовать pty, я думаю.

вот что у меня есть до сих пор... Метод 1:

def method1(command):
    ## subprocess.communicate() will give us the stdout and stderr sepurately, 
    ## but we will have to wait until the end of command execution to print anything.
    ## This means if the child process hangs, we will never know....
    proc=subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True, executable='/bin/bash')
    stdout, stderr = proc.communicate() # record both, but no way to print stdout/stderr in real-time
    print ' ######### REAL-TIME ######### '
    ########         Not Possible
    print ' ########## RESULTS ########## '
    print 'STDOUT:'
    print stdout
    print 'STDOUT:'
    print stderr

Способ 2

def method2(command):
    ## Using pexpect to run our command in a pty, we can see the child's stdout in real-time,
    ## however we cannot see the stderr from "curl google.com", presumably because it is not connected to a pty?
    ## Furthermore, I do not know how to log it beyond writing out to a file (p.logfile). I need the stdout and stderr
    ## as strings, not files on disk! On the upside, pexpect would give alot of extra functionality (if it worked!)
    proc = pexpect.spawn('/bin/bash', ['-c', command])
    print ' ######### REAL-TIME ######### '
    proc.interact()
    print ' ########## RESULTS ########## '
    ########         Not Possible

Способ 3:

def method3(command):
    ## This method is very much like method1, and would work exactly as desired
    ## if only proc.xxx.read(1) wouldn't block waiting for something. Which it does. So this is useless.
    proc=subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True, executable='/bin/bash')
    print ' ######### REAL-TIME ######### '
    out,err,outbuf,errbuf = '','','',''
    firstToSpeak = None
    while proc.poll() == None:
            stdout = proc.stdout.read(1) # blocks
            stderr = proc.stderr.read(1) # also blocks
            if firstToSpeak == None:
                if stdout != '': firstToSpeak = 'stdout'; outbuf,errbuf = stdout,stderr
                elif stderr != '': firstToSpeak = 'stderr'; outbuf,errbuf = stdout,stderr
            else:
                if (stdout != '') or (stderr != ''): outbuf += stdout; errbuf += stderr
                else:
                    out += outbuf; err += errbuf;
                    if firstToSpeak == 'stdout': sys.stdout.write(outbuf+errbuf);sys.stdout.flush()
                    else: sys.stdout.write(errbuf+outbuf);sys.stdout.flush()
                    firstToSpeak = None
    print ''
    print ' ########## RESULTS ########## '
    print 'STDOUT:'
    print out
    print 'STDERR:'
    print err

чтобы попробовать эти методы, вам понадобится import sys,subprocess,pexpect

pexpect является pure-python и может быть с

sudo pip установить pexpect

Я думаю, что решение будет включать модуль Pty python , который является чем-то вроде черного искусства, которое я не могу найти никого, кто знает, как использовать. Возможно так знает :) В качестве хедз-апа я рекомендую вам использовать ' curl www.google.com-в качестве тестовой команды, потому что она почему-то выводит свой статус на stderr :D

обновление: Хорошо, поэтому библиотека pty не подходит для потребления человеком. Документы, по сути, являются исходным кодом. Любое представленное решение, которое блокирует, а не асинхронно, не будет работать здесь. Метод Threads / Queue от Padraic Cunningham отлично работает, хотя добавление поддержки pty невозможно - и это "грязно" (процитировать #python Freenode). Кажется, это единственное решение, подходящее для производственный стандартный код использует Twisted framework, который даже поддерживает pty как логический переключатель для запуска процессов точно так же, как если бы они были вызваны из оболочки. Но добавление Twisted в проект требует полной перезаписи всего кода. Это полный облом :/