Подпроцесс программы Python C зависает на " для строки в iter"
Ok, поэтому я пытаюсь запустить программу C из скрипта python. В настоящее время я использую тестовую программу C:
#include <stdio.h>
int main() {
while (1) {
printf("2000n");
sleep(1);
}
return 0;
}
для имитации программы, которую я буду использовать, которая постоянно снимает показания с датчика.
Затем я пытаюсь прочитать вывод (в этом случае "2000"
) из программы C с подпроцессом в python:
#!usr/bin/python
import subprocess
process = subprocess.Popen("./main", stdout=subprocess.PIPE)
while True:
for line in iter(process.stdout.readline, ''):
print line,
но это не работает. С помощью инструкций print он запускает .Popen
линия затем ждет в for line in iter(process.stdout.readline, ''):
, пока я не Пресс Сочетание Клавиш Ctrl-С.
почему это? Это именно то, что большинство примеров, которые я видел, имеют в качестве своего кода, и все же он не читает файл.
Edit:
есть ли способ заставить его работать только тогда, когда есть что читать?
3 ответов
это проблема буферизации блоков.
ниже приводится расширенная для вашего случая версия моего ответа на Python: чтение потокового ввода из подпроцесса.communicate () вопрос.
исправить буфер stdout в программе C напрямую
stdio
-основанные программы, как правило, буферизуются линией, если они работают интерактивно в терминале и буферизуются блоком, когда их stdout перенаправляется в канал. В последнем случае, вы не увидите новых линий до переполнения буфера или слита.
чтобы избежать вызова fflush()
после каждого printf()
вызов, вы можете принудительно буферизовать вывод строки, вызвав программу на C в самом начале:
setvbuf(stdout, (char *) NULL, _IOLBF, 0); /* make line buffered stdout */
как только печатается новая строка, буфер в этом случае сбрасывается.
или исправить это без изменения источника программы C
здесь stdbuf
утилита, которая позволяет изменять тип буферизации без изменения исходного кода например:
from subprocess import Popen, PIPE
process = Popen(["stdbuf", "-oL", "./main"], stdout=PIPE, bufsize=1)
for line in iter(process.stdout.readline, b''):
print line,
process.communicate() # close process' stream, wait for it to exit
есть также другие утилиты, доступные, см. отключить буферизацию в трубы.
или использовать псевдо-TTY
чтобы обмануть подпроцесс, думая, что он работает в интерактивном режиме, вы можете использовать pexpect
модуль или его аналоги, для примеров кода, которые используют pexpect
и pty
модули, см. Python подпроцесс readlines () зависает. Вот вариация на тему pty
пример при наличии (он должен работать на Linux):
#!/usr/bin/env python
import os
import pty
import sys
from select import select
from subprocess import Popen, STDOUT
master_fd, slave_fd = pty.openpty() # provide tty to enable line buffering
process = Popen("./main", stdin=slave_fd, stdout=slave_fd, stderr=STDOUT,
bufsize=0, close_fds=True)
timeout = .1 # ugly but otherwise `select` blocks on process' exit
# code is similar to _copy() from pty.py
with os.fdopen(master_fd, 'r+b', 0) as master:
input_fds = [master, sys.stdin]
while True:
fds = select(input_fds, [], [], timeout)[0]
if master in fds: # subprocess' output is ready
data = os.read(master_fd, 512) # <-- doesn't block, may return less
if not data: # EOF
input_fds.remove(master)
else:
os.write(sys.stdout.fileno(), data) # copy to our stdout
if sys.stdin in fds: # got user input
data = os.read(sys.stdin.fileno(), 512)
if not data:
input_fds.remove(sys.stdin)
else:
master.write(data) # copy it to subprocess' stdin
if not fds: # timeout in select()
if process.poll() is not None: # subprocess ended
# and no output is buffered <-- timeout + dead subprocess
assert not select([master], [], [], 0)[0] # race is possible
os.close(slave_fd) # subproces don't need it anymore
break
rc = process.wait()
print("subprocess exited with status %d" % rc)
или использовать pty
via pexpect
pexpect
обертывания pty
работа в интерфейс более высокого уровня:
#!/usr/bin/env python
import pexpect
child = pexpect.spawn("/.main")
for line in child:
print line,
child.close()
Q: почему бы просто не использовать трубу (popen())? объясняет, почему псевдо-TTY полезен.
ваша программа не висит, она просто работает очень медленно. Ваша программа использует буферизованный вывод;"2000\n"
данные не записываются в stdout немедленно, но в конечном итоге сделают это. В вашем случае это может занять BUFSIZ/strlen("2000\n")
секунды (возможно, 1638 секунд) для завершения.
после этой строки:
printf("2000\n");
добавить
fflush(stdout);
посмотреть readline docs.
код:
process.stdout.readline
ждет EOF или новой строки.
Я не могу сказать, что вы в конечном итоге пытаетесь сделать, но добавляя новую строку в свой printf, например,printf("2000\n");
, по крайней мере, вы должны начать.