Aiohttp, Asyncio: RuntimeError: цикл событий закрыт

у меня есть два сценария, scraper.py и db_control.py - ... В scraper.py у меня есть что-то вроде этого:

...
def scrap(category, field, pages, search, use_proxy, proxy_file):
    ...
    loop = asyncio.get_event_loop()

    to_do = [ get_pages(url, params, conngen) for url in urls ]
    wait_coro = asyncio.wait(to_do)
    res, _ = loop.run_until_complete(wait_coro)
    ...
    loop.close()

    return [ x.result() for x in res ]

...

и в db_control.py:

from scraper import scrap
...
while new < 15:
    data = scrap(category, field, pages, search, use_proxy, proxy_file)
    ...
...

теоретически, скраппер должен быть запущен неизвестно-раз, пока не будет получено достаточно данных. Но когда!--3--> - это не imidiatelly > 15 затем эта ошибка возникает:

  File "/usr/lib/python3.4/asyncio/base_events.py", line 293, in run_until_complete
self._check_closed()
  File "/usr/lib/python3.4/asyncio/base_events.py", line 265, in _check_closed
raise RuntimeError('Event loop is closed')
RuntimeError: Event loop is closed

но скрипты отлично работают, если я запускаю scrap () только один раз. Так что я думаю, есть некоторые проблемы с воссозданием loop = asyncio.get_event_loop(), Я пробовал этой но ничего не изменилось. Как я могу это исправить? Конечно, это только фрагменты моего кода, если вы думаете, что проблема может быть в другом месте, полный код доступен здесь.

6
aiohttp python python-3.x python-asyncio

1 ответов

методы run_until_complete, run_forever, run_in_executor, create_task, call_at явно проверять исключение loop и throw, если оно закрыто.

цитата из docs -BaseEvenLoop.close:

это идемпотент и необратимые

если у вас нет (хороших) причин, вы можете просто опустить закрытие строка:

def scrap(category, field, pages, search, use_proxy, proxy_file):
    #...
    loop = asyncio.get_event_loop()

    to_do = [ get_pages(url, params, conngen) for url in urls ]
    wait_coro = asyncio.wait(to_do)
    res, _ = loop.run_until_complete(wait_coro)
    #...
    # loop.close()
    return [ x.result() for x in res ]

если вы хотите иметь каждый раз новый цикл, вы должны создать его вручную и установить по умолчанию:

def scrap(category, field, pages, search, use_proxy, proxy_file):
    #...
    loop = asyncio.new_event_loop()
    asyncio.set_event_loop(loop)    
    to_do = [ get_pages(url, params, conngen) for url in urls ]
    wait_coro = asyncio.wait(to_do)
    res, _ = loop.run_until_complete(wait_coro)
    #...
    return [ x.result() for x in res ]
7