Проверка прокси в python

Я написал скрипт на python, который использует cookies и POST / GET. Я также включил поддержку прокси в свой скрипт. Однако при входе в мертвый прокси-сервер сценарий аварийно завершает работу. Есть ли способ проверить, мертв ли прокси / жив, прежде чем запускать остальную часть моего скрипта?

кроме того, я заметил, что некоторые прокси не обрабатывают заголовки cookies/POST должным образом. Есть ли способ это исправить?

11
http proxy python

3 ответов

самым простым было просто поймать исключение IOError из urllib:

try:
    urllib.urlopen(
        "http://example.com",
        proxies={'http':'http://example.com:8080'}
    )
except IOError:
    print "Connection error! (Check proxy)"
else:
    print "All was fine"

С это сообщение в блоге - "проверить статус прокси-адрес" (С некоторыми незначительными улучшениями):

import urllib2
import socket

def is_bad_proxy(pip):    
    try:
        proxy_handler = urllib2.ProxyHandler({'http': pip})
        opener = urllib2.build_opener(proxy_handler)
        opener.addheaders = [('User-agent', 'Mozilla/5.0')]
        urllib2.install_opener(opener)
        req=urllib2.Request('http://www.example.com')  # change the URL to test here
        sock=urllib2.urlopen(req)
    except urllib2.HTTPError, e:
        print 'Error code: ', e.code
        return e.code
    except Exception, detail:
        print "ERROR:", detail
        return True
    return False

def main():
    socket.setdefaulttimeout(120)

    # two sample proxy IPs
    proxyList = ['125.76.226.9:80', '213.55.87.162:6588']

    for currentProxy in proxyList:
        if is_bad_proxy(currentProxy):
            print "Bad Proxy %s" % (currentProxy)
        else:
            print "%s is working" % (currentProxy)

if __name__ == '__main__':
    main()

помните, что это может удвоить время, которое занимает скрипт, если прокси-сервер не работает (так как вам придется ждать двух таймаутов соединения).. Если вам специально не нужно знать, что прокси виноват, обработка IOError намного чище, проще и проще быстрее..

14

Я думаю, что лучший подход, как сказал dbr, обрабатывает исключение.

другое решение, что может быть лучше в некоторых случаях использовать внешнюю онлайн прокси checker инструмент, чтобы проверить, если прокси-сервер жив, а затем продолжить использование сценария без каких-либо изменений.

1

есть один хороший пакет схватила Итак, если это нормально для вас, вы можете написать что-то вроде этого(простой действующий proxy checker-generator):

from grab import Grab, GrabError

def get_valid_proxy(proxy_list): #format of items e.g. '128.2.198.188:3124'
    g = Grab()
    for proxy in proxy_list:
        g.setup(proxy=proxy, proxy_type='http', connect_timeout=5, timeout=5)
        try:
            g.go('google.com')
        except GrabError:
            #logging.info("Test error")
            pass
        else:
            yield proxy
0