Получить поддомен из URL с помощью Python

например, адреса:

Address = http://lol1.domain.com:8888/some/page

Я хочу сохранить поддомен в переменную, чтобы я мог сделать вот так;

print SubAddr
>> lol1
8
python string url

7 ответов

urlparse.urlparse разделит URL на протокол, местоположение, порт и т. д. Затем вы можете разделить местоположение на . чтобы получить поддомен.

url = urlparse.urlparse(address)
subdomain = url.hostname.split('.')[0]
15

пакета tldextract делает эту задачу очень легко, а затем вы можете использовать urlparse как было предложено, если вам нужна дополнительная информация:

>> import tldextract
>> tldextract.extract("http://lol1.domain.com:8888/some/page"
ExtractResult(subdomain='lol1', domain='domain', suffix='com')
>> tldextract.extract("http://sub.lol1.domain.com:8888/some/page"
ExtractResult(subdomain='sub.lol1', domain='domain', suffix='com')
>> urlparse.urlparse("http://sub.lol1.domain.com:8888/some/page")
ParseResult(scheme='http', netloc='sub.lol1.domain.com:8888', path='/some/page', params='', query='', fragment='')

отметим, что tldextract правильно обрабатывает поддоменов.

8

измененная версия фантастического ответа здесь:как извлечь доменное имя верхнего уровня (TLD) из URL

вам понадобится список эффективных дву здесь

from __future__ import with_statement
from urlparse import urlparse

# load tlds, ignore comments and empty lines:
with open("effective_tld_names.dat.txt") as tldFile:
    tlds = [line.strip() for line in tldFile if line[0] not in "/\n"]

class DomainParts(object):
    def __init__(self, domain_parts, tld):
        self.domain = None
        self.subdomains = None
        self.tld = tld
        if domain_parts:
            self.domain = domain_parts[-1]
            if len(domain_parts) > 1:
                self.subdomains = domain_parts[:-1]

def get_domain_parts(url, tlds):
    urlElements = urlparse(url).hostname.split('.')
    # urlElements = ["abcde","co","uk"]
    for i in range(-len(urlElements),0):
        lastIElements = urlElements[i:]
        #    i=-3: ["abcde","co","uk"]
        #    i=-2: ["co","uk"]
        #    i=-1: ["uk"] etc

        candidate = ".".join(lastIElements) # abcde.co.uk, co.uk, uk
        wildcardCandidate = ".".join(["*"]+lastIElements[1:]) # *.co.uk, *.uk, *
        exceptionCandidate = "!"+candidate

        # match tlds: 
        if (exceptionCandidate in tlds):
            return ".".join(urlElements[i:]) 
        if (candidate in tlds or wildcardCandidate in tlds):
            return DomainParts(urlElements[:i], '.'.join(urlElements[i:]))
            # returns ["abcde"]

    raise ValueError("Domain not in global list of TLDs")

domain_parts = get_domain_parts("http://sub2.sub1.example.co.uk:80",tlds)
print "Domain:", domain_parts.domain
print "Subdomains:", domain_parts.subdomains or "None"
print "TLD:", domain_parts.tld

дает вам:

Domain: example
Subdomains: ['sub2', 'sub1']
TLD: co.uk
5

то, что вы ищете в: http://docs.python.org/library/urlparse.html

например: ".".join(urlparse('http://www.my.cwi.nl:80/%7Eguido/Python.html').netloc.split(".")[:-2])

сделает работу за вас (вернется "www.my")

2

очень простой подход, без какой-либо проверки вменяемости может выглядеть так:

address = 'http://lol1.domain.com:8888/some/page'

host = address.partition('://')[2]
sub_addr = host.partition('.')[0]

print sub_addr

Это, конечно, предполагает, что когда вы говорите "субдомен", вы имеете в виду первую часть имени хоста, поэтому в следующем случае " www " будет субдоменом:

http://www.google.com/

ты это имеешь в виду?

0

для извлечения имени хоста я бы использовал urlparse из urllib2:

>>> from urllib2 import urlparse
>>> a = "http://lol1.domain.com:8888/some/page"
>>> urlparse.urlparse(a).hostname
'lol1.domain.com'

Что касается того, как извлечь поддомен, вам нужно покрыть случай, когда FQDN может быть больше. Как вы это сделаете, зависит от ваших целей. Я мог бы предложить снять два правильных большинства компонентов.

Э. Г.

>>> urlparse.urlparse(a).hostname.rpartition('.')[0].rpartition('.')[0]
'lol1'
0

можно использовать https://github.com/john-kurkowski/tldextract для этой проблемы...

Это легко.

>>> ext = tldextract.extract('http://forums.bbc.co.uk')
>>> (ext.subdomain, ext.domain, ext.suffix)
('forums', 'bbc', 'co.uk')
0