从URL获取protocol+主机名

Question

在我的Django应用程序中，我需要从request.META.get('HTTP_REFERER')中的referer获取主机名及其协议，以便从如下URL获取：

• https://docs.google.com/spreadsheet/ccc?key=blah-blah-blah-blah#gid=1
• https://stackoverflow.com/questions/1234567/blah-blah-blah-blah
• http://www.example.com
• https://www.other-domain.com/whatever/blah/blah/?v1=0&v2=blah+blah。。。

我应该得到：

• https://docs.google.com/
• https://stackoverflow.com/
• http://www.example.com
• https://www.other-domain.com/

我查看了其他相关的问题，发现了关于urlparse的问题，但这并没有起到作用，因为

>>> urlparse(request.META.get('HTTP_REFERER')).hostname
'docs.google.com'

Answer 1

你应该可以用urlparse（文档：python2，python3）来完成它：

from urllib.parse import urlparse
# from urlparse import urlparse  # Python 2
parsed_uri = urlparse('http://stackoverflow.com/questions/1234567/blah-blah-blah-blah' )
result = '{uri.scheme}://{uri.netloc}/'.format(uri=parsed_uri)
print(result)

# gives
'http://stackoverflow.com/'

Answer 2

https://github.com/john-kurkowski/tldextract

这是urlparse的更详细版本。它为您检测域和子域。

从他们的文件来看：

>>> import tldextract
>>> tldextract.extract('http://forums.news.cnn.com/')
ExtractResult(subdomain='forums.news', domain='cnn', suffix='com')
>>> tldextract.extract('http://forums.bbc.co.uk/') # United Kingdom
ExtractResult(subdomain='forums', domain='bbc', suffix='co.uk')
>>> tldextract.extract('http://www.worldbank.org.kg/') # Kyrgyzstan
ExtractResult(subdomain='www', domain='worldbank', suffix='org.kg')

ExtractResult是一个namedtuple，因此访问所需的部分很简单。

>>> ext = tldextract.extract('http://forums.bbc.co.uk')
>>> ext.domain
'bbc'
>>> '.'.join(ext[:2]) # rejoin subdomain and domain
'forums.bbc'

Answer 3

Python3使用urlsplit：

from urllib.parse import urlsplit
url = "http://stackoverflow.com/questions/9626535/get-domain-name-from-url"
base_url = "{0.scheme}://{0.netloc}/".format(urlsplit(url))
print(base_url)
# http://stackoverflow.com/