Transfermarkt url id抓取

Question

基本上我想创建一个工具，你输入玩家的名字（就像它在transfermarkt上一样，很好），它给你一个teammates的列表。我可以用美容汤刮。问题是，这个站点有each profile/page的随机ID。有没有一种方法可以做到这一点，而不必刮去所有的球员资料？如果没有，我如何刮取整个数据库？（只有每个球员的队友页面）

Answer 1

如评论中所述，你可以使用搜索页面来提取玩家的特定页面。在

例如，考虑下面的例子。在

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
}


player = "Modric"
data=requests.get("https://www.transfermarkt.com/schnellsuche/ergebnis/schnellsuche?query={}&x=0&y=0".format(player), headers=headers) 

soup = BeautifulSoup(data.text, "lxml")

table = soup.find("table", { "class" : "items" })

for row in table.find_all("table", { "class" : "inline-table" }):

    hrefs = row.find("a", {"class" : "spielprofil_tooltip"})

    print("player : {}".format(hrefs['title']))
    print("url : {}".format(hrefs['href']))

然后，根据结果你可以检查具体的球员。请注意，结果表包含更多信息，如team, position, age,...，您可以使用这些信息来确保播放器是正确的