基于查询条件的Web抓取同义词库.com

Question

我想把所有的同义词从www.thesaurus.com网站当用户输入任何单词时（见图）。在

我已经成功地获得了诸如“名词”和“含义”之类的信息，但是当涉及到要获取同义词时，我遇到了一个问题，因为

BeautifulSoup .find_all('a', attrs={'href':'**my problem**'})

从href = "/browse/**each different synonym**"起将不同。在

我的目的是收集图片中所有突出显示的单词，如“capability”和“capacity”等

检查html代码

Answer 1

通过CSS选择器.select()更容易，见下文

import requests
from bs4 import BeautifulSoup

response = requests.get("https://www.thesaurus.com/browse/power")
soup = BeautifulSoup(response.content, 'html.parser')

# select only first '<section class="synonyms-container....'
synonyms = soup.select('.MainContentContainer > section > .synonyms-container a')
print 'synonyms for: Power'
for synonym in synonyms:
    print synonym.text
    #print synonym.get('href')