美化搜刮搜索结果

Question

我是新来美团，我正在努力学习如何从网站上刮搜索结果。你知道吗

我已经可以在网站上练习抓取了，但是我已经在搜索表单的结果上遇到了障碍。你知道吗

例如，我想查找NSW中所有库的名称和地址

我该怎么办？如何根据搜索条件检索结果，并使用Beautifulsoup打开结果页？你知道吗

谢谢，很抱歉我的初学者问题！你知道吗

Xx号

Answer 1

import requests
from bs4 import BeautifulSoup

library_list = []

data = {'action' : 'LibSearch', 'termtype' : 'Keyword', 'libstate' : 'NSW', 'dosearch' : 'Search', 'libtype' : 'All', 'chunk' : 20}

page = requests.get("http://www.nla.gov.au/apps/libraries/", params=data)
soup = BeautifulSoup(page.content, 'html.parser')


libraries = soup.find_all("a")


for library in libraries[5:]:
    print(library.text)
    library_list.append(library.text)

输出：

Design Centre Enmore Library
Sydney Institute

A.B. 'Banjo' Paterson Library
Sydney Grammar School
.
.

ANSTO Library
Australian Nuclear Science and Technology Organisation

.
.

Note: Change the chunk size in the data params to get as many libraries as you want.