我正在尝试开发一个爬虫函数来收集所有的分页链接,以便在我的Scraper程序中进一步使用
# This function take a list of indeed pagination links grabbed in previous function to iterate and
# return a list with all the pagination links
def crawlPagination(url_list):
pages= url_list
for page in pages:
urls_in_page = # Function to get pagination from individual page
for url in urls_in_page:
if url not in pages: pages.append(url)
return pages
我试图使一个progressbar显示在终端,但我不知道有多少次迭代将采取抓取所有链接,因为有些网页有更多的结果比其他。有什么办法我可以做到吗
目前没有回答
相关问题 更多 >
编程相关推荐