如何在不知道总迭代次数的情况下创建progressbar?

2024-04-20 12:47:23 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试开发一个爬虫函数来收集所有的分页链接,以便在我的Scraper程序中进一步使用

# This function take a list of indeed pagination links grabbed in previous function to iterate and
# return a list with all the pagination links
def crawlPagination(url_list):
        pages= url_list
        for page in pages:
           urls_in_page = # Function to get pagination from individual page
           for url in urls_in_page:
               if url not in pages: pages.append(url) 
        return pages

我试图使一个progressbar显示在终端,但我不知道有多少次迭代将采取抓取所有链接,因为有些网页有更多的结果比其他。有什么办法我可以做到吗


Tags: to函数inurlforreturn链接page