Selenium/Beautiful Soup scraper在循环一页后失败（Javascript）

Question

我试图从《季节性食品指南》中搜集有关食品季节性的数据，但遇到了一个障碍。该网站的URL结构相当简单：

https://www.seasonalfoodguide.org/produce_name/state_name

我已经能够使用Selenium和Beautiful Soup成功地从一个页面中获取季节性信息，但是在随后的循环中，我要查找的文本部分实际上没有加载，所以我得到了AttributeError: 'NoneType' object has no attribute 'text'。我知道这是因为months_list_raw返回空的，因为页面的'wheel-months-list'部分没有加载到第二个循环中。代码如下。有什么想法吗？你知道吗

for ingredient in produce_list:
    for state in state_list:

        # grab page content
        search_url = 'https://www.seasonalfoodguide.org/{}/{}'.format(ingredient,state)
        driver.get(search_url)
        page_soup = soup(driver.page_source, 'lxml')

        # grab list of months
        months_list_raw = page_soup.find('p',{'id':'wheel-months-list'})
        months_list = months_list_raw.text

Answer 1

为了防止错误发生并继续循环，您需要检查months_list_raw元素何时不是None。似乎有些product页面没有任何状态的数据，所以您需要在程序中按自己的方式处理这些数据。你知道吗

for ingredient in produce_list:
    for state in state_list:
        # grab page content
        search_url = 'https://www.seasonalfoodguide.org/{}/{}'.format(ingredient,state)
        driver.get(search_url)
        page_soup = soup(driver.page_source, 'lxml')

        # grab list of months
        months_list_raw = page_soup.find('p',{'id':'wheel-months-list'})
        if months_list_raw is not None:
            months_list = months_list_raw.text
        else:
            # Handle case where ingredient/state data doesn't exist