如何从URL列表中创建单个数据帧?

2024-04-19 13:09:48 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在创建一个代码来从在线目录中获取联系人信息,除了我的最后一个任务是从我收集的url列表中找出如何创建一个dataframe之外,我的大部分代码都完成了

我考虑过尝试创建一个for loop来为列表中的每个url创建一个df,然后使用其中一个pandas函数来组合它们。到目前为止我一点运气都没有。我对熊猫很陌生,所以这看起来很简单

urls = ["url1", "url2"]
driver = webdriver.Chrome(r'C:\Users\webdrivers\chromedriver.exe')
driver.implicitly_wait(15)
driver.get(url)

tables = pd.read_html(driver.page_source)
df = tables[1]
driver.close()

df.to_csv(r'C:\Users\test.csv')

同样,它在一个url上工作得很好,现在我只想将dfs合并成一个df,然后将其写入一个.csv文件


Tags: csv代码目录loop信息urldataframepandas