pandas sqlite3操作错误:表没有名为的列

2024-06-16 10:24:32 发布

您现在位置:Python中文网/ 问答频道 /正文

我想用chromedriver收集数据

我使用url'http://web.mta.info/developers/turnstile.html'来获取数据,提取文件链接,然后根据数据的日期将其放入两个表中 这是我要执行的代码:

record_cnt = 0  
for link in data_list_post:
    data = pd.read_table(link, sep=',')
    print('%s:%s rows %s columns' % (link[-10:-4],data.shape[0], data.shape[1])) 
    record_cnt += data.shape[0]
    data.to_sql(name='post', con=conPost, flavor='sqlite', if_exists='append')

回溯:

^{pr2}$

Tags: 数据infowebhttpurldatalinkrecord
1条回答
网友
1楼 · 发布于 2024-06-16 10:24:32

你的问题是你想从页面上的每个链接中提取表,然后把它们编译成一个数据库表。。。但是你链接中的表是不同的。指向列表顶部的链接

http://web.mta.info/developers/data/nyct/turnstile/turnstile_160312.txt

第一行/标题行:

C/A,UNIT,SCP,STATION,LINENAME,DIVISION,DATE,TIME,DESC,ENTRIES,EXITS

vs链接指向页面底部

http://web.mta.info/developers/data/nyct/turnstile/turnstile_121222.txt

第一排看起来很不一样,比如:

^{pr2}$

一开始看起来上面的第二页缺少一个标题行,但是它的顶行(所有行)也不像第一组中的数据行。你能解释一下第二组中的那些行应该调用哪些字段吗?在

基本上,有些链接(通常在列表的下方)与顶部的链接不同,因为表格不同。在

相关问题 更多 >