Python3:只向MySQL数据库添加更新CSV文件的新行

2024-03-29 10:20:21 发布

您现在位置:Python中文网/ 问答频道 /正文

我每天使用Selenium多次下载同一个CSV文件。我希望每小时将这个重新下载的CSV文件的新行的内容附加到MySQL中。你知道吗

在只想捕获CSV中新创建的行之前,我使用的原始代码是:

import pymysql
from sqlalchemy import create_engine
import pandas as  pd

data = pd.read_csv('CleanCSV.csv', sep=',', parse_dates=[0])
new_df2 = data.assign(time_stamp=datetime.datetime.now())
cnx = create_engine('mysql+pymysql://root:root@localhost:3306/stats', 
echo=False)
new_df2.to_sql(name='stats', con=cnx, if_exists='replace', index=False)
print('Imported')

当然,上面的只是替换表及其内容,但是我想保留原始内容,只添加CSV中找到的新行。你知道吗

此代码后来演变为(使用stackoverflow搜索):

import pymysql
from sqlalchemy import create_engine
import pandas as pd

data = pd.read_csv('Callbacks_Cleaned.csv', sep=',')
cnx = create_engine('mysql+pymysql://root:root@localhost:3306/stats', 
echo=False)
for i in range(len(data)):
   data.iloc[i:i + 1].to_sql(name="callbacks", if_exists='append', con=cnx)

然而,这是行不通的。我一直收到一个完整性/主键:

sqlalchemy.exc.IntegrityError: (pymysql.err.IntegrityError) (1062, "Duplicate entry '0' for key 'PRIMARY'")

在此,我们非常感谢您的指导。你知道吗


Tags: 文件csvimportfalse内容datasqlalchemystats