Python数据库MySQLdb文件加载截断行，从另一个MySQL客户端加载文件时正常工作

Question

在使用pythonmysqldb模块进行csv导入时，我会丢失数据。最疯狂的是，我可以用其他MySQL客户机加载完全相同的csv，而且效果很好。在

• 当从sequel pro mysql客户端使用完全相同的csv运行完全相同的命令时，它工作得非常好
• 当从mysql命令行使用完全相同的csv运行完全相同的命令时，它工作得非常好
• 当使用mysqldb模块通过python脚本加载时，它不起作用（一些行被截断）。在

它从我的7019行csv中截取了大约10行。在

我要呼叫的命令是： LOAD DATA LOCAL INFILE '/path/to/load.txt' REPLACE INTO TABLE tble_name FIELDS TERMINATED BY ","

当使用linux上的原生mysql客户机或mac上的sequel pro mysql客户机运行上述命令时，它可以正常工作，我得到7019行导入。在

当使用Python的MySQLdb模块运行上述命令时，例如：

dest_cursor.execute( '''LOAD DATA LOCAL INFILE '/path/to/load.txt' REPLACE INTO TABLE tble_name FIELDS TERMINATED BY ","''' )
dest_db.commit()

大多数行都是导入的，但我被抛出了大量 Warning: (1265L, "Data truncated for column '<various_column_names' at row <various_rows>")

当警告弹出时，它声明at row <row_num>，但我看不到与csv中的行相关的内容（我认为是它试图在目标表上创建的行，而不是csv中的行），所以我不能用它来帮助解决问题。在

果然，完成后，我的目标表缺少一些行。在

不幸的是，csv中有7000多行，很难准确地判断出哪一行被阻塞，无法进行进一步的分析。当我无法在目标行中看到csv{3}的时候，我认为它不能帮助我在该行中创建csv}（但我认为它无法在该行中创建csv）。在

有许多行是空的和/或空的，但它们导入良好。在

事实上，我可以使用其他MySQL客户机导入整个csv，这让我觉得MySQLdb模块的配置不正确。在

这是python2.7 感谢任何帮助。任何关于如何更好地了解它被阻塞的线路的想法都会很有帮助。在

Answer 1

这是一个令人尴尬的问题，但也许我可以帮助将来犯下像我这样可怕错误的人。在

我花了很多时间分析字段、检查特殊字符等等，结果发现我只是自己造成了问题。在

1. 我在csv中有空格，在load语句中没有使用强制的ENCLOSED BY。这意味着我在某些字段中添加了空格字符，从而导致溢出。所以数据看起来像value1, value2, value3，而它应该是value1,value2,value3。删除这些空格，在字段周围加引号，并在我的语句中强制ENCLOSED BY来解决这个问题。 我假设正在工作的客户机正在后台清理数据或其他东西。我真的不知道为什么它在其他地方使用相同的csv，但这让我通过了第一组障碍。

2. 在完成了这些之后，csv中的最后一行被阻塞了，它声明Row doesn't contain data for all columns-结果是我在创建文件之后在尝试加载它之前没有close()。所以文件上有某种锁。一旦我添加了close()语句并修复了间距问题，所有数据现在都在加载。

很抱歉有人花了很多时间为我调查这个问题。在