批量加载CSV大小错误

Question

当使用Bulkloader导入一个包含大单元格的CSV文件时，会出现以下错误：

[ERROR   ] Error in data source thread: field larger than field limit (131072)

这是csv模块常见的问题，可以通过以下方法解决：

csv.field_size_limit(sys.maxint)

我该如何让bulkloader执行这个呢？

Answer 1

试试这个：

在bulkloader.yaml文件中添加：

python_preamble:
- import: csv_fix
... # the rest of your imports

在csv_fix.py文件中添加：

import csv, sys
csv.field_size_limit(sys.maxint)