Python PostGreSql CSV导入空字段

Question

我正在尝试将一个相当大的csv文件（21列/125k行）导入Postgresql。因为不能像Sqlite那样在Postgres中插入空字符串。我试图用csvDictReader对每一行进行排序并过滤数据，以便为包含数据的列/文件创建Insert语句。排序工作得很好，但是当我尝试创建insert语句时，它尝试插入数组而不是每个值。。。请不要´我不建议其他方法，比如Postgresql´收到，谢谢

with codecs.open(filename, 'rb', encoding='utf-8') as csvfile:
    reader = csv.DictReader(csvfile, delimiter='\t')
    a=0
    col=[]
    val=[]
    for row in reader:
        if a>0:
            for column, value in row.items():
                if value != '':
                    #print column, value
                    col.append(column)
                    val.append(value)
                        try:
                            c.execute('''INSERT INTO AMA (%s) VALUES (%s) ON CONFLICT DO NOTHING''',(col,val,))
                        except psycopg2.IntegrityError as e:
                            print e

                        col=[]
                        val=[]                          
                    a=a+1

psycopg2.ProgrammingError:在“ARRAY”处或附近出现语法错误 第1行：插入AMA（数组['fulfillment-id'，'sku'，'settleme

成功地走到了这一步，但现在出现了另一个问题：

with codecs.open(filename, 'rb', encoding='utf-8') as csvfile:
    reader = csv.DictReader(csvfile, delimiter='\t')
    a=0
    col=[]
    val=[]
    for row in reader:
        for column, value in row.items():
            if value != '':
                col.append(column)
                val.append(value)
                try:
                    query='''INSERT INTO AMA %s VALUES %s ON CONFLICT DO NOTHING'''
                    print c.mogrify(query, (tuple(col), tuple(val)))
                    c.execute(query, (tuple(col), tuple(val),))

                except psycopg2.IntegrityError as e:
                    print e

                col=[]
                val=[]                          
        a=a+1

psycopg2.ProgrammingError:“'currency'”处或附近的语法错误 第1行：插入AMA（'货币'，'结算id'，'存款da

似乎在Postregsql中的列名周围需要“”而不是“”。我能做些什么来改变这一点

找到了一个有效的解决方案，如果有任何想法如何提高速度，如执行许多等，请让我知道

with codecs.open(filename, 'rb', encoding='utf-8') as csvfile:
    reader = csv.DictReader(csvfile, delimiter='\t')
        a=0
        col=[]
        val=[]
            for row in reader:
                for column, value in row.items():
                    if value != '':
                        col.append(column)
                        val.append(unicode(value, "utf8"))
                        try:
                            query1=sql.SQL("INSERT INTO AMA ({}) VALUES ({}) ON CONFLICT DO NOTHING").format(sql.SQL(', ').join(map(sql.Identifier, col)),sql.SQL(', ').join(sql.Placeholder() * len(col)))
                            query=c.mogrify(query1, tuple(val),)
                            #print query                    
                            c.execute(query)

                       except psycopg2.IntegrityError as e:
                            print e

                        col=[]
                        val=[]                          
                    a=a+1

Answer 1

使用psycopg2的SQL函数，就可以用正确的格式创建SQL，表在“”中，值在“”中，然后只需创建包含数据的表和值的列表