尝试用Python切割大型CSS文件（1,952,726行）

Question

我运行下面这个命令时，出现了一个错误：

import pandas as pd
import os
import numpy as np

Endcustomers = "Resources/WESTCON_INTE_LTD_2024_01_GBP.csv"
Endcustomers_df = pd.read_csv(Endcustomers)
Endcustomers_df.head(3)

def split_csv_into_chunks(Endcustomers, 10000):
    # Read the CSV file into a pandas DataFrame
    df = pd.read_csv(Endcustomers)
    
    # Determine the total number of chunks needed
    total_chunks = len(df) // 500000 + 1
    
    # Split the DataFrame into chunks
    chunks = np.array_split(df, total_chunks)
    
    # Save each chunk as a separate CSV file
    for i, chunk in enumerate(chunks):
        chunk.to_csv(f"{input_file}_chunk_{i+1}.csv", index=False)
        print(f"Chunk {i+1} saved.")

错误信息： 在第[16]个单元格，第一行 def split_csv_into_chunks(Endcustomers,10000): ^ 语法错误：无效的语法

有人能帮我解决这个问题吗？谢谢！

Answer 1

你在定义函数的时候出错了，你传入了两个参数“Endcustomers”和“10000”，但是“10000”不能作为一个参数。

解决方法：

def split_csv_into_chunks(Endcustomers):

另外，你使用了一个叫“input_file”的变量，但在你的代码中并不存在这个变量。

for i, chunk in enumerate(chunks):
    chunk.to_csv(f"INSERT_NAME_OF_FILE_chunk_{i+1}.csv", index=False)
    print(f"Chunk {i+1} saved.")

还有，你并没有在任何地方调用split_csv_into_chunks这个函数，你下面还有更多代码吗？