使用python在CSV文件中移动数据时有一些限制

2024-04-29 00:23:10 发布

您现在位置:Python中文网/ 问答频道 /正文

我有两个大的CSV文件(Input.CSV和output.CSV文件),每个文件大约有300万行。两个文件都有一些批每个批都有x行和9列从时间0开始(参见附图1)

第一个文件是输入文件,第二个文件是相应的输出文件,我想根据与“时间”列相关的一些限制选择一些特定的数据

例如,我想从每个输入批次中选择前90%,从每个输出批次中选择最后90%

我正在考虑将每个CSV文件分为多个批(每个批从时间0开始)然后从每个输入批次中删除最后10%,从每个输出批次中删除前10%,然后合并每个输入批次和每个输出批次,但这种方式需要大量内存,我认为我没有,所以我想问是否有人有更好的方法,或者可以为我提供一个草图代码

fig 1

您还可以在图2中看到数据的样子 fig 2