我必须把一个大的txt文件的信息放到一个数据帧中。 文本文件的格式如下(我无法以任何方式更改):
o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o
Z_0 S_1 C_1
foo bar
foo_1 foo_2 foo_3 foo_4
0.5 1.2 3.5 2.4
X[m] Y[m] Z[m] alfa[-] beta[-]
-2.17142783E-04 3.12000068E-03 3.20351664E-01 3.20366857E+01 3.20366857E+01
-7.18630964E-04 2.99634764E-03 3.20343560E-01 3.20357573E+01 3.20357573E+01
-2.85056979E-03 -4.51947006E-03 3.20079900E-01 3.20111805E+01 3.20111805E+01
o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o
Z_0 S_2 C_1
foo bar
foo_1 foo_2 foo_3 foo_4
0.5 1.2 3.5 2.4
X[m] Y[m] Z[m] alfa[-] beta[-]
-2.17142783E-04 3.12000068E-03 3.20351664E-01 3.20366857E+01 3.20366857E+01
-7.18630964E-04 2.99634764E-03 3.20343560E-01 3.20357573E+01 3.20357573E+01
-2.85056979E-03 -4.51947006E-03 3.20079900E-01 3.20111805E+01 3.20111805E+01
o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o--o
Z_1 S_3 C_1
foo bar
foo_1 foo_2 foo_3 foo_4
0.5 1.2 3.5 2.4
X[m] Y[m] Z[m] alfa[-] beta[-]
-2.17142783E-04 3.12000068E-03 3.20351664E-01 3.20366857E+01 3.20366857E+01
-7.18630964E-04 2.99634764E-03 3.20343560E-01 3.20357573E+01 3.20357573E+01
-2.85056979E-03 -4.51947006E-03 3.20079900E-01 3.20111805E+01 3.20111805E+01
原始文件有超过65K行。你知道吗
我想创建一个包含该文件信息的唯一数据框,包括分隔符后第一行中包含的数据框。我写了一个工作代码:
import os
import pandas as pd
my_path = r"C:\Users\212744206\Desktop\COSO"
my_file= os.path.join(my_path ,'my_file.dat')
istart = False
with open(my_file) as fp:
for i, line in enumerate(fp):
if (line[0] != 'o'):
if line.split()[0][0] == 'Z':
iZ = int((line.split()[0]).split('_')[1])
iS = int((line.split()[1]).split('_')[1])
iC = int((line.split()[2]).split('_')[1])
elif (line.split()[0] == 'X[m]') or (len(line.split()) == 2) or (len(line.split()) == 4):
continue
else:
dfline = pd.DataFrame(line.split())
dfline = dfline.transpose()
dfline.insert(0, column='C' , value=iC)
dfline.insert(0, column='S' , value=iS)
dfline.insert(0, column='Z' , value=iZ)
if istart == False:
df_zone = dfline.copy()
istart = True
else:
df_zone = df_zone.append(dfline, ignore_index=True, sort=False)
print(df_zone)
…但是对于我的应用程序来说它非常慢(最后的打印显然是出于调试原因,我不打算在大文件中使用它)。我怎样才能用一种更“pythonic”和更有效的方式来写呢?所有建议都接受!谢谢
编辑: 不幸的是,我的“有用”数据可能有3、4、5行或任何行数。。。此外,我需要解析行“Z\u 0 S\u 1 C\u 1”,因为我需要这样的输出:
Z S C 0 1 2 3 4
0 0 1 1 -2.17142783E-04 3.12000068E-03 3.20351664E-01 3.20366857E+01 3.20366857E+01
1 0 1 1 -7.18630964E-04 2.99634764E-03 3.20343560E-01 3.20357573E+01 3.20357573E+01
2 0 1 1 -2.85056979E-03 -4.51947006E-03 3.20079900E-01 3.20111805E+01 3.20111805E+01
3 0 2 1 -2.17142783E-04 3.12000068E-03 3.20351664E-01 3.20366857E+01 3.20366857E+01
4 0 2 1 -7.18630964E-04 2.99634764E-03 3.20343560E-01 3.20357573E+01 3.20357573E+01
5 0 2 1 -2.85056979E-03 -4.51947006E-03 3.20079900E-01 3.20111805E+01 3.20111805E+01
6 1 3 1 -2.17142783E-04 3.12000068E-03 3.20351664E-01 3.20366857E+01 3.20366857E+01
7 1 3 1 -7.18630964E-04 2.99634764E-03 3.20343560E-01 3.20357573E+01 3.20357573E+01
8 1 3 1 -2.85056979E-03 -4.51947006E-03 3.20079900E-01 3.20111805E+01 3.20111805E+01
不要附加数据帧。这是一个非常缓慢的操作。理想情况下,我会做两次遍历:遍历文件一次,对行进行计数,然后倒带文件,创建一个适当大小的数据帧,然后通过直接索引将其填充到第二次遍历中。你知道吗
作为微优化,请注意您已经做了
line.split()
很多次了-它应该被缓存。你知道吗主要的性能瓶颈是一直附加到数据帧。相反,您可以创建一个数据缓冲区,并在缓冲区溢出时展开它。下面的代码生成大约100000行数据的合成数据集,然后解析相应的数据文件:
结果:
这对你来说够好吗?你知道吗
先前的答案供参考(假设数据文件的某些结构):
您可以在^{} 中使用
skiprows
特性。在您的示例中,只有9的每一个倍数的最后3行包含有用的数据,因此您可以使用skiprows
以及一个函数,如果9的每一个倍数的行索引是6、7或8(从0开始),则返回True
:相关问题 更多 >
编程相关推荐