使用pandas和python整理列及表头数据

Question

我正在尝试用Numpy代替Matlab，但我对Python还比较陌生。

我现在面临的挑战是如何以合理的方式导入多个文件中的数据，以便我可以使用和绘制这些数据。这些数据是按列组织的（比如温度、压力、时间等，每个文件代表一个测量周期），我觉得使用pandas可能是导入数据的最佳选择。我打算为每个文件使用顶层描述符，为每一列使用子描述符。我想做成这样。

将多个CSV文件读入Python Pandas数据框

问题是我想保留并使用一些头部的数据（比如用于绘图）。虽然没有列标题，但有一些关于数据测量的一般信息，类似于这样：

 Flight ID: XXXXXX
 Date: 01-27-10  Time: 5:25:19
 OWNER
 Release Point: xx.304N  xx.060E  11 m
 Serial Number xxxxxx
 Surface Data:  985.1 mb   1.0 C 100%   1.0 m/s @ 308 deg.

我真的不知道该如何提取和存储这些数据，以便与数据框结合时有意义。我想过用字典，但不确定如何有效地拆分数据，因为没有一致的分隔符。有什么想法吗？

Answer 1

看起来有人在处理气象探测器的数据...

当我获取气象探测器的数据时，通常会把它放在一个多层索引的数据表里。这个索引可以有不同的形式和顺序，比如说航班号、日期、高度等等，这样的分类比较合理。此外，在处理探测器数据时，我也想要一些额外的信息，这些信息不一定要存储在数据表里，所以我把它们作为额外的属性存储。如果我要解析你的文件并存储数据，我会这样做（当然，这里还有一些可以改进的地方）：

import pandas as pd

with open("filename.csv",'r') as data:
    header = data.read().split('\n')[:5] # change to match number of your header rows
    data = pd.read_csv(data, skiprows=6, skipinitialspace=True, na_values=[-999,'Infinity','-Infinity'])

# now you can parse your header to get out the necessary information
# continue until you have all the header info you want/need; e.g.
flight = header[0].split(': ')[1]
date = header[1].split(': ')[1].split('')[0]
time = header[1].split(': ')[2]

# a lot of the header information will get stored as metadata for me.  
# most likely you want more than flight number and date in your metadata, but you get the point.
data.metadata = {'flight':flight,
                 'date':date}

我假设你的文件里有一个日期/时间的列（这里叫它“dates”），你可以用这个列来重新给数据表加索引。如果你选择在多层索引中使用不同的变量，方法也是一样的。

new_index  = [(data.metadata['flight'],r) for r in data.dates]
data.index = pd.MultiIndex.from_tuples(new_index)

现在你已经有了一个多层索引的数据表。

接下来，关于你的“元数据”。EdChum提到一个很重要的点，如果你复制“数据”，你不会复制元数据字典。此外，如果你通过data.to_pickle把“数据”保存到数据表里，你会失去元数据（稍后会详细说明）。如果你想保留元数据，有几个选择。

1. 按航班逐个保存数据。这样你可以为每个航班的文件存储元数据。

2. 假设你想把多个航班放在一个保存的文件里：你可以在数据表中添加一个额外的列来存储这些信息（比如再加一列航班号，再加一列地面温度等等），不过这样会增加保存文件的大小。

3. 如果你想把多个航班放在一个保存的文件里（选项2）：你可以让你的元数据字典以航班号为“键”。例如：

   data.metadata = {FLIGHT1:{'date':date}, FLIGHT2:{'date':date}}

现在来存储元数据。你可以查看我关于在h5文件中存储额外属性的IO类，链接在这里。

你的问题比较宽泛，所以我给了一个比较宽泛的回答。希望这对你有帮助。