Pandas中数据帧处理中的关键错误

Question

我有一个数据帧stockData。零件示例如下所示：

Name: BBG.XCSE.CARLB.S_LAST_ADJ    BBG.XCSE.CARLB.S_FX  .....
date
2015-09-11    0.1340                           490.763
2015-09-14    0.1340                           484.263
2015-09-15    0.1340                           484.755
2015-09-16    0.1340                           507.703
2015-09-17    0.1340                           514.104  .....

每列都有一个数据类型，dtype:float64

我在循环一个静态数据帧，它包含了我的宇宙中的每个名字，我迭代这个，然后每天迭代每个名字（在这个例子中，名字是BBG.XCSE.CARB酒店但实际上有成百上千个名字）取“name_LAST_ADJ”列并乘以“name_FX”列。在

我使用的代码如下所示：

^{pr2}$

但是有时数据不存在（因为没有该名称的历史记录），并且我收到一个键错误，因为该名称的列不在数据框中。在

使用上面的代码，我尝试创建一个名为name_LAST_ADJ_EUR的附加列，当有数据时，它应该看起来像：

Name: BBG.XCSE.CARLB.S_LAST_ADJ    BBG.XCSE.CARLB.S_FX     BBG.XCSE.CARLB.S_LAST_ADJ_EUR
    date
    2015-09-11    0.1340                       490.763              65.762242
    2015-09-14    0.1340                       484.263              64.891242
    2015-09-15    0.1340                       484.755              64.95717
    2015-09-16    0.1340                       507.703              68.032202
    2015-09-17    0.1340                       514.104              68.889936

当name_LAST_ADJ列中没有数据时，是否有一种方法为该列生成一个NaN输出，使其看起来像：

Name:      BBG.XCSE.CARLB.S_LAST_ADJ_EUR
    date
    2015-09-11    NaN    
    2015-09-14    NaN       
    2015-09-15    NaN       
    2015-09-16    NaN         
    2015-09-17    NaN        

我尝试使用以下方法：

stockData[unique_id+"_LAST_ADJ_EUR"] = np.where((stockData[unique_id+"_LAST_ADJ"] == np.nan),stockData[unique_id+"_LAST_ADJ_EUR"]='NaN',stockData[unique_id+"_LAST_ADJ_EUR"] = stockData[unique_id+"_FX"] * stockData[unique_id+"_LAST_ADJ"])

如果有一个列就可以了，但是当没有列可以引用时，它会抛出keyrerror异常。在

Answer 1

我首先将列解析为一个多重索引

tups = df.columns.to_series() \
         .str.extract(r'(.*)_(LAST_ADJ|FX)', expand=False) \
         .apply(tuple, 1).tolist()

df.columns = pd.MultiIndex.from_tuples(tups).swaplevel(0, 1)

df

那么乘法就变得简单了

^{pr2}$

对我来说，棘手的部分是用'EUR'重新插入它。是我干的

pd.concat([df, pd.concat([df.LAST_ADJ.mul(df.FX)], axis=1, keys=['EUR'])], axis=1)

Answer 2

在for循环中，尝试添加类似于

for uid, row in staticData.iterrows():
    if uid not in stockData.columns:
        stockData[uid + "_FX"] = np.nan
        stockData[uid + "_LAST_ADJ"] = np.nan

    # continue with what you have:
    # no longer needed
    #stockData[uid+"_LAST_ADJ_EUR"] = np.nan

    stockData[uid+"_LAST_ADJ_EUR"] = stockData[uid+"_FX"]*stockData[uid+"_LAST_ADJ"]

虽然在for循环中执行此操作可能是最有效的，但您也可以同时执行，如下所示：

^{pr2}$

例如：

df = pd.DataFrame(np.random.rand(10, 3), columns=list('abc'))
          a         b         c
0  0.627303  0.183463  0.714470
1  0.458124  0.135907  0.515340
2  0.629373  0.725247  0.306275
3  0.113927  0.259965  0.996407
4  0.321131  0.734002  0.766044
5  0.740858  0.238741  0.531810
6  0.063990  0.974056  0.178260
7  0.977651  0.047287  0.435681
8  0.972060  0.606288  0.600896
9  0.250377  0.807237  0.153419

pd.concat([df, pd.DataFrame(columns=list('abcde'))])
          a         b         c    d    e
0  0.627303  0.183463  0.714470  NaN  NaN
1  0.458124  0.135907  0.515340  NaN  NaN
2  0.629373  0.725247  0.306275  NaN  NaN
3  0.113927  0.259965  0.996407  NaN  NaN
4  0.321131  0.734002  0.766044  NaN  NaN
5  0.740858  0.238741  0.531810  NaN  NaN
6  0.063990  0.974056  0.178260  NaN  NaN
7  0.977651  0.047287  0.435681  NaN  NaN
8  0.972060  0.606288  0.600896  NaN  NaN
9  0.250377  0.807237  0.153419  NaN  NaN