熊猫指数缺失值

Question

假设我有以下两个数据帧：

其中我有一个时间序列，其中包含不同id的缺失价格值（“val”列）：

import pandas as pd
df1 = pd.DataFrame({'id': ['1', '1', '1', '2', '2'], 
                    'year': [2013, 2014, 2015, 2012, 2013],
                    'val': [np.nan, np.nan, 300, np.nan, 150]})

df1

看起来像：

  id  year    val
0  1  2013    NaN
1  1  2014    NaN
2  1  2015  300.0
3  2  2012    NaN
4  2  2013  150.0

我有一个随时间变化的价格指数系列，我可以计算不同年份之间的价格通胀系数：

df2 = pd.DataFrame({'year': [2011, 2012, 2013, 2014, 2015],
                    'index': [100, 103, 105, 109, 115]})
df2['factor'] =  df2['index'] / df2['index'].shift()
df2

看起来像：

   year  index    factor
0  2011    100       NaN
1  2012    103  1.030000
2  2013    105  1.019417
3  2014    109  1.038095
4  2015    115  1.055046

现在假设我想使用第二个数据帧的因子对给定id（item）的最近可用价格值进行反向索引。哪种方法最有效？你知道吗

到目前为止，我尝试了以下方法（但是这个循环对于我使用的大型数据集来说非常慢，因为它只为每个循环填充1个时间段）：

df1 = df1.merge(df2[['year', 'factor']], how = 'left', on = 'year')
missings = df1['val'].sum()
while df1['val'].isnull().sum() < missings:
    missings = df1['val'].isnull().sum()
    df1.loc[df1['val'].notnull(), 'factor'] = 1
    df1['val'] = df1.groupby('id')['val'].fillna(method='bfill', limit=1)
    df1['val'] = df1['val'] / df1['factor']
df1.drop(columns = 'factor').head()

结果如下：

  id  year         val
0  1  2013  283.486239
1  1  2014  288.990826
2  1  2015  300.000000
3  2  2012  145.631068
4  2  2013  150.000000

所以2014年的价值是：300/1.038095。 2013年的价值：300/1.038095/1.019417。你知道吗

有没有更好更快的方法达到同样的效果？ 提前谢谢！你知道吗

Answer 1

可以在列factor和^{}上使用^{}，然后用[::-1]反转顺序，所有这些都在groupby中，例如：

df1 = df1.merge(df2[['year', 'factor']], how = 'left', on = 'year')
df1.loc[df1['val'].notnull(),'factor']=1 #set factor to one where val exists
# here is how to get the factor you want when it's not just before a value
df1['factor'] = df1.groupby('id')['factor'].transform(lambda x: x[::-1].cumprod()[::-1])
df1['val'] = df1['val'].bfill()/df1['factor'] #back fill val no limitation and divide by factor
print (df1)
  id  year         val    factor
0  1  2013  283.486239  1.058252 #here it's 1*1.038095*1.019417
1  1  2014  288.990826  1.038095 #here it's 1*1.038095
2  1  2015  300.000000  1.000000 
3  2  2012  145.631068  1.030000 #here it's 1*1.03
4  2  2013  150.000000  1.000000