将长格式面板数据重塑为宽堆叠时间序列

Question

我有以下表格的面板数据：

+--------+----------+------------+----------+
|        | user_id  | order_date |  values  |
+--------+----------+------------+----------+
| 0      | 11039591 | 2017-01-01 | 3277.466 |
| 1      | 25717549 | 2017-01-01 | 587.553  |
| 2      | 13629086 | 2017-01-01 | 501.882  |
| 3      | 3022981  | 2017-01-01 | 1352.546 |
| 4      | 6084613  | 2017-01-01 | 441.151  |
| ...    | ...      | ...        | ...      |
| 186415 | 17955698 | 2020-05-01 | 146.868  |
| 186416 | 17384133 | 2020-05-01 | 191.461  |
| 186417 | 28593228 | 2020-05-01 | 207.201  |
| 186418 | 29065953 | 2020-05-01 | 430.401  |
| 186419 | 4470378  | 2020-05-01 | 87.086   |
+--------+----------+------------+----------+

作为Python中的数据帧

数据基本上是叠加的时间序列数据；该表包含与特定时期内（2017/01-2020/05）独特用户观察结果相对应的大量时间序列。这一时期的覆盖范围在各个用户中可能非常低，这意味着如果你隔离各个时间序列，它们的长度都是不同的

我想获取长格式面板数据并将其转换为宽格式，以便每列为一天，每行对应一个唯一的用户：

+----------+------------+------------+------------+------------+------------+
|          | 2017-01-01 | 2017-01-02 | 2017-01-03 | 2017-01-04 | 2017-01-05 |
+----------+------------+------------+------------+------------+------------+
| 11039591 | 3277.466   | 6482.722   | NaN        | NaN        | NaN        |
| 25717549 | 587.553    | NaN        | NaN        | NaN        | NaN        |
| 13629086 | 501.882    | NaN        | NaN        | NaN        | NaN        |
|  3022981 | 1352.546   | NaN        | NaN        | 557.728    | NaN        |
|  6084613 | 441.151    | NaN        | NaN        | NaN        | NaN        |
+----------+------------+------------+------------+------------+------------+

我一直在努力使用unstack/pivot或其他内置Pandas实现这一点，因为我不断遇到：

ValueError: Index contains duplicate entries, cannot reshape

由于重复的用户ID

目前，我的解决方案使用一个循环来索引各个时间序列，并将它们连接在一起，因此不具有可伸缩性—它已经非常慢，只有180k行：

def time_series_stacker(df):

  ts = list()

  for user in df['user_id'].unique():

    values = df.loc[df['user_id']==user].drop('user_id', axis=1).T.values

    instance = pd.DataFrame(
        values[1,:].reshape(1,-1), 
        index=[user],
        columns=values[0,:].astype('datetime64[ns]')
    )

    ts.append(instance)

  return pd.concat(ts, axis=0)

有人能帮我更有效地改造这个吗

Answer 1

这是尝试pivot_table的最佳时机

    user_id  order_date    values
0  11039591  2017-01-01  3277.466
1  11039591  2017-01-02   587.553
2  13629086  2017-01-03   501.882
3  13629086  2017-01-02  1352.546
4   6084613  2017-01-01   441.151

df.pivot_table(index='user_id',columns='order_date',values='values')

输出

order_date  2017-01-01  2017-01-02  2017-01-03
user_id
6084613        441.151         NaN         NaN
11039591      3277.466     587.553         NaN
13629086           NaN    1352.546     501.882