在循环中创建数据帧时性能不佳。需要改进代码的建议吗

Question

我正在编写一些python代码，生成适合进一步EDA、BI和特征提取的数据帧

我有一个带有以下列的数据帧：

  party_id client_id    date_st
0     pid1     clid1 2019-07-01
1     pid2     clid3 2019-06-15
2     pid3     clid3 2019-06-14
3     pid4     clid2 2019-07-01
4     pid5     clid2 2019-04-03
5     pid6     clid3 2019-04-03
6     pid7     clid1 2019-05-20

如果party_id是唯一的，则其他Col不是唯一的。这意味着不止一个客户可以代表多个不同的当事人（即使在一个日期）。该方可被视为特定客户的独特交易

还有另一个数据帧：

   fact_id client_id  fact_date  fact_sum
0     fid1     clid1 2018-06-02     24.37
1     fid2     clid1 2020-10-10      2.62
2     fid3     clid2 2016-01-04     47.52
3     fid4     clid3 2019-06-14     60.42
4     fid5     clid1 2019-04-03     32.77
5     fid6     clid2 2019-04-03     28.95
6     fid7     clid1 2019-05-20     46.49
7     fid8     clid2 2019-07-01     76.10
8     fid9     clid3 2018-12-15     85.27
9    fid10     clid1 2019-02-05     53.00
10   fid11     clid2 2017-03-18     19.25
11   fid12     clid3 2019-04-03     51.14
12   fid13     clid1 2019-02-08     56.89
13   fid14     clid2 2018-11-09     80.51
14   fid15     clid2 2019-08-15     68.08

如果事实id是唯一的，则其他COL不是唯一的。 此表表示以前与交易没有直接关联的客户购买

我需要如下构造的新数据帧： 对于应用程序中的每个party_id，我需要来自日期前但不早于半年前（可能更改）发生的事实的行子集。 换句话说，我需要在特定交易之前在一个窗口中进行所有购买

我不在乎两个不同的当事人是否在一次约会中得到两个相同的客户ID——这很正常。客户一天可以有两次不同的交易。我不需要任何聚合，因为这个数据帧将在tsfresh之类的框架中进行分析

到目前为止，如果迭代应用程序['party_id']并连接过滤后的数据帧，我所管理的每一次：

def parse_facts(app, facts, party_id, window):
    clid = app[app['party_id']==party_id]['client_id'].values[0]
    date_st = pd.to_datetime(app[app['party_id']==party_id]['date_st'].values[0])
    temp_df = facts[
        (facts['client_id']==clid)& \
        (facts['fact_date']<date_st)& \
        (facts['fact_date']>=date_st+datetime.timedelta(days=-window))].copy()
    temp_df['party_id'] = party_id
    return temp_df


new_facts = pd.concat([parse_facts(app, facts, i, 180) for i in app['party_id'].values], ignore_index=True)

生成的数据帧应如下所示：

new_facts[['party_id', 'client_id', 'fact_date', 'fact_sum']]

   party_id client_id  fact_date  fact_sum
0      pid1     clid1 2019-04-03     32.77
1      pid1     clid1 2019-05-20     46.49
2      pid1     clid1 2019-02-05     53.00
3      pid1     clid1 2019-02-08     56.89
4      pid2     clid3 2019-06-14     60.42
5      pid2     clid3 2019-04-03     51.14
6      pid3     clid3 2019-04-03     51.14
7      pid4     clid2 2019-04-03     28.95
8      pid5     clid2 2018-11-09     80.51
9      pid6     clid3 2018-12-15     85.27
10     pid7     clid1 2019-04-03     32.77
11     pid7     clid1 2019-02-05     53.00
12     pid7     clid1 2019-02-08     56.89

我已经成功地解决了这个任务，但它在整个数据集上的性能非常差：5万个唯一的参与方和1100万个唯一的事实。这导致了我的机器（96核，512GRAM）在一个线程中运行数天的计算时间

你能提出一些改进和重构代码的方法吗？我知道循环是不好的风格，但我不知道如何在这个任务中避免循环

Answer 1

先通过client_id合并数据帧，然后过滤掉坏行，怎么样

import pandas as pd
from datetime import timedelta


app['date_bg'] = app['date_st'] - timedelta(days=180)
df = pd.merge(facts, app)
df_c = (df['fact_date'] > df['date_bg']) & (df['fact_date'] < df['date_st'])
out = df[df_c][['party_id', 'client_id', 'fact_date', 'fact_sum']]
print(out.sort_values('party_id'))

编辑：
我想到了更节省内存的解决方案：

start_date = datetime(2019, 1, 1)
outs = []
for i in range(12):
    start = start_date + timedelta(days=i*31)
    start_f = start - timedelta(days=180)
    end = start_date + timedelta(days=(i+1)*31)
    
    app_sub = app[(app['date_st'] > start) & (app['date_st'] <= end)]
    facts_sub = facts[(facts['fact_date'] > start_f) & (facts['fact_date'] <= end)]
    df = pd.merge(facts_sub, app_sub)
    df_c = (df['fact_date'] > df['date_bg']) & (df['fact_date'] < df['date_st'])
    out = df[df_c][['party_id', 'client_id', 'fact_date', 'fact_sum']]
    outs.append(out)

out = pd.concat(outs)
print(out.sort_values('party_id'))

它根据日期将数据帧划分为更小的块，因此没有任何重复。合并后的数据帧将更小，并准备连接到最终输出