从大型数据集中的成对列中选取最后有效的数据日期
回答此问题可获得 20 贡献值，回答如果被采纳可获得 50 分。
<p>我有一个如下所示的数据框，其中第一列包含日期，其他列包含这些日期的数据：</p>
<pre><code> date k1-v1 k1-v2 k2-v1 k2-v2 k1k3-v1 k1k3-v2 k4-v1 k4-v2
0 2021-01-05 2.0 7.0 NaN NaN NaN NaN 9.0 6.0
1 2021-01-31 NaN NaN 8.0 5.0 NaN NaN 7.0 6.0
2 2021-02-15 9.0 5.0 NaN 3.0 4.0 NaN NaN NaN
3 2021-02-28 NaN 9.0 0.0 1.0 NaN NaN 8.0 8.0
4 2021-03-20 7.0 NaN NaN NaN NaN NaN NaN NaN
5 2021-03-31 NaN NaN 8.0 NaN 3.0 NaN 8.0 0.0
6 2021-04-10 NaN NaN 7.0 6.0 NaN NaN NaN 9.0
7 2021-04-30 NaN 6.0 NaN NaN NaN NaN 1.0 NaN
8 2021-05-14 8.0 NaN 3.0 3.0 4.0 NaN NaN NaN
9 2021-05-31 NaN NaN 2.0 1.0 NaN NaN NaN NaN
</code></pre>
<p>列总是成对的：<code>(</code><strong><code>k1-v1</code></strong><code>, </code><strong><code>k1-v2</code></strong><code>)</code><strong></strong><code>(</code><strong><code>k2-v1</code></strong><code>, </code><strong><code>k2-v2</code></strong><code>)</code><strong></strong><code>(</code><strong><code>k1k3-v1</code></strong><code>, </code><strong><code>k1k3-v2</code></strong><code>)</code>等<strong>N</strong>对。但这对列并不总是按此顺序排列。因此<strong>k1-v1</strong>后面不一定只跟<strong>k1-v2</strong>，但在数据框的某个地方会有<strong>k1-v2</strong>列。为了简单起见，我将它们并排展示</p>
<p>我需要在每对列中查找上次有效数据，并将其汇总如下：</p>
<pre><code> keys v1-last v2-last
0 k1 2021-05-14 2021-04-30
1 k2 2021-05-31 2021-05-31
2 k1k3 2021-05-14 NaN
3 k4 2021-04-30 2021-04-10
</code></pre>
<p>因此，对于{<cd1>}<strong>{<cd2>}{<cd5>}，最后一个有效数据是{<cd19>}日期{<cd20>}，对于{<cd1>}<strong>{<cd9>}<strong>{<cd5>}其{<cd24>}日期{<cd25>}。然后，上述数据框中的列<strong><code>v1-last</code></strong>和<strong><code>v2-last</code></strong>将相应地填充<strong>k1</strong>，其他列也是如此</p>
<p>目前，我正在按照以下方式进行操作，这在较大的数据集上不是很有效：</p>
<pre><code>df.set_index('date', inplace=True)
unique_cols = set([col[0] for col in df.columns.str.split('-')])
summarized_data = []
for col in unique_cols:
pair_df = df.loc[:,[col+'-v1',col+'-v2']].dropna(how='all')
v1_last_valid = pair_df.iloc[:,0].last_valid_index()
v2_last_valid = pair_df.iloc[:,1].last_valid_index()
summarized_data.append([col, v1_last_valid, v2_last_valid])
summarized_df = pd.DataFrame(summarized_data, columns=['keys','v1-last','v2-last'])
</code></pre>
<p>这一方法目前还可以使用，并给出了预期的结果，但在大数据集上运行时需要相当长的时间。是否可以避免循环，并以不同且高效的方式进行</p>
请先 登录 后评论
针对此问题: 更多的回答
- 89 关注
- 1 收藏，216 浏览
- 网友 提问于 2天前
相关Python问题
- jupyter运行一个旧的pytorch版本 8 回答
- Jupyter运行不同版本的卸载库？ 6 回答
- Jupyter运行指定的键盘快捷键 10 回答
- Jupyter通过.local文件“逃逸”virtualenv。我该如何缓解这种情况？ 3 回答
- Jupyter重新加载自定义样式 7 回答
- Jupyter错误：“没有名为Jupyter_core.paths的模块” 3 回答
- jupyter错误：无法在随机林中将决策树视为png 2 回答
- Jupyter错误'内核似乎已经死亡，它将自动重新启动'为一个给定的代码块 3 回答
- Jupyter错误地用阿拉伯语和字母数字元素显示Python列表 3 回答
- Jupyter隐藏数据帧索引，但保留原始样式 1 回答
- Jupyter集线器：启动器中出现致命错误。。。系统找不到指定的文件 3 回答
- Jupyther中相同值的相同哈希，但导出到Bigquery时不相同 6 回答
- Jupy上Python的读/写访问问题 3 回答
- jupy上没有模块cv 8 回答
- Jupy上的排序错误 2 回答
- Jupy中bqplot图形的紧凑布局 6 回答
- Jupy中matplotlib plot的连续更新 6 回答
- Jupy中Numpy函数的文档 6 回答
- Jupy中Pandas的自动完成问题 5 回答
- jupy中Qt后端的Matplotlib动画 9 回答
