Python中文网 - 问答频道, 解决您学习工作中的Python难题和Bug
Python常见问题
第一个问题是，仍然在学习python&；熊猫
编辑：我已经成功地将DF值从长到宽旋转，以便具有唯一的id+日期索引（例如，没有uniqueID每天超过1行）。然而，我仍然没有达到我想要的结果
我有两个DFs，我想根据a）uniqueID和B）如果该uniqueID是在不同和多个日期范围内考虑的，则将其合并。我发现this question接近我所寻找的东西；然而，在解决方案不可行并且挖掘了一点之后，似乎我正在尝试的是不可能的due to dates overlap（？）
其要点是：如果uniqueID在df_dates_范围内，且其对应的day列在从dates_范围开始的开始：结束范围内，则将df_值上的所有值相加
每个DFs中都有更多的列，但这些是相关的列。在任何地方都暗示重复，并且没有特定的顺序。所有DF系列的格式都适当
这里是df1，日期范围：
import pandas as pd
import numpy as np
dates_range = {"uniqueID": [1, 2, 3, 4, 1, 7, 10, 11, 3, 4, 7, 10],
"start": ["12/31/2019", "12/31/2019", "12/31/2019", "12/31/2019", "02/01/2020", "02/01/2020", "02/01/2020", "02/01/2020", "03/03/2020", "03/03/2020", "03/03/2020", "03/03/2020"],
"end": ["01/04/2020", "01/04/2020", "01/04/2020", "01/04/2020", "02/05/2020", "02/05/2020", "02/05/2020", "02/05/2020", "03/08/2020", "03/08/2020", "03/08/2020", "03/08/2020"],
"df1_tag1": ["v1", "v1", "v1", "v1", "v2", "v2", "v2", "v2", "v3", "v3", "v3", "v3"]}
df_dates_range = pd.DataFrame(dates_range,
columns = ["uniqueID",
"start",
"end",
"df1_tag1"])
df_dates_range[["start","end"]] = df_dates_range[["start","end"]].apply(pd.to_datetime, infer_datetime_format = True)
和df2，值：
values = {"uniqueID": [1, 2, 7, 3, 4, 4, 10, 1, 8, 7, 10, 9, 10, 8, 3, 10, 11, 3, 7, 4, 10, 14],
"df2_tag1": ["abc", "abc", "abc", "abc", "abc", "def", "abc", "abc", "abc", "abc", "abc", "abc", "def", "def", "abc", "abc", "abc", "def", "abc", "abc", "def", "abc"],
"df2_tag2": ["type 1", "type 1", "type 2", "type 2", "type 1", "type 2", "type 1", "type 2", "type 2", "type 1", "type 2", "type 1", "type 1", "type 2", "type 1", "type 1", "type 2", "type 1", "type 2", "type 1", "type 1", "type 1"],
"day": ["01/01/2020", "01/02/2020", "01/03/2020", "01/03/2020", "01/04/2020", "01/04/2020", "01/04/2020", "02/01/2020", "02/02/2020", "02/03/2020", "02/03/2020", "02/04/2020", "02/05/2020", "02/05/2020", "03/03/2020", "03/04/2020", "03/04/2020", "03/06/2020", "03/06/2020", "03/07/2020", "03/06/2020", "04/08/2020"],
"df2_value1": [2, 10, 6, 5, 7, 9, 3, 10, 9, 7, 4, 9, 1, 8, 7, 5, 4, 4, 2, 8, 8, 4],
"df2_value2": [1, 5, 10, 13, 15, 10, 12, 50, 3, 10, 2, 1, 4, 6, 80, 45, 3, 30, 20, 7.5, 15, 3],
"df2_value3": [0.547, 2.160, 0.004, 9.202, 7.518, 1.076, 1.139, 25.375, 0.537, 7.996, 1.475, 0.319, 1.118, 2.927, 7.820, 19.755, 2.529, 2.680, 17.762, 0.814, 1.201, 2.712]}
values["day"] = pd.to_datetime(values["day"], format = "%m/%d/%Y")
df_values = pd.DataFrame(values,
columns = ["uniqueID",
"df2_tag1",
"df2_tag2",
"day",
"df2_value1",
"df2_value2",
"df2_value1"])
从第一个链接开始，我尝试运行以下内容：
df_dates_range.index = pd.IntervalIndex.from_arrays(df_dates_range["start"],
df_dates_range["end"],
closed = "both")
df_values_date_index = df_values.set_index(pd.DatetimeIndex(df_values["day"]))
df_values = df_values_date_index["day"].apply( lambda x : df_values_date_index.iloc[df_values_date_index.index.get_indexer_non_unique(x)])
然而，我得到了这个错误。n00b已检查，删除了第二天到最后一天的指数，问题仍然存在：
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
<ipython-input-58-54ea384e06f7> in <module>
14 df_values_date_index = df_values.set_index(pd.DatetimeIndex(df_values["day"]))
15
---> 16 df_values = df_values_date_index["day"].apply( lambda x : df_values_date_index.iloc[df_values_date_index.index.get_indexer_non_unique(x)])
C:\anaconda\lib\site-packages\pandas\core\series.py in apply(self, func, convert_dtype, args, **kwds)
3846 else:
3847 values = self.astype(object).values
-> 3848 mapped = lib.map_infer(values, f, convert=convert_dtype)
3849
3850 if len(mapped) and isinstance(mapped[0], Series):
pandas\_libs\lib.pyx in pandas._libs.lib.map_infer()
<ipython-input-58-54ea384e06f7> in <lambda>(x)
14 df_values_date_index = df_values.set_index(pd.DatetimeIndex(df_values["day"]))
15
---> 16 df_values = df_values_date_index["day"].apply( lambda x : df_values_date_index.iloc[df_values_date_index.index.get_indexer_non_unique(x)])
C:\anaconda\lib\site-packages\pandas\core\indexes\base.py in get_indexer_non_unique(self, target)
4471 @Appender(_index_shared_docs["get_indexer_non_unique"] % _index_doc_kwargs)
4472 def get_indexer_non_unique(self, target):
-> 4473 target = ensure_index(target)
4474 pself, ptarget = self._maybe_promote(target)
4475 if pself is not self or ptarget is not target:
C:\anaconda\lib\site-packages\pandas\core\indexes\base.py in ensure_index(index_like, copy)
5355 index_like = copy(index_like)
5356
-> 5357 return Index(index_like)
5358
5359
C:\anaconda\lib\site-packages\pandas\core\indexes\base.py in __new__(cls, data, dtype, copy, name, tupleize_cols, **kwargs)
420 return Index(np.asarray(data), dtype=dtype, copy=copy, name=name, **kwargs)
421 elif data is None or is_scalar(data):
--> 422 raise cls._scalar_data_error(data)
423 else:
424 if tupleize_cols and is_list_like(data):
TypeError: Index(...) must be called with a collection of some kind, Timestamp('2020-01-01 00:00:00') was passed
预期结果将是：
desired = {"uniqueID": [1, 2, 3, 4, 1, 7, 10, 11, 3, 4, 7, 10],
"start": ["12/31/2019", "12/31/2019", "12/31/2019", "12/31/2019", "02/01/2020", "02/01/2020", "02/01/2020", "02/01/2020", "03/03/2020", "03/03/2020", "03/03/2020", "03/03/2020"],
"end": ["01/04/2020", "01/04/2020", "01/04/2020", "01/04/2020", "02/05/2020", "02/05/2020", "02/05/2020", "02/05/2020", "03/08/2020", "03/08/2020", "03/08/2020", "03/08/2020"],
"df1_tag1": ["v1", "v1", "v1", "v1", "v2", "v2", "v2", "v2", "v3", "v3", "v3", "v3"],
"df2_tag1": ["abc", "abc", "abc", "abc", "abc", "abc", "abc", "abc", "abc", "abc", "abc", "abc"],
"df2_value1": [2, 10, 5, 16, 10, 7, 5, np.nan, 11, 8, 2, 8],
"df2_value2+df2_value3": [1.547, 7.160, 22.202, 33.595, 75.375, 17.996, 8.594, np.nan, 120.501, 8.314, 37.762, 16.201],
"df2_tag3": ["abc", "abc", "abc", "abc", "abc", "abc", "abc", "abc", "abc", "abc", "abc", "abc"]}
df_desired = pd.DataFrame(desired,
columns = ["uniqueID",
"start",
"end",
"df1_tag1",
"df2_tag1",
"df2_value1",
"df2_value2+df2_value3",
"df2_tag3"])
df_desired[["start","end"]] = df_desired[["start","end"]].apply(pd.to_datetime, infer_datetime_format = True)
或在图形可视化中：
请注意S&；第10行的T为NaN，因为uniqueID 11在v2期间没有“活动”；然而，如果可能的话，我希望能够从df2中提取标签；他们100%都在那里，只是可能不是那个时期，可能是第二个脚本的任务？另外，请注意colt是cols J+K的集合
编辑：忘了提到我以前曾试图在this question上使用@firelynx的解决方案来完成这项工作，但尽管我有32gb的ram，我的机器还是无法处理。SQL解决方案对我不起作用，因为有一些sqlite3库问题
Tags： dfdateindextyperangestartv2end
热门问题
- 无法从packag中的父目录导入模块
- 无法从packag导入python模块
- 无法从pag中提取所有数据
- 无法从paho python mq中的线程发布
- 无法从pandas datafram中删除列
- 无法从Pandas read_csv正确读取数据
- 无法从pandas_ml的“sklearn.preprocessing”导入名称“inputer”
- 无法从pandas_m导入ConfusionMatrix
- 无法从Pandas数据帧中选择行，从cs读取
- 无法从pandas数据框中提取正确的列
- 无法从Pandas的列名中删除unicode字符
- 无法从pandas转到dask dataframe，memory
- 无法从pandas转换。\u libs.tslibs.timestamps.Timestamp到datetime.datetime
- 无法从Parrot AR Dron的cv2.VideoCapture获得视频
- 无法从parse_args（）中的子parser获取返回的命名空间
- 无法从patsy导入数据矩阵
- 无法从PayP接收ipn信号
- 无法从PC删除virtualenv目录
- 无法从PC访问Raspberry Pi中的简单瓶子网页
- 无法从pdfplumb中的堆栈溢出恢复
热门文章
- Python覆盖写入文件
- 怎样创建一个 Python 列表？
- Python3 List append()方法使用
- 派森语言
- Python List pop()方法
- Python Django Web典型模块开发实战
- Python input() 函数
- Python3 列表(list) clear()方法
- Python游戏编程入门
- 如何创建一个空的set?
- python如何定义(创建)一个字符串
- Python标准库 [The Python Standard Library by Ex
- Python网络数据爬取及分析从入门到精通（分析篇）
- Python3 for 循环语句
- Python List insert() 方法
- Python 字典(Dictionary) update()方法
- Python编程无师自通 专业程序员的养成
- Python3 List count()方法
- Python 网络爬虫实战 [Web Crawler With Python]
- Python Cookbook（第2版）中文版
终于破解了这个
由于IntervalIndex只能处理唯一的日期，我所做的是将这些唯一的开始：结束间隔及其唯一标记映射到df_值上。我犯的错误是使用整个df_dates_范围作为intervalindex数组值，所以这只是提取unique的问题。我不清楚的一件事是，当/如果任何间隔范围都有多个适用的df1_tag1值时，会发生什么情况，希望它只创建一个标记列表，不管怎样都能工作
请记住，在执行以下操作之前，我需要将df_值从长格式转换为宽格式，因此我在生成重复的uniqueID+值行的级别上使用了
group_by。出于某种原因，我无法在这里使用示例数据，但在任何情况下，如果您的数据采用所需的格式（宽/长），则以下操作都应该有效，以避免df_值具有重复的uniqueID+day行之后，我做了以下工作：
那么
由此产生的结果应该是聚合的df_值——或者在groupby期间使用的任何其他数学函数——以及非重复的uniqueID+day行，这些行现在具有映射的df1_tag1，然后我们可以使用它与uniqueID合并到df_dates_范围
希望这是一个对某些人有效的答案：）
编辑：也可能很重要，当我进行左合并时，为了避免不必要的重复，我使用了以下命令
在这些情况下，最简单的事情（如果您在硬件方面负担得起的话）是创建一个临时数据帧，然后进行聚合。这具有将合并与聚合分离的巨大优势，并极大地降低了复杂性
然后你可以做类似的事情
以所需的形式聚合数据。然而，我没有得到你期望的结果。在这些值中有带
Shop的行，并且一些日期稍早。我责备初始值；）希望这能把你推向正确的方向注意：如果您只对间隔的第一个或最后一个值感兴趣，
pd.merge_asof是一个有趣的选择然而，实际上不可能将聚合压缩到这个过程中
相关问题 更多 >
编程相关推荐