处理xyz数据的最佳方法

Question

我刚开始学习Python，正在尝试找出处理数据分析问题的最佳方法。如果这个问题听起来很基础，我先说声抱歉。我主要想知道在存储我的数据时，是用元组、字典还是pandas数据框更合适。以下是我的情况：

我的数据：我有一个三维空间的数据集，数据点在XYZ位置上分布不均。数据点的确切位置非常重要，所以我不能将数据重新采样到均匀的网格上，这样会简单很多。每个XYZ数据点都有一组相关的详细信息，包括字符、整数、浮点数和布尔值等类型。总的来说，我的数据有点杂乱，就像一团“云”一样。

我的目标：我想能够检查数据集中每个类型为'X'的点，并查看在给定半径内所有其他点的属性（它们是什么类型，以及其他各种特征）。

我的问题是：存储和查询这种类型的数据最有效的方法是什么？直观上，使用pandas数据框，列出x、y、z等信息似乎很合理，但考虑到我将处理大型数据集，我担心这是否是最有效的方式。创建一个字典对象，定义为XYZ元组，存储的值是包含点特征的其他字典，这样做是否合理？有没有我遗漏的明显方法？

非常感谢任何帮助或建议！

提前谢谢你。

Answer 1

因为这个使用场景的瓶颈似乎在于对数据的空间查询，所以我建议你使用一种高效的数据结构来存储坐标，这样可以方便地进行空间查询。同时，你可以用一个字典来按需获取这些点的其他特征。一些高性能的专业库，比如boost graph和CGAL（计算几何库），也采用了类似的思路（例如，boost中的属性映射可以参考这个链接）

关于合适的数据结构，可能SciPy有适合你的东西，具体可以查看这个链接。KDTree可以用于最近邻查询。Pandas可以存储数据，但它没有专门的空间索引支持。