大数据的SQL查询或编程过滤器？

Question

我正在使用Python，从mssqlserver数据库中获取大量数据，并处理这些数据以生成图形。在

真正的问题是，我想知道在查询中使用WHERE和selectdistinct等属性反复执行查询来过滤数据（使用pyodbc进行SQL查询）是否是个好主意

或者

为了获取数据并使用python的列表理解、映射和过滤功能来过滤代码本身中的数据。在

如果我选择前者，将执行大约1k个查询，从而显著减少python代码的负载，否则，如果选择后者，我将查询一次并添加一组函数来遍历我获取的所有记录，大致相同的次数（1k）。在

问题是python不是纯功能的（如果是的话，我就不会问了，到现在已经完成并测试了数百次了）。在

你们推荐哪一种？在

作为参考，我使用python2.7。如果您能提供信息来源，我们将不胜感激。此外，获取整个数据时，空间不是问题。在

谢谢

Answer 1

如果您有带宽需要消耗，并且更喜欢Python而不是SQL，那么就用Python进行一次大的查询和过滤。在

否则，您最好使用多个查询。在

对不起，这里没有推荐信。^_^在