用dc进行大规模数据的cleint侧渲染，用于交互式可视化，适合于分析工具

Question

要开发一个像https://dc-js.github.io/dc.js/vc/index.html和DC这样的交互式仪表板，使用交叉过滤器在整个数据集上进行客户端呈现是分析平台的最佳选择吗？你知道吗

分析平台的一些见解-一个平台，它可以连接到世界上任何地方的任何数据库表提供数据库连接详细信息，并获取特定表的列进行分析（总和，平均值，最小值，最大值），然后呈现与图表库在客户端的可视化。你知道吗

我知道服务器端（NodeJS）呈现有一种可能的方法，可以利用crossfilter库，但是作为后端，计划使用Python。你知道吗

主要关注点-即使数据量很大，客户端的交互也应该是平滑的。现在的问题是：

• 在客户端获取所有数据（无论大小）是一个好主意，以使应用程序最具交互性吗？

• 它对客户机内存堆栈施加了多少限制？

• 有没有更好的方法让我们不必在交互性和客户端/服务器端数据处理之间进行权衡？

Answer 1

Is it a good idea to fetch all the data in client side regardless of its size to make the app most interactive?

没有

How much limitation does it impose on client memory stack?

和你的数据一样大。Chrome的最大内存消耗量约为1GB，但在大多数用例中，它将在很长一段时间内停止运行。如果压缩的数据超过~10MB，那么就应该开始考虑非客户端选项。你知道吗

Is there any better way to do it so we don't have to trade off between interactivity and client/server side processing of data?

您需要考虑在客户机和服务器之间共享数据处理负载的高级体系结构，这些体系结构通常没有简单的库实现。我把http://lcadata.info（它是开源的）作为如何做到这一点的一个例子。它的后端是Lift/Scala/Spark，但是您可以用Python做类似的事情。你知道吗