掌握可视化/分析大数据集的基本技能
我想找一些方法，让自己能更好地处理大数据集。我现在是大学生，平时做的项目数据量和复杂度都比较“小”。这学期我在和教授一起做一个研究项目，需要对一个我觉得算是比较大的数据集进行可视化处理。这个数据集是一个15 MB的CSV文件。
我大部分的数据处理都是用Python写的，最后用GNUPlot来进行可视化。
有没有什么简单易懂的书籍或网站可以推荐？如果能用Python就更好了，如果能用比gnuplot更简单的可视化工具就更棒了，比如Cairo之类的。
我希望能找到一些内容，从数据挖掘到处理，再到可视化的整个过程。
补充一下：我更希望能学到一些“核心概念”。我自己能写代码，但想了解一下大家是怎么处理大数据集的。我觉得我的15 MB数据集已经小到可以把所有需要的数据都放进内存里，然后直接处理了。那大家是怎么可视化5 GB的数据集的呢？
4 个回答
如果你想要的是可视化，而不是数据挖掘和分析，爱德华·塔夫特的《定量信息的视觉展示》被认为是这个领域最好的书籍之一。
看看信息之美这本书。虽然它不是一本技术书，但可能会给你一些关于如何可视化数据的灵感。
另外，可以看看数据挖掘原理的前三章，这里讲了一些在数据挖掘中可视化数据的概念，我在大学时觉得有些部分很有用。
希望这些对你有帮助。
我觉得最基本的技能就是对数学和统计学有一个好的基础。这能帮助你评估和选择各种数据过滤技术，同时在减少数据量和维度的同时保持数据的完整性。你最不想做的就是弄出一些看起来很漂亮的东西，但其实显示的模式或关系根本不存在。
专业数学
要解决某些类型的问题，你需要学习一些数学，以理解特定算法是如何工作的，以及它们对你的数据会产生什么影响。比如，有各种算法用于数据聚类、降维、自然语言处理等等。根据你想分析的数据类型，你可能永远用不到其中的很多算法，但如果需要帮助，网上（包括Stack Exchange网站）有很多资源可以查找。
如果你想了解数据挖掘技术的入门知识，Witten的《数据挖掘》是个不错的选择。我有第一版，它用简单的语言解释了概念，还加了一些数学内容。我推荐这本书，因为它提供了很好的概述，而且价格也不贵——随着你对这个领域了解的深入，你会发现很多书都挺贵的。唯一的缺点是有一些页面是关于使用WEKA这个Java数据挖掘工具的，可能对你使用Python不太有帮助（不过它是开源的，你也许能从源代码中获得一些灵感）。我还发现《机器学习导论》也提供了很好的概述，价格合理，数学内容稍多一些。
工具
如果你想在一台机器上创建自己设计的可视化，基础工具就能让你入门：Python、Numpy、Scipy、Matplotlib，以及你熟悉的一个好的图形库，比如PIL或Pycairo。有了这些工具，你可以处理数据，把它们绘制在图表上，并通过自定义绘图程序美化它们。
当你想创建动态的、互动的可视化时，像基于Java的Processing库可以让这变得简单。如果你不想写Java，还有方法可以通过Jython用Python编写Processing草图。
如果你需要，还有很多其他工具，比如OpenCV（计算机视觉，机器学习）、Orange（数据挖掘，分析，可视化）和NLTK（自然语言，文本分析）。
展示原则和技巧
一些领域专家的书籍，比如Edward Tufte的书，以及像《信息图形》这样的参考资料，可以帮助你了解如何有效地创建和展示可视化。
寻找可视化示例的资源
像Flowing Data、Infosthetics、Visual Complexity和Information is Beautiful这样的网站展示了来自网络的最新、有趣的可视化。你还可以查看许多汇编的列表，里面有可视化网站的推荐。可以从这些网站开始，慢慢浏览，我相信你会找到很多有用的网站和启发性的例子。
（这本来是个评论，但写得太长了）