如何为大型网站生成可视化网站地图
我想为我的网站生成一个图形化的网站地图。根据我的理解，这个过程分为两个步骤：
- 先爬取网站，分析链接之间的关系，从中提取出树状结构。
- 然后把这个树状结构以好看的方式展示出来。
有没有人能给我一些建议或者分享一下经验，或者知道有什么现成的工具可以用（最好是用Python的）？
我找到了一些不错的CSS来渲染这个树状结构，但它只支持三层。
谢谢！
3 个回答
1
请查看这个链接 http://aaron.oirt.rutgers.edu/myapp/docs/W1100_2200.TreeView，了解如何格式化树形视图。你也可以尝试修改这个示例应用 http://aaron.oirt.rutgers.edu/myapp/DirectoryTree/index，如果你的页面是以HTML文件的目录形式组织的，这样可以提取你的页面内容。
4
自动生成网站地图的唯一方法是了解你网站的结构，然后写一个程序来根据这些信息来创建网站地图。单靠爬取链接通常行不通，因为链接可能在任何页面之间，所以你得到的是一个图（也就是节点之间的连接）。在一般情况下，没有办法把一个图转换成树形结构。
所以，你必须自己识别出树的结构，然后爬取相关页面来获取页面的标题。
至于“但这只适用于三层”：三层已经足够了。如果你试图创建更多层级，你的网站地图会变得无法使用（太大，太宽）。没有人愿意下载一个1MB的网站地图，然后再去翻看10万条链接。如果你的网站大到这个程度，那你就必须实现某种搜索功能。
3
这里有一个Python网络爬虫，可以作为一个不错的起点。你大致的策略是这样的：
- 你需要注意，不要跟随外部链接，包括同一网站上比你起始位置更高的链接。
- 在爬取网站时，网站会收集页面网址的哈希值，并将其映射到每个页面中包含的所有内部网址的列表。
- 对这个列表进行处理，为每个独特的网址分配一个标记。
- 使用你创建的{标记 => [标记]}的哈希值，生成一个Graphviz文件，这样可以为你绘制一个图。
- 将Graphviz的输出转换成一个图像地图，每个节点链接到它对应的网页。
你需要做这些事情的原因是，正如leonm所提到的，网站是图形结构，而不是树形结构，绘制图形比用简单的JavaScript和CSS要复杂得多。Graphviz在这方面表现得很好。