从zillow.com中提取家庭信息
Final_Project的Python项目详细描述
构建网络爬虫 构建一个网络爬虫软件很容易,并且可以帮助您利用数据挖掘软件。本文档将帮助您理解此生成过程。
##要求
- 美化组4,需要模块,可以用PIP安装美化组4。
- 模块是必需的,可以用pip install re安装。
- 需要matplotlib模块来绘制散点图和箱线图。
- pandas模块需要将csv数据加载到数据帧中。
2.Web爬网程序,使用以下配置之一: *macos您可以使用web crawler for mac或查看安装说明。 *linux根据操作系统的[说明]安装web爬虫程序。
##概述
虽然可以使用本地python安装来构建web爬虫程序,但我们有一个在本地环境上运行的构建过程。这简化了初始设置,并提供了非常一致的构建和测试环境。
##关键脚本
以下脚本位于build/目录中。请注意,所有脚本都必须从web爬虫程序根目录运行。 一。src/webcrawler/move_csv.sh