获取一个url列表,然后愚蠢地遍历每个站点以收集信息。
foot的Python项目详细描述
英尺
Web爬网项目
foot是一个获取url列表的库,它会愚蠢地遍历每个站点以收集信息。
用法
安装
pip install foot
脚(cli)
-u
url(用引号封装,用逗号分隔)-f
文件名(新行上的URL列表)
选项(不需要)
-c
:指定块大小(默认值=10)--recursive
:启用一级递归
示例:
URL数组:foot -u 'http://example.com, http://example1.com'
带有选项的url数组:foot 'http://example.com, http://example1.com' -c 5 --recursive
文件:foot -f 'example.txt
带有选项的文件:foot -f 'example.txt' -c 5 --recursive
模块
导入:import foot
功能
get
函数接受一个url和选项数组。
foot.get(["http://www.example`.com","http://www.example2.com"],options);=>Dataoutputin./foot/url.jsonandfoot-date.txt
file
函数接受文件名和选项。
foot.file("./test.txt",recursive=True)=>Dataoutputin./foot/url.jsonandfoot-date.txt