获取一个url列表,然后愚蠢地遍历每个站点以收集信息。

foot的Python项目详细描述


英尺

Web爬网项目

foot是一个获取url列表的库,它会愚蠢地遍历每个站点以收集信息。

用法

安装

pip install foot

脚(cli)

  • -uurl(用引号封装,用逗号分隔)
  • -f文件名(新行上的URL列表)
选项(不需要)
  • -c:指定块大小(默认值=10)
  • --recursive:启用一级递归
示例:

URL数组:
foot -u 'http://example.com, http://example1.com'

带有选项的url数组:
foot 'http://example.com, http://example1.com' -c 5 --recursive

文件:
foot -f 'example.txt

带有选项的文件:
foot -f 'example.txt' -c 5 --recursive

模块

导入:
import foot

功能

get函数接受一个url和选项数组。

foot.get(["http://www.example`.com","http://www.example2.com"],options);=>Dataoutputin./foot/url.jsonandfoot-date.txt

file函数接受文件名和选项。

foot.file("./test.txt",recursive=True)=>Dataoutputin./foot/url.jsonandfoot-date.txt

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何强制用户在允许访问活动之前处理对话框?我的许可证代码怎么了?   java ArraysList作为JSON   mysql如何在java中创建包含多个可选where子句的搜索语句?   java如何让Apache Camel在“直接”路径的末尾删除文件?   使用socket在两个Androids之间进行java实时数据传输。IO(websocket)和4G   如何在java中实现两个CORBA服务器之间的通信   会话树xml表示为java对象   java Skype4Java编号swtwin323325   java RecyclerView getAdapterPosition()不工作:第一次单击返回正确位置,第二次单击返回1   java在$TOMCAT/conf/context上为JNDI设置资源。xml   java为什么第二个矩形冲突在第一个矩形冲突时不起作用?   JScrollPane上的java JTextArea未出现在JPanel上   java如何将实现的PriorityQueue打印为字符串?   jpa使用Jersey更新用户角色RESTJava(JAXRS)