用于python的轻量级javascript感知的无头web抓取库

scrapejs的Python项目详细描述


javascript框架现在风靡一时。不幸的是,这意味着我最喜欢的一些工具wget和curl已经不能胜任这个任务了。在浏览器上加载一个页面,然后打开源代码,然后复制它实在太麻烦了。

我最初想创建一个扩展来帮助解决这个问题。不幸的是,对于像我这样与终端有关系的不幸用户来说,扩展永远不会有wget或curl的无缝感觉。另外,在那些快速而肮脏的bash/perl/python脚本中也不能使用扩展。

因此,pyscrape及其http兄弟pyrun。希望它能帮助您浏览javascript渲染的笨拙世界:)。

##安装

pip安装pyscrape

  1. 克隆https://github.com/animeshkundu/pyscrape
  2. pip install-r requirements.txt
  3. python setup.py安装

##测试 一。pyscrapehttp://www.google.co.in/ 2.pyrun-p 1234;curl本地主机:1234/scrape?url=http://www.google.co.in/

欢迎改进。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何启用TLSv1。3在Tomcat8.5.5中使用JSSE实现   java表单post在jsp中,contentType头没有字符集,为什么?   java My Basic货币转换器程序输出错误   java在Eclipse4中单击最后一个部件(选项卡)时动态创建部件   java 2 servlet,一个在响应中获得ContentLength,另一个则没有   JavaStruts2:如何发送url参数?   linux从java运行bash文件   java TransactionRequiredException执行更新/删除查询   java如何使用JTA插入到表中?   从枚举到泛型的类型的java映射   java使用接口类<T>作为键来获取具体的实例值?