用于python的轻量级javascript感知的无头web抓取库
scrapejs的Python项目详细描述
javascript框架现在风靡一时。不幸的是,这意味着我最喜欢的一些工具wget和curl已经不能胜任这个任务了。在浏览器上加载一个页面,然后打开源代码,然后复制它实在太麻烦了。
我最初想创建一个扩展来帮助解决这个问题。不幸的是,对于像我这样与终端有关系的不幸用户来说,扩展永远不会有wget或curl的无缝感觉。另外,在那些快速而肮脏的bash/perl/python脚本中也不能使用扩展。
因此,pyscrape及其http兄弟pyrun。希望它能帮助您浏览javascript渲染的笨拙世界:)。
##安装
pip安装pyscrape
或
- 克隆https://github.com/animeshkundu/pyscrape
- pip install-r requirements.txt
- python setup.py安装
##测试 一。pyscrapehttp://www.google.co.in/ 2.pyrun-p 1234;curl本地主机:1234/scrape?url=http://www.google.co.in/
欢迎改进。