作为一个独立的库。
scrapysplashwrapper的Python项目详细描述
刮泥机
一种使用scrapy和splash来抓取网站的包装器。在
使用
Warning：它需要一个splash实例（建议使用docker）。在
usage: scraper [-h] [-s SPLASH] -u URL [-d DEPTH] [-o OUTPUT] [-ua USERAGENT]
[--debug]
Crawl a URL.
optional arguments:
-h, --help show this help message and exit
-s SPLASH, --splash SPLASH
Splash URL to use for crawling.
-u URL, --url URL URL to crawl
-d DEPTH, --depth DEPTH
Depth of the crawl.
-o OUTPUT, --output OUTPUT
Output directory
-ua USERAGENT, --useragent USERAGENT
User-Agent to use for crawling
--debug Enable debug mode on scrapy/splash
- 项目
标签：
欢迎加入QQ群-->： 979659372
