抓取和web爬行框架
daenerys的Python项目详细描述
## Getting started
```python
❯ git clone https://github.com/dongweiming/daenerys
❯ cd daenerys
❯ virtualenv venv
❯ source venv/bin/activate
❯ pip install -r requirements.txt
# 安装配置Redis和MongoDB
❯ cd demo
❯ python worker.py # 启动worker(默认5个进程)
❯ python beat.py # 一、二、五、五、五、五、五、五、五、五、五、五、五、五、五、五、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六你“作者”:你“阿敏·罗纳彻”,
u'下载网址':u'https://pypi.python.org/packages/24/6e/11b9c57e46f276a8a8da85a2fa7ada62b463b68693616c7ab5df356fa/flask-0.12.1.tar.gz',
u'name':u'flask',
u'version':u'0.12.1'}
````
```python
❯ git clone https://github.com/dongweiming/daenerys
❯ cd daenerys
❯ virtualenv venv
❯ source venv/bin/activate
❯ pip install -r requirements.txt
# 安装配置Redis和MongoDB
❯ cd demo
❯ python worker.py # 启动worker(默认5个进程)
❯ python beat.py # 一、二、五、五、五、五、五、五、五、五、五、五、五、五、五、五、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六、六你“作者”:你“阿敏·罗纳彻”,
u'下载网址':u'https://pypi.python.org/packages/24/6e/11b9c57e46f276a8a8da85a2fa7ada62b463b68693616c7ab5df356fa/flask-0.12.1.tar.gz',
u'name':u'flask',
u'version':u'0.12.1'}
````