没有项目描述
freebora的Python项目详细描述
这是一个下载不同类别的免费O'Reilly电子书的工具, 见http://shop.oreilly.com/category/ebooks.do。
这不是故意使用scrapy(部分是为了避免配置错误) 分两个阶段实施:
- 爬行O'Reilly在线商店以编译PDF文件的URL列表 下载,然后
- 正在从1中创建的列表中下载所有文件。
步骤1是按顺序完成的(目前),而步骤2可以选择 在使用“requests”和“aiohttp”的顺序和并行版本之间, 分别是。
请参阅中的文件session1.txt、session2.txt和session3.txt。 docs/sessions文件夹,用于一些不同大小的用例。
安装
您可以使用一个简单的pip install freebora从 python包索引,或者在从 github并在其根目录中运行python3 setup.py install。 目前,它只适用于python 3。
测试
您可以像这样运行(非常小的)测试套件:
# using py.test (needs a pip install pytest): py.test -v tests # using a minified version of py.test, included in runtests.py: python3 setup.py test
个别测试可以如下运行:
py.test -s tests/test_oreilly_shop.py
待办事项
- 添加异步版本的函数以收集URL(上面的步骤1)
- 改进命令行界面
- 添加不仅可下载PDF,还可下载其他格式的功能
- 添加功能以交互方式选择要下载的单个电子书