基于python3和lxml的新型抓取爬虫模块

AISTLAB_novel_grab的Python项目详细描述


novel grab crawler module using python3 and lxml

multiprocesssing with multithread version

winxos, AISTLAB Since 2017-02-19

安装:

pip3 install aistlab_novel_grab

一。用法:

在控制台中运行命令:

novel_grab http://the_url_of_novel_chapters_page

示例:

novel_grab http://book.zongheng.com/showchapter/654086.html

SUPPORTED SITES: * http://book.zongheng.com * http://www.aoyuge.com * http://www.quanshu.net

2.用作python模块:

fromnovel_grab.novel_grabimportDownloaderd=Downloader()print(d.get_info())ifd.set_url('http://book.zongheng.com/showchapter/221579.html'):d.start()**TIPS** \*Whend=Downloader(),d.get\_info()cangetsupportedsitesinfo. \*Onced.set\_url(url)willreturntheurlisvalidornot. \*Ofcourseyoucanused.get\_info()toaccessthestateofdatanytime. \*Whilefinished,willcreate:math:`novel_name`.zipfileinyourcurrentpath,defaultzipmethodusingzipfile.ZIP\_DEFLATED

出于教育目的,请照顾好自己。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何强制用户在允许访问活动之前处理对话框?我的许可证代码怎么了?   java ArraysList作为JSON   mysql如何在java中创建包含多个可选where子句的搜索语句?   java如何让Apache Camel在“直接”路径的末尾删除文件?   使用socket在两个Androids之间进行java实时数据传输。IO(websocket)和4G   如何在java中实现两个CORBA服务器之间的通信   会话树xml表示为java对象   java Skype4Java编号swtwin323325   java RecyclerView getAdapterPosition()不工作:第一次单击返回正确位置,第二次单击返回1   java在$TOMCAT/conf/context上为JNDI设置资源。xml   java为什么第二个矩形冲突在第一个矩形冲突时不起作用?   JScrollPane上的java JTextArea未出现在JPanel上   java如何将实现的PriorityQueue打印为字符串?   jpa使用Jersey更新用户角色RESTJava(JAXRS)