采集中文小说网站的爬虫

novelSpider的Python项目详细描述


Python境

  • python 2.7版
  • MySQL 5.7.9

项目名称
pip install novelSpider

MySQL数据库
# 加入 mysqld.cnf
# * Encode
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake

项目名称
fromnovelSpider.taskimportTaskclassConfig(object):'''
    @desc:数据库配置
    @param:username 数据库用户名
    @param:password 数据库密码
    '''def__init__(self):self.username='root'self.password='root'self.database='novel'# 创建任务实例task=Task()# 创建爬虫实例spider=task.createDownloader(Config)# 下载小说书目信息、章节列表spider.getCharptList(novelNum=1)# 下载小说书目信息、章节列表spider.getCharptContent(novelId=0,charptNum=1)

0.0.13版
# 支持下载小说书目信息、章节列表、章节内容

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java客户端与服务器和JPA事务的对话   java Any DLL导入会抛出一个不满意的链接错误,尽管DLL似乎已加载   java如何获得只有他的电子邮件Firebase Realtime才知道的用户结构   PlayFramework2.0Java游戏!启动问题   java创建倒计时计时器   在java中按id排序Akka流   带有嵌入式Jetty静态资源的java Spring MVC   java如何避免Jackson获取标记为FetchType的字段。懒惰的   java Netbeans Ascii unicode字符不工作base64编码解码   JAVAME:对Java向量进行排序   适合java的设计模式   java ParDo函数未在Apache BEAM中等待窗口   从JNI调用main()入口点时,java new JFrame()崩溃   java试图理解JNI中的C函数调用。H   java如何在hibernate 5.3中使用键贡献类型   Javafx中屏幕之间的java参数   java将图像转换为SVG   java Read xls文件,API POI异常初始化记录0x203(NumberRecord),剩余4个字节尚待读取   swing将选项卡添加到jTabbedPane,其中每个选项卡都有一个名为java的文本区域   java While循环只在主体中运行一次