4chan板流异步接口
hurr-durr的Python项目详细描述
#这是什么?
一个到4chan板的流式异步api。创建一个处理程序类,实现一些回调,并在新的
帖子和图像到达线程时得到通知。有一个捆绑的“filehandler”可以将内容保存到文件系统,还有一个
“sqlitehandler”可以将文章保存到每个日期的sqlite数据库中。
**注意**:“filehandler”会吃掉您的“inode”,默认的debian安装抓取*/b/*将在~6个月内用完。使用“sqlitehandler”,除非您计划定期清理文件根目录。
捆绑的可执行文件“hurr durr”是一个scraper。使用它作为
hurr durr--directory/tmp/4chan/sqlite file s--board b
在“data-dir/yyymmdd/threadid/threadid.json”结构中,每个线程生成一个json文件。
所有这些信息也可以通过“-h”标志获得。
api部分的主要入口点是“hurr-durr.chanwatcher”。您必须实现一个处理程序类,然后按照hurr durr import filehandler中的
``python
执行以下操作:chanwatcher
watcher=chanwatcher(filehandler('/tmp/4chan/b','b',images=true)
watcher.start()
`````
``python
hurr durr import sqlitehandler中的
,chanwatcher
watcher=chanwatcher(sqlitehandler('/tmp/4chan/b'),'b')
watcher.start()
````
要实现自己的处理程序,您需要创建一个继承自“handler”的类,
包含4个方法:
*`post(thread-id,new-post)`--在线程中创建新post时调用
*`pruned(thread-id)`--在从4chan(thread-id,filename,data)`--使用下载的图像数据调用,仅当图像被下载时才相关
*`download\u img(thread\u id,filename)`--调用以检查是否应下载特定图像,仅当图像被下载时才相关
只需使用pip
pip安装hurr durr
为什么?
因为我需要一个4英寸的刮刀,其他的东西都被吸走了,我想让Tornado在街区里兜一圈。
除非符合许可证的要求,否则您不得使用此文件。
您可以在
http://www.apache.org/licenses/license-2.0
获取许可证副本,除非适用法律要求或书面同意,否则根据许可证分发的软件将按“原样”分发,
无任何明示或默示的保证或条件。
请参阅许可证,了解管辖许可的特定语言以及许可证下的限制。
一个到4chan板的流式异步api。创建一个处理程序类,实现一些回调,并在新的
帖子和图像到达线程时得到通知。有一个捆绑的“filehandler”可以将内容保存到文件系统,还有一个
“sqlitehandler”可以将文章保存到每个日期的sqlite数据库中。
**注意**:“filehandler”会吃掉您的“inode”,默认的debian安装抓取*/b/*将在~6个月内用完。使用“sqlitehandler”,除非您计划定期清理文件根目录。
捆绑的可执行文件“hurr durr”是一个scraper。使用它作为
hurr durr--directory/tmp/4chan/sqlite file s--board b
在“data-dir/yyymmdd/threadid/threadid.json”结构中,每个线程生成一个json文件。
所有这些信息也可以通过“-h”标志获得。
api部分的主要入口点是“hurr-durr.chanwatcher”。您必须实现一个处理程序类,然后按照hurr durr import filehandler中的
``python
执行以下操作:chanwatcher
watcher=chanwatcher(filehandler('/tmp/4chan/b','b',images=true)
watcher.start()
`````
``python
hurr durr import sqlitehandler中的
,chanwatcher
watcher=chanwatcher(sqlitehandler('/tmp/4chan/b'),'b')
watcher.start()
````
要实现自己的处理程序,您需要创建一个继承自“handler”的类,
包含4个方法:
*`post(thread-id,new-post)`--在线程中创建新post时调用
*`pruned(thread-id)`--在从4chan(thread-id,filename,data)`--使用下载的图像数据调用,仅当图像被下载时才相关
*`download\u img(thread\u id,filename)`--调用以检查是否应下载特定图像,仅当图像被下载时才相关
只需使用pip
pip安装hurr durr
为什么?
因为我需要一个4英寸的刮刀,其他的东西都被吸走了,我想让Tornado在街区里兜一圈。
除非符合许可证的要求,否则您不得使用此文件。
您可以在
http://www.apache.org/licenses/license-2.0
获取许可证副本,除非适用法律要求或书面同意,否则根据许可证分发的软件将按“原样”分发,
无任何明示或默示的保证或条件。
请参阅许可证,了解管辖许可的特定语言以及许可证下的限制。