一个从twitter上收集火灾数据的工具。

twitter-fire-scraper的Python项目详细描述


这是什么?< >

这是一个python twitter"fire event"scraper/listener。

这是一个应用程序,它将监听或搜集与房屋火灾(特别是芝加哥)有关的数据,以便分析人们如何使用Twitter作为报告和谈论灾难的平台。

这将如何使用Twitter数据?< >

此应用程序允许用户在Twitter上分析、收集和整理有关房屋火灾和其他灾难的数据。

如何安装?< >

依赖关系

步骤

pip install twitter-fire-scraper

如果它已经安装并且有新版本可用,您可以使用以下命令进行更新:

pip install twitter-fire-scraper --upgrade

注释

本自述文件假定所有命令都与本自述文件位于同一文件夹中。

示例

如何使用这个包的示例可以在这个示例文件夹中找到,也可以在我们的内部测试套件中找到。

这些应该会让你对如何使用我们的刮刀有一个很好的了解,并且可以被视为我们的代码如何工作的"生活标准"。

设置您的秘密

此机密文件仅用于演示。使用此库时,由您管理如何存储和检索API密钥。

更具体地说,如果scraper对象没有用twitterAuthentication对象初始化,它将搜索名为~/.twitterFirescraper/secrets.json的文件以获取API密钥作为回退。

这是为了使演示有效,而不是在使用库时推荐使用。

注:这些被称为"秘密"是有原因的。请不要伪造或提交secrets.json

Twitter秘密

您需要:

  • Twitter开发人员帐户和API密钥

    • 消费者API密钥(进入"消费者密钥")
    • 消费者API密钥(进入"消费者秘密")
    • 访问令牌(进入"访问令牌")
    • 访问密钥(进入"访问令牌密钥")
  • 您有权代表

您需要将它们放入名为secrets.json的文件中,该文件位于.twitterfirescraper/下的主文件夹中(例如,我的文件是c:/users/henryfbp/.twitterfirescraper/secrets.json

这里提供了一个示例文件,您可以将文件建立在secrets.example.json

MongoDB机密

我们代码中的演示连接到以下MongoDB地址:

mongodb://localhost:27017/

设置数据库

对于数据库,我们选择使用mongodb,因为twitter数据存储在json中,mongodb非常适合存储json数据。

按照本教程中关于如何安装MongoDB的说明进行操作。

开发人员依赖关系

  • 同上。
  • ruby,用于运行脚本来构建和测试python轮子。

设置pipenv

您可以通过执行来安装pipenv

pip install pipenv

然后,您可以通过执行

pipenv install --dev

然后,您可以通过执行

pipenv run python /src/twitter-fire-scraper/tests/test/__main__.py

运行功能演示

在这个文件夹中,有两个文件名为run demo.batrun demo.ps1。您可以运行其中一个来启动演示文稿。

启动Web API

twitter fire scraper包中包含一个web api。

<P>它通过http公开了twitter fire scraper的函数。

来源

您可以使用pipenv run python twitter\u fire\u scraper/app.py从实时源代码运行web api。

使用pypi

在使用pip安装web api之后,您可以通过键入

python -m twitter_fire_scraper.app

运行测试

您可以执行pipenv run python fire scraper/tests/<;testname>;.py来运行测试。

要运行所有测试,请执行pipenv run python fire scraper/tests/test/\u init\uuu.py并运行所有测试。

或者,如果已安装此软件包,请运行

python -m twitter_fire_scraper.tests.test

运行软件包的测试模块。

这是根据什么改编的?< >

一个电影情感分析项目由raul,存储库在这里,一个现场站点在这里。

使用commit2FB844E8C081C1DC31CFB4760E3A80CEFB6A0EEE

一定有比从命令行运行更好的方法!< >

是的!使用一个最好与python集成的ide(如pycharm,我使用它)来显示导入错误、语法错误等。转到google"python ide"并选择一个您喜欢的ide。

将venv的位置添加到ide中

为了在ide中运行我们的测试,我们需要让ide知道venv的安装位置。我将通过pycharm对此进行解释,但对于任何ide,方法都应该相同。

如果在windows powershell中运行pythonpython

这将产生python 3虚拟环境的位置(它应该类似于c:\ users\your name\…\.virtualenvs\…)。复制此路径并打开PyCharm。

进入files->;settings并展开项目:fire scraper twitter。在下拉列表中,进入项目解释器。转到顶部,单击齿轮并选择"添加",因为我们将添加一个新的解释器。

选择"Existing Environment"(现有环境),然后单击右侧的三个点。在顶部复制路径,然后确定所有内容。

在那里!完成!现在我们可以从IDE内部运行测试。

生成/上载分发存档文件

如果要将此源代码作为python控制盘分发,请遵循本指南。

有一系列的ruby脚本(跨平台!)负责建筑、清洁、上传。

确保为python安装了捆绳包。

建筑

ruby build.rb

清洁

pip install twitter-fire-scraper
0

正在上载

上传新版本时,您需要在/version中增加版本。

到测试站点(test.pypi.org)

pip install twitter-fire-scraper
1

到真正的站点(pypi.org)

pip install twitter-fire-scraper
2

测试下载并安装

有几种方法可供您测试用户安装此软件包的体验。

这里有三个ruby脚本,每一个都按照它的名字来做。

test localwheel install.rb将安装并测试由build.rb生成的最新whl文件

test test pypi install.rb将安装并测试test pypi的twitter fire scraper包。

test realpypi install.rb将安装并测试office pypi的twitter fire scraper包。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java无法使用JAXB配置Moxy   java如何让我的简单Swing telnet客户端正确显示字符?   java中从可运行线程调用主线程的多线程处理   java数据源。EBJ3会话bean中的getConnection()   使用java和正则表达式从xml文件提取值时出现问题   java定制Jersy胡须Mvc   在Java中,“限制并发”是什么意思?   java有没有更干净的方法可以在这里使用Optional,而不在三个地方返回“NA”?   java Tomcat启动,然后崩溃,除非我打电话   java理解客户机和服务器   java时间戳将在视图对象>实体转换期间丢失   如何在java中返回布尔值(基元)?   java使用spring mvc设置日志记录,希望仅对我的代码进行跟踪/调试   用Jackson解析嵌套对象