一个从twitter上收集火灾数据的工具。

twitter-fire-scraper的Python项目详细描述


这是什么?< >

这是一个python twitter"fire event"scraper/listener。

这是一个应用程序,它将监听或搜集与房屋火灾(特别是芝加哥)有关的数据,以便分析人们如何使用Twitter作为报告和谈论灾难的平台。

这将如何使用Twitter数据?< >

此应用程序允许用户在Twitter上分析、收集和整理有关房屋火灾和其他灾难的数据。

如何安装?< >

依赖关系

步骤

pip install twitter-fire-scraper

如果它已经安装并且有新版本可用,您可以使用以下命令进行更新:

pip install twitter-fire-scraper --upgrade

注释

本自述文件假定所有命令都与本自述文件位于同一文件夹中。

示例

如何使用这个包的示例可以在这个示例文件夹中找到,也可以在我们的内部测试套件中找到。

这些应该会让你对如何使用我们的刮刀有一个很好的了解,并且可以被视为我们的代码如何工作的"生活标准"。

设置您的秘密

此机密文件仅用于演示。使用此库时,由您管理如何存储和检索API密钥。

更具体地说,如果scraper对象没有用twitterAuthentication对象初始化,它将搜索名为~/.twitterFirescraper/secrets.json的文件以获取API密钥作为回退。

这是为了使演示有效,而不是在使用库时推荐使用。

注:这些被称为"秘密"是有原因的。请不要伪造或提交secrets.json

Twitter秘密

您需要:

  • Twitter开发人员帐户和API密钥

    • 消费者API密钥(进入"消费者密钥")
    • 消费者API密钥(进入"消费者秘密")
    • 访问令牌(进入"访问令牌")
    • 访问密钥(进入"访问令牌密钥")
  • 您有权代表

您需要将它们放入名为secrets.json的文件中,该文件位于.twitterfirescraper/下的主文件夹中(例如,我的文件是c:/users/henryfbp/.twitterfirescraper/secrets.json

这里提供了一个示例文件,您可以将文件建立在secrets.example.json

MongoDB机密

我们代码中的演示连接到以下MongoDB地址:

mongodb://localhost:27017/

设置数据库

对于数据库,我们选择使用mongodb,因为twitter数据存储在json中,mongodb非常适合存储json数据。

按照本教程中关于如何安装MongoDB的说明进行操作。

开发人员依赖关系

  • 同上。
  • ruby,用于运行脚本来构建和测试python轮子。

设置pipenv

您可以通过执行来安装pipenv

pip install pipenv

然后,您可以通过执行

pipenv install --dev

然后,您可以通过执行

pipenv run python /src/twitter-fire-scraper/tests/test/__main__.py

运行功能演示

在这个文件夹中,有两个文件名为run demo.batrun demo.ps1。您可以运行其中一个来启动演示文稿。

启动Web API

twitter fire scraper包中包含一个web api。

<P>它通过http公开了twitter fire scraper的函数。

来源

您可以使用pipenv run python twitter\u fire\u scraper/app.py从实时源代码运行web api。

使用pypi

在使用pip安装web api之后,您可以通过键入

python -m twitter_fire_scraper.app

运行测试

您可以执行pipenv run python fire scraper/tests/<;testname>;.py来运行测试。

要运行所有测试,请执行pipenv run python fire scraper/tests/test/\u init\uuu.py并运行所有测试。

或者,如果已安装此软件包,请运行

python -m twitter_fire_scraper.tests.test

运行软件包的测试模块。

这是根据什么改编的?< >

一个电影情感分析项目由raul,存储库在这里,一个现场站点在这里。

使用commit2FB844E8C081C1DC31CFB4760E3A80CEFB6A0EEE

一定有比从命令行运行更好的方法!< >

是的!使用一个最好与python集成的ide(如pycharm,我使用它)来显示导入错误、语法错误等。转到google"python ide"并选择一个您喜欢的ide。

将venv的位置添加到ide中

为了在ide中运行我们的测试,我们需要让ide知道venv的安装位置。我将通过pycharm对此进行解释,但对于任何ide,方法都应该相同。

如果在windows powershell中运行pythonpython

这将产生python 3虚拟环境的位置(它应该类似于c:\ users\your name\…\.virtualenvs\…)。复制此路径并打开PyCharm。

进入files->;settings并展开项目:fire scraper twitter。在下拉列表中,进入项目解释器。转到顶部,单击齿轮并选择"添加",因为我们将添加一个新的解释器。

选择"Existing Environment"(现有环境),然后单击右侧的三个点。在顶部复制路径,然后确定所有内容。

在那里!完成!现在我们可以从IDE内部运行测试。

生成/上载分发存档文件

如果要将此源代码作为python控制盘分发,请遵循本指南。

有一系列的ruby脚本(跨平台!)负责建筑、清洁、上传。

确保为python安装了捆绳包。

建筑

ruby build.rb

清洁

pip install twitter-fire-scraper
0

正在上载

上传新版本时,您需要在/version中增加版本。

到测试站点(test.pypi.org)

pip install twitter-fire-scraper
1

到真正的站点(pypi.org)

pip install twitter-fire-scraper
2

测试下载并安装

有几种方法可供您测试用户安装此软件包的体验。

这里有三个ruby脚本,每一个都按照它的名字来做。

test localwheel install.rb将安装并测试由build.rb生成的最新whl文件

test test pypi install.rb将安装并测试test pypi的twitter fire scraper包。

test realpypi install.rb将安装并测试office pypi的twitter fire scraper包。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java将Int值传递给另一个类   在使用Sdin(或非交互式)输入| Java时调试奇怪的输入错误   java返回一个文本字符串作为响应struts2   java为什么我们不能在声明局部变量之前初始化它呢?   java从现有XML中读取值并将其填充到Json中   java Spring Boot+Maven:找不到repositoryFactoryBean   java使用regex表示“W o.Rd”。replaceAll(“单词”、“替换”)   java Sub resorce在Jersey REST API框架中不起作用   java在组件启动时,当所述报告存储在Sharepoint中时,是否可以加载预格式化的WebDataRocks报告?   java并发更新列表的最佳方法   servlets Java web应用程序对象调度   应用程序在点击按钮时崩溃,Android Studio(Java)   java如何为掷骰子游戏调用另一个类中的方法?