一个从twitter上收集火灾数据的工具。
twitter-fire-scraper的Python项目详细描述
这是什么?< >
这是一个python twitter"fire event"scraper/listener。
这是一个应用程序,它将监听或搜集与房屋火灾(特别是芝加哥)有关的数据,以便分析人们如何使用Twitter作为报告和谈论灾难的平台。
这将如何使用Twitter数据?< >
此应用程序允许用户在Twitter上分析、收集和整理有关房屋火灾和其他灾难的数据。
如何安装?< >依赖关系
步骤
pip install twitter-fire-scraper
pip install twitter-fire-scraper
如果它已经安装并且有新版本可用,您可以使用以下命令进行更新:
pip install twitter-fire-scraper --upgrade
注释
本自述文件假定所有命令都与本自述文件位于同一文件夹中。
示例
如何使用这个包的示例可以在这个示例文件夹中找到,也可以在我们的内部测试套件中找到。
这些应该会让你对如何使用我们的刮刀有一个很好的了解,并且可以被视为我们的代码如何工作的"生活标准"。
设置您的秘密
此机密文件仅用于演示。使用此库时,由您管理如何存储和检索API密钥。
更具体地说,如果scraper
对象没有用twitterAuthentication
对象初始化,它将搜索名为~/.twitterFirescraper/secrets.json
的文件以获取API密钥作为回退。
这是为了使演示有效,而不是在使用库时推荐使用。
注:这些被称为"秘密"是有原因的。请不要伪造或提交secrets.json
。
Twitter秘密
您需要:
Twitter开发人员帐户和API密钥
- 消费者API密钥(进入"消费者密钥")
- 消费者API密钥(进入"消费者秘密")
- 访问令牌(进入"访问令牌")
- 访问密钥(进入"访问令牌密钥")
您有权代表
您需要将它们放入名为secrets.json
的文件中,该文件位于.twitterfirescraper/
下的主文件夹中(例如,我的文件是c:/users/henryfbp/.twitterfirescraper/secrets.json
)
这里提供了一个示例文件,您可以将文件建立在secrets.example.json
MongoDB机密
我们代码中的演示连接到以下MongoDB地址:
mongodb://localhost:27017/
设置数据库
对于数据库,我们选择使用mongodb,因为twitter数据存储在json中,mongodb非常适合存储json数据。
按照本教程中关于如何安装MongoDB的说明进行操作。
开发人员依赖关系
- 同上。
- ruby,用于运行脚本来构建和测试python轮子。
设置pipenv
您可以通过执行来安装pipenv
pip install pipenv
然后,您可以通过执行
pipenv install --dev
然后,您可以通过执行
pipenv run python /src/twitter-fire-scraper/tests/test/__main__.py
运行功能演示
在这个文件夹中,有两个文件名为run demo.bat
和run demo.ps1
。您可以运行其中一个来启动演示文稿。
启动Web API
twitter fire scraper包中包含一个web api。
<P>它通过http公开了twitter fire scraper的函数。来源
您可以使用 在使用 您可以执行 要运行所有测试,请执行 或者,如果已安装此软件包,请运行 运行软件包的测试模块。 一个电影情感分析项目由raul,存储库在这里,一个现场站点在这里。
使用commit 是的!使用一个最好与python集成的ide(如pycharm,我使用它)来显示导入错误、语法错误等。转到google"python ide"并选择一个您喜欢的ide。 为了在ide中运行我们的测试,我们需要让ide知道venv的安装位置。我将通过pycharm对此进行解释,但对于任何ide,方法都应该相同。 如果在windows powershell中运行python 这将产生python 3虚拟环境的位置(它应该类似于 进入 选择"Existing Environment"(现有环境),然后单击右侧的三个点。在顶部复制路径,然后确定所有内容。 如果要将此源代码作为python控制盘分发,请遵循本指南。
有一系列的ruby脚本(跨平台!)负责建筑、清洁、上传。 确保为python安装了 上传新版本时,您需要在 有几种方法可供您测试用户安装此软件包的体验。 这里有三个ruby脚本,每一个都按照它的名字来做。pipenv run python twitter\u fire\u scraper/app.py从实时源代码运行web api。
使用pypi
pip
安装web api之后,您可以通过键入python -m twitter_fire_scraper.app
运行测试
pipenv run python fire scraper/tests/<;testname>;.py
来运行测试。pipenv run python fire scraper/tests/test/\u init\uuu.py
并运行所有测试。python -m twitter_fire_scraper.tests.test
这是根据什么改编的?< >
2FB844E8C081C1DC31CFB4760E3A80CEFB6A0EEE
。一定有比从命令行运行更好的方法!< >
将venv的位置添加到ide中
python
c:\ users\your name\…\.virtualenvs\…
)。复制此路径并打开PyCharm。files->;settings
并展开项目:fire scraper twitter
。在下拉列表中,进入项目解释器
。转到顶部,单击齿轮并选择"添加",因为我们将添加一个新的解释器。生成/上载分发存档文件
捆绳
包。
建筑
ruby build.rb
清洁
0
pip install twitter-fire-scraper
正在上载
/version
中增加版本。到测试站点(test.pypi.org)
1
pip install twitter-fire-scraper
到真正的站点(pypi.org)
2
pip install twitter-fire-scraper
测试下载并安装
test localwheel install.rb
将安装并测试由build.rb生成的最新whl文件
test test pypi install.rb
将安装并测试test pypi的twitter fire scraper
包。test realpypi install.rb
将安装并测试office pypi的twitter fire scraper
包。推荐PyPI第三方库