将批量模拟数据加载到aws物联网分析中的工具
onica-iotloader的Python项目详细描述
一个将大量模拟数据加载到aws物联网分析中的工具,用于试验aws物联网分析的功能。此工具旨在加载模拟数据,然后可用于探索数据集的功能、与Amazon QuickSight的集成等。
安装:
- 确保您有一个工作的python环境
pip install onica-iotloader
安装最新版本
模板
调用用户提供的模板来创建每个示例消息。可以使用任意python代码通过此模板生成每个消息,从而启用一组丰富的模拟值。每次调用模板文件时,它都必须将名为message
的局部变量设置为单个模拟消息的值。请参阅此存储库中的template.py
,作为静态但非常大(~127kb)消息模板的示例。
用法
onica-iotloader [--concurrency=<n>] <channel> <template> <count>
1000的并发值似乎是理想的,以最大限度地提高AWS IOT分析从单一来源的摄取率(实现约3200 MSGs/SEC,或400 Mb/s的M5.24x大)。必须是一个现有的AWS物联网分析通道,上面所描述的模板是一个脚本脚本,而在您的传输范围内,则是一个消息(在错误范围内)。作为参考,900000的计数使用这里包含的默认template.py
只会导致超过100gb的摄取。
要在4分钟内加载约100GB,请使用此存储库中包含的template.py(在m5.24xlarge上测试)运行以下命令:
onica-iotloader --concurrency=1000 <channel> template.py 900000
将<channel>
替换为在您的帐户中配置的aws iot分析频道的名称。
AWS认证和地区
使用默认的boto3 aws凭证和区域解析(env vars、ec2元数据、配置文件等)。
反馈
请通过opensource的onica.com或github问题与我们联系,并提供反馈!