将批量模拟数据加载到aws物联网分析中的工具

onica-iotloader的Python项目详细描述


一个将大量模拟数据加载到aws物联网分析中的工具,用于试验aws物联网分析的功能。此工具旨在加载模拟数据,然后可用于探索数据集的功能、与Amazon QuickSight的集成等。

安装:

  • 确保您有一个工作的python环境
  • pip install onica-iotloader安装最新版本

模板

调用用户提供的模板来创建每个示例消息。可以使用任意python代码通过此模板生成每个消息,从而启用一组丰富的模拟值。每次调用模板文件时,它都必须将名为message的局部变量设置为单个模拟消息的值。请参阅此存储库中的template.py,作为静态但非常大(~127kb)消息模板的示例。

用法

onica-iotloader [--concurrency=<n>] <channel> <template> <count>

1000的并发值似乎是理想的,以最大限度地提高AWS IOT分析从单一来源的摄取率(实现约3200 MSGs/SEC,或400 Mb/s的M5.24x大)。必须是一个现有的AWS物联网分析通道,上面所描述的模板是一个脚本脚本,而在您的传输范围内,则是一个消息(在错误范围内)。作为参考,900000的计数使用这里包含的默认template.py只会导致超过100gb的摄取。

要在4分钟内加载约100GB,请使用此存储库中包含的template.py(在m5.24xlarge上测试)运行以下命令:

onica-iotloader --concurrency=1000 <channel> template.py 900000

<channel>替换为在您的帐户中配置的aws iot分析频道的名称。

AWS认证和地区

使用默认的boto3 aws凭证和区域解析(env vars、ec2元数据、配置文件等)。

反馈

请通过opensource的onica.com或github问题与我们联系,并提供反馈!

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java与Groovy正则表达式匹配混淆   java控制台未定义为JSNI   主目录中的java指针异常   java如何获取hashmap中的arrayList的大小   ApachePOI用于文本,Java代码中的word doc(.docx)中没有进行追加   Ruby对象到Java对象   JavaSpringJPA哈希集只返回一个值   Java在执行由配置了精确类路径参数的mavenjarpluin生成的可执行jar时无法找到依赖项   java我试图在画布上写一个文本,但什么也没发生   java HTTP 404源服务器找不到目标资源的当前表示形式,或者不愿意透露存在该表示形式。不起作用   java提取小数点后的最后一个数字   oop Java:无法访问对象的元素   PHP URL中RecyclerView中的java句柄空异常   不调用OnCreateViewHolder的java Update RecyclerView适配器项