轻松地将数据流引入python
stream2p的Python项目详细描述
溪流2py
轻松地将数据流引入python。在
这套i2i工具的目标之一是从idea2实现中获得无需大惊小怪的东西。 为了存储(读或写)的问题,我们让py2store来做这件事, 以及其他(例如py2cli、py2ws、py2dash)来负责向世界(包括命令行界面、web服务、浏览器仪表板等)公开python函数。在
这里,我们解决流获取问题。 和往常一样,我们的目标是提供简单的绘图方式来完成任务。在
减少词汇熵
一种方法是减少词汇熵: 我们不想考虑每个特定的源如何调用read或size, 或者在阅读前暂停一下, 或者特定传感器对数据的编码格式, 在你想办法开始之前,先把文档页翻了一遍 有趣的东西, 它恰好是真正产生价值的东西。一旦你弄明白了, 如果你几个月或几年不使用它,下次你需要做类似的事情时,你就得重新考虑一下。在
不,那只是浪费时间。相反,我们说你最多做一次。 如果社区(我们)已经为您提供了他们的语言到我们的一致语言适配器,您根本不必这样做。如果是新的东西,那么你就得想清楚了,但是你只需要写一次适配器,现在你(1)就可以使用stream2py的其他工具了,(2)你不必再写了。在
时光倒流
我们也讨论无常的问题。在
想想不同的传感器(如音频、振动、视频)提供的流,甚至wifi、can总线数据、PLC等“工业”信号,它们发生了,然后消失了。当然,它们通常都有缓冲区,但这些缓冲区通常只够从高频读取中获取数据,而不足以有时间进行智能系统所需的更复杂的分析。在
我们通过
多读卡器
通常情况下,您希望对流执行多个操作。 比如存储它,实时可视化它,并将其定向到一个分析管道。 为了做到不打嗝,有些事情需要处理。 我们有,所以你不必。在
时间戳正确
在我们与人打交道的丰富经验中(编写存储流数据的代码), 我们注意到,许多工程师在面临为 他们保存的流,遵循这样的设计模式 (a) 获取流数据 (b) 询问系统是什么日期/时间 (c) 使用它(也许,只是为了使时间戳更有可能被解释 错误地称之为“偏移日期”)
这种设计模式的问题在于,它只是一种模式而不是设计。 它是而不是段开始的时间戳: 该时间发生在之后段结束事件的end, 更重要的是,在系统之后,它将标记和存储。 此外,在实际事件之间累积的延迟中有很大的回旋余地, 当我们问系统现在几点了。 有时这无关紧要,但有时重要: 例如,如果我们想与其他时间戳数据对齐, 或者使用这些时间戳来确定段之间是否存在间隙或重叠 我们得到了。在
重点是,stream2py将为您提供正确处理该问题的工具。 它通过让上面提到的stream2py缓冲区保存数据流统计信息来做到这一点,然后读者可以使用这些数据流统计信息 更准确地说,他们读到了什么。在
- 项目
标签: