- 当前热门话题：
Python dstream
-
本站为您提供最新、最全的dstream的Python教程、文档、代码、资源等相关内容，Python中文网技术交流社区同时还提供学习资源下载，
如：电子书、IDE编辑器软件、编程视频、代码规范标准、WEB开发、GUI、科学计算与人工智能等相关内容。
本文网址：https://www.cnpython.com/tags/266704
欢迎加入QQ群-->： 979659372
关于dstream 相关联的Python项目和问题：
最新问答
到目前为止，Spark还没有为流数据创建数据帧，但是当我进行异常检测时，使用数据帧进行数据分析更加方便快捷。我已经完成了这一部分，但是当我尝试使用流数据进行实时异常检测时，问题就出现了。我尝试了多种方 ...
已阅读: n次
我有一个spark流作业，它每5秒从Kafka读取一次，对传入的数据进行一些转换，然后写入文件系统。
这不一定是一个流媒体工作，实际上，我只想每天运行一次，将消息排放到文件系统中。不过，我不知道如何停 ...
已阅读: n次
我正在接触hadoop平台，我正在试验的是Spark流式API。我试图读取一个文件流，以计数每x秒后的字数（历史的累计和）。现在我想把前k个单词打印到一个文件中。以下是我要做的：
# sort the ...
已阅读: n次
我们可以使用window创建具有更大批处理的DStream：
streamIDs.window(Duration(1000)).foreachRDD(rdd => println(rdd.dis ...
已阅读: n次
我有一个键值对为VideoID UserID的dstream，按VideoID计算一个不同的UserID组的好方法是什么？在
// VideoID,UserID
foo,1
foo,2
bar,1
b ...
已阅读: n次
我想在每个分区中找到最大的键（也是最后一个键），每个分区中可能有两个或多个最大的键（彼此相等）。你知道吗
DStream.map(lambda x: (x,1)).transform(lambda r ...
已阅读: n次
使用Python，我想创建一个简单的体系结构来打印以动画形式传输的数据，然后发送到Spark Streaming数据流对象。我正在EC2实例中运行所有内容
我的数据生成器是一个运动代理监控/var/d ...
已阅读: n次
我是pyspark的新手，经过2天的搜索，我仍然不明白我在cogroup上做错了什么。
这就是我想要做的：
我得到了一个包含很多单词的文本文件，每个单词都有一个值：
Hello 5
.
.
...
已阅读: n次
我使用pyspark streaming。我在使用pprint时遇到问题。我的代码片段如下所示
test1 = dstream.filter(lambda y: (y[0] >= y[1])) ...
已阅读: n次
我有一个流式PySpark作业，它读取新行分隔的JSON并执行一些聚合，然后将它们保存到一些文件夹中
我想将正在被流化的文件从JSON更改为parquet
以下是我如何创建上下文：
conf = py ...
已阅读: n次
我的目标是从kafka代理接收到的json负载中提取一个特定字段及其值（例如。key:value). 我需要用python开发这个脚本。目前我读取了来自代理的消息，但无法解析json
下面是我写的几行 ...
已阅读: n次
在下面的片段中，我尝试将一个温度数据流（从卡夫卡那里收到）转换成熊猫数据帧。在
def main_process(time, dStream):
print("========= %s ======= ...
已阅读: n次
最新项目
An experimental Java-8-stream-like lib
Overview
本项目是一个实验性质的项目，想法来源于Java
8的Stream。将可迭代的对象封装成Strea ...
已阅读: n次
使用这个工具驱动excel，使用汤普森路透社eikon插件下载数据流数据。
在回购页面查看更多信息：https://github.com/whoopnip/datastream-excel-downl ...
已阅读: n次
