Flink批量数据处理

Question

我正在计算Flink的某些处理批数据。作为一个简单的例子，假设我有2000个点，我想使用scipy提供的功能通过FIR滤波器。scipy filter是一个简单的函数，它接受一组系数和要过滤的数据并返回数据。在Flink中是否可以创建一个转换来处理这个问题？似乎Flink变换是逐点应用的，但我可能遗漏了一些东西。在

Answer 1

这当然是可能的。Flink已经有一个Python API (beta)你可能想用。在

关于你的第二个问题：Flink可以逐点应用函数，也可以做其他事情。这取决于你定义的是什么样的函数。例如，filter、project、map、flatMap等应用于一组记录（这些组通过groupBy定义）。还可以使用join、cross或{}连接来自不同数据集的数据。请查看文档中可用转换的列表：https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/batch/dataset_transformations.html