2024-05-13 07:08:49 发布
网友
Airflow和Nifi是否在工作流上执行相同的工作?每个人的赞成/反对意见是什么? 我需要读取一些json文件,向其中添加更多自定义元数据,并将其放入Kafka队列中进行处理。我在尼菲也能做到。我还在研究气流。我正在尝试为我的项目选择最佳的工作流引擎 谢谢您!
有关Airflow和ApacheNifi的详细概述,请查看这个reddit帖子:https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/
对于接收Json文件、丰富它们并将它们路由到Kafka的特定用例,我相信NiFi是这项工作的正确工具。可能使用的几个处理器以及每个处理器的文档如下:
获取文件:https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.9.2/org.apache.nifi.processors.standard.GetFile/index.html
JoltTransformJSON:https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.9.2/org.apache.nifi.processors.standard.JoltTransformJSON/index.html
PublishKafka(或PublishKafka_0_10,取决于您的版本):https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-kafka-0-9-nar/1.9.2/org.apache.nifi.processors.kafka.pubsub.PublishKafka/index.html
有关Airflow和ApacheNifi的详细概述,请查看这个reddit帖子:https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/
对于接收Json文件、丰富它们并将它们路由到Kafka的特定用例,我相信NiFi是这项工作的正确工具。可能使用的几个处理器以及每个处理器的文档如下:
获取文件:https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.9.2/org.apache.nifi.processors.standard.GetFile/index.html
JoltTransformJSON:https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.9.2/org.apache.nifi.processors.standard.JoltTransformJSON/index.html
PublishKafka(或PublishKafka_0_10,取决于您的版本):https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-kafka-0-9-nar/1.9.2/org.apache.nifi.processors.kafka.pubsub.PublishKafka/index.html
相关问题 更多 >
编程相关推荐