Airbnb Airflow与Apache Nifi之比较

Question

Airflow和Nifi是否在工作流上执行相同的工作？每个人的赞成/反对意见是什么？ 我需要读取一些json文件，向其中添加更多自定义元数据，并将其放入Kafka队列中进行处理。我在尼菲也能做到。我还在研究气流。我正在尝试为我的项目选择最佳的工作流引擎 谢谢您！

Answer 1

有关Airflow和ApacheNifi的详细概述，请查看这个reddit帖子：https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/

对于接收Json文件、丰富它们并将它们路由到Kafka的特定用例，我相信NiFi是这项工作的正确工具。可能使用的几个处理器以及每个处理器的文档如下：

获取文件：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.9.2/org.apache.nifi.processors.standard.GetFile/index.html

JoltTransformJSON:https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.9.2/org.apache.nifi.processors.standard.JoltTransformJSON/index.html

PublishKafka（或PublishKafka_0_10，取决于您的版本）：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-kafka-0-9-nar/1.9.2/org.apache.nifi.processors.kafka.pubsub.PublishKafka/index.html