如何安装apachespark并使其与Kafka一起运行？

Question

我对Hadoop和apachespark还很陌生。我是一个新手，正在尝试。现在，我想试试我的apachespark。为了做到这一点，我假设我必须在我的机器上安装一个名为apachespark的软件。你知道吗

我试图创建一个本地机器使用虚拟机，但我在这一点上迷失了方向。有没有资源可以帮助我在同一台机器上配置和安装Spark和Kafka？你知道吗

Answer 1

幸运的是，chrisfregley（来自ibmsparktc）有一个项目，其中包含了所有这些东西的docker映像（您可以在https://github.com/fluxcapacitor/pipeline/wiki上看到）。对于一个“真正的”产品部署，您可能想看看在YARN上部署Spark或类似的东西—它的部署选项在http://spark.apache.org/docs/latest/cluster-overview.html中进行了解释，与Kafka的集成在专门的Kafka集成指南http://spark.apache.org/docs/latest/streaming-kafka-integration.html中进行了介绍。欢迎来到精彩的火花我希望这些能帮助你开始：）