Flintrock 0.11.0

Flintrock：更快、更好的Spark-EC2（幻灯片） Guides：

• 在集群上运行spark：基础（使用flintrock）
  • 第1部分：启动Spark群集并使用Spark-shell
  • 第2部分：依赖项、s3和通过spark部署-提交
• 在aws上使用jupyter的Spark
• 构建研发数据科学平台，part 2-使用flintrock在aws上部署spark
• "云中的小鸟"：数据工程的冒险

用法

这里有一个在ec2上启动集群的快速方法，假设您已经设置了aws帐户。Flintrock最适合Amazon Linux。您可以从这里获得最新的ami id

如果您将这些选项持久保存到文件中，则可以更简洁地执行相同的操作：

使用完群集后，不要忘记使用以下命令销毁它：

使用Flintrock可以做的其他事情包括：

要查看Flintrock还能做什么，或查看特定命令的详细帮助，请尝试：

访问S3上的数据

我们建议您通过以下方式从Flintrock集群访问S3上的数据 这些步骤：

1. 设置IAM角色 这允许根据请求访问s3。引用此角色时你发射 使用--ec2 instance profile name选项（或其 相当于您的config.yaml文件。
2. 使用s3A://前缀引用spark代码中的s3路径。s3A://是 向后兼容s3n://并替换s3n://和s3://。 hadoop项目建议使用s3A:///code> 因为它是主动开发的，支持更大的文件，并且提供 更好的性能。
3. 确保Flintrock配置为使用Hadoop/HDFS2.7+。早期的 hadoop版本没有可靠的s3A://实现。 Flintrock的默认版本是Hadoop2.8.5，所以不需要做任何事情 如果您使用的是普通配置，请点击此处。
4. 使用hadoop aws包调用spark以启用s3A://。例如：

   spark-submit --packages org.apache.hadoop:hadoop-aws:2.7.6 my-app.py
   pyspark --packages org.apache.hadoop:hadoop-aws:2.7.6
   

   如果您在使用该软件包时遇到问题，请参阅hadoop aws疑难解答。 指南 并尝试调整版本。根据经验，您应该匹配版本 从hadoop aws到spark所针对的hadoop版本（即 通常是hadoop 2.7），即使您要部署到的hadoop版本 您的Flintrock群集不同。

使用这种方法，您不需要复制aws凭证 或者把它们传给你的星火计划。只要分配了iam角色 允许它，spark将能够通过 引用适当的路径（例如s3A://bucket/path/to/file）。

安装

在使用Flintrock之前，请快速查看 版权 请注意并许可证 并确保您对他们的条款满意。

Flintrock需要Python3.4或更高版本，除非您正在使用 我们的独立软件包的。弗林特洛克已经彻底测试过了 只在OSX上运行，但它应该在所有POSIX系统上运行。 有动机的贡献者应该能够 Windows支持 也不会有太多麻烦。

发布版本

要获得Flintrock的最新版本，只需运行pip

pip3 install flintrock

这将安装Flintrock并将其放置在您的路径上。你现在该走了！

您可能需要开始使用以下两个命令：

flintrock --help
flintrock configure

独立版本（不需要python！）

如果没有最新版本的python，或者根本没有安装python， 你还可以用燧石。我们在github上发布独立的flintrock包 版本

在我们的最新版本中找到您的操作系统的独立软件包， 将其解压缩到您选择的位置，并在其中运行Flintrock可执行文件。

例如：

flintrock_version="0.8.0"

curl --location --remote-name "https://github.com/nchammas/flintrock/releases/download/v$flintrock_version/Flintrock-$flintrock_version-standalone-OSX-x86_64.zip"
unzip -q -d flintrock "Flintrock-$flintrock_version-standalone-OSX-x86_64.zip"cd flintrock/

# You're good to go!
./flintrock --help

您可能需要将Flintrock可执行文件的位置添加到路径中，以便可以从任何目录调用它。

社区支持的发行版

Flintrock也可以通过以下包管理器获得：

• 自制：brew安装Flintrock

这些包不受核心贡献者的支持，可能已过时。如果您在使用这些发行版安装Flintrock时遇到困难，请直接联系相关社区。

开发版本

如果您喜欢生活在边缘，请安装Flintrock的开发版本：

flintrock launch test-cluster \
    --num-slaves 1\
    --spark-version 2.4.0 \
    --ec2-key-name key_name \
    --ec2-identity-file /path/to/key.pem \
    --ec2-ami ami-0b8d0d6ac70e5750c \
    --ec2-user ec2-user

flintrock launch test-cluster \
    --num-slaves 1\
    --spark-version 2.4.0 \
    --ec2-key-name key_name \
    --ec2-identity-file /path/to/key.pem \
    --ec2-ami ami-0b8d0d6ac70e5750c \
    --ec2-user ec2-user

flintrock launch test-cluster \
    --num-slaves 1\
    --spark-version 2.4.0 \
    --ec2-key-name key_name \
    --ec2-identity-file /path/to/key.pem \
    --ec2-ami ami-0b8d0d6ac70e5750c \
    --ec2-user ec2-user

flintrock launch test-cluster \
    --num-slaves 1\
    --spark-version 2.4.0 \
    --ec2-key-name key_name \
    --ec2-identity-file /path/to/key.pem \
    --ec2-ami ami-0b8d0d6ac70e5750c \
    --ec2-user ec2-user

flintrock launch test-cluster \
    --num-slaves 1\
    --spark-version 2.4.0 \
    --ec2-key-name key_name \
    --ec2-identity-file /path/to/key.pem \
    --ec2-ami ami-0b8d0d6ac70e5750c \
    --ec2-user ec2-user

flintrock launch test-cluster \
    --num-slaves 1\
    --spark-version 2.4.0 \
    --ec2-key-name key_name \
    --ec2-identity-file /path/to/key.pem \
    --ec2-ami ami-0b8d0d6ac70e5750c \
    --ec2-user ec2-user