如何在mrjob中更改AWS的accesskey和secretaccesskey环境变量

1 投票
1 回答
509 浏览
提问于 2025-04-17 16:11

我该怎么在mrjob中更改 $AWS_ACCESS_KEY_ID$AWS_SECRET_ACCESS_KEY,以便输入我自己的AWS凭证?我是在Mac OS X的终端上操作。

https://github.com/Yelp/mrjob

谢谢!

1 个回答

0

其实你有几种方法可以做到这一点。你可以直接修改一些叫做 AWS_ACCESS_KEY_IDAWS_SECRET_ACCESS_KEY 的环境变量。可能可以用 setenv 命令来设置这些变量,不过我对 Mac OS 不是很熟悉。

mrjob 有个很不错的功能,就是它会读取一个叫 mrjob.conf 的配置文件,并在一些默认的位置查找,比如你的主目录、/etc 目录,还有环境变量 MRJOB_CONF 指向的目录。这个配置文件是用 YAML 格式写的,所以你应该有一个像下面这样的部分来设置你的密钥:

runners: emr: aws_access_key_id: XXXX aws_secret_access_key: YYYY ...

在这个配置文件中你可以设置很多其他参数,所以我建议你看看 这个示例配置,了解一下你可以做些什么。

我还听说,如果你在你的 boto 配置中设置密钥,放在 .boto 文件里,无论是在你的主目录还是 /etc 目录下,都可以正常工作。你可以添加以下几行。虽然我自己没测试过,但应该也能用:

aws_access_key_id = XXXX
aws_secret_access_key = YYYY

撰写回答