mrjob 0.6.10

安装

来自PYPI:

pip install mrjob

来源：

python setup.py install

一个简单的map reduce作业

此示例和更多示例的代码位于mrjob/examples中。

"""The classic MapReduce job: count the frequency of words.
"""
from mrjob.job import MRJob
import re

WORD_RE = re.compile(r"[\w']+")


class MRWordFreqCount(MRJob):

    def mapper(self, _, line):
        for word in WORD_RE.findall(line):
            yield (word.lower(), 1)

    def combiner(self, word, counts):
        yield (word, sum(counts))

    def reducer(self, word, counts):
        yield (word, sum(counts))


if __name__ == '__main__':
     MRWordFreqCount.run()

试试看！

# locally
python mrjob/examples/mr_word_freq_count.py README.rst > counts
# on EMR
python mrjob/examples/mr_word_freq_count.py README.rst -r emr > counts
# on Dataproc
python mrjob/examples/mr_word_freq_count.py README.rst -r dataproc > counts
# on your Hadoop cluster
python mrjob/examples/mr_word_freq_count.py README.rst -r hadoop > counts

在Amazon上设置EMR

• 创建Amazon Web Services account
• 获取访问和密钥（单击“安全凭据”打开 your account page）
• 设置环境变量$AWS_ACCESS_KEY_ID和 $AWS_SECRET_ACCESS_KEY相应地

在google上设置dataproc

• Create a Google Cloud Platform account，请参见右上角
• Learn about Google Cloud Platform “projects”
• Select or create a Cloud Platform Console project
• Enable billing for your project
• 转到API Manager并搜索/启用以下api…
  • 谷歌云存储
  • 谷歌云存储json api
  • 谷歌云数据处理API
• 在“凭据”下，创建凭据，然后选择服务帐户密钥。然后，选择new service account，输入名称并选择key typejson。
• 安装Google Cloud SDK

高级配置

要在其他aws区域中运行，请上载源代码树，运行make，然后使用 其他高级mrjob功能，您需要设置mrjob.conf。MrJob看起来 其conf文件位于：

• $MRJOB_CONF
的内容
• ~/.mrjob.conf
• /etc/mrjob.conf

有关详细信息，请参见the mrjob.conf documentation。

项目链接

• Source code
• Documentation
• Discussion group

参考

• Hadoop Streaming
• Elastic MapReduce
• Google Cloud Dataproc

更多信息

• PyCon 2011 mrjob overview
• Introduction to Recommendations and MapReduce with mrjob （source code）
• Social Graph Analysis Using Elastic MapReduce and PyPy

多亏了Greg Killion （ROMEO ECHO_DELTA）用于徽标。