如何在本地测试映射并减少代码？

2024-05-19 21:55:39 发布

您现在位置：Python中文网/ 问答频道 /正文
4353 3

如果我有地图.py从多个csv文件读取并生成键值对的文件，如何将这些传递给减速器.py在本地测试？在


Tags： 文件csvpy地图键值减速器
1条回答
网友
1楼 · 发布于 2024-05-19 21:55:39

如果您使用的是hadoop流媒体，那么您可以像这样在本地测试脚本：

cat *.csv | map.py | sort -k1,1 | reducer.py

要将数据从映射器传递到hadoop流中的reducer，只需将"<key>\t<value>"写入stdout

相关问题 更多 >

    编程相关推荐