我可以将造纸机和剪贴簿与AWS EMR笔记本一起使用吗?

2024-03-29 13:29:36 发布

您现在位置:Python中文网/ 问答频道 /正文

我有几本笔记本,由“司机”用造纸机操作。这些笔记本电脑使用剪贴簿库向驾驶员传达信息。然后,驱动程序将此信息作为参数传递给其他笔记本电脑。我想使用EMR笔记本电脑来优化这个“笔记本电脑管道”的执行效率。AWS EMR笔记本是否支持剪贴簿和造纸机,或者我是否需要重构笔记本


Tags: aws信息管道驱动程序笔记本笔记本电脑重构效率
1条回答
网友
1楼 · 发布于 2024-03-29 13:29:36

到目前为止,没有。你不能直接这么做。 您可以做的(我们正在做的)如下:

  1. 使用hadoop用户在EMR主节点上创建python环境
  2. 在您的环境中安装sparkmagic,并按照sparkmagic的README.md文件中所述配置所有内核
  3. 将笔记本复制到主节点/直接从s3位置使用它
  4. 安装造纸机并与造纸机一起运行:

    造纸机s3://path/to/notebook/input.ipynb s3://path/to/notebook/output.ipynb-p param=1

相关问题 更多 >