Python中文网 - 问答频道, 解决您学习工作中的Python难题和Bug
Python常见问题
在AWS文档中，它们指定了如何激活Spark作业（https://docs.aws.amazon.com/glue/latest/dg/monitor-profile-glue-job-cloudwatch-metrics.html）的监视，而不是python shell作业
按原样使用代码会导致以下错误：ModuleNotFoundError: No module named 'pyspark'
更糟糕的是，在注释掉from pyspark.context import SparkContext之后，我得到了ModuleNotFoundError: No module named 'awsglue.context'。pythonshell作业似乎无法访问粘合上下文？有人解决了这个问题吗
Tags： no文档httpsawsdocsamazon作业context
热门问题
- 如何在Excel中读取公式并将其转换为Python中的计算？
- 如何在excel中读取嵌入的excel，并将嵌入文件中的信息存储在主excel文件中？
- 如何在Excel中返回未知列长度的非空顶行列值？
- 如何在excel中选择数据列？
- 如何在Excel中通过脚本自动为一列中的所有单元格创建公共别名
- 如何在excel中高效格式化范围AttributeError:“tuple”对象没有属性“fill”
- 如何在excel单元格中编写python函数
- 如何在excel单元格中自动执行此python代码？
- 如何在excel工作表中创建具有相应值的新列
- 如何在Excel工作表中复制条件为单元格颜色的python数据框？
- 如何在Excel工作表中循环
- 如何在excel工作表中打印嵌套词典？
- 如何在excel工作表中绘制所有类的继承树？
- 如何在Excel工作表中自动调整列宽？
- 如何在excel工作表中追加并进一步处理
- 如何在excel工作表之间进行更改？
- 如何在excel或csv上获取selenium数据？
- 如何在Excel或Python中将正确的值赋给正确的列
- 如何在excel或python中提取单词周围的文本？
- 如何在excel或python中转换来自Jira的3w 1d 4h的fromat数据？
热门文章
- Python覆盖写入文件
- 怎样创建一个 Python 列表？
- Python3 List append()方法使用
- 派森语言
- Python List pop()方法
- Python Django Web典型模块开发实战
- Python input() 函数
- Python3 列表(list) clear()方法
- Python游戏编程入门
- 如何创建一个空的set?
- python如何定义(创建)一个字符串
- Python标准库 [The Python Standard Library by Ex
- Python网络数据爬取及分析从入门到精通（分析篇）
- Python3 for 循环语句
- Python List insert() 方法
- Python 字典(Dictionary) update()方法
- Python编程无师自通 专业程序员的养成
- Python3 List count()方法
- Python 网络爬虫实战 [Web Crawler With Python]
- Python Cookbook（第2版）中文版
pythonshell作业纯粹是基于python的环境，不能访问pyspark（后端的EMR）。您将无法访问此处的上下文属性。这纯粹是一个spark概念，glue本质上是pyspark的包装
我正在更多地研究粘合python外壳作业，并解决spark作业和pyshell作业之间共享的一些代码文件中的一些依赖关系。我能够通过在requirements.txt中创建.egg/.whl文件来解决pyspark依赖关系，pyspark==2.4.7。因为另一个库需要该版本
您仍然不能使用Emerson上面提到的pyspark上下文，因为这是python运行时，而不是spark运行时
因此，当使用setuptools构建分发时，可以有一个如下所示的requirements.txt，并且在安装shell时，它将安装这些依赖项：
相关问题 更多 >
编程相关推荐