将python代码转换为python spark代码

Question

下面的代码是用Python编写的，基本上我想把这段代码转换成pyspark 我不确定将语句-pd.read\u sql（query，connect\u to\u hive）转换为pyspark的代码是什么

需要从EDL中提取数据，因此使用PYODBC连接到EDL，并使用sql查询提取数据

到企业数据湖的pyodbc连接：

connect_to_hive = pyodbc.connect("DSN=Hive", autocommit=True)
transaction=pd.read_sql(query, connect_to_hive)
connect_to_hive.close()

#查询函数：下面是一个基本的sql查询，用于复制此问题

query=f'''
with trans as (
    SELECT
        a.employee_name,
        a.employee_id
    
    FROM EMP
'''

Answer 1

上述代码可以转换为SparkSQL代码，如下所示：

spark = SparkSession.builder.enableHiveSupport().getOrCreate()

query=f'''
with trans as (
    SELECT
        a.employee_name,
        a.employee_id
    
    FROM EMP
'''

employeeDF = spark.sql(query)

employeeDF.show(truncate=False)

查询将在配置单元上按原样运行，结果将作为Spark数据帧提供给您