使用pyspark连接到配置单元表

Question

我试图从pyspark查询配置单元表。在

我使用以下语句：

from pyspark.sql import HiveContext    
HiveContext(sc).sql('from `dbname.tableName` select `*`')

我对hadoop系统非常陌生。 需要了解从配置单元表中获取一些数据并将其存储到数据帧中以进一步编写程序的正确方法。在

Answer 1

sqlCtx.sql有权访问配置单元表。你可以用下面的方法。在

my_dataframe = sqlCtx.sql("Select * from employees")

my_dataframe.show()