如何在DataRicks中使用R读取Scala创建的临时视图?

2024-04-19 08:30:05 发布

您现在位置:Python中文网/ 问答频道 /正文

我是Databricks的新手,我正在尝试使用R语言读取用Scala创建的临时表。在使用Scala导入表之前,我建立了与公司数据库的连接。这就是我没有成功使用的代码。我省略了带有“xxxx”的连接凭据。我知道我必须使用SparkyR包来完成这项工作,所以假设我已经加载了这个包

%scala
val jdbcUsername = "xxxx"
val jdbcPassword = "xxxx"
val jdbcHostname = "xxxx" 
val jdbcPort = 9999
val jdbcDatabase ="xxxx"

import java.util.Properties

val jdbc_url = s"xxxx"
val connectionProperties = new Properties()
connectionProperties.put("user", s"${jdbcUsername}")
connectionProperties.put("password", s"${jdbcPassword}") 

val task = spark.read.jdbc(jdbc_url, "dbo.task", connectionProperties)
task.createOrReplaceTempView("task_temp")
teste = spark_load_table("task_temp")

输出错误:

Error in UseMethod("hive_context") : Error in UseMethod("hive_context") : 
  no applicable method for 'hive_context' applied to an object of class "character"

我可以使用python阅读,如下所示:

%python
task_teste = spark.table("task_temp")

但正如我提到的,我需要用R来阅读


Tags: urltaskputcontextvalpropertiestempspark