Databricks：将dataframe合并到sql datawarehouse选项卡中

Question

是否有任何方法可以向上插入SQL数据仓库表？ 假设我有一个Azure SQL数据仓库表： 列1列2列3 2019 09 10 2019年10月15日

我有一个数据帧 列1列2列3 2019 10 20 2019年11月30日

然后合并到Azure数据仓库表的原始表中

列1列2列3 2019 09 10 2019 10 20 2019年11月30日

谢谢大家的建议

Answer 1

您可以将输出保存在文件中，然后使用azure数据工厂中的存储过程活动进行升级。只是一个小程序，它将从文件中插入值。我假设您正在这里使用Azure数据工厂。你知道吗

Answer 2

好问题。我需要在几天内做同样的事情；只需要先完成一个初步的事情。尝试下面的概念，看看它是否适合你。你知道吗

写入Azure SQL数据库或SQL Server:

import com.microsoft.azure.sqldb.spark.config.Config
import com.microsoft.azure.sqldb.spark.connect._

// Aquire a DataFrame collection (val collection)

val config = Config(Map(
  "url"          -> "mysqlserver.database.windows.net",
  "databaseName" -> "MyDatabase",
  "dbTable"      -> "dbo.Clients",
  "user"         -> "username",
  "password"     -> "xxxxxxxx"
))

import org.apache.spark.sql.SaveMode

collection.write.mode(SaveMode.Append).sqlDB(config)

请给我反馈，让我知道它是否适合你。我必须很快完成。你知道吗

https://docs.databricks.com/data/data-sources/sql-databases-azure.html

https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-connect-to-sql-database