在创建过程中,我们可以通过从SQL查找表中传递值来对装载点名称进行变量化

2024-06-16 14:02:34 发布

您现在位置:Python中文网/ 问答频道 /正文

提前感谢这个网站是非常棒的

问题:

我们可以在创建数据帧时对挂载点名称和文件名进行变量化吗

挂载名称:从comaytable中选择公司(将comapy名称作为挂载点变量传递)

来源=”wasbs://uidbddnnps@dmodddssa.blob.core.windows.net“, mount_point=“/mnt/”变量名称, extra_configs={“fs.azure.sas.uiasaps.dmodssdgdgarea.blob.core.windows.net”:dbutils.secrets.get(scope=“AIdsT”,key=“keydmodslarea”)}) 打印(=>;成功)

文件名Variablzie:

df=spark.read.format(“csv”).option(“sep”、“,”).options(header=“true”,inferschema=“true”).option(“escape”、“”).load(“/mnt/AT/VARIABLIZE.csv”)

我们可以从datafactory传递这个值吗?如果需要,我也可以使用它


Tags: csv数据core名称truenet网站文件名
2条回答

您可以签出以下提到的步骤:

步骤1:声明变量:

mountname = 'test'
csvname = 'original.csv'
path = "dbfs:/mnt/{0}/{1}".format(mountname,csvname)

步骤2:装载存储帐户

dbutils.fs.mount(
  source = "wasbs://test@chepra.blob.core.windows.net/",
  mount_point = "/mnt/{0}".format(mountname),
  extra_configs = {"fs.azure.sas.test.chepra.blob.core.windows.net":"gv7nXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXlOiA=="})
print("=> Succeeded") 

步骤3:创建Spark数据帧

df = spark.read.format("csv").option("sep", ",").options(header= "true", inferschema='true').option('escape','"').load("{0}".format(path))

enter image description here

只是想了解一下,您有一个ADF,在其中调用查找(运行SQL查询),目的是希望将值从查找传递到笔记本

如果是这种情况,我们可以通过实现查找活动和foreach(循环所有记录。在foreach中,请使用笔记本活动,将其指向要运行的笔记本,并传递公司的价值(如@item()等)https://docs.microsoft.com/en-us/azure/data-factory/control-flow-lookup-activity

在笔记本上,您可以使用小部件并获取作为传入参数的值

CompanyName=dbutils.widgets.get(“CompanyName”)

如果你有任何问题,请告诉我

相关问题 更多 >