我正在尝试使用databricks python笔记本将文件从一个文件夹移动到另一个文件夹。 我的来源是azure DataLake gen 1
假设我的文件存在adl://testdatalakegen12021.azuredatalakestore.net/source/test.csv 我正试图将文件从adl://testdatalakegen12021.azuredatalakestore.net/demo/test.csv 到adl://testdatalakegen12021.azuredatalakestore.net/destination/movedtest.csv
我尝试了各种逻辑,但没有一个代码工作正常
# Move a file by renaming it's path
import os
import shutil
os.rename('adl://testdatalakegen12021.azuredatalakestore.net/demo/test.csv', 'adl://testdatalakegen12021.azuredatalakestore.net/demo/renamedtest.csv')
# Move a file from the directory d1 to d2
shutil.move('adl://testdatalakegen12021.azuredatalakestore.net/demo/test.csv', 'adl://testdatalakegen12021.azuredatalakestore.net/destination/renamedtest.csv')
请让我知道我是否使用了正确的逻辑,因为我是在databricks上执行此操作的,而不是在本地执行此操作
要在databricks笔记本中移动文件,可以使用dbutils如下所示:
以下是在DataRicks上将文件从一个文件夹移动到另一个文件夹的步骤:
将Azure Data Lake存储Gen1装载到databricks工作区:
参考:Mount Azure Data Lake Storage Gen1 resource using a service principal and OAuth 2.0
使用
%fs
命令移动文件使用
dbutils
命令移动文件:您可能还希望移动/或复制文件而不包含其子目录
相关问题 更多 >
编程相关推荐