Python中文
首页
教程
问答
标签
搜索
登录
注册
使用按需高清Insight clus从Azure datafactory V2访问datalake
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我正在尝试使用azuredatafactory从按需hdinsight集群执行spark作业。在</p> <p>文档清楚地表明,ADF(v2)不支持按需hdinsight集群的datalake链接服务,必须将数据从复制活动复制到blob,然后执行作业。但是,对于一个datalake上的10亿个文件来说,这种解决方法似乎是一个非常昂贵的资源。有没有什么有效的方法可以从执行spark作业的python脚本访问datalake文件,或者其他直接访问这些文件的方法。在</p> <p>另外,从v1开始有没有可能做类似的事情,如果是,那怎么做?”在HDInsight中使用Azure数据工厂创建按需Hadoop集群“描述访问blob存储的随需应变Hadoop集群,但我想要访问datalake的随需应变spark集群。在</p> <p>p.p.s提前谢谢</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>Blob存储用于按需集群将使用的脚本和配置文件。例如,在您编写并存储在附加的Blob存储中的脚本中,它们可以从ADLS写入SQLDB。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
创建一个python程序,从websi中提取文件
2 回答
创建一个python程序,告诉我名字和出生年份的人的年龄
4 回答
创建一个Python程序,它接受一个简短的描述并从给定的集合返回一个解决方案(使用nlp)
5 回答
创建一个python程序,用户在其中输入一个月,它会告诉您y的下一个月
3 回答
创建一个python程序,要求用户输入一个偶数奇数
1 回答
创建一个Python程序来修改名称以digi结尾的目录的文本文件
4 回答
创建一个python程序来猜测用户的“秘密号码”?
7 回答
创建一个python算法来训练keras模型来预测一个大的整数序列
1 回答
创建一个python类,它被视为一个列表,但是有更多的特性?
5 回答
创建一个Python类,我可以将其序列化为一个嵌套的JSON obj
5 回答
创建一个python类来查找直线的斜率和长度
10 回答
创建一个Python网络爬虫来获取谷歌Play商店应用程序的元数据
4 回答
创建一个Python网页
2 回答
创建一个python脚本,不断从excel文件中读取数据并进行计算
7 回答
创建一个python脚本,使用tcpdump计算到达网站的数据包数量?
4 回答
创建一个Python脚本,可以运行其他SAS程序并更新Excel工作簿。
2 回答
创建一个python脚本,它将读取csv文件,并使用该输入从web抓取数据finviz.com网站然后将数据导出到csv fi中
5 回答
创建一个python脚本,用mysql数据库中的结构和数据文件创建一个sql转储
7 回答
创建一个python脚本,该脚本将对某个键进行文本文件搜索,并将编号复制到新文件中
1 回答
创建一个Python脚本,该脚本连接到特定端口(SMTP)上的一系列IP
1 回答