如何通过托管在azurehdinsight上的restapi调用pythonjupyter笔记本?

2024-04-25 19:08:48 发布

您现在位置:Python中文网/ 问答频道 /正文

我已经安装了HDInsight。同样,我使用PySpark和python3支持创建了一些文件。在

我打算通过restapi调用这个Python笔记本,Livy服务器似乎是前进的方向。在

我面临的问题是,在Livy服务器上,暴露Python笔记本不起作用。在

有没有办法允许Python笔记本通过livyapi在外部调用?在


Tags: 文件服务器restapi笔记本方向python3pyspark办法
1条回答
网友
1楼 · 发布于 2024-04-25 19:08:48

对notebook不太确定,但是HDInsight SDK for Python提供了允许您管理HDInsight集群的类和方法。它包括创建、删除、更新、列出、调整大小、执行脚本操作、监视、获取HDInsight群集属性等操作。在

相同的PIP包:

pip install azure-mgmt-hdinsight

首先需要使用你的Azure订阅对SDK进行身份验证。在

登录:

^{pr2}$

HDInsight提供了一种称为脚本操作的配置方法,该方法调用自定义脚本来定制集群。在

script_action1 = RuntimeScriptAction(name="<Script Name>", uri="<URL To Script>", roles=[<List of Roles>]) #valid roles are "headnode", "workernode", "zookeepernode", and "edgenode"

client.clusters.execute_script_actions("<Resource Group Name>", "<Cluster Name>", <persist_on_success (bool)>, script_actions=[script_action1]) #add more RuntimeScriptActions to the list to execute multiple scripts

要列出指定群集的所有持久化脚本操作,请执行以下操作:

scripts_paged = client.script_actions.list_persisted_scripts(resource_group_name, cluster_name)
while True:
  try:
    for script in scripts_paged.advance_page():
      print(script)
  except StopIteration:
    break

看看有没有帮助。在

相关问题 更多 >

    热门问题