如何保存AzureML管道的输出

2024-04-24 09:41:25 发布

您现在位置:Python中文网/ 问答频道 /正文

我遵循微软提供的基本管道基础设施,共分两步

munge_data = PipelineData('munge_data', datastore=ds_pipeline)
output_data = PipelineData('output_data', datastore=ds_pipeline)

step1 = PythonScriptStep(
    name="generate_data",
    script_name="step1.py",
    runconfig = aml_run_config,
    arguments = ["--output_path", step1_output_data],
    inputs = [step1_output_data.as_input],
    outputs = [munge_data]
)

step2 = PythonScriptStep(
    name="read_pipeline_data",
    script_name="step2.py",
    compute_target=compute,
    runconfig = aml_run_config,
    arguments = ["--pd", step1_output_data.as_input, "--output_dir", output_data],
    inputs = [munge_data],
    outputs = [output_data]
)

pipeline = Pipeline(workspace=ws, steps=[step1, step2])

但我希望能够在提交管道之前复制每个PythonScriptStep的输出,并将它们上载到Azure blob存储。这可能吗?我一直在尝试各种步骤,但都没有达到预期的效果


Tags: namepyoutputdata管道pipelinedsscript