gcloud平台培训:是否可以使用私有存储库作为依赖项

2024-05-13 05:17:42 发布

您现在位置:Python中文网/ 问答频道 /正文

在为Google的AI平台开发培训包时,我希望使用私有github存储库中的custom dependencies(每个存储库都有一个setup.py)。使用^{}命令指定这些依赖项的选项有哪些

我在文档(adding custom dependencies)中找到的唯一方法是首先为依赖项创建sdist和/或wheel二进制包(例如dep1.tar.gz和/或dep2.whl),然后使用:

gcloud ai-platform jobs submit training $JOB_NAME \
    --staging-bucket $PACKAGE_STAGING_PATH \
    --package-path /Users/mluser/models/faces/trainer \
    --module-name $MAIN_TRAINER_MODULE \
    --packages /gcp-storage/url/or/path/to/dep1.tar.gz, /gcp-storage/url/or/path/to/dep2.whl \
    --region us-central1 \
    -- \
    --user_first_arg=first_arg_value \
    --user_second_arg=second_arg_value

据我所知,只有使用^{}选项才能从本地文件夹或gcp bucket使用sdist/wheel格式的包

但是,这使得在可编辑/开发模式下本地处理这些依赖项变得很困难,因为每次更改后都需要构建它们(例如python setup.py bdist_wheel),以便为下一次培训运行获取更新的.whl文件

有没有办法直接指定私有git repo的URL(包括私有repo所需的凭据)或指定本地源目录

还是在虚拟机中使用custom container或训练更好,以防我仍然在可编辑/开发模式下使用依赖项


Tags: pathpy选项customsetupargdependenciestar