在为Google的AI平台开发培训包时,我希望使用私有github存储库中的custom dependencies(每个存储库都有一个setup.py
)。使用^{
我在文档(adding custom dependencies)中找到的唯一方法是首先为依赖项创建sdist和/或wheel二进制包(例如dep1.tar.gz
和/或dep2.whl
),然后使用:
gcloud ai-platform jobs submit training $JOB_NAME \
--staging-bucket $PACKAGE_STAGING_PATH \
--package-path /Users/mluser/models/faces/trainer \
--module-name $MAIN_TRAINER_MODULE \
--packages /gcp-storage/url/or/path/to/dep1.tar.gz, /gcp-storage/url/or/path/to/dep2.whl \
--region us-central1 \
-- \
--user_first_arg=first_arg_value \
--user_second_arg=second_arg_value
据我所知,只有使用^{
但是,这使得在可编辑/开发模式下本地处理这些依赖项变得很困难,因为每次更改后都需要构建它们(例如python setup.py bdist_wheel
),以便为下一次培训运行获取更新的.whl
文件
有没有办法直接指定私有git repo的URL(包括私有repo所需的凭据)或指定本地源目录
还是在虚拟机中使用custom container或训练更好,以防我仍然在可编辑/开发模式下使用依赖项
目前没有回答
相关问题 更多 >
编程相关推荐