梯度ml-sdk
gradient-sdk的Python项目详细描述
梯度ml sdk
这是一个sdk，用于执行梯度的机器学习，旨在与Paperspace基础设施一起工作。
记住： 目前，这个sdk不支持paperspace基础设施之外的机器！
要求
这个sdk需要python 3.5+。
要安装它，请运行：
pip install gradient-sdk
用法
多节点助手函数
多节点grpc tensorflow
设置tf_config环境变量
对于多工人培训，需要为集群中运行的每个二进制文件设置TF_CONFIG环境变量。将TF_CONFIG的值设置为json字符串，该字符串指定集群中的每个任务，包括集群中每个任务的地址和角色。我们在tensorflow/economic repo中提供了一个kubernetes模板，它为您的培训任务设置了TF_CONFIG。
get_tf_config（）
函数设置在Paperspace基础结构中的计算机上运行时TF_CONFIG的值。
如果它在特定机器中的配置有问题，它可以通过消息引发ConfigError异常。
用法示例：
fromgradient_sdkimportget_tf_configget_tf_config()
超参数调整
目前，gradient:只支持用于超参数调整的hyperopt。
hyper_tune（）
函数来运行超参数优化。
它接受以下参数：
train_model要优化的用户模型。hparam_def搜索空间的用户定义（范围）。 要设置此值，请参阅hyperopt documentation。algo搜索算法。 default：tpe.suggest（来自hyperopt）。max_ecals在返回之前允许的最大功能评估数。 默认值：25。func要由超调运行的函数。 default：fmin（来自hyperopt）。如果您不知道自己在做什么，请不要更改此值！
它返回一个dict，其中包含有关调整过程的信息。
如果没有到MongoDB的连接，它可以引发消息的ConfigError异常。
注意：您不必担心设置MongoDB版本；它将在Paperspace基础结构中设置，用于超参数调整。
用法示例：
fromgradient_sdkimporthyper_tune# Prepare model and search scope# minimal versionargmin1=hyper_tune(model,scope)# pass more argumentsargmin2=hyper_tune(model,scope,algo=tpe.suggest,max_evals=100)
实用功能
get_mongo_conn_str（）
函数来检查和构造MongoDB连接字符串。
它返回到MongoDB的连接字符串。
如果用于准备MongoDB连接字符串的任何值有问题，它会引发消息的ConfigError异常。
用法示例：
fromgradient_sdkimportget_mongo_conn_strconn_str=get_mongo_conn_str()
数据目录（）
函数检索作业空间的路径。
用法示例：
fromgradient_sdkimportdata_dirjob_space=data_dir()
model_dir（）
函数检索模型空间的路径。
用法示例：
fromgradient_sdkimportmodel_dirmodel_path=model_dir(model_name)
export_dir（）
函数检索模型导出的路径。
用法示例：
fromgradient_sdkimportexport_dirmodel_path=export_dir(model_name)
worker_hosts（）
函数检索有关工作主机的信息。
用法示例：
fromgradient_sdkimportworker_hostsmodel_path=worker_hosts()
ps_hosts（）
函数检索有关Paperspace主机的信息。
用法示例：
fromgradient_sdkimportps_hostsmodel_path=ps_hosts()
task_index（）
函数检索有关任务索引的信息。
用法示例：
fromgradient_sdkimporttask_indexmodel_path=task_index()
作业名称（）
函数检索有关作业名称的信息。
用法示例：
fromgradient_sdkimportjob_namemodel_path=job_name()
欢迎加入QQ群-->： 979659372
