未提供项目说明
gdmix-trainer的Python项目详细描述
GDMix公司
这是什么
广义DeepMixed Model（GDMix）是一个训练非线性固定效应和随机效应模型的框架。这类模型在个性化搜索推荐系统中得到了广泛的应用。这个项目是我们早期在广义线性模型Photon ML上所做努力的延伸。它在Tensorflow、Scipy和Spark中实现。在
当前版本的GDMix支持logistic回归和固定效应的DeText模型，然后支持随机效应的logistic回归。在未来，如果相关度量的改进可以证明复杂性的增加，我们可能会支持随机效应的深层模型。在
支持的模型
逻辑回归
logistic回归作为一种基本的分类模型，由于其模型简单、训练效率高，在搜索推荐系统中得到了广泛的应用。我们的实现使用Tensorflow进行数据读取和梯度计算，并使用Scipy的L-BFGS解算器。这种组合利用了张量流的多功能性和L-BFGS的快速收敛性。这种模式在功能上等同于光子ML，但效率有所提高。我们的内部测试显示，在各种数据集上，训练速度提高了10%到40%。在
DeText模型
DeText是一个以文本特征为重点的排名框架。GDMix将DeText培训作为一个全球模型在本地提供支持。用户可以将固定效果模型类型指定为DeText，然后提供网络规格。GDMix将自动训练和评分，并将模型连接到后续的随机效应模型。目前，只有DeText的点态损失函数才被允许与logistic回归随机效应模型相联系。在
其他型号
GDMix可以与任何深入学习的固定效应模型一起工作。GDMix与其他模型的接口在文件I/O处，用户可以在GDMix外部训练一个模型，然后用该模型对训练数据进行评分，并将得分保存在文件中，作为GDMix随机效应训练的输入。这使得用户能够根据GDMix本身不支持的自定义固定效应模型的分数来训练随机效应模型。在
培训效率
对于logistic回归模型，通过并行训练来提高训练效率。由于固定效应模型通常需要对大量的数据进行训练，因此采用了基于张量流全归约运算的同步训练。每个工人取一部分训练数据，计算局部梯度。梯度被聚集，然后输入到L-BFGS解算器。每个随机效应模型的训练数据集通常很小，但是模型的数量（例如所有LinkedIn成员的单个模型）可能在数亿个左右。这需要一个划分和并行的培训策略，每个工人负责一部分人口，所有工人独立地同时训练他们指定的模型。在
对于DeText模型，无论是基于Tensorflow的参数服务器异步分布式训练，还是基于Horovod的同步分布式训练，都可以提高效率。在
- 项目
标签：
欢迎加入QQ群-->： 979659372
