如何使用pytorch在sagemaker中创建管道

Question

我在sagemaker中处理文本数据的分类问题。在这里，我首先拟合并将其转换为结构化格式（比如在sklearn中使用TFIDF），然后将结果保存在S3 bucket中，并用它来训练我的pytorch模型，在我的入口点中为其编写了代码。在

如果我们注意到，在上述过程结束时，我有两个模型

1. SKLERN TFIDF模型
2. 实际Pythorch模型

所以，当我每次需要预测一个新的文本数据时，我需要用我在培训期间创建的TFIDF模型分别处理（转换）文本数据。在

如何使用sklearn的TFIDF和pytorch模型在sagemaker中创建管道。在

如果我在entrypoint的main方法中使用TFIDF拟合和转换文本数据，那么如果我在main方法中训练pytorch模型，我只能返回一个将在model_fn（）中使用的模型

Answer 1

显然，我们需要使用推理管道。在

推理管道是一个Amazon-SageMaker模型，它由两到五个容器组成的线性序列组成，这些容器处理对数据的推断请求。您可以使用推理管道来定义和部署经过预训练的Amazon SageMaker内置算法和打包在Docker容器中的自定义算法的任何组合。您可以使用推理管道来组合预处理、预测和后处理数据科学任务。推理管道是完全管理的。在

你可以看这里的文件-

https://docs.aws.amazon.com/sagemaker/latest/dg/inference-pipelines.html

示例-

https://github.com/awslabs/amazon-sagemaker-examples/blob/master/sagemaker-python-sdk/scikit_learn_inference_pipeline/Inference%20Pipeline%20with%20Scikit-learn%20and%20Linear%20Learner.ipynb

Answer 2

首先，在这里查看mnist示例：

https://github.com/awslabs/amazon-sagemaker-examples/blob/master/sagemaker-python-sdk/pytorch_mnist/pytorch_mnist.ipynb

在脚本模式下，您可以运行代码（在mnist.py)使用下面的估计值。在

from sagemaker.pytorch import PyTorch

estimator = PyTorch(entry_point='mnist.py',
                    role=role,
                    framework_version='1.1.0',
                    train_instance_count=2,
                    train_instance_type='ml.c4.xlarge',
                    hyperparameters={
                        'epochs': 6,
                        'backend': 'gloo'
                    })

只需更新mnist.py根据tfidf管道编写脚本。希望这有帮助。在