为培训定制sagemaker容器,每天向AWS RDS写入预测

2024-04-27 13:48:16 发布

您现在位置:Python中文网/ 问答频道 /正文

我有3个主要的过程来执行使用亚马逊SageMaker。你知道吗

  1. 使用自己的培训python脚本(不使用sagemaker容器、内置算法)[训练.py]你知道吗

->;为此,我参考了以下链接:
Bring own algorithm to AWS sagemaker 似乎我们可以将自己的训练脚本带到sagemaker管理的训练设置中,模型工件可以上传到s3等。 注:我使用轻型GBM模型进行培训。你知道吗

  1. 将预测写入AWS RDS数据库:

->;不需要部署模型和创建端点,因为培训每天都会进行,培训完成后会立即创建预测。(需要在中生成预测)训练.py(自身)

->;挑战是如何在AWS RDS DB中从训练.py脚本。(假设脚本在私有专有网络中运行)

  1. 将此过程安排为每日作业:

--->;我已经完成了AWS step功能,似乎是触发日常培训并将预测写入RDS的方法。你知道吗

-->;挑战是如何对基于时间的触发器而不是基于事件使用步长函数。

有什么建议吗?有什么最佳实践可以遵循吗?先谢谢你。你知道吗


Tags: py模型gt脚本算法aws链接过程
1条回答
网友
1楼 · 发布于 2024-04-27 13:48:16

按计划触发Step函数的方法是使用CloudWatch事件(类似cron)。查看本教程:https://docs.aws.amazon.com/step-functions/latest/dg/tutorial-cloudwatch-events-target.html

不要从Python代码中写入RDS!最好将输出写入S3,然后将S3中的文件“复制”到RDS中。解耦这些批将使过程更可靠和可扩展。当文件写入S3或数据库不太忙时,您可以触发批量复制到RDS。你知道吗

相关问题 更多 >