我可以在远程机器上启动python进程以扩展计算能力吗？

Question

我想在一个Python应用程序中扩展一些计算能力。

我现在在一台多核机器上运行这个程序，随着我启动的进程数量增加，它的性能基本上是线性增长的。

我希望能在远程机器上启动更多的进程，可以使用Azure Functions或者容器服务。

我发现Ray是一个可以实现这个目标的框架，不过它需要一组虚拟机，而对于我的需求来说，简单地在无服务器计算上扩展来进行一次性的计算就足够了。

有没有什么方法可以实现这个目标呢？

我考虑过在Azure Container Apps上部署一个fastAPI应用，让它自动扩展，接受一个要执行的Python函数，并执行它，最后将结果以pickle序列化的对象返回。

这样做有点效果，但感觉不是最优的（更不用说让一个服务器执行任意Python代码带来的明显安全问题）。