实用程序,用于使用带有
spylon的Python项目详细描述
一组兼容性例程,使与scala的交互更容易 Python。
有时,以python为中心的数据商店需要使用jvm语言来提高性能 原因。一般来说,这需要扔掉所有的python存储库 编码并重新开始或求助于服务架构(例如,apache 节俭增加了系统的复杂性。
你不必。
使用py4j和spylon,您可以很容易地与scala代码交互以获得更多 代码中性能关键的部分,而其余部分则不做修改。
或者,您可以使用它作为一个桥梁,允许为 scala/java代码库。
安装
Spylon可以从PIP或Conda Forge安装。
从pip安装时,如果希望与apache spark一起使用,则应运行
` pip install spylon[spark] `
用法
使用spylon最简单的方法是使用它来帮助编写pyspark作业。 如果您想提供自己的jar以供spark用户定义的方式加载 函数,您需要向jar提供udf实现,以通过 Spark提交。
为了获得更轻松的交互体验,您可以使用提供的apache spark启动程序,使从 在python jupyter笔记本里。
扩展名
spylon是一个易于扩展的工具包。因为apache spark是 用户或者py4j,已经实现了一些特殊的用例,并且 Spylon的一些用例示例。