实用程序,用于使用带有

spylon的Python项目详细描述


Version_StatusTravisConda_ForgeDocs

一组兼容性例程,使与scala的交互更容易 Python。

有时,以python为中心的数据商店需要使用jvm语言来提高性能 原因。一般来说,这需要扔掉所有的python存储库 编码并重新开始或求助于服务架构(例如,apache 节俭增加了系统的复杂性。

你不必。

使用py4j和spylon,您可以很容易地与scala代码交互以获得更多 代码中性能关键的部分,而其余部分则不做修改。

或者,您可以使用它作为一个桥梁,允许为 scala/java代码库。

安装

Spylon可以从PIP或Conda Forge安装。

从pip安装时,如果希望与apache spark一起使用,则应运行

` pip install spylon[spark] `

用法

使用spylon最简单的方法是使用它来帮助编写pyspark作业。 如果您想提供自己的jar以供spark用户定义的方式加载 函数,您需要向jar提供udf实现,以通过 Spark提交。

为了获得更轻松的交互体验,您可以使用提供的apache spark启动程序,使从 在python jupyter笔记本里。

扩展名

spylon是一个易于扩展的工具包。因为apache spark是 用户或者py4j,已经实现了一些特殊的用例,并且 Spylon的一些用例示例。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
具有x86javapath的x64机器上x86java上的java JNI未满足链接错误   java将Pixmap的一部分上传到GPU   图像Java位图RLE8格式   java Android studio谷歌广告崩溃应用程序   java如何创建包含未知数量对象的变量?   Java计算给定int数组的所有可能组合   java JDBC classnotfound异常   httpclient中的java将HttpEntity转换为字符串的最优雅/正确的方法是什么?   如何从Java程序运行nano?   java在安卓中调用自定义类/方法   调用方法和JOptionPane后,允许代码继续执行所需的java计时器或其他想法   关于侦听器的向量Java并发问题   线程池执行器Java线程池   java配置DTO上的Swagger javax验证约束   Java中用于按钮功能的swing操作命令   ServletOutputStream中的java设置状态代码   java打印输入数组的平均值