进气镶木地板插件

intake-parquet的Python项目详细描述


#进气镶木地板

[![生成状态](https://travis-ci.org/ContinuumIO/intake-parquet.svg?branch=master)](https://travis-ci.org/ContinuumIO/intake-parquet) [![文档状态](https://readthedocs.org/projects/intake-parquet/badge/?version=latest)](http://intake-parquet.readthedocs.io/en/latest/?徽章=最新)

[进气数据加载器](https://github.com/ContinuumIO/intake/)接口到拼花地板二进制表格数据格式。

拼花在大数据生态系统中非常流行,因为它提供了 以及对数据的分块访问,具有高效的编码和压缩。这使得 这种格式特别适用于在 更大的数据集,因此它与hadoop和spark一起使用。

拼花数据可以是单个文件、文件目录或嵌套目录,其中 目录名在数据分区中是有意义的。

###功能

镶木地板插件允许:

  • 高效的元数据解析,因此您知道数据类型和记录数 加载任何数据
  • 分区的随机访问
  • 列和索引选择,仅加载所需的数据
  • 传递基于值的筛选器,即只加载包含 有效数据(注意:不过滤分区内的值)

###安装

conda安装说明如下:

` conda install -cconda-forgeintake-parquet `

###示例

请参阅examples/目录中的笔记本。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
当使用RequestDispatcher时,servlets Java最终没有被调用   java生成对具有可变参数数的方法的调用   java如何使用select子句中的参数化列映射iBATIS的查询?   java无法创建类型为org的插件。阿帕奇。登录中。log4j。果心阿佩德。元素RollingFile的RollingFileAppender   java当子实体和父实体之间存在OneTONE JPA关系时,是否可以将其与父实体一起持久化?   Android上的java Facebook集成fbconnect断开链接   获取方法调用方的java机制   从列表创建Oracle阵列时出现java问题   添加和检索元素的ArrayList的java ArrayList   在java中从字符串中删除无效的XML字符   java如何构建完整生成的maven模块   java如何准确地改变播放所有分辨率midi文件的速度?   shell javac:无效标志:/src/中位_度。ubuntu中的java   java使用从其他类的方法检索到的信息