- 当前热门话题：
Python parquet
-
本站为您提供最新、最全的parquet的Python教程、文档、代码、资源等相关内容，Python中文网技术交流社区同时还提供学习资源下载，
如：电子书、IDE编辑器软件、编程视频、代码规范标准、WEB开发、GUI、科学计算与人工智能等相关内容。
本文网址：https://www.cnpython.com/tags/292840
欢迎加入QQ群-->： 979659372
关于parquet 相关联的Python项目和问题：
最新问答
我在Spark很新，我一直试图在Spark中将一个数据帧转换成一个拼花文件，但还没有成功。documentation表示我可以使用write.parquet函数来创建文件。但是，当我运行脚本时，它显示 ...
已阅读: n次
我正在用以下方法从Spark数据帧中编写一个拼花文件：
df.write.parquet("path/myfile.parquet", mode = "overwrite", compression= ...
已阅读: n次
我是新来的火花，我无法找到这个。。。我有很多拼花文件上传到s3的位置：
s3://a-dps/d-l/sco/alpha/20160930/parquet/
此文件夹的总大小为20+ Gb，。如何将 ...
已阅读: n次
我在S3中有拼花数据，由nyc_date以s3://mybucket/mykey/nyc_date=Y-m-d/*.gz.parquet格式分区。
我有一个DateType列event_date，当我 ...
已阅读: n次
我有一个数百万的记录SQL表，我打算用pyarrow库把它写到一个文件夹中的许多parquet文件中。数据内容似乎太大，无法存储在单个拼花文件中。在
但是，使用参数pyt或API似乎无法指定：
fil ...
已阅读: n次
我们正在用Spark加载文件目录的层次结构，并将它们转换为Parquet。数百个管道分隔的文件中有数十GB。有些本身就很大。
比如说，每100个文件都有一两行有一个额外的分隔符，使整个进程（或文件）中 ...
已阅读: n次
我在容器中使用pandas，得到以下错误：
Traceback (most recent call last):
File "/volumes/dependencies/site-packages ...
已阅读: n次
使用boto3（1.4.4）、pyarrow（0.4.1）和pandas（0.20.3），我有一种实现这一点的方法。
首先，我可以在本地读取一个拼花文件，如下所示：
import pyarrow.pa ...
已阅读: n次
下面有多个目录。我正在尝试自动读取所有拼花地板文件，并查看它们的列名是否包含字符串“prodcolor”。一件事是并非所有目录都有拼花文件，并且在这部分hdfs://user/hive/warehou ...
已阅读: n次
在SO中已经有了一个很好的问题，但是最好的答案现在已经有5年了，所以我认为2018年应该会有更好的选择。在
我目前正在寻找一个大于内存的数据集的特性工程管道（使用合适的数据类型）。在
初始文件是一个c ...
已阅读: n次
如何使用pyarrow将自定义元数据存储到ParquetDataset
例如，如果我使用Dask创建拼花地板数据集
import dask
dask.datasets.timeseries().to_ ...
已阅读: n次
我想从S3读取多个拼花文件到一个数据帧中。目前，我正在使用以下方法执行此操作：
files = ['s3a://dev/2017/01/03/data.parquet',
's3a: ...
已阅读: n次
最新项目
主要功能
批量上传csv（实际上是任何*sv）文件到elasticsearch
批量上传json文件/json行到elasticsearch
批量上传拼花文件到ElasticSearch
预定义自 ...
已阅读: n次
#熊猫大熊猫的大熊猫大熊猫大熊猫扩展数据框excel默认情况下，pandas将本机读取到s3，但不会写入s3。写入xls:`` bashpip install pandas` ext[xls]```` ...
已阅读: n次
PARQ2CSV
将拼花文件转换为csv的cli工具 ...
已阅读: n次
#使用IBM云对象存储将CSV对象文件转换为Apache Parquet
这个工具是为了帮助ibm cloud上的用户将ibmcloudobjectstorage（cos）中的csv对象转换为apac ...
已阅读: n次
简单的Apache Drill
替代使用PySpark
灵感来自PyDAL
设置
运行终端命令pip install microdrill
依赖关系
用Spark 1.6
用法
定义查询拼 ...
已阅读: n次
命令行（cli）工具，用于在运行时检查apache parquet文件 ...
已阅读: n次
欢迎使用s3iotools文档
使用量
将本地文件复制到s3并将文件对象从s3下载到本地很容易：
from s3iotools import S3FileObjec ...
已阅读: n次
拼花元数据
转储有关拼花文件的元数据。你也可能对csv2parquet感兴趣。
sudo pip install parquet-metadata
parquet-metadata parquet. ...
已阅读: n次
拼花Python
parquet python是一个纯python实现（目前只有
读取支持）。它伴随着一个
用于读取拼花文件并将数据输出到stdout的脚本
json或tsv（没有jvm启动的开销 ...
已阅读: n次
#进气镶木地板
[！[生成状态]（https://travis-ci.org/ContinuumIO/intake-parquet.svg?branch=master)](https://travis ...
已阅读: n次
快速摄取原始文件。适用于XLS、CSV、TXT，可导出为CSV、拼花、SQL和熊猫。D6TSTACK解决了接收原始文件时通常遇到的许多性能和模式问题。 ...
已阅读: n次
fastparquet是parquet
format的python实现，旨在集成
进入基于python的大数据工作流程。
并不是拼花格式的所有部分都已经实现或测试过了
请参阅下面链接的待办事项。话虽 ...
已阅读: n次
fastparquet是parquet
format的python实现，旨在集成
进入基于python的大数据工作流程。
并不是拼花格式的所有部分都已经实现或测试过了
请参阅下面链接的待办事项。话虽 ...
已阅读: n次
全程
要写更长的描述。这是与r包completejourney相当的python，使用更可移植的parquet格式（而不是r数据集）。
使用量
from completejourney_py impo ...
已阅读: n次
singer.io写入拼花文件的目标
此包Python名称：target-parquet
目前版本： target-parquet 0.0.1
...
已阅读: n次
