使用Pandas数据帧进行IO的助手
df-io的Python项目详细描述
df逖io
使用Pandas数据帧执行IO的Python助手
可用方法
写入\u df
此方法支持:
- 流式写入
- 分块写入
- gzip压缩
- 向熊猫的作者传递参数
- 写入AWS S3和本地文件
示例
将Pandas数据帧(df)写入CSV格式的S3路径(默认值):
importdf_iodf_io.write_df(df,'s3://bucket/dir/mydata.csv')
与gzip压缩相同:
^{pr2}$使用JSON行:
df_io.write_df(df,'s3://bucket/dir/mydata.json.gz',fmt='json')
传递写入程序参数:
df_io.write_df(df,'s3://bucket/dir/mydata.json.gz',fmt='json',writer_options={'lines':False})
分块写入(将数据框分成大小相等的部分并为其创建/写入输出):
df_io.write_df(df,'s3://bucket/dir/mydata.json.gz',fmt='json',chunksize=10000)
- 项目
标签: