处理可拆分文件的库
splits的Python项目详细描述
#splits
splits是一个以可拆分块读取和写入文件的库。
它可以在任何类似文件的对象上工作。
它内置了对从s3写入和读取拆分文件的支持。
它还内置了对gzip的支持。
##用法
`` python
从splits导入splitwriter,splitreader
从splits.s3导入s3 file,gzips3file
如果splitwriter('s3://test bucket/test multifile',
后缀='.txt',每文件行数=100,
fileClass=gzips3file)作为w:
w.writelines([str(x)表示x在范围(0,1000)内])
with splitreader('s3://test bucket/test multifile',
fileClass=gzips3file)作为r:
对于r中的行:
打印行
`````
`````测试
``````
`````
splits是一个以可拆分块读取和写入文件的库。
它可以在任何类似文件的对象上工作。
它内置了对从s3写入和读取拆分文件的支持。
它还内置了对gzip的支持。
##用法
`` python
从splits导入splitwriter,splitreader
从splits.s3导入s3 file,gzips3file
如果splitwriter('s3://test bucket/test multifile',
后缀='.txt',每文件行数=100,
fileClass=gzips3file)作为w:
w.writelines([str(x)表示x在范围(0,1000)内])
with splitreader('s3://test bucket/test multifile',
fileClass=gzips3file)作为r:
对于r中的行:
打印行
`````
`````测试
``````
`````