在磁盘上而不是内存中对大型csv文件进行排序

csvsorter的Python项目详细描述


CSV分拣机

python 3的csvsort分叉。 用于排序磁盘上不适合内存的csv文件。合并排序算法用于将原始文件分解为较小的块,在内存中对这些块进行排序,然后合并这些排序的文件。

示例用法

>>>fromcsvsorterimportcsvsort>>># sort this CSV on the 5th and 3rd columns (columns are 0 indexed)>>>csvsort('test1.csv',[4,2])>>># sort this CSV with no header on 4th column and save results to separate file>>>csvsort('test2.csv',[3],output_file='test3.csv',has_header=False)>>># sort this TSV on the first column and use a maximum of 10MB per split>>>csvsort('test3.tsv',[0],max_size=10,delimiter='\t')>>># sort this CSV on the first column, force quotes around every field (default is csv.QUOTE_MINIMAL) and use windows-1250 encoding>>>importcsv>>>csvsort('test4.csv',[0],quoting=csv.QUOTE_ALL,encoding='windows-1250')

安装

$ pip install csvsorter

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java ImageIO。写入()低质量图像   使用安卓的设备屏幕大小的java拖放图像   java Adler32重复速度非常快   java在使用Burp Suite Community Edition时遇到此错误   java是否可以在交换机中使用已存在的字符串?   java:把反斜杠看作正常字符的方法   java如何创建Criteria Builder查询来连接三个具有一对一和多对一实体关系的表?   Java Spark:如何在数据集上进行flatMap,并为后续的groupBy提供新的模式?   JavaTestNG运行每个方法,并忽略TestNG中包含的方法。xml   无法使用Java运行linux命令   java我可以用什么来代替AudioPlayer。游戏者停止();?   关于如何使用pop3使用javamail从gmail帐户删除电子邮件的java查询   java Firebase Android数据库查询(读取数据)