读取、写入和排序大文件

streamio的Python项目详细描述


streamio是一个简单的函数库,用于使用迭代器读取、写入和排序大型文件,以便成功完成操作 在RAM有限的系统上此库在开发TerraNova时已在Griffith University广泛使用。 Climate Change and Adaptation Visualization处理大量数据的工具。streamio是用Python写成的,有大量的文档 以及100%覆盖的单元测试

有关可用函数的列表,请参见API

Latest PyPI versionNumber of PyPI downloadsBuild StatusRequirements Status

示例

反复读取大文本文件:

fromstreamioimportstreamf=stream("large_file.txt")

迭代读取大型CSV文件:

fromstreamioimportjsonstreamf=stream("large_file.json")

用键itemgetter("value")

合并排序大型json文件
fromoperatorimportitemgetterfromstreamioimportmergesortf=mergesort("large_file.json",key=itemgetter("value"))

要求

streamio还提供了文档和一个完整的单元测试套件,它需要以下各项:

创建文档:

运行单元测试:

安装

安装streamio的最简单和推荐的方法是使用pip。 您可以使用pip安装pypi的最新稳定版本:

> pip install streamio

如果您没有PIP,可以使用Easy_安装:

> easy_install streamio

或者,您可以从 PyPI PageProject Website上的Downloads page; 提取并使用安装:

> python setup.py install

您还可以安装 latest-development version使用pipeasy_install

> pip install streamio==dev

或:

> easy_install streamio==dev

有关更多信息,请参见streamio documentation

支持的平台

  • Linux、FreeBSD、Mac OS X
  • python 2.7版
  • Pypy 2.2
dt> ^ {STR 1 } $Windows :我们承认Windows存在并作出合理的努力
以保持兼容性不幸的是我们不能保证 此时支持。

更改

流量0.0.9(2014-02-27

  • 凸起PY 1.4.19->;1.4.20

流量0.0.8(2014-02-13

  • 修复了对csvstream的Unicode支持,并将unicodecsv添加为新的依赖项。

流量0.0.7(2014-01-29

  • 忘记包含必需的readme.rst和changes.rst

流量0.0.6(2014-01-29

  • 不要在生成的egg中包含fabfile和tests(目前为止)
  • 通过progress=True

流量0.0.5(2014-01-16

  • *stream()函数添加了encoding参数支持。

流量0.0.4(2013-11-22

  • 添加了streamio.stream.compress函数,用于使用zlib压缩来压缩iterable。
  • pyprogress的松散要求

流量0.0.3(2013-11-21

  • 修复了到api文档的断开链接。

流量0.0.2(2013-11-21

  • 添加了一些示例
  • 修正了一些打字错误

流量0.0.1(2013-11-21

  • 首次公开发行

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java什么数据库最类似于Map,每个用户/id存储无限多个“键”和“值”?   java仅使用super pom进行测试   内存不足如何解析java。OutOfMemoryError:Java堆空间在增加堆大小的情况下将意味着延迟OutOfMemoryError   来自另一个类的mysql和java jdbc调用[运行时应用程序]   java通过下拉菜单更改搜索框搜索的内容   JAVAlang.ClassNotFoundException:sun。jdbc。odbc。JdbcOdbcDriver   java Selenium点击链接   JavaSpringHibernate:从唯一值列表中获取对象列表   java Bing广告与桌面身份验证问题   java如何在没有任何外部SDK的情况下从安卓打印到收据打印机?   未调用java菜单片段类   java在IDEA和PyCharm中同时为同一个项目工作   java我们如何为同一个异常提供不同的海关信息   jakarta ee中是否预定义了“请求”和“响应”变量或值?   java更好地解决“之前和之后”难题?   尝试将数据从Excel添加到Java   发送电子邮件的Java代码只适用于一个电子邮件id?   java如何从资产解析XML?