ahl research版本的timeseries和tick store。我们正在出版它的最新版本。

arctic-latest的Python项目详细描述


[谚][北极](logo/arctic_50.png)](https://github.com/manahl/arctic)[北极时间序列和计时商店](https://github.com/manahl/arctic)


>
[![文档状态](https://readthedocs.org/projects/arctic/badge/?版本=最新](https://arctic.readthedocs.io/en/latest/?徽章=最新)
[![特拉维斯国际](https://travis-ci.org/manahl/arctic.svg?branch=master)(https://travis ci.org/manahl/arctic)
[![覆盖状态](https://coveralls.io/repos/github/manahl/arctic/badge.svg?branch=master)](https://coveralls.io/github/manahl/arctic?分支=主)
[![代码运行状况](https://landscape.io/github/manahl/arctic/master/landscape.svg?style=flat)(https://landscape.io/github/manahl/arctic/master)
[![在https://gitter.im/manahl/arctic(https://badges.gitter.im/join%20chat.svg)上加入聊天](https://gitter.im/manahl/arctic?utm_source=badge&utm_medium=badge&utm_campaign=pr badge&utm_content=badge

北极是一个高性能的数字数据存储区。它支持[pandas](http://pandas.pydata.org/)、
[numpy](http://www.numpy.org/)数组和开箱即用的pickle对象,并支持
其他数据类型和可选版本控制。

arctic可以为每个客户端每秒查询数百万行,在netw上实现~10x压缩。工作带宽,
~10x磁盘压缩,每秒可扩展到数亿行
[mongodb](https://www.mongodb.org/)实例。


Arctic自2012年以来一直在[man ahl](http://www.ahl.com/)进行积极开发。

quickstart



`````
pip install git+git+https://github.com/manahl/arctic.git
```

````
` ` ` ` ` ` ` `
` ` ` ` ` ` ` ` ` ` ` `

` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` `
` ` ` ` `br/>从北极进口北极
进口数量

ngodb
store=arctic('localhost')

re")

将数据存储在库中。write('aapl',aapl,metadata={'source':'quandl'})

_使用_arctic.py)!


[此示例显示了如何。](howtos/how_to_custom_arctic_library.py)


\documentation


。这些库允许
按*源*、*用户*或某些其他度量(例如频率:
一天结束;分钟条;等)对数据进行bucketing。

arctic支持每个用户使用多个数据库。用户(或命名空间)
映射到MongoDB数据库(Mongo身份验证的粒度)。库本身由数据库中的许多集合组成。库看起来像:

*user.eod
*user.oneminute

>库被映射到python类。MongoDB中的所有库数据库的前缀都是"北极存储引擎"


\arctic包括三个存储引擎:

*[版本存储](北极/存储/版本存储.py):一个键值版本化的TimeSeries存储。它支持:
*pandas数据类型(其他python类型pickled)
*每个数据项有多个版本。可以轻松读取以前的版本。
*在库中跨符号创建时间点快照
*软配额支持
*用于保存其他数据类型的挂钩
*Audited writes:用于在写入之前和写入之后保存元数据和数据的api。
*时间序列数据频率的范围很广:一天结束时到分钟的条数
*[请参阅如何操作](howtos/如何使用arctic.py)
*[文档](docs/versionstore.md)
*[tickstore](arctic/tickstore/tpy):面向列的tick数据库。支持
动态字段,块不受版本控制。专为大型连续计时数据而设计。
*[chunkstore](https://github.com/manahl/arctic/wiki/chunkstore):一种允许数据以可定制的块大小存储的存储类型。块
不进行版本控制,可以附加到并就地更新。
*[文档](docs/chunkstore.md)

Arctic存储实现是**可插入**。默认为版本存储。













*北极目前使用的是:python 2.7、3.4、3.4、3.5、3.5、3.6
*pymongo>;=3.6
*pan熊猫
*mongodb>;=2.4.x




>操作系统:
*linux
*macos
*windows 10



已确认Gements

Arctic自2012年以来一直在[Man AHL]进行积极开发。


没有AHL数据工程团队的工作是不可能的,包括:

*[Richard Bounds](https://github.com/RichardBounds)
*[James Blackburn](https://github.com/jamesblackburn)
*[vlad mereuta](https://github.com/vmereuta)
*[tom taylor](https://github.com/tomtaylorlondon)
*tope olukemi
*[drake siard](https://github.com/drakesiard)
*[slavi marinov](https://github.com/slavi)
*[wilfred hughes](https://github.com/wilfre)d)
*[爱德华•伊斯顿](https://github.com/eeaston)
*[布莱恩特•莫斯康](https://github.com/bmoscon)
*[迪莫斯滕尼斯儿科学](https://github.com/dimosped)
*…还有很多其他的……

欢迎投稿!

一份副本包含在[许可证](许可证)






<1.75
*错误修复:pypandoc未正确呈现pypi的自述文件



<1.74(2019-02-28)
*错误修复:在chunkstore序列化程序中的pands712 pandspandspandspandspandspandspandspandspandspandspandspandspandrepreadme的错误修复:pypi的pypandoc未正确呈现自述文件

<1.74(2019-02-28)
*错误修复:
*错误修复:在chunkstore序列化程序PycodeStyle的修正
*错误修正:691修正数组到大熊猫的mgr 0.23.4+
*错误修正:誚698修正日志记录中没有处理程序警告
*错误修正:誚705使用sort_u索引而不是sortlevel_l异步arctic的实现
*功能:704默认情况下在bsonstore中不启用分片。
*功能:688删除chunkstore check for issue 422
*功能:717为列表库添加尽力缓存
*错误修复:722从chunkstore读取列时发生异常区块中缺少列

1.73(2018-11-27)
*错误修复:658旧熊猫版本面板对象的写入/追加错误
*功能:653在北极模块中添加版本元信息
*功能:663在版本元数据中包含北极数字版本文档
*功能:650为版本存储中的块实现了转发指针(模式:启用/禁用/混合)

1.72(2018-11-06)
*功能:577为numpy记录添加了增量序列化器的实现
*错误修复:648修复时区感知熊猫ty的问题不包含has object属性的pes

ent(例如,在混合字符串列中避免nan-->;'nan')
*错误修复:608确保Arctic在MongoDB 3.6(排序)
*错误修复:629列Kwarg不再修改
*错误修复:641 daterange.inters分区打开/关闭范围修复
*功能:493在调用MongoClient时可以传递Kwargs,例如对于SSL
*功能:590对于对象
*功能:604改进了对酸洗序列化决策的处理



1.69(2018-09-12)
*docs:versionstore documentation
*bugfix:issue 612 threadpool应由使用它的进程创建回复:571删除了cython lz4代码,使用最新的python-lz4
*功能:557基于线程池的压缩。加速移动和调整基准。
*错误修复:修复tickstore unicode处理,同时支持unicode和utf-8数组
*错误修复:591修复tickstore读取不返回带有本地化时区的索引
*功能:595将主机属性添加到versioneditem。
*错误修复:594启用在chunkstore上分片

1.67.1(2018-07-11)
*错误修复:579修复由于还原_版本而导致的符号损坏,并在删除较新版本中的符号后附加〈br/>*错误修复:584修复快照的列表版本

1.67(2018-05-24)
*错误修复:561修复picklestore read写入元数据后的损坏

\1.66(2018-05-21)
*错误修复:168不允许将空字符串作为列名
*错误修复:483删除从datetime到ms的潜在浮点错误
*错误修复:271当库在删除时不存在时日志
*功能:元数据存储:添加了带有regexp的list_符号,as_of和与筛选器匹配的元数据字段
*功能:支持pandas 0.23.x中数据帧的序列化

\1.65(2018-04-16)
*错误修复:534版本存储:用不同的数据类型(但相同的数据格式)覆盖符号不会
再次引发异常
*错误修复:531北极修剪版本:修剪前清除损坏的快照引用
*错误修复:setup.py在Mac上的Conda环境中开发
*功能:490添加对Numpy 1.14的支持

1.63(2018-04-06)
*错误修复:521 clang6.0 MacOS上的编译器支持
*功能:510版本存储:支持Pandas数据帧中的多列

1.62(2018-3-14)
*错误修复:517版本存储:在某些角落情况下追加不重复数据
*错误修复:519版本存储:列表符号速度提高和Fix内存限制超过

1.61(2018-3-2)
*功能:288映射读取和写入块存储区中的块
*错误修复:508版本存储区:列表符号和读取现在总是返回最新版本
*错误修复:512列表版本的性能改进
*错误修复:515版本存储:_prune_previous_versions现在重试清理操作


\1.60(2018-2-13)
*错误修复:503 chunkstore:speedup check for-1 segments
*功能:504将北极地区的库数量增加到5000个。

\1.59(2018-2-6)
*错误修复:提高性能chunkstore中无效段检查的rmance
*错误修复:501修复由于从平衡器中移动块而导致的写入路径上的虚假数据完整性异常

1.58(2018-1-15)
*错误修复:491回滚fromBuffer到fromString的使用,修复只读ndarray问题

1.57(2018-1-11)1.57(2018-1-11)1.57(2018-1-11)
*功能:206对tickstore的字符串支持
*错误修复:486改进mongou对版本存储写入/追加失败重试稳健性

>1.56(2017-12-21)1.56(2017-确保我们在fork


\1.55(2017-12-14)之后创建新mongoclient时重新验证
*错误修复:439修复chunkstore迭代器中的游标超时
*错误修复:450修复chunkstore中的错误删除当chunk range产生空df时的错误修复:442修复mult中不正确的段值我在chunkstore中对块进行分段
*功能:457 enchances fix for 442 via segment_id_u repair tool
*错误修复:385配额统计期间的异常不再终止写入
*功能:pr 161 tickstore.max_u date现在返回"本地"时区的日期时间
*功能:425用户为tickstore定义的元数据
*功能:464通过避免不必要的重新身份验证提高性能
*错误修复:250添加了多处理安全性,在fork之后检查初始化的mongoclient。
*功能:465为只写元数据和还原添加了快速操作对一个版本进行修改



1.54(2017-10-18)(2017-10-18)
*错误修复:440 fix read emptmpmultiindex+tz系列

1.53(2017-10-06)(2017-10-06)
*性能:408改善版本存储序列化器的内存性能
>*错误修复394多符号读入多符号存储区的多符号读入存储区的多符号读取

*错误修复407固定chunkstore中appends的段问题
*错误修复:元数据存储上的返回不一致。append
*错误修复:412 pandas不推荐和289改进numpy记录序列化程序中的异常报告
*错误修复:420 chunkstore忽略打开的间隔日期范围
*错误修复:427块符号覆盖期间未正确替换存储元数据
*错误修复:431 chunks tore迭代器无法正确处理多段块

1.51(2017-08-21)
*错误修复:397删除对pymongo中已弃用方法的调用
*错误修复:402追加到空df失败在versionstore中的s版本


35; 35; 1.50(2017-08-18)1.50(2017-08-08-18)1.br/>

384个哨兵丢失数据块开始/结束时间chunkstore
*错误修复程序:382删除对预安装cython的依赖性
*错误修复程序:343重命名命名空间/数据库中的库/集合




<<1.47(2017-06-19)
*功能:重新引入363 concat标志,基本上撤销1.45
*错误修复:377 fix breake替换concat concat在"id"而不是"symbol"上/>###1.45(2017-06-09)
*错误修复:回滚363,这可能导致追加时的订购问题

1.44(2017-06-08)
*功能:364从内部北极LZ4公开压缩机,并移除外部LZ4依赖性
*功能:363追加旧数据(与L中存在的数据相比将提高。使用"concat=true"仅追加
新位
*功能:371在bsonstore中公开更多功能

\1.43(2017-05-30)
*错误修复:350删除不推荐的pandas调用
*错误修复:360 version incorrect in empty append in versionstore
*功能:365添加泛型bson store

1.42(2017-05-12)
*错误修复:346版本存储中非常大的日期帧上的固定日期范围子集错误
*错误修复:351$大小查询不能使用索引,请使用替代查询

1.41(2017-04-20)
*错误修复:334块范围段落m with pandas对象在chunkstore中失败。获取chunk范围
*错误修复:339取决于lz4<;=0.8.2以修复生成错误
*错误修复:342修复了mac osx上的编译错误
*错误修复:344修复了并发追加的数据损坏问题

1.40(2017-03-03)
*bu《关于330北极圈的探索:330北极圈的探索:锁定可重入



<1.39(2017-03-03)
*特征:329 add reset()方法添加到北极圈



<1.38(2017-02-22)
*错误:324个日期时间索引必须在chunkstore中排序
*特征:290改善tickstore列读取性能

###1.37(2017-1-31)
*错误修复:300到日期时间在熊猫中已弃用,使用到pydateti我改为
*错误修复:```````
*功能:```````` 313设置并读取chunkstore中用户指定的元数据
*功能:``319 chunkstor中的审核日志支持
*错误修复:``216 tickstore写入失败,命名索引列


1.36(2016-12-13)


*功能:默认为基于哈希的分片操作
*错误修复:在版本存储快照操作期间重试套接字错误




1.35(2016-11-29)



*错误修复:296无法压缩/解压缩空字符串






*功能:1.34(2016-11-29)




*功能:
4个月将chunkstore的每个块元数据保存到单独的集合中
*错误修复程序:292在chunkstore中进行大小分块时考虑元数据大小
*功能:283支持chunkstore datechunker中的所有pandas频率字符串
*功能:286 add has_symbol to chunkstore并支持for列表符号中的部分符号匹配

ove pytest dbfixtures而不是pytest server fixtures


\1.32(2016-10-25)


*功能:<260 chunkstore配额支持
*错误修复:<259防止写入未命名列/索引
*错误修复:<252 pandas 0.19.0兼容性修复
*错误修复:<249开放范围r无索引数据的EADS失败
*错误修复:262 versionstore.append必须检查数据在重新打包期间是否正确写入
*错误修复:263 quota:在接近软配额限制时改进错误消息
*性能:265 versionstore.write/append不要在每次写入时都积极添加索引






*bugffix:247 chunkstore中的切分读取修复补丁
*特征:
*243 add get_lib库类型方法
*错误修复:更多cython更改以正确处理lz4错误
*特征:<239改进chunkstore的get_信息方法




<1.30>

<1.30改进chunkstore的get_信息方法




<1.30><1.30<1.30(2016年9月26日)

*功能:235方法返回chunkstore中符号的块区范围
*功能:234迭代器访问chunkstore
*错误修复:236 cython不处理来自lz4函数调用的错误

在不一致的状态下保留版本
*功能:193在chunkstore中按符号支持不同的分块器和序列化器
*功能:220如果旧版本的Arctic尝试读取不受支持的pickled数据,则会引发异常
*功能:219和220对pickling large d的支持ata(>;2gb)
*功能:204添加对库重命名的支持
*功能:209 chunkstore更新方法中的upsert功能
*功能:207支持daterange chunker中的datetimeindex
*错误修复:232在versionstore期间不会引发追加(…)如果之前的追加failed

读/写性能
*功能:162 chunkstore的重命名api
*功能:186 chunk_range on update
*错误修复:189 range delete不更新符号元数据


1.26(2016-07-20)

*错误修复:更快的tickstore同时查询多个符号
*错误修复:tickstore.read now尊重"allow_secondary=true"
*错误修复:147将get_info方法添加到chunkstore
*错误修复:定期重新缓存库。获取任何更改的配额
*错误修复:166为chunkstore添加sha索引
*错误修复:169 chunkstore中的数据类型不匹配更新
*功能:171允许删除chunkstore中日期范围内的值
*错误修复:172 fix查询数据块中间日期时的日期范围错误
*错误修复:176修复数据块存储中的覆盖失败
*错误修复:178-更改开始/结束日期在数据库中的填充方式,还修复了追加,使其按预期工作。
*错误修复:43-删除对硬编码Linux Timez的依赖一个文件

1.25(2016-05-23)


*错误修复:确保tickstore.write不允许无序消息
*错误修复:versionstore.write现在允许将"none"作为值写入


1.24(2016-05-10)

*错误修复:向后兼容读/写文档使用以前版本的Arctic

修复:135修复python3中pymongo返回的不同数据类型的问题
*功能:130新的chunkstore存储类型

#98在tickstore write()上添加初始映像作为可选参数
*错误修复:使用pandas数据帧写入时在结束字段上出现100个写入错误

\1.19(2016-01-29)


*功能:添加python 3.3/3.4支持
*错误修复:95修复跨多个低位引发nodatafoundexception级别库

1.18(2016-01-05)

*错误修复程序:81修复旧版本Arctic编写的多索引数据帧的断读
*错误修复程序:49修复区分计时存储

1.17(2015-12-24)

*功能:添加时区支持以存储多索引数据帧
*错误修复:修复了损坏的sdist版本

/>…
```
这对于批处理作业非常有用,这些批处理作业读写修改写,不希望与
并发写入程序冲突,并且不需要保留符号的所有版本。

添加到版本库中的API。



<1.14(2015-11-11-25)
<1.12(2015-11-12)
<1.12(2015-11-12)

*错误修复:熊猫的正确版本检测>;=0.18。
*错误修复:在自动重新连接失败时重试连接初始化。




<1.11(2015-10-10-2015-10-10)1.11(2015-10-10)1.11(2015-10-10)。-29)

*错误修复:improve performance of saving multi-index pandas dataframes
by 9x
*错误修复:authenticate应传播非操作故障异常
(例如connectionfailure),因为这可能表示套接字故障
*错误修复:在versionstore.list\u版本中返回"deleted"状态(以便
呼叫者可以接收到作为删除哨兵的头版本。


-06)

*错误修复:修复多线程之间共享Arctic
实例时的身份验证竞争条件。


1.8(2015-09-29)

*错误修复:与3.0和3.0之前的MongoDB兼容,用于查询当前身份验证


1.7(2015-09-18)

*功能:添加对读取versionstore.read中pandas数据帧子集的支持。通过传入arctic.date.daterange进行读取
*错误修复:如果不对库a的数据库进行身份验证,则重新对管理员进行身份验证。有时我们会错过ADMIN DB认证。
这是为了解决这个问题,直到我们找到问题所在。


1.6(2015-09-16)

*featURE:添加对多索引双时态数据帧存储的支持。
这允许在数据帧内持久化数据和更改,使其更易于查看旧数据随时间的变化。
*错误修复:确保在发生异常时调用错误日志挂钩(2015-09-02)

*始终使用"has_symbol()"的主群集节点,这样更安全

*对用户和库的命令行控制脚本的改进
*对顶层北极对象进行纠错


1.2(2015-06-29)

*允许在版本存储中对一系列版本进行快照,并在默认情况下对所有版本进行快照。

1.1(2015-06-16)

*反向兼容解除对bson编码数据的锁定的错误修复
*添加了启用并行lz4压缩的开关

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java中char的用途   swing修复,以便显示可以同时显示十进制数和整数   java给定一个场景,找到拥有的JFXPanel   java JPA 2标准获取路径导航   java如何用JUnit测试这个类?   JSF中的java请求作用域   Spring云Zuul代理背后的java Spring OAuth授权服务器   java限制聚合返回的存储桶大小   java如何在安卓应用程序中请求超级su权限   防止超级关键字的java Checkstyle规则   java 安卓。应用程序。应用程序无法强制转换到安卓。应用程序。在回收器适配器中使用FragmentManager时的活动   使用Java的Twitter广告API   切换到4.0.1版本后,java“JavaMailSenderImpl无法解析为类型”   java没有getter方法可用于名称下bean的属性   java 0/1背包堆空间   java我无法使用断点进行调试   Jar文件名表单java代码   java调用从扩展活动的MainActivity类扩展片段的类片段