EQI项目的公用设施。
eqi-utils的Python项目详细描述
eqi数据加载器和导出器
特点:
- 通过S3从数据供应商处下载数据帧
- 在S3上本地或远程管理和存储分析视图
- 从reslive db下载dataframe
关键概念:
- bundle:来自特定供应商的一组数据文件
- 数据文件:一种包含数据的文件,如公司的每日 链接包
- 视图:序列化为拼花文件的数据帧,可以存储 在S3上本地或远程
- dbview:包含sql查询结果的数据帧
如何安装:
使用conda安装此软件包
conda install -c jinzha098718 eqi-utils
开始:
- 创建eqi主文件夹
- 在Windows上的主文件夹中创建名为“.eqi”的文件夹, 创建名为“.eqi”的文件夹。
- 转到examples/config.ini,设置所有字段,然后复制 config.ini文件到在上述步骤中创建的eqi主文件夹
- 转到examples/load_export_example.html,查看如何使用 实用程序
已知问题:
- 下载大型拼花数据文件失败
请使用conda:
conda install -c conda-forge fastparquet
如有任何问题,请随时提出。