执行Vertica批量导入的工具
pyvertica的Python项目详细描述
此包包含执行到Vertica的批量导入的工具 数据库。
提供的模块
- pyvertica.connection
- 包含连接到Vertica数据库的逻辑的模块。
- pyvertica.batch
- Vertica高速装载机。
- pyvertica.importer
- 用于编写Vertica批量导入程序的基类。
- pyvertica.migrate
- 管理从一个Vertica群集导出到另一个Vertica群集的模块。
提供的脚本
- vertica_batch_import
- 用于pyvertica.batch模块的命令行接口。
- vertica_migrate
- 用于pyvertica.migrate模块的命令行接口。
安装
pyvertica可以通过执行pip install pyvertica来安装。
变化
1.6.1版
- 更新TaskThread要求版本为1.3或更高版本。
1.6.0版
- featureVerticaBatch不会打开新线程或fifo 每次启动新批处理时,如果multi_batch设置为True。 这将减少每次提交批处理时的开销,前提是 用户希望在单个批处理上多次调用commit。
1.5.3版
- 向VerticaBatch添加:insert_lists方法。这种方法需要 多个列表,将它们转换为行,并调用单个插入 每行插入一个以上。
1.5.2版
- add:connectionparameter到VerticaBatch,允许使用 现有连接。
1.5.1版
- 使用最新的pyodbc版本。
1.5.0版
- 向VerticaBatch对象添加:rolllback方法。
- 添加:REJECTMAX选项。
- change:VerticaBatch.get_errors现在返回错误数 而不是指示是否有错误的bool。
- change:REJECTEDFILE选项现在设置为__debug__。
v1.4.1
- change:使向 vertica_migrate工具,使用配置文件(不公开凭据 在命令行中)。
1.4.0版
- change:更容易将更多参数传递给get_connection 通过BaseImporter和VerticaBatch.注意,这是一个向后的 不兼容的更改作为BaseImporter,^{tt11}的参数$ 而get_connection已经改变。
1.3.0版
- feature:添加迁移模块pyvertica.migrate``and script ``vertica_migrate,以便在集群之间移动数据。
- change:在VerticaBatch.get_connection 中使重新连接成为可选
1.2.4版
- change:使ANALYZE_CONSTRAINTS的执行成为可选(已执行 当得到错误时)。
1.2.3版
- fix:处理QueryThread内部引发的异常,以便 信号量总是被释放。
1.2.2版
- fix:由get_errors返回的文件对象中的行尾。一切都是现在 \n。
1.2.1版
- change:现在可以在BaseImporter中配置批历史表。
- change:get_connection从集群中选择一个随机节点 并返回到该节点的连接。
- fix:清除fifo+临时目录。
1.2.0版
- change:更改检测fifo对象是否被使用的方式 由QueryThread公司提供。以'w'模式打开fifo对象(用于写入) 创建querythread之后,它将阻塞,直到复制sql状态管理 已启动。
1.1.2版
- 公开发布!