可扩展块压缩格式
xbcf的Python项目详细描述
**警告:正在开发的alpha代码**
xbcf:extensible block compression format
xbcf是一种容器格式,专为amazon s3或具有高寻道延迟的类似分布式存储系统上的索引块压缩而设计。它支持以下功能:
*可配置压缩编解码器
*可配置块加密编解码器
*寻求支持,粒度等于压缩块大小(默认为1MB)
*XBCF容器递归封装
*多个工作节点可以独立上传同一个多部分上传的部分内容,每个格式化为xbcf
*在关闭时,一个更高级别的xbcf从部分连接起来
int;如果级别为0,则块是原始数据;否则,块本身是xbcf格式的)
*压缩方法(8字节)=“lz4”(0填充)
*保留(8字节)(填充到32字节)
*密码名(16字节)=“aes-cbc”或“null”(0填充)
*iv(16字节)
(如果是密码!=“空”,所有后续数据都加密。)
*块大小(未压缩)(无符号整数;8字节);如果大小为0,则块大小是可变的,并且块大小表存在
*块数(无符号整数;8字节)
*保留(16字节)(填充到32字节)
*块开始偏移表(8字节*(块数))
*如果块大小为0:
*块大小表(未压缩大小)(8字节*(块数))
*块
xbcf:extensible block compression format
xbcf是一种容器格式,专为amazon s3或具有高寻道延迟的类似分布式存储系统上的索引块压缩而设计。它支持以下功能:
*可配置压缩编解码器
*可配置块加密编解码器
*寻求支持,粒度等于压缩块大小(默认为1MB)
*XBCF容器递归封装
*多个工作节点可以独立上传同一个多部分上传的部分内容,每个格式化为xbcf
*在关闭时,一个更高级别的xbcf从部分连接起来
int;如果级别为0,则块是原始数据;否则,块本身是xbcf格式的)
*压缩方法(8字节)=“lz4”(0填充)
*保留(8字节)(填充到32字节)
*密码名(16字节)=“aes-cbc”或“null”(0填充)
*iv(16字节)
(如果是密码!=“空”,所有后续数据都加密。)
*块大小(未压缩)(无符号整数;8字节);如果大小为0,则块大小是可变的,并且块大小表存在
*块数(无符号整数;8字节)
*保留(16字节)(填充到32字节)
*块开始偏移表(8字节*(块数))
*如果块大小为0:
*块大小表(未压缩大小)(8字节*(块数))
*块