该工具提供了计算aws3上的对象的etag的方法,以及本地对象上md5s的etag。它还允许在本地和aws3上检查文件的完整性。
compETAG的Python项目详细描述
计算ETag和MD5s
该工具提供了计算aws3上的对象的etag的方法,以及本地对象上md5s的etag。它还允许比较etag或md5s来检查本地和aws3上的文件的完整性,给定一个文件列表及其计算的etag。在
安装
pip install compETAG
使用
以下示例将计算本地文件的etag,这些文件的块大小与AWS在S3上使用的块大小相同:
compute_etags -i <file1> <file2> .... -m etag -s 8MB -o out.txt
块大小可以设置为任何所需的值:
compute_etags -i <file1> <file2> .... -m etag -s 1GB
如果模式固定在md5
,则结果计算将是md5哈希:
compute_etags -i <file1> <file2> .... -m md5
要从AWS S3上的对象检索etag,将mode设置为s3uri
会将工具重定向到AWS S3,前提是bucket/s、key/s和pattern/s(可选):
compute_etags -m s3uri -b <bucket1> <bucket2> .. -k <key1> <key2> .. -p <pattern1> <pattern2> ..
为了检查本地文件或aws3对象的完整性,下面将计算或检索文本文件中提供的文件列表中的etag或md5,并将结果与提供的哈希值进行比较。输入文本文件中的每一行表示一对ETag/md5哈希和一个文件名。在
- 在
正在检查本地文件的ETag:
在compute_etags -c <input.txt> -m etags
- 在
正在检查本地文件的md5s:
在compute_etags -c <input.txt> -m md5
- 在
检查AWS S3对象的ETag:
在compute_etags -c <input.txt> -m s3uri -b <bucket1> <bucket2> .. -k <key1> <key2> ..
- 项目
标签: