我试图以编程的方式从S3解压和读取.zst文件(即不下载它并在其上运行命令行解压)
以下是我正在运行的代码:
import boto3
import zstandard
import os
import io
AWS_S3_BUCKET = os.getenv("AWS_S3_BUCKET")
AWS_ACCESS_KEY_ID = os.getenv("AWS_ACCESS_KEY_ID")
AWS_SECRET_ACCESS_KEY = os.getenv("AWS_SECRET_ACCESS_KEY")
zstd = zstandard.ZstdDecompressor()
s3_client = boto3.client(
"s3",
aws_access_key_id=AWS_ACCESS_KEY_ID,
aws_secret_access_key=AWS_SECRET_ACCESS_KEY,
)
response = s3_client.get_object(Bucket='AWS_S3_BUCKET', Key="folder/example_file_name.zst")
status = response.get("ResponseMetadata", {}).get("HTTPStatusCode")
# decompressed = decomp.decompress(response.get("Body").read())
## OR
# with zstd.stream_reader(io.BytesIO(response.get("Body").read())) as r:
# decompressed = r.read()
所以我试着在结尾用“##或”分隔的两行中选择一行。第一个告诉我,它没有关于数据长度的任何信息,因此我尝试输入“max_output_size=number_from_file_metadata”,但它给出了相同的错误:
ZstdError: error determining content size from frame header
然后在“with…”语句中,它给出以下错误:
ZstdError: zstd decompress error: Unknown frame descriptor
据我所知,第二个错误意味着文件不是使用.zstd真正压缩的,或者是使用“magicless”压缩压缩的,解压无法识别该属性。我从这里得到:https://github.com/indygreg/python-zstandard/issues/79
但这真的不清楚,似乎没有多少人对此有异议。非常感谢您的帮助
不清楚解压缩文件后要做什么。如果这有帮助的话,这就是我将zstd文件读入熊猫的方法:
我在读取zstd文件时遇到了很多问题,因为我实际编写的文件不正确。从数据框中写入数据时,围绕日期格式和正确的索引非常奇特
尽管如此,这可能对您的情况没有任何意义b/c您的文件看起来像什么或您的最终目标是什么还不清楚
相关问题 更多 >
编程相关推荐