从s3 bucket获取具有特定子字符串的文件列表

Question

我有一个s3桶，里面有各种各样的文件。你知道吗

示例-abc.csv, def.tsv, ghi_sub_jkl.avro, mno_sub_pqrs.avro and others.

我需要一个函数，可以给我一个文件名中有一个特定子字符串的文件列表。 在上面的示例中，我需要将“sub”作为子字符串的文件。你知道吗

因此，输出列表必须包含-['ghi_sub_jkl.avro', 'mno_sub_pqrs.avro']

有办法吗？你知道吗

Answer 1

您可以使用以下代码：

import boto3

s3 = boto3.resource('s3')
my_bucket = s3.Bucket('mybucket')

files_list = [file.key for file in my_bucket.objects.all() if 'sub' in file.key]