scrapy扩展名,用于将“.scrapy”文件夹同步到s3存储桶
scrapy-dotpersistence的Python项目详细描述
将scrapy extension同步到s3存储桶。
安装
您可以使用pip:
pip install scrapy-dotpersistence
然后,您可以在设置中启用扩展。py:
EXTENSIONS = { ... 'scrapy_dotpersistence.DotScrapyPersistence': 0 }
如何使用
通过settings.py启用扩展功能
通过settings.py配置扩展: 您可以使用environ:DOTSCRAPY_ENABLED = True
ADDONS_AWS_ACCESS_KEY_ID = "ABC"
ADDONS_AWS_SECRET_ACCESS_KEY = "DEF"
ADDONS_AWS_USERNAME = "username"
ADDONS_S3_BUCKET = "test-bucket-name"
export DOTSCRAPY_DIR='/tmp/.scrapy'