PYPI CDN日志的日志归档程序
pypi-cdn-log-archiver的Python项目详细描述
#PYPI CDN日志归档程序
- 从类似s3的对象存储中获取原始日志,由cdn编写
- 存档并压缩它们
- 以合理的结构将存档文件上传回类似s3的对象存储区
- 删除已存档的原始日志
#用法
您需要导出一些env变量才能开始:
$ export ACCESS_KEY=<your_access_key> $ export SECRET_KEY=<your_access_key> $ export PYPI_LOG_BUCKET=<bucket_name> $ export S3_HOST=<s3_like_host> (e.g. s3.amazonaws.com, objects.dreamhost.com)
也可以将日期设置为存档,如下所示:
$ export PYPI_LOG_DATE=2014-02-11
您可以使用以下命令启用某些调试输出:
$ export DEBUG=10
如果未设置pypi_log_date,脚本将默认为查找 昨天的日期。
现在您应该可以运行它了:
$ python pypi-cdn-log-archiver.py 112373 bytes written to testpypi-cdn-logs/archive/2014/2