提取mixpanel原始事件并存储在s3上
mixpanel_extract的Python项目详细描述
提取mixpanel原始事件并存储在s3上
功能
- 从mixpanel数据api下载原始事件
- 在S3上上载
- 本地存储
- gzip压缩
- 重试下载(5次,等待60秒后重试)
注意:
- 参数可以由环境变量设置(如mixpanel_键)
- 默认情况下下载昨天的事件
安装
pip install mixpanel-extract
用法
usage: mixpanel-extract [-h] [--mixpanel-key MIXPANEL_KEY] [--mixpanel-secret MIXPANEL_SECRET] [--s3-bucket S3_BUCKET] [--s3-prefix S3_PREFIX] [--s3-key S3_KEY] [-o OUTPUT] [-z] [--from-date YYYY-MM-DD] [--to-date YYYY-MM-DD] optional arguments: -h, --help show this help message and exit --mixpanel-key MIXPANEL_KEY Mixpanel API key [default=e43729b115512e367e71c86894244d5b] --mixpanel-secret MIXPANEL_SECRET Mixpanel API secret [default=2a188b9d1b41b0ce35e14703e65d7104] --s3-bucket S3_BUCKET Store on S3 [default=None] --s3-prefix S3_PREFIX Prefix for the S3 key [default=e43729b115512e367e71c86894244d5b] --s3-key S3_KEY Prefix for the S3 key [default=2015-03-08] -o OUTPUT, --output OUTPUT Store in local filesystem [default=None] -z, --gzip Store as GZIP file --from-date YYYY-MM-DD Extract events from this date [default=2015-03-08] --to-date YYYY-MM-DD Extract events up to this date [default=2015-03-08]
示例
export MIXPANEL_KEY=XXXXXXXXXXXXXXXXX export MIXPANEL_SECRET=ZZZZZZZZZZZZZZZZZZZZ mixpanel-extract --gzip --s3-bucket jean-mixpanel -o /jean.gz