target-redshift 0.0.10

s3 config.json

已知限制

• 忽略状态歌手消息。
• 每个流都需要一个json模式。
• 只有字符串，日期时间格式的字符串，整数，数字，布尔值， 支持对象和具有或不具有空值的数组类型。阵列CAN 列出任何其他类型，包括 项目。
  • 工作的json模式类型示例
    • ['number']
    • ['string']
    • ['string'，'null']
  • 不起作用的json模式类型的exmaple
    • ['string'，'integer']
    • ['integer'，'number']
    • ['any']
    • ['null']
• 不支持json模式组合，如anyof和allof。
• 部分支持JSON架构$ref：
  • 注意：以下限制已知不会优雅地失败
  • 现在不能有任何循环或递归$refs
  • $refs必须存在于架构中：
    • uri不工作
    • 如果$ref被破坏，则认为该行为是意外的
• 任何值都是字符串null将作为文本null流式传输到redshift
• 表名限制为：
  • 长度为127个字符
  • 只能由、小写字母、数字、$
  组成
  • 不能以$
  开头
  • ASCII字符
• 字段/列名限制为：
  • 长度为127个字符
  • ASCII字符
• 字段/列都可以为空
• 字段/列使用默认值1000个字符（以便能够处理大量列）。

使用记录

singer.io需要官方点击和目标来收集匿名使用数据助教。此数据仅用于汇总报告单个点击/目标以及整个歌手社区。记录IP地址以检测唯一的TAP/目标用户，但不与第三方共享。

要禁用匿名数据收集，请在配置json文件中将禁用收集设置为true。

开发

target redshift利用包的setup.py设置 管理，以及用于测试的pytestpytest。

码头工人

如果您已经安装了docker和docker compose，您可以 轻松运行以下命令以快速设置本地env。

首先，确保在这个repo的根目录中创建一个env file" rel="nofollow">.env文件（它已经被.gitignored了，所以不要担心会意外地转移它）。

其中，请填写以下信息：

REDSHIFT_HOST='<your-host-name>'# Most likely 'localhost'REDSHIFT_DATABASE='<your-db-name>'# Most likely 'dev'REDSHIFT_SCHEMA='<your-schema-name>'# Probably 'public'REDSHIFT_PORT='<your-port>'# Probably 5439REDSHIFT_USERNAME='<your-user-name'REDSHIFT_PASSWORD='<your-password>'DEFAULT_COLUMN_LENGTH='<your-default-column-length>'TARGET_S3_AWS_ACCESS_KEY_ID='<AKIA...>'TARGET_S3_AWS_SECRET_ACCESS_KEY='<secret>'TARGET_S3_BUCKET='<bucket-string>'TARGET_S3_KEY_PREFIX='<some-string>'# We use 'target_redshift_test'

$ docker-compose up -d --build
$ docker logs -tf target-redshift_target-redshift_1 # You container names might differ

当您看到info:dev environment ready.时，您就可以进入容器并开始运行测试命令：

$ docker exec -it target-redshift_target-redshift_1 bash # Your container names might differ
root@... $ source /code/venv--target-redshift/bin/activate
root@... $ pytest

请参阅下面的pytest命令！

$ EXPORT REDSHIFT_HOST='<your-host-name>'# Most likely 'localhost'
$ EXPORT REDSHIFT_DATABASE='<your-db-name>'# Most likely 'dev'
$ EXPORT REDSHIFT_SCHEMA='<your-schema-name>'# Probably 'public'
$ EXPORT REDSHIFT_PORT='<your-port>'# Probably 5439
$ EXPORT REDSHIFT_USERNAME='<your-user-name'
$ EXPORT REDSHIFT_PASSWORD='<your-password>'# Redshift requires passwords
$ EXPORT DEFAULT_COLUMN_LENGTH='<your-default-column-length>'

$ EXPORT TARGET_S3_AWS_ACCESS_KEY_ID='<AKIA...>'
$ EXPORT TARGET_S3_AWS_SECRET_ACCESS_KEY='<secret>'
$ EXPORT TARGET_S3_BUCKET='<bucket-string>'
$ EXPORT TARGET_S3_KEY_PREFIX='<some-string>'# We use 'target_redshift_test'

$ python setup.py pytest

pip install target-redshift