singer.io tap,用于从Salesforce API提取数据-与流水线兼容
pipelinewise-tap-salesforce的Python项目详细描述
管道式水龙头Salesforce
Singer点击,从Salesforce中提取数据,并在Singer spec之后生成json格式的输出。
这是一个PipelineWise兼容的抽头连接器。
如何使用
运行此tap的推荐方法是从PipelineWise使用它。当从pipelinewise运行它时,您不需要用json文件配置这个tap,而且大多数事情都是自动化的。请查看Tap Salesforce上的相关文档
如果要独立运行此Singer Tap,请进一步阅读。
安装并运行
首先,确保python 3安装在您的系统上,或者遵循以下步骤 Mac或的安装说明 Ubuntu。
建议使用virtualenv:
python3 -m venv venv pip install pipelinewise-tap-salesforce
或
python3 -m venv venv . venv/bin/activate pip install --upgrade pip pip install .
创建配置文件
{
"client_id": "secret_client_id",
"client_secret": "secret_client_secret",
"refresh_token": "abc123",
"start_date": "2017-11-02T00:00:00Z",
"api_type": "BULK",
"select_fields_by_default": true
}
client_id
和client_secret
键是您的oauth salesforce应用程序机密。refresh_token
是在oauth流期间创建的秘密。有关Salesforce OAuth流的更多信息,请访问Salesforce documentation。
在搜索记录时,tap使用start_date
作为soql查询的绑定。这应该是一个RFC3339格式的日期时间,如“2018-01-08t00:00:00z”。有关详细信息,请参见Singer best practices for dates。
api_type
用于在使用salesforce的“rest”和“bulk”api之间切换tap的行为。当在salesforce对象中发现新字段时,select_fields_by_default
键描述tap是否默认选择这些字段。
运行发现
要运行发现模式,请使用配置文件执行tap。
> tap-salesforce --config config.json --discover > properties.json
同步数据
要同步数据,请在properties.json
输出中选择字段并运行tap。
> tap-salesforce --config config.json --properties properties.json [--state state.json]
基于缝合文档