提供一个接口来使用和发布到数据管道主题。
data_pipeline的Python项目详细描述
#数据管道clientlib是什么？
-------
数据管道clientlib提供了一个跟踪和发布到数据管道主题的接口。
[阅读更多信息]（https://engineeringblog.yelp.com/2016/07/billions-messages-a-day-yelps-real-time-data-pipeline.html）
git@github.com:yelp/data-pipeline.git
```
tests
-
运行单元测试
`````
make-f makefile opensource test
```
配置
-
将“data-pipeline”命名空间包含在“config.yaml”的“module”env配置中，并为“kafka”ip配置以下值，`知识产权与“阴谋家”的知识产权关系`
`````
br/>知识产权模块配置：
…
…
-名称空间：数据管道
配置：
>卡夫卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡是的：8888
…
```
用法
----
向schematizer服务注册一个简单的架构。
````
来自data-pipeline.schematizer-clientlib.schematizer import get-schematizer
test-avro-schema-json={“type”：“record”，
“namespace”：“test-schema”，
“source”：“test-source，
“name”：“test_name”，
“doc”：“test_doc”，
“fields”：[
{“type”：“string”，“doc”：“test_doc1”，“name”：“key1”}，
{“type”：“string”，“doc”：“test_doc2”，“name”：“key2”}
}
}
source=“test_source”，
schema_json=test_avro_schema_json，
source_owner_email=“test@test.com”，
包含_pii=false
）
````
从有效负载数据创建简单的数据管道消息。
```
从数据管道导入消息
消息=消息（
schema id=schema_info.schema id，
有效负载数据={
“key1”：“value1”，
“key2”：“value2”
}
）
```
在“test_namespace”和“test_source”中，
在本例中，使用者使用单个消息，对其进行处理，然后
提交偏移量。
````
从数据管道导入使用者
从数据管道导入使用者。使用者源导入topicinsource
使用者源=topicinsource（“test_namespace”，“测试源”）
以消费者身份（
消费者名称='my_consumer'，
团队名称='bam'，
预期的消费者频率秒数=12345，
消费者源=消费者源：
为消费者：
为真：
消息=消费者。如果消息不是none:
处理消息…
消费者。提交消息（消息）
````
运行生产者/消费者并与其他应用程序集成可能需要额外的工作。
许可证
----
数据管道clientlib是在apache许可证下许可的，版本2.0:http://www.apache.org/licenses/license-2.0
contribution
----
鼓励每个人通过分叉github存储库并发出请求或打开问题来贡献数据管道clientlib。
documentation
-
（datapipe-2031 abrr）：链接到公共服务文档。
history
----
0.1.4（2015-08-12）
++++++++++++++pi
0.1.3（2015-08-10）
++++++++++++
-------
数据管道clientlib提供了一个跟踪和发布到数据管道主题的接口。
[阅读更多信息]（https://engineeringblog.yelp.com/2016/07/billions-messages-a-day-yelps-real-time-data-pipeline.html）
git@github.com:yelp/data-pipeline.git
```
tests
-
运行单元测试
`````
make-f makefile opensource test
```
配置
-
将“data-pipeline”命名空间包含在“config.yaml”的“module”env配置中，并为“kafka”ip配置以下值，`知识产权与“阴谋家”的知识产权关系`
`````
br/>知识产权模块配置：
…
…
-名称空间：数据管道
配置：
>卡夫卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡卡是的：8888
…
```
用法
----
向schematizer服务注册一个简单的架构。
````
来自data-pipeline.schematizer-clientlib.schematizer import get-schematizer
test-avro-schema-json={“type”：“record”，
“namespace”：“test-schema”，
“source”：“test-source，
“name”：“test_name”，
“doc”：“test_doc”，
“fields”：[
{“type”：“string”，“doc”：“test_doc1”，“name”：“key1”}，
{“type”：“string”，“doc”：“test_doc2”，“name”：“key2”}
}
}
source=“test_source”，
schema_json=test_avro_schema_json，
source_owner_email=“test@test.com”，
包含_pii=false
）
````
从有效负载数据创建简单的数据管道消息。
```
从数据管道导入消息
消息=消息（
schema id=schema_info.schema id，
有效负载数据={
“key1”：“value1”，
“key2”：“value2”
}
）
```
在“test_namespace”和“test_source”中，
在本例中，使用者使用单个消息，对其进行处理，然后
提交偏移量。
````
从数据管道导入使用者
从数据管道导入使用者。使用者源导入topicinsource
使用者源=topicinsource（“test_namespace”，“测试源”）
以消费者身份（
消费者名称='my_consumer'，
团队名称='bam'，
预期的消费者频率秒数=12345，
消费者源=消费者源：
为消费者：
为真：
消息=消费者。如果消息不是none:
处理消息…
消费者。提交消息（消息）
````
运行生产者/消费者并与其他应用程序集成可能需要额外的工作。
许可证
----
数据管道clientlib是在apache许可证下许可的，版本2.0:http://www.apache.org/licenses/license-2.0
contribution
----
鼓励每个人通过分叉github存储库并发出请求或打开问题来贡献数据管道clientlib。
documentation
-
（datapipe-2031 abrr）：链接到公共服务文档。
history
----
0.1.4（2015-08-12）
++++++++++++++pi
0.1.3（2015-08-10）
++++++++++++
欢迎加入QQ群-->： 979659372
