Mongo连接器
mongo-connector的Python项目详细描述
MongoConnector项目起源于MongoDB MongoLabs 项目现由YouGov,Plc管理。
有关完整的文档,请查看Mongo Connector Wiki。
系统概述
mongo-connector
创建从MongoDB群集到一个或多个的管道
目标系统,如solr、elasticsearch或其他mongodb集群。它
将MongoDB中的数据同步到目标,然后跟踪MongoDB oplog,保持
实时更新MongoDB中的操作。详细文件如下
在wiki上提供。
开始
Mongo连接器支持Python3.4+和MongoDB版本 3.4和3.6。
安装
使用MongoDB文档管理器安装Mongo连接器 将数据复制到MongoDB,使用pip:
pip install mongo-connector
可以自定义install命令以包含Doc Managers 以及目标系统的任何额外依赖项。
Target System | Install Command |
---|---|
MongoDB | ^{tt1}$ |
Elasticsearch 1.x | ^{tt2}$ |
Amazon Elasticsearch 1.x Service | ^{tt3}$ |
Elasticsearch 2.x | ^{tt4}$ |
Amazon Elasticsearch 2.x Service | ^{tt5}$ |
Elasticsearch 5.x | ^{tt6}$ |
Solr | ^{tt7}$ |
您可能必须使用sudo运行pip,具体取决于 安装Mongo连接器的位置以及您拥有的特权。
系统V服务
Mongo连接器提供安装和卸载自身的支持 linux上system v init下的服务守护进程。在安装 使用以下命令打包、安装或卸载:
$ python -m mongo_connector.service.system-v [un]install
发展
您还可以安装Mongo连接器的开发版本 手动:
git clone https://github.com/yougov/mongo-connector.git pip install ./mongo-connector
使用Mongo连接器
MongoConnector从MongoDB oplog复制操作,因此 replica set 必须在启动前运行。出于开发目的,您可能会发现 运行单节点副本集很方便(请注意,这是not 建议用于生产):
mongod --replSet myDevReplSet
要将服务器初始化为副本集,请在中运行以下命令 Mongo外壳:
rs.initiate()
副本集运行后,可以启动Mongo连接器。这个 最简单的调用类似于以下内容:
mongo-connector -m <mongodb server hostname>:<replica set port> \ -t <replication endpoint URL, e.g. http://localhost:8983/solr> \ -d <name of doc manager, e.g., solr_doc_manager>
除了上面演示的选项外,mongo连接器还有许多其他选项。 要获得包含描述的完整列表,请尝试mongo-connector--help。 您还可以将mongo连接器与configuration file一起使用。
如果您想在另一个特定系统中使用Mongo连接器,请检查:
医生经理
弹性搜索1.x:https://github.com/yougov/elastic-doc-manager
弹性搜索2.x和5.x:https://github.com/yougov/elastic2-doc-manager
溶液:https://github.com/yougov/solr-doc-manager
MongoDB文档管理器与MongoConnector项目一起打包。
故障排除/问题
安装有问题吗?有关于Mongo连接器的问题吗? 你的问题可以在FAQ中回答 或者在wiki里。如果您在那里找不到问题的答案,可以在mongo connector的github页面上找到open an issue。