基于nodejs将mongodb的数据实时同步到elasticsearch

一、前言

因公司需要选用elasticsearch做全文检索，持久化存储选用的是mongodb，但是希望mongodb里面的数据发生改变可以实时同步到elasticsearch上，一开始主要使用elasticsearch v1.7.2的版本，mongo-river可以搞定这个问题。随着elasticsearch的升级，发现elasticsearch已经放弃了mongo-river，咋整......Google之后发现一神器mongo-connector，国外大神用python写的工具而且MongoDB官网也极力推荐使用。But，我们需要把文档中的附件信息也同步到elasticsearch上，mongo-connector对附件同步支持的不是很好。能不能有个nodejs版本的数据同步?GitHub上发现一个大神写的node-elasticsearch-sync很好用，但是功能太简单了，不支持复杂的数据筛选，也不支持附件同步。活人不能被尿憋死，参考node-elasticsearch-sync自己写了一个同步工具node-mongodb-es-connector。

二、准备工作

2.1 安装mongodb

安装mongodb可以去官网下载：

https://www.mongodb.com/

PS:关于如何搭建mongodb replica集群：

https://www.cnblogs.com/ljhdo/p/4503317.html

2.2 安装elasticsearch

安装elasticsearch可以去官网下载：

https://www.elastic.co/cn/downloads

PS:关于elasticsearch-head、kibana、logstash等相关安装请自己google吧

2.3 安装nodejs

安装nodejs可以去官网下载：

http://nodejs.cn/

PS:别忘记安装npm，如何安装请自己google吧

以上是使用node-mongodb-es-connector的前提

2.4 node-mongodb-es-connector下载地址

github: https://github.com/zhr85210078/node-mongodb-es-connector

npm: https://www.npmjs.com/package/es-mongodb-sync?activeTab=readme

 

三、文件结构