MongoDB와 Elasticsearch Sync

진행하던 프로젝트에서 Elasticsearch를 사용해야한다고 한다.

여담이지만 IT 일이란게 "하자" 라고 정해지면 이것 저것 따져볼 시간도 없이 실무자 입장에서는 레퍼런스를 찾아야한다.

에효효효효.. 여튼!

첫 번째 검색어 - "Sync Mongodb with Elasticsearch" 

추천된 기술은 Mongo-connector, Transporter, Monstache (Link)

그런데 슬쩍 알아보니 Mongo-connector와 Transporter는 최신 버전의 Mongodb와 Elasticsearch를 지원하지 않아서 탈락..

Monstache는 내려받은 파일에서 바로 실행하면 될 것 같아서 실행 시켰더니 Connection Error.. OTL

[Monstache 압축 해제 후]

두 번째 검색어 - mongodb to elasticsearch using logstash

내용을 찾다가 우연히 logstash로 할 수 있는 방법을 보았고 검색을 했다.

여러 검색 결과 중 "https://discuss.elastic.co/t/mongodb-to-elasticsearch-by-using-logstash/151572/3" 여기에서 Logstash 보다는 Apache Kafka를 추천한다.

내용을 찾아 해메기를 몇 시간... 다시 처음으로 돌아가기로 결심.

 

세 번째 검색어 - Monstache

기술 검색을 하다보면 멤도는 때가 있는 것 같다. 찾아보면 다시 그 자리..

그래서 가장 쉬울 것 같아 보이는 Monstache를 파보기로 결심. 

일단 결과적으로는 성공했는데 환경은 아래와 같다.

- Elasticsearch와 Mongodb가 한 컴퓨터에 설치 (기본포트 사용)

- Mongodb Replica set 생성

- Monstache에서 사용하는 toml 확장자의 configuration 파일 작성으로 각 구동 서버의 주소 명시화

이런 기본 설정으로 sync는 되고 있으나,

Mongodb에서는 사용가능하지만 Elasticsearch에서는 사용할 수 없는 문자를 Mongodb에서 사용함으로써

toml 파일을 좀 더 상세하게 분석할 필요가 있어 보인다.