Lubmerjack은 Elastic Stack에서 수집을 담당하는 컴포넌트로 Logstash만 있던(Beats가 나오기 전) 시절에 엣지 노드에서 로그 데이터를 Logstash나 Elasticsearch로 보내기 위해 처음 만들어졌고 이후 Logstash-forwarder로 변경되었다가 Filebeat에게 그 자리를 내주었습니다. 이후 Logstash에서 Logstash로 데이터를 전송해야하는 특별한 경우에 사용되는 네트워크 프로토콜로 남았는데요, 명확한 필요성이 있는경우에만 사용하라고 권고하고 있습니다. 일반적으로는 Filebeat에서 바로 Elasticsearch로 데이터를 보내는 것이 보안, 데이터 유실, 자원 사용 등의 관점에서 안정적인 구조이고 필요시 중간에 Logstash를 경유하도록 설정하는 방법도 많이 사용합니다.
답변 감사드립니다.
Logstash to Logstash 를 고려한 이유는
1. 국가 관공서를 상대하는 사업이 다 그렇지만
로컬서버에서 중앙서버의 EL로 곧바로 데이터를 넣는다는 부분에서 보안위험성을 지적할 것 입니다. (보안담당자 분들의 기술적인 고려는 차지하더라도 우선 서비스가 직접적으로 노출된다는 이유 때문입니다.)
중간에 완충(필터)되는 단계를 가져야 그분들은 안심을 하더군요.
이와 별개로 관공서 인프라 망연계(별도의 서브넷을 구성하여 IP forward 등)는 필수 입니다.
2. 검토 초기에 Beats를 통해 JDBC 데이터를 수집하는 방법을 찾아 보았는데, 이 부분은 지원되지 않는 것으로 보였습니다.
[질문] 공공기관 연계시 (from 여러 로컬서버 to 단일 중앙서버)
엘라스틱서치에서 가이드라인 제시한 'Logstash to Logstash with lumberjack/SSL' 방식에 대해서는 어떻게 평가하시는지요.