Elastic 7.10 업그레이드를 통해 '검색 가능한 스냅샷(Searchable Snapshot)'이라는 우수한 기능이 출시되었습니다. 정책에 의해 오랜기간 보유해야만 하는 개인정보, 보안 데이터 등을 고성능의 하드웨어가 요구되는 Hot/Warm 노드에 저장하기란 비용적 부담이 따를 수 있습니다. 이제 이러한 데이터는 최대 50% 비용절감이 가능한 Object Storage (AWS S3, Microsoft Azure Storage, Google Cloud Storage 또는 이에 상응) 기반의 Cold 노드에 저장하고, 필요할 때는 언제든 Searchable Snapshot 기능을 통해 검색해 획기적인 TCO 관리와 더불어 극강의 퍼포먼스를 체험할 수 있습니다. 더 자세한 내용은 12월 16일 진행된 7.10 업데이트 웨비나를 시청해 확인해 보시기를 추천드립니다.
해당 솔루션과의 연계를 통해 이중 보안 기능 구현이 가능합니다. 플랫폼의 특성상 개별적인 솔루션과의 1:1 비교에서 우위를 점하기란 어려운 부분이 있습니다. 마이데이터 플랫폼 구축 영역에서 특성에 맞게 다양한 보안 기법을 적용하여 구현하시는 방법을 추천드립니다.
실제 사용하는 고객들의 만족도를 정확히 파악할 수는 없으나 대체로 Elastic Stack을 오픈소스로 사용하다가 유료로 전환하는 가장 큰 이유가 Elastic ML 기능입니다. Elastic ML은 시계열 데이터로부터 "이상치"를 탐지하는데 특화되어 있습니다. 따라서 별도의 복잡한 학습과정 없이 운영상의 문제점들을 낮은 오탐율로 찾아주어 모니터링과 보안 쪽에서 많이 사용됩니다. 정확도는 ML의 job 생성시 충분한 기간의 데이터가 있고 이상치 탐지에 필요한 요소들을 정확히 설정하는 방법으로 높일 수 있습니다.
Elastic은 대용량 데이터를 다루는 기업들이 플랫폼, 시스템에 얽매이는 시간을 줄이고 데이터에서 실제로 인사이트를 찾는 행위에 더욱 집중하셔서 늘 가치 있는 데이터로 정확한 분석을 하실 수 있도록 돕고자 합니다.
시장에는 좋은 데이터 시각화 제품들이 많습니다. 다만, Elastic은 시각화에만 한정되지 않고 데이터를 수집하고 저장한 후 분석하는 모든 행위가 하나의 플랫폼 안에서 실행될 수 있고 이러한 모든 데이터 관련 업무들이 Kibana라는 시각화 툴에서 실시간으로 고객사에 맞게 커스터마이즈 가능하다는 장점이 있습니다.
DB에서의 삭제는 deleted라는 항목에 표기하고 해당 목록을 검색했을 경우 보여주지 않는것을 의미합니다. 엘라스틱에서의 삭제는 해당 문서를 삭제하기 때문에 물리적인 삭제가 가능합니다.
이 방법은 스토리지 공간을 더 사용하는 대신 수집 시점에 한번만 연산하고 사용할 때 신속한 연산 및 응답이 가능하기 때문에 데이터플랫폼에 적합한 기술입니다.
여느 NoSQL, 빅데이터 기술과 마찬가지로 Elastic Stack 또한 전통적인 관계형 데이터베이스의 조인(join)은 효과적으로 처리하기 어렵습니다. 상관분석은 다수의 데이터 소스를 대상으로 한번에 검색하여 결과들을 집계하는 방법과, 특정 시각화 도구(예, Kibana 대시보드)에 동일 조건의 다수 데이터소스를 동시에 표시하고 필터링 하는 방법을 사용합니다. 보다 근본적인 방법으로는 데이터가 수집되는 시점에 데이터 강화 또는 보강(enrichment)하는 방법을 사용하는데 예를들어, IP 필드만 있는 데이터소스를 수집이 끝난 후에 DHCP 또는 HR 데이터셋과 조인하는 방식이 아니라 데이터가 수집되어 Elasticsearch에 인입되는 시점에 ingest pipeline과 같은 기능을 이용하여 IP, username, location, age 정보를 함께 저장하는 방법입니다.
다른 여느 데이터플랫폼과 마찬가지로 성능과 안정성 모두 중요합니다. 특정 조직 내부적으로 사용하는(사용량이 예측이 가능한) 시스템과 달리 불특정 다수를 상대하는 시스템이므로 추가로 사용자 증가에 대한 대응(신속한 확장, 캐싱 등)과 추가적인 보안에 대한 고려가 중요합니다. 서버와 스토리지로 한정한다면 고성능의 큰 서버 몇 대보다는 상대적으로 작은 서버 여러대가 병렬 처리/분산 처리가 가능한 아키텍처가 필요하고, 데이터 접근 빈도에 따른 티어드(tierd) 스토리지 구조가 좋습니다.
안녕하세요 :)