토크아이티 메인페이지

안녕하세요 데이터이쿠 포커스파트너 쿤텍 김선태 부장입니다. 데이터이쿠는 SQL 데이터비이스를 포함하여 Salesforce, SAP과 같은 다양한 비즈니스 애플리케이션등 총 32개 이상의 데이터에 커넥터를 제공합니다. 귀사의 ERP가 어떤 DB를 사용하고 계신지 알려주시면 좀 더 정확한 답변을 드릴 수 있습니다. 감사합니다.

esg와 관련된 문서들을 임베딩화하여 벡터 데이터베이스에 저장하고 GPT 모델에서 유사도를 평가하여 가장 적합한 문서를 찾아서 요약 답변을 작성하는 방식을 사용하였습니다.

Dataiku가 제공하는 AI 플랫폼은 대부분의 스토리지 솔루션과 연계하여 사용할 수 있습니다.

그러므로 저희가 직접 고성능 스토리지를 제공하고 있지는 않습니다.

최근에 특히 오브젝트 스토리지 기반의 고성능 스토리지를 제공하는 업체들이 많습니다. S3와 호환되는 솔루션은 쉽게 연동하여 사용할 수 있으니 관련 업체와 협업해 보시기를 권장드립니다.

1. 오픈소스 활용 개발 or API 연결 개발 둘 중 어느 방식일까요?  

=> Dataiku는 두 가지 방식 모두 지원합니다.

2. 회사의 정보를 활용해서 자체 LLM 서비스를 구축하기 위해서 문서(PPT, 엑셀, 워드, PDF, 메일 등)를 파인튜닝 하려고 하면 어떤 방식으로 선행 작업이 진행되어져야 할까요?

=> 문서에 대해서는 파인 튜닝보다는 인덱싱 작업이 적절히 진행되어야 할 것으로 생각됩니다.

MSA의 궁극적인 목표는 서비스를 단순화 하는 것이기에 대량의 배치 업무와 같은 비지니스의 경우 기대하시는 전환효과에 비해 상대적으로 많은 오버헤드가 존재할 수 있습니다. 따라서 업무와 비지니스에 대한 상세한 분석이 필요합니다.

Cloud Native로의 전환은 플랫폼과 어프리케이션의 변화가 필요합니다.

초반에는 어떠한 플랫폼을 이용할지, 그리고 처음에는 영향도가 scale이 작은 application부터 전환 대상으로 지정하여 수행 하는것을 추천드립니다.

새로운 개발/운영 문화에 대한 친숙도를 올리는 것이 중요합니다.

서비스 중단 없는 클라우드 운영을 위한 전략으로는 크게 2가지가 있다고 생각합니다.

1. Blue-Green Deployment

두 개의 별도 환경을 준비하여 한 쪽은 실제 서비스, 다른 한 쪽은 업데이트를 진행합니다. 업데이트가 완료되면 트래픽을 업데이트된 새 환경으로 전환합니다.

2. Canary Release

새로운 버전을 일부 사용자에게만 먼저 제공하여 검증하고 이 결과를 분석하여 문제가 없는 것을 확인한 후 전체 사용자에게 업데이트를 확장합니다.

많은 Trend중에, DevOps에서 DevSecOps로 가는 Trend가 있습니다.

최근 많은 기업에서 전환뿐만 아니라, Cloud Native 환경에서의 Seucrity에 대한 고민을 많이 늘어나고 있습니다.

기존의 Legacy의 수단만으로 보안을 수립할 수 없기에, 최근 Cloud Native에 맞는 zero-trust 개념이 포함된 많은 솔루션들이 부각되고 있습니다.

단기적인 절감보다는 장기적인 관점에서 진행을 하면 명확한 TCO에 대한 절감을 목표로 해야한다고 생각합니다.

1. 현재 상태 평가

기존 시스템 분석: 현재 사용중인 애플리케이션과 인프라의 특성과 구조를 파악합니다.

비즈니스 요구사항 분석: 비즈니스 목표와 요구사항을 정확히 이해하고 정리합니다.

2. 전략 수립 및 로드맵 개발

3. 아키텍처 설계 및 데이터 마이그레이션 전략 수립

4. 개발 및 테스팅 환경 구현

5. 운영전환 및 배포,운영인력 훈련 및 지원

6. 운영환경 유지관리 및 최적화

이러한 단계를 거치면서 비용, 시간, 자원 등을 절약하고, 시스템의 효율성과 유연성을 향상시킬 수 있어 TCO를 절감할 수 있습니다.

MLOps의 관점에서 데이터이쿠의 큰 차별성은 최고의 범용성이라고 생각합니다.

각 도메인 또는 조직마다 데이터사이언스 전 과정을 수행하기 위한 환경이 조금씩 다르고, 다양한 인프라와 연동이 필요한 솔루션들이 있습니다.

이러한 부분들을 얼마나 유연하게 연동하여 MLOps 시스템을 구축할 수 있느냐가 매우 중요한데,

데이터이쿠는 On-Premise, Cloud 환경에 모두 설치하여 운영할 수 있고, 다양한 데이터소스, IDE, Notebook, 자동화 솔루션 및 시각화 솔루션 등과 연동할 수 있는 다양한 커넥터를 제공하여 손쉽게 연동할 수 있습니다.

또한 데이터이쿠 내에서 코딩으로 작업을 하더라도 솔루션이 제공하는 독자적인 방법이 아닌, Python, R 등으로 개발할 수 있어 시간과 비용을 줄일 수 있습니다.

IT 인프라의 운영관리에 있어 오토메이션이 과거에 사용된 용어라면 최근에는 오케스트레이션이라는 용어를 많이 사용합니다.

오케스트레이션은 오토메이션의 범주를 포함하고 있으며, 여기 추가적으로 문제해결 능력이 부가된 개념이라고 정의내릴 수 있습니다.

예를 들어 SW를 배포나 운영상 발생될 수 있는 장애 등은 현재까지 오토메이션을 통해 전문인력이 개입하지 않고 배포나 모니터링 등이 솔루션에 의해서 이루어지고 있지만 이후 감지된 이슈에 대한 해결 즉, 장애처리, 서비스 확장, 추가 인프라 증설 등의 행위들은 전문엔지니어의 개입을 통해 해결되고 있습니다.

오케스트레이션은 이러한 문제해결의 영역도 자동화를 할 수 있습니다.

요즘 각광받고 있는 쿠버네티스의 경우 배포된 컨테이너의 자동 장애 복구, POD 스케일 업/아웃, 노드 스케일 업/아웃 등의 기능을 예로 들을 수 있습니다.

안녕하세요.

Ceph 도입 시, 제일 고려하여야 할 사항은 스토리지를 어떻게 사용할 것인가 입니다.

Ceph 사용에 있어서 사용 방식을

• Block Storage 방식 (Kernel Module, QEMU, KVM, Kubernetes, OpenStack, CloudStack)

: RBD

• File System 방식 (Object-Based Storage, POSIX-compliant)

: Ceph FS

• Object Storage 방식 (AWS S3, SWIFT, Restful API, iSCSI)

: RADOSGW

사용하는 방식에 따라 구축하는 방식이 다릅니다.

추가적으로 저장 방식을 3-Copy Replication 방식으로 할 지, EC (Erasure Coding) 방식으로 할지 결정해야합니다.

실제 H/W 을 이용하여 구축할 방식이 이에 따라 결정되어 집니다.

이러한 내용들은 Ceph 구축에 필요한 아키테처링에 기본적으로 필요한 부분입니다.

감사합니다.