문제마다 달라질 것이기 때문에 정확한 비율로 얘기하기는 어렵겠지만 데이터파이프라인의 경우가 일반적으로 훨씬 많은 리소스가 소요됩니다. 데이터 파이프라인에서 관리해야 하는 데이터의 양이 더 많기도 하고 데이터의 소스가 추가되거나 운영중 프로그램 변경으로 인해 유입되는 데이터가 약속된 형태에서 바뀌는 등 많은 이슈들이 발생하게 되고 이를 모두 관리하는 데에 많은 툴과 시간을 투자하시게 됩니다.
답변 감사합니다. 현재 소속된 조직에서도 단기적 성과물에 집착해서 앞단인 Data Pipeline에 대해서는 등한시하는 상황입니다. 그래서 실제 실무자들은 앞단에 발목이 잡히거나 일을 위한 일을 양산하고 있지요...
(질문) mssql -> 다른 오픈DB 로의 마이그레이션할경우, 어느 오픈DB가 가장 마이그레이션하는데 쉬운가요 ?
오늘 세미나 소스DB중에선 MySQL/mariaDB 보다는 아무래도 상용DB의 native feature를 많은부분 제공하는 PostgreSQL이 마이그레이션시 조금 더 용이하다고 볼수 있습니다.
On-Prem환경의 SQL Server는 Azure Database for SQL Server Managed Instance로 마이그레이션하는 것을 권장 드립니다. (MI의 경우, 2005 - 2017까지 호환성을 지원합니다.)
꼭 OSS로 전환하고자 할경우, 현재 무료로 제공하는 Azure DMS(Database Migration Service)를 통해 적합한 선택을 찾아 보시는 것도 방법일것 같습니다. https://azure.microsoft.com/en-us/services/database-migration/
외부감사에 관한 법률에 따라 회계법인으로 부터 전산감사를 주기적으로 받고 있습니다. 오라클 등 공신력 높은 회사 제품을 미사용하고 OSS DB 기반으로 운영할 경우 감사인은 최소한의 보안과 인증 내역을 요구할 것 같습니다. 어떤 수준 이상의 보안과 인증은 받아야 한다는는 가이드나 국내/외 사례가 있는지 궁금합니다.
보통 산업 분야에 따라 요구되는 인증이 조금씩 다르기 때문에서 일반적인 표준은 없습니다만, Azure Compliance에서 웹페이지에서 산업군별로 취득되어 있는 인증 종류를 확인해 보실 필요가 있을것 같습니다.
(질문)주로 Oracle의 유지보수 비용으로 인해 Open DBMS로 Mig를 준비하는데요.
MS에서 DBMS mig관련 툴을 제공해주는 것으로 알고 있습니다.
그런데 주로 Data쪽에 초점이 맞춰져 있는거 같습니다. 기타 업체 툴도 그렇고요.
혹시 APP 개발 Source Code 내의 Query문들에 대한 변환 툴은 없나요?
아직까지는 오픈소스DB로의 마이그레이션시 자동변환되는 툴은 지원되지 않고 있습니다. 스키마,데이터의 경우는 자동변환이 되지만 오브젝트 ,쿼리등은 매뉴얼 작업이 필요합니다.
[질문] 흔히들 얘기하는게 Data Pipeline 단을 구성하는게 전체 업무의 대부분을 차지한다고 얘기합니다. 오늘 주제인 배포와 운영 관점에서 두 Pipe Line 구성에 어느 정도 비율로 Resource가 할당되어야 할까요?