문제마다 달라질 것이기 때문에 정확한 비율로 얘기하기는 어렵겠지만 데이터파이프라인의 경우가 일반적으로 훨씬 많은 리소스가 소요됩니다. 데이터 파이프라인에서 관리해야 하는 데이터의 양이 더 많기도 하고 데이터의 소스가 추가되거나 운영중 프로그램 변경으로 인해 유입되는 데이터가 약속된 형태에서 바뀌는 등 많은 이슈들이 발생하게 되고 이를 모두 관리하는 데에 많은 툴과 시간을 투자하시게 됩니다.
답변 감사합니다. 현재 소속된 조직에서도 단기적 성과물에 집착해서 앞단인 Data Pipeline에 대해서는 등한시하는 상황입니다. 그래서 실제 실무자들은 앞단에 발목이 잡히거나 일을 위한 일을 양산하고 있지요...
[질문]용량이 매우 커 백업시간이 많이 걸릴때 클라우드 및 레거시스토리지에 동시에 백업할때 시간대가 다를 수 있는지요? 동시에 풀백업 진행도 가능한지 궁금합니다.
백업은 google cloud storage 에 진행 됩니다. cloud storage 에 백업 된 데이터를 레거시 스토리지로 백업하는 것은 추가 설정이 필요한 부분이라 백업 시간대는 추가적인 확인이 필요할 것으로 보여집니다. https://cloud.google.com/datalab/docs/how-to/working-with-notebooks#cloud_datalab_backup
[질문[ 백업사용에 대해 백업 용량 혹은 백업 데이터 유지기간에 따른 제약 사항은 없는지 궁금합니다.
백업은 google cloud storage 에서 백업이 됩니다. 백업 작업은 10분마다 실행되며, 최근 10 시간 동안의 백업, 일일 백업 7 회, 주간 백업 20 회를 유지하고 이전 백업 파일을 삭제하여 공간을 보존합니다 https://cloud.google.com/datalab/docs/how-to/working-with-notebooks#cloud_datalab_backup
[질문] 해당 서비스를 이용할 때 보안에 관련된 기능으로는 어떤 것이 있나요? 해킹이나 바이러스, 버그에 대한 대비나 대응에 대해서...^^
Google Cloud 에서는 플랫폼 보안 기능, 보안 서비스 API 및 인증 된 액세스, 로깅, 데이터 암호화, 보안된 네트워크, 침입감지, 보안 검색 등을 통해, Google Cloud Service 에 대한 보안을 약속합니다
감사합니다.^^
CLOUDDATALAB 이 가격정책이 어떻게 되는가요? 개인사용은 free credit 을 줄수 있는가요?
datalab 사용 자체는 무료입니다. 그렇지만 datalab과 함께 사용하는 GCP 리소스에 대해서는 비용을 지불해야 합니다. https://cloud.google.com/datalab/docs/resources/pricing
[질문] VM 머신타입의 종류와 혼용가능한지요?
다른 VM 머신타입으로도 Datalab 을 사용하실 수 있습니다
업무와 무관해서 접해보지못했는데 개인적으로 클라우드에 입문하는 방법이나 교재를 좀 일러주시면 좋겠습니다.
안녕하세요, https://cloud.google.com/ 사이트에서 무료 300크레딧을 이용하여 GCP 를 접해 보실 수 있습니다.
[질문] 흔히들 얘기하는게 Data Pipeline 단을 구성하는게 전체 업무의 대부분을 차지한다고 얘기합니다. 오늘 주제인 배포와 운영 관점에서 두 Pipe Line 구성에 어느 정도 비율로 Resource가 할당되어야 할까요?