전문가 Q&A

비용관련해서는 저희 AWS Pricing page를 확인하시는 방법이 가장 정확합니다. 비용 체계가 굉장히 세분화 되어 있어 여기서 확인해 보시는게 정확합니다. https://aws.amazon.com/sagemaker/pricing/

아닙니다. 데이터 사이언티스트가 더 필요합니다. 업계 지식과 데이터에 대한 insight가 있을수록 더 좋은 결과가 나옵니다.

Autopilot 는 Feature 에 대해서 자동으로 전처리를 합니다. Autopilot 을 사용하지 않는다면 직접 (노하우를 가지고) 해주셔야 합니다.
다만 현재 Autopilot 이 지원하는 Problem type 이 linear regression 과 logistic regression 만 지원하기 때문에 이미지 처리는 Autopilot 을 사용하실수 없습니다.
이미지관련 SageMaker 의 built-in 알고리즘을 사용하셔야 하고 직접 전처리 하셔야 합니다. :(

데이터가 많아도 필요한 데이터가 없다면 정확도는 낮을수밖에 없구요. 데이터에 대한 Ingest 가 가장 중요한 이유입니다. 계속해서 노력해서 데이터를 모으고 고민하고 ML 학습해보고 끊임없는 노력을 통해서 정확도를 높이는것이 일반적이라 판단됩니다.

데이터 민감도와 워크로드의 성질에 따라 다를거 같습니다. 아까 말씀 드린 이미지 관련 (언어와 무관한 작업이라면) public이 어울리겠지만 한국어를 보고 negative postive 분류해주길 바란다면 private으로 꾸리서야 할겁니다. 그리고 데이테가 외부에 공개 되도 되는지 아닌지에 따라 정하실수 있을듯 합니다.

답변 감사드립니다.

직즙 마드신 새로운 알고리즘이 있으시다면 Docker 로 구워서 ECR (Elastic Container Register) 에 등록하시고 ECS (Elastic Container Service, Docker) 을 쓰시면 됩니다.
즉 Built-in 알고리즘을 쓰실때는 ECR URI (정보) 을 설정하지 않지만 직접 만드시고 등록한 Docker 에 대해서는 URI (주소) 을 지정하셔야 하는 차이가 존재합니다.

Sagemaker Studio는 최근 오픈한 서비스 여서 제가 많은 사례를 다 알지는 못하지만 https://aws.amazon.com/sagemaker/customers/ 에 가시면 좀 도움이 되실거 같습니다.

SageMaker 의 각 Job 들 (Processing Job, Training Job, Hosting Job 등) 에 대한 Workflow 말씀하시는 거라면 AWS Stepfunction 이나 Apach Airflow 또는 Kuberflow 을 사용하실수도 있습니다.

일단은 S3로 무조건 이전해 와있어야합니다. Data transfer out비용은 발생합니다. 하지만 sagemaker와 S3사이의 데이터 transfer는 비용이 발생하지 않습니다.

지금 보시는 18가지 알고리즘은 이미 업계에서 표준화된 알고리즘입니다. 딥러닝이 아닌 것과 딥러닝이 아닌것이 합쳐져 있습니다.
일반적인 워크로드에 최적화 됬다고 보시는게 맞습니다.

말씀하시는 바와 같이 ML 은 '데이터셋' 부터 '배포/서비스/모니터링' 까지 엄청남 노력과 반복작업입니다. Feature Engineering 을 하게 되면 다시 HPO 진행하셔야 한다는점 미리 말씀드립니다.
엄청나게 Engineering 을 진행한 데이터셋이 있다고 가정하였을때 제가 사용하려는 알고리즘 (예, xgboost) 을 선택하면 알고리즘의 static parameter 를 고정하시고 tuning 할 parameter 을 정의하시면 됩니다. Tuning 하려는 parameter 별로 range 을 주시면 HPO 후에 해당 range 에서 어떤 값이 가장 Best 다라고 결과가 나옵니다.
추가로 한번 HPO 후 완료하는 것이 아니라 range 을 처음에는 조금 크게, 그 다음은 조금 작게...이런식으로 몇번을 하시는것을 추천드립니다.

DLAMI는 학습을 위한 전용 framework들이 설치된 OS+framework+packes 인 이미지 이고요, 여기 위에서 학습을 위해 필요한 데이터를 준비하시는 과정에서 GroundTruth(GT)를 사용하실수 있습니다. GT에서 나온 결과를 가지고 sagemaker에서든 DLAMI든 학습하시는거는 원하시는 사양에 맞춰 하시면 됩니다.

솔찍히 쉽지많은 않습니다. 말씀하신 모든 과정들을 쉽게/빠르게/싸게 진행할 수 있도록 다양한 기능들을 제공하는데 그런 기능들을 익히고 사용하는데 바로 되지는 않습니다. 다만 그런 기능들을 직접 구현하시거나 몸빵으로 진행하신다면 수배/수십배의 시간/돈이 발생한다고 생각됩니다.

국내 제조쪽 대기업에서는 내부적으로 엄청많은 ML/DL 을 적용중에 있습니다. 물론 제조쪽 대기업에는 Data Scientist 팀이 있으며 가장 일반적인 사례는 수요예측 (Demand Forecasting, 단기/장기 예측), 이상징후 탐지 (장비 센서 데이터를 이용한 불량 판별) 등이 많고 몇몇 고객분들은 RL 도 진행하시는 곳이 있습니다.

이미지 3D Lidar 데이터 등이 많이 핫한 곳이고요,
시행착오방지를 위해 여러 사람이 labeling하게 하고 voting이나 confidence를 추적하는 방식이 있습니다.

SageMaker 는 당양한 Framework 을 지원하고 있습니다. 말씀하신 Tensorflow 는 물론 PyTouch, MXNet 은 물론 Scikit-learn 을 지원합니다.
이미 원하시는 Framework 이 설치되어 있다고 생각하시면 됩니다.

1) 기본적으로 많이 공개된 데이터들을 활용하시고요, 2) 1번 데이터 set에다 업게 specific한 데이터를 추가해서 같이 합니다.

알려진 사례는 많지 않습니다. 과거에 GPU 서버를 직접 사셔서 진행하신 경우가 많았고, 최근에 AWS SageMaker 에 대한 문의가 많아지고 있는것은 사실입니다. Cloud 장점에 Machine Learning 을 쉽게하기 위한 방법을 많이 찾으시기 때문입니다.

답변 감사합니다.
향후 교육 연게된 모델링 시에 연락드리겠습니다.

여려 명에게 배포하는 방식과 과거 labeling하시던 분의 정확도에 따라 해당분의 label에 좀더 weight를 줘서 confidence를 계산하는방법들이 있습니다.

말씀하신것 처럼 결론은 개발/학습/배포 입니다. AWS SageMaker 을 이용해서 쉽고/빠르게/싸게 진행할 수 있는 것이 특장점이며 이를 위해서 SageMaker 의 정말 많은 기능들이 존재합니다. Autopilot, Processing, Debugger, Monitor, Tuning, Inference flow 등등등. 또한 당연히 AWS Cloud 의 여러 서비스들과 Integration 되어서 진행되기 때문에 SageMaker 의 장점 + AWS Cloud 의 장점이 도움을 줍니다.

많은 도움이 되는 질문 답변입니다 . 감사합니다.