생성형AI 통해서 실시간 상담에는 응답시간이 길어지는 현상이 있기에, 해당 기술은 상담원 코칭을 이한 용도로 사용됩니다. 10B 모델 정도가 적용됩니다.
Q4에 릴리즈 될 계획입니다.
모델 변경시, 일반적으로 A/B 테스트를 통한 결과를 보고 모델을 변경할지 말지 판단을 해야합니다. GALE모니터링은 현재 준비중입니다.
GALE라는 제품을 통하여, 내용을 손쉽게 비교하고, 평가후 서비스에 적용할 수 있습니다.
파인튜닝은 본사 R&D에서 작업을 합니다. LLM 결과 평가와 관련해서는 여러가지 LLM으로 테스트를 진행하고, 그 결과는 사람이 판단해서 나에게 적합한 LLM을 선택하여, 서비스에 반영하게 됩니다.
FAQ 트레이닝에 대한 부분은 LLM을 적용함으로써 기존 작업 대비 90%의 노력을 줄일 수 있습니다.
LLM은 상당한 빠른 수준으로 다양한 기술들을 적용하고 있습니다. 이것을 활용하려는 기업들의 입장에서는 RAG, LLM Apps등의 기술을 적용하기 위한 시도들을 지속적으로 이루어 지고 있습니다.