Autodesk, AWS를 사용하여 고객 지원 팀과 제품 지원 팀 간에 지원 사례를 라우팅하기 위한 모델 개발

소프트웨어 공급업체인 Autodesk의 고객들은 소프트웨어를 찾고 설치하는 일반적이고 간단한 작업부터, 회사 소프트웨어 패키지 내의 고급 모델링 특성에 대한 복잡한 문의에 이르기까지 다양한 문제에 대해 문의합니다. 이러한 문의는 고객에게 상당한 재정적 영향을 미치므로, 그에 대한 지원이 매우 중요합니다.

하지만 문제가 발생해 Autodesk에 문의하는 고객은 도움을 받아 문제를 빠르고 효과적으로 해결하려고만 하지, 다양한 부서나 지원 팀마다 서로 다른 유형의 문의를 처리한다는 사실은 고려하지 않습니다. 고객은 문제를 제대로 설명하지 못하는 경우가 많습니다. 과거에는 이로 인해 고객이 잘못된 지원 팀으로 안내되어 불만을 갖게 되고 해결이 지연되기도 했습니다. 제품 지원 그룹이 전문적인 지원을 제공하려면 심층적인 상담이 필요하지만, 몇 분 만에 해결되는 문제가 훨씬 더 많습니다. 다운로드 링크 찾기와 같은 간단한 요청을 하는 고객이 고객 지원 팀의 도움을 받지 못한 채, 고도로 전문화된 기술 문의를 위한 대기열에 실수로 추가되어 몇 시간 동안 대기하게 되는 경우도 있습니다.

이 문제를 해결하기 위해 Autodesk는 개발자 및 데이터 사이언티스트가 ML 모델을 빠르게 구축, 훈련 및 배포할 수 있도록 하는 완전관리형 서비스인 Amazon SageMaker를 사용해 기계 학습(ML) 스킬 모델을 구축했습니다. 이 스킬 모델은 사용자 지원을 담당할 적절한 팀을 선택하려고 시도한다는 점에서 일반적인 분류 모델과는 다릅니다. 이는 사례의 주제를 예측한 다음 그 주제에 맞춰 사례를 전달하는 다른 많은 모델과 대조됩니다.

이 모델을 훈련하기 위해 Autodesk는 업계 최고의 확장성과 데이터 가용성 및 보안과 성능을 제공하는 객체 스토리지 서비스인 Amazon Simple Storage Service(S3)의 데이터 레이크에서 기록 데이터 세트를 추출했습니다. 이 모델을 사용하자 비즈니스 비용이 절감되고 Autodesk 지원 담당자의 생산성이 향상되었으며 또한 고객 경험 향상과 지원 경험 간소화를 달성할 수 있었습니다.

Autodesk는 3D 프린팅, 인공 지능, 생성형 설계, 로보틱스 등의 신기술을 사용하여 건축, 엔지니어링, 건설, 미디어 및 엔터테인먼트, 제조 산업용 소프트웨어 솔루션을 만듭니다. 2017년 Autodesk는 제품 개발 프로세스에 AWS를 사용하기 위한 포괄적인 전략의 첫 단계로서, 데이터 과학 개발 워크로드를 로컬 시스템에서 Amazon Web Services(AWS)로 이전했습니다. 그리고 고객 지원 시스템에 문제가 발생하자 즉시 AWS의 솔루션을 활용하기로 결정했습니다.

고객 지원을 위한 Autodesk의 이전 규칙 기반 라우팅 시스템은 고객 입력에만 의존해 지원 통화를 라우팅하는 데 따른 리디렉션 시간 낭비 문제를 초래했습니다. 질문을 분류하기가 어려웠고, 문의 전화를 잘못 라우팅하면 응대 시간이 몇 분에서 몇 시간 이상으로 늘어날 수 있었기 때문에, 고객이 지원 시스템을 이용하는 데 많은 어려움을 겪었습니다. Autodesk의 Lead Data Scientist인 Alex O'Connor는 “기술적인 문제가 있는 것과 다운로드에 문제가 있는 것의 차이점을 고객이 알아야 할 필요는 없습니다”고 말합니다. 그렇더라도 고객이 시스템을 이용하는 데 어려움을 겪을 경우, 지원 팀은 서로 정보를 전달하면서 접수되는 각 요청을 내부적으로 어디로 라우팅해야 할지 알아내야 했습니다.

Autodesk는 여러 단어를 인식하고 단어가 서로 어떻게 결합되는지 분석하는 자연어 처리 기술을 활용하여, 고객을 적절한 지원 팀에 라우팅하는 프로세스를 보다 정확하게 자동화하는 유연하고 맞춤화 가능한 ML 모델을 만들고자 했습니다. O'Connor는 “고객이 자신만의 화법으로 설명하는 이런 문제의 경우 수많은 디테일과 언어 표현의 차이를 분석하려면 다양한 모델과 데이터의 조합을 시도해야 합니다. 그리고 이러한 모든 조합을 시도할 수 있는 능력이야말로 AWS의 가장 큰 이점 중 하나였습니다”라고 말합니다.

ML 기술 모델을 구축하기 위해 Autodesk Data Science 팀의 비즈니스 분석가들은 각 지원 팀을 만나 전문 분야를 확인하고 팀별로 어떤 업무를 어떻게 처리하는지 파악했습니다. 이 팀은 이러한 지식을 바탕으로, 스킬 모델 구축을 위한 훈련 데이터 세트를 큐레이트했습니다. 그리고 Amazon S3의 데이터 레이크에서 수천 건의 고객 서비스 요청과 해결 방법에 대한 기록 데이터를 가져왔습니다. 그런 다음 Autodesk는 Amazon SageMaker 노트북을 이용해, 사용할 모델과 필요한 데이터의 양을 정확히 파악했습니다. O'Connor는 “Amazon SageMaker 노트북은 데이터를 탐색하고, 데이터에서 나타나는 다양한 특성의 역학을 이해하며, 나아가 데이터의 다양한 부분을 훈련했을 때 ML 모델이 어떻게 동작할지를 알아보는 데 도움이 되는 토이 모델을 훈련할 수도 있다는 점에서 매력적입니다”라고 설명합니다. 지원 팀에 적합한 모델과 데이터 조합을 잠정적으로 확보하고 나면, 다음 단계로 넘어가 더 큰 데이터 세트로 훈련되어 특성이 더 풍부하고 추가적인 검사 기능을 제공하는 보다 균형 잡힌 모델을 사용할 수 있습니다. 특성이 더 풍부한 이 같은 모델은 일반적으로 고객 의견의 차이를 분석하는 데 있어 더 뛰어난 일반화 기능과 성능을 제공하는 경우가 많습니다.

Amazon SageMaker 노트북을 사용하여 분석 및 초기 탐색을 수행한 후, Autodesk는 대부분의 Python 프로젝트에 사용되는 클래식 ML 라이브러리인 Scikit-learn으로 탐색 모델을 구축했고, 다양한 도우미 함수와 샬로우(shallow) 모델을 사용하여 솔루션에 대한 인사이트를 도출했습니다. 그런 다음 Autodesk는 코드를 빠르게 재사용하고 모델을 반복할 수 있는 스크립트 모드를 사용하여 여러 딥 러닝 프레임워크에서 스킬 모델을 훈련했습니다. 또한 이 회사는 자연어 처리를 위해 PyTorch를 사용하여 fast.ai 및 Hugging Face 트랜스포머를 실행합니다.

테스트용 모델을 배포하기 위해 Autodesk는 첫 번째 API 호스팅 버전에 Amazon Elastic Container Service(Amazon ECS)를 사용했습니다. Autodesk Data Science 팀의 Principal Engineer인 Yathaarth Bhansali는 “후속 버전과 프로덕션 단계에서, Amazon SageMaker 엔드포인트 호스팅 방식으로 전환했습니다. 그 결과 유연성이 향상되고 복잡성이 감소했습니다”라고 말합니다. 전체 스크립트를 확장하고 자동화하는 작업을 비롯하여, 초기 스킬 모델을 개발하고 배포하는 프로세스에는 약 2~3주가 걸렸습니다.

Autodesk가 AWS 서비스를 사용하여 만든 모델은 고객 경험의 복잡성을 없애고 주요 지원 채널에서 잘못된 사례 라우팅을 30% 이상 줄여주었습니다. 그 결과 Autodesk 고객이 답변을 최대 3배 더 빠르게 얻을 수 있게 되었습니다. O'Connor는 “문제 발생으로 인해 고객이 비즈니스 크리티컬 프로젝트를 진행하지 못하게 되는 경우가 많은 만큼, 고객이 해결 방법을 제공받기까지 걸리는 시간이 줄어들면 고객과 그 고용주의 비즈니스에 엄청나게 긍정적인 영향을 미칠 수 있습니다”라고 말합니다. 뿐만 아니라 긍정적인 고객 피드백을 통해, 자동화된 라우팅 솔루션이 고객과 지원 에이전트를 정확하게 매칭해 준다는 사실을 확인할 수 있었습니다.

Autodesk의 Data Science 부문 Director인 James Bradley는 “기존의 규칙 기반 시스템에서 벗어나는 것은 어려웠지만 매우 가치 있는 일이었습니다. 그 덕분에, 지원 사례를 전달하는 방식이 많이 간소화되었고, 이전 시스템을 사용하면서 누적됐던 과거의 기술적 부채가 사라졌습니다”라고 말합니다. AWS가 서비스를 업데이트하면서 Autodesk도 자연스럽게 개발 방식을 개선할 수 있었습니다. 일례로, 이 회사는 다양한 모델을 A/B 테스트할 계획인데 Amazon SageMaker 엔드포인트를 사용하면 이 작업을 쉽게 수행할 수 있습니다. O'Connor는 “저희가 무언가 새로운 걸 시도하려고 할 때마다 AWS는 그러한 니즈를 예측하고 이미 관련 솔루션을 개발했다는 사실을 알게 됩니다”라고 말합니다.

한마디로, Autodesk의 Data Science 팀은 Amazon SageMaker와 Amazon ECS를 사용하면서 인프라를 유지 관리하는 것이 아니라 알고리즘을 개선하는 데 집중할 수 있게 되었습니다. Bradley는 “더 이상 직접 서버를 관리하거나 드라이버를 업데이트할 필요가 없습니다. 이전에는 정작 제가 해결해야 했던 문제보다 수준이 낮은 문제를 해결하느라 많은 시간을 허비했습니다. 저희는 스스로 상당한 전문가라고 생각합니다. 그렇기에 사소한 문제가 아니라 정말 중요한 문제에 집중하고 싶습니다”라고 말합니다

Autodesk 팀은 대기열을 모니터링하여 잘못된 대기열에 있는 것으로 판단되는 고객을 Autodesk 직원에게 알리는 기능과 데이터를 사용하여 고객의 요구 사항을 예측하는 기능을 추가하는 등, 라우팅 시스템을 지속적으로 개선할 계획입니다. 이를 통해 답변에 소요되는 시간을 단축하고 첫 시도에서 문제를 해결하는 비율을 높이려고 합니다. Bradley는 “고객이 어떠한 행위를 하면 해당 행위에서 정보를 도출한 다음, 권장 사항을 제시할 수 있습니다”라고 말합니다. 이 회사는 다른 언어를 지원하도록 라우팅 시스템을 확장할 계획이며, 고객이 지원을 받을 수 있는 환경과 양식을 늘릴 방안을 모색하고 있습니다.

Autodesk는 AWS를 기반으로, 고객을 위해 지원 시스템 탐색을 간소화했습니다. O'Connor는 “사용자가 이용할 수 있는 유일한 채널이라는 이유만으로 사용자를 특정 채널 또는 다른 채널로 몰아넣는 것이 아니라, 사용자의 니즈에 부합하고 사용자에게 가장 적합한 스킬 모델과 지원 환경을 선택해야 합니다”라고 말합니다. 이제 Autodesk의 고객 지원 시스템은 고객에게 문제를 효율적으로 해결하는 데 필요한 리소스와 지식을 제공하는 등, 의도한 기능을 더욱 정확하게 수행합니다.