Autodesk Menggunakan AWS untuk Mengembangkan Model untuk Merutekan Kasus Dukungan antara Tim Dukungan Pelanggan dan Produk

Pelanggan di penyedia perangkat lunak Autodesk memiliki masalah dukungan mulai dari tugas yang umum dan mudah seperti menemukan serta menginstal perangkat lunak hingga kueri yang kompleks seputar sifat pemodelan lanjutan dalam paket perangkat lunak perusahaan. Kueri ini sering kali memberikan dampak keuangan yang signifikan pada pelanggan, sehingga dukungan jadi sangat penting.

Namun, ketika pelanggan ingin menghubungi Autodesk tentang suatu masalah, mereka tidak memikirkan banyaknya divisi atau beragamnya departemen dukungan yang menangani berbagai pertanyaan. Pelanggan hanya tahu bahwa mereka membutuhkan bantuan untuk memecahkan masalah secara cepat dan efektif. Sering kali pelanggan tidak mengetahui cara untuk menggambarkan masalah mereka. Pada masa lalu, hal ini menyebabkan pelanggan diarahkan ke tim dukungan yang salah, sehingga menyebabkan frustrasi dan waktu penyelesaian yang lebih lama. Bantuan spesialisasi dari kelompok dukungan produk membutuhkan keterlibatan yang mendalam, sementara banyak masalah lain yang dapat diselesaikan dalam hitungan menit. Pelanggan dengan permintaan sederhana, seperti menemukan tautan unduhan, mungkin akan terhambat selama berjam-jam karena mereka secara tidak sengaja bergabung dengan antrean teknis yang membutuhkan spesialisasi alih-alih mendapatkan bantuan dari tim dukungan pelanggan.

Untuk menyelesaikan masalah ini, Autodesk membangun model keterampilan machine learning (ML) menggunakan Amazon SageMaker, sebuah layanan terkelola penuh yang memberi developer dan ilmuwan data kemampuan untuk membangun, melatih, dan melakukan deployment model ML secara cepat. Model keterampilan ini berbeda dari model klasifikasi umumnya karena model tersebut berupaya memilih tim yang tepat, yang bertanggung jawab untuk mendukung pengguna. Hal ini berbeda dengan banyak model yang berupaya memprediksi topik suatu kasus, lalu merutekan dari topik itu.

Untuk melatih model tersebut, Autodesk menarik set data historis dari danau datanya di Amazon Simple Storage Service (Amazon S3), sebuah layanan penyimpanan objek yang menawarkan skalabilitas, ketersediaan data, keamanan, dan performa terkemuka di industri. Model ini telah menghasilkan pengalaman pelanggan yang lebih baik dan pengalaman dukungan yang lebih sederhana dengan pengurangan biaya bisnis dan peningkatan produktivitas staf dukungan Autodesk.

Autodesk menciptakan solusi perangkat lunak untuk industri arsitektur, rekayasa, konstruksi, media dan hiburan, serta manufaktur, dengan menggunakan teknologi baru, seperti pencetakan 3D, kecerdasan buatan, desain generatif, dan robotik. Pada tahun 2017, Autodesk memindahkan praktik pengembangan ilmu data miliknya dari mesin lokal ke Amazon Web Services (AWS) sebagai langkah pertama dalam strategi yang lebih luas untuk menggunakan AWS dalam proses pengembangan produknya. Jadi, saat memiliki masalah dengan sistem dukungan pelanggannya, perusahaan segera beralih ke AWS.

Sistem perutean berbasis aturan sebelumnya yang digunakan Autodesk untuk mendukung pelanggan menyebabkan banyak waktu yang terbuang dalam mengalihkan panggilan dukungan yang hanya bergantung pada input pelanggan untuk perutean. Pelanggan kesulitan menavigasi sistem dukungan karena sulit untuk mengklasifikasikan pertanyaan mereka, dan kueri yang salah arah dapat meningkatkan waktu respons dari menit ke jam atau lebih lama. “Pelanggan tidak harus memahami implikasi dari pernyataan bahwa mereka memiliki masalah teknis versus memiliki masalah unduhan dan bagaimana hal itu memengaruhi arah perutean mereka,” ucap Alex O'Connor, lead data scientist di Autodesk. Namun, ketika pelanggan tersesat dalam sistem, tim dukungan harus saling meneruskan informasi untuk mengetahui ke mana harus merutekan setiap permintaan yang masuk secara internal.

Autodesk berupaya menciptakan model ML yang fleksibel dan dapat disesuaikan, yang akan menggunakan pemrosesan bahasa alami yang melihat baik dari segi kata maupun rangkaian kata untuk mengotomatisasi perutean pelanggannya ke solusi yang tepat secara lebih akurat. “Untuk masalah semacam ini, di mana pelanggan menggambarkan masalah mereka dengan kata-kata mereka sendiri, Anda harus mencoba berbagai kombinasi model dan data untuk mengakomodasi banyak variasi dalam detail dan bahasa,” ucap O'Connor, “dan kemampuan untuk mencoba semua hal itu adalah sebagian dari manfaat AWS.”

Untuk membangun model keterampilan ML, para analis bisnis tim ilmu data Autodesk bertemu dengan setiap tim dukungan untuk memahami spesialisasi mereka dan memetakan mereka dengan tugas dan cara kerjanya. Dengan menggunakan pengetahuan ini, tim mengkurasi set data pelatihan untuk membangun model keterampilan. Tim ilmu data menarik data historis dari ribuan permintaan layanan pelanggan dan resolusi mereka dari danau data di Amazon S3. Autodesk kemudian menggunakan notebook Amazon SageMaker untuk menentukan model yang akan digunakan dan jumlah data yang dibutuhkan. “Notebook Amazon SageMaker sangat menarik karena Anda dapat menjelajahi data, memahami dinamika fitur yang berbeda dalam data, dan bahkan melatih model mainan yang membantu Anda memahami akan seperti apa perilaku model ML yang dilatih pada bagian data yang berbeda,” jelas O'Connor. Setelah tim secara tentatif memiliki pasangan model dan data yang tepat agar sesuai dengan tim dukungan, tim tersebut dapat beralih ke langkah berikutnya: menggunakan model yang makin kaya fitur, yang dilatih pada set data yang lebih besar dengan pemeriksaan dan penyeimbangan tambahan. Model yang lebih kaya tersebut sering kali menggeneralisasi dengan lebih baik dan lebih kuat dalam hal variasi input pelanggan.

Setelah menggunakan notebook Amazon SageMaker untuk melakukan analisis dan eksplorasi awal, Autodesk membangun model eksplorasi dengan Scikit-learn, pustaka ML klasik pilihan untuk sebagian besar proyek Python, yang menggunakan banyak fungsi pembantu dan model dangkal untuk mendapatkan wawasan terkait solusi. Autodesk kemudian melatih model keterampilannya dalam beberapa kerangka kerja deep learning dengan menggunakan mode skrip, yang memfasilitasi penggunaan kembali kode dan iterasi model yang cepat. Perusahaan ini juga menggunakan PyTorch untuk menjalankan transformator fast.ai dan Hugging Face untuk pemrosesan bahasa alami.

Untuk melakukan deployment model untuk pengujian, Autodesk menggunakan Amazon Elastic Container Service (Amazon ECS) untuk versi hosting API pertama. “Kami kemudian pindah ke hosting titik akhir Amazon SageMaker di versi berikutnya dan dalam produksi karena meningkatkan fleksibilitas dan mengurangi kompleksitas kami,” ucap Yathaarth Bhansali, principal engineer untuk tim ilmu data di Autodesk. Pengembangan dan deployment model keterampilan awal, suatu proses yang mencakup penskalaan dan otomatisasi seluruh skrip, membutuhkan waktu sekitar 2–3 minggu.

Model yang dibuat Autodesk menggunakan layanan AWS telah menghilangkan kompleksitas dari pengalaman pelanggan dan mendorong lebih dari 30 persen pengurangan dalam kesalahan arah kasus di saluran dukungan utama, yang telah membantu pelanggan Autodesk mendapatkan jawaban mereka hingga tiga kali lebih cepat. “Setiap pengurangan dalam waktu yang dihabiskan pelanggan untuk menunggu solusi dapat memiliki dampak bisnis yang besar bagi mereka dan perusahaan mereka, karena sering kali masalah yang ditemui dapat menghambat kemajuan pada proyek yang sangat penting bagi bisnis,” ucap O'Connor. Terlebih lagi, umpan balik positif yang konsisten dari pelanggan menunjukkan bahwa perutean otomatis mencocokkan pelanggan dengan agen dukungan secara tepat.

“Berpindah dari sistem berbasis aturan lama kami memang sulit, tetapi sangat berharga,” ucap James Bradley, director of data science di Autodesk. “Perpindahan ini banyak sekali menyederhanakan cara mengarahkan kasus dukungan kami dan menghapus beberapa utang teknis historis yang mengakar saat menggunakan sistem kami sebelumnya.” Autodesk telah mampu meningkatkan praktik pengembangannya saat AWS memperbarui layanannya. Misalnya, perusahaan berencana untuk melakukan pengujian A/B terhadap beberapa model yang berbeda, dan titik akhir Amazon SageMaker membuatnya mudah. “Setiap kali kami menemukan sesuatu yang ingin dilakukan, kami menyadari bahwa AWS telah mengantisipasi kebutuhan itu,” ucap O’Connor.

Secara keseluruhan, dengan menggunakan Amazon SageMaker dan Amazon ECS, tim ilmu data Autodesk dapat fokus meningkatkan algoritma mereka alih-alih memelihara infrastruktur. “Saya sangat bersyukur tidak perlu mengelola server sendiri atau memperbarui driver kembali,” ucap Bradley. “Sebelumnya, banyak waktu saya terbuang untuk menangani masalah yang tingkatannya di bawah masalah yang berusaha saya selesaikan. Kami menganggap diri kami cukup ahli. Jadi, saat mengalami masalah, kami ingin melewatkan hal-hal yang tersebut.”

Tim Autodesk akan terus meningkatkan sistem perutean, termasuk dengan menambahkan kemampuan untuk memantau antrean dan memberi tahu staf Autodesk akan adanya pelanggan yang mungkin berada dalam antrean yang salah, serta menggunakan data untuk memprediksi kebutuhan pelanggan, sehingga mempersingkat waktu menunggu jawaban dan meningkatkan penyelesaian masalah pada kontak pertama. “Saat pelanggan melakukan sesuatu, kami dapat memperoleh informasi dari perilaku tersebut, lalu membuat rekomendasi,” ucap Bradley. Perusahaan berinisiatif untuk memperluas sistem peruteannya ke bahasa lain dan sedang mengeksplorasi lingkungan serta modalitas tambahan di mana pelanggan dapat terhubung dengan dukungan.

Di AWS, pelanggan Autodesk tidak perlu lagi menduga-duga dalam menavigasi sistem dukungan. “Model keterampilan dan lingkungan dukungan adalah sesuatu yang harus sesuai dengan kebutuhan pengguna serta menjadi pilihan terbaik bagi mereka alih-alih memaksa mereka masuk ke dalam satu saluran atau saluran lainnya hanya karena itulah satu-satunya tempat yang dapat mereka hubungi,” ucap O'Connor. Sekarang, sistem dukungan pelanggan Autodesk secara lebih akurat melakukan hal yang seharusnya dilakukan: memberi pelanggan sumber daya dan pengetahuan yang dibutuhkan untuk menyelesaikan masalah secara efisien.