Autodesk Membangun Analitik Big Data yang Andal dan Hemat Biaya Menggunakan Amazon EMR

Didirikan pada tahun 1982, Autodesk memproduksi perangkat lunak desain 3D, rekayasa, dan hiburan yang digunakan oleh lebih dari 100 juta pelanggan di seluruh dunia. Perangkat lunak AutoCAD mereka membantu arsitek, rekayasawan, dan profesional konstruksi membuat gambar digital yang tepat. Sebagai perusahaan berbasis data, Autodesk menggunakan analitik dan wawasan untuk menghadirkan solusi dan fitur yang lebih baik bagi para pelanggannya. Namun, solusi big data pihak ketiga yang mereka gunakan tidak dapat mengikuti perkembangan perusahaan tersebut.

“Solusi kami sebelumnya memiliki banyak masalah keandalan,” ucap Nick Wilson, senior engineering manager di Autodesk. “Data adalah unit fundamental dari bisnis Autodesk. Kami membutuhkan penyedia baru yang dapat menghadirkan keandalan yang kami butuhkan dan dapat diskalakan sesuai arah pertumbuhan kami.”

Setelah mengevaluasi berbagai solusi untuk keandalan dan performa, Autodesk memilih untuk bermigrasi ke Amazon EMR. “Autodesk adalah toko AWS, dan kami memiliki riwayat yang sangat bagus dalam menggunakan layanan AWS,” ucap Wilson. “AWS juga menawarkan lebih banyak layanan dengan biaya yang sama dengan yang sebelumnya kami keluarkan. Kami dapat mengidentifikasi jalur untuk memigrasikan setiap beban kerja dari penyedia pihak ketiga kami ke Amazon EMR dan layanan AWS lainnya.”

Memigrasikan beban kerja big data Autodesk ke Amazon EMR bukanlah tugas yang sederhana. Upaya ini akan melibatkan migrasi beban kerja dari 30 tim yang berbeda, yang masing-masing menggunakan bahasa pengodean yang berbeda dan menjalankan jenis kueri yang berbeda. Selain itu, semua beban kerja Autodesk yang penting bagi bisnis berjalan pada solusi pihak ketiga, dan perusahaan perlu menghindari gangguan yang tidak perlu selama proses berlangsung. Untuk memfasilitasi migrasi yang kompleks, Autodesk berpartisipasi dalam Program Akselerasi Migrasi AWS (AWS MAP), yang membantu mempercepat migrasi cloud dan perjalanan modernisasi dengan metodologi berbasis hasil. Tidak hanya mendukung Autodesk dalam aspek teknis migrasi, AWS MAP juga menyediakan kredit untuk menutup sebagian biaya.

“Setiap kali Anda bermigrasi ke layanan baru, komputasi tidak akan dioptimalkan sampai Anda mendapatkan beberapa pengalaman dengannya,” ucap Wilson. “Dengan harga AWS MAP, kami meminimalkan dampak migrasi pada laba bersih kami dan membuat transisi yang mulus.”

Autodesk menjalankan Apache Spark, mesin analitik terpadu sumber terbuka, di Amazon EMR untuk berperan sebagai mesin komputasi utamanya. Klaster Spark mendukung semua pemrosesan data serta mengekstrak, memuat, dan mentransformasikan pipeline. Untuk menangani beban datanya, Autodesk melampirkan volume yang didukung oleh Amazon Elastic Block Store (Amazon EBS), yaitu layanan penyimpanan blok performa tinggi yang dapat diskalakan, ke instans Spark. Layanan ini diskalakan dengan mulus untuk memproses data Autodesk, yang jumlahnya mencapai 1 PB dan bertambah setiap bulan. Untuk mendukung dasbor dan menyajikan analitik, Autodesk menjalankan Presto, mesin kueri SQL terdistribusi sumber terbuka, di Amazon EMR.

“Presto on Amazon EMR adalah bagian fundamental dari alur developer,” ucap Wilson. “Mesin ini membantu tim kami berinteraksi dengan dan belajar dari data serta memberikan wawasan bisnis umum untuk membantu mengembangkan produk baru.”

Dengan mengadopsi Amazon EMR, Autodesk banyak sekali meningkatkan keandalan layanan big data miliknya. Untuk beban kerja yang bergantung pada Apache Spark dan Presto, perusahaan tersebut mencapai ketersediaan 99,8 persen dan belum pernah mengalami pemadaman atau waktu henti layanan yang signifikan. Autodesk juga telah mengurangi jam yang dihabiskan untuk memecahkan masalah sebesar 25 persen.

Tim pengembangan sangat menghargai keandalan yang konsisten ini dan sekarang dapat memfokuskan sumber dayanya pada area bisnis yang lain. “Sebelumnya, saya tidak ingin melihat komunikasi perusahaan pada hari Minggu. Saya akan melihat bahwa proses yang penting bagi bisnis rusak karena solusi pihak ketiga kami rusak,” ucap Wilson. “Sekarang, pipeline kami berjalan stabil, klaster berjalan seperti yang diharapkan, dan kami memenuhi perjanjian tingkat layanan kami. Kami memiliki sistem yang jauh lebih stabil yang berjalan di Amazon EMR saat ini daripada sistem yang kami miliki sebelum migrasi.”

Gambar 1. Pengiriman dan migrasi tugas