Perubahan adalah terus-menerus di halaman depan situs web yang dikenal sebagai Woot.com. Di Woot—situs penawaran harian asli, yang didirikan pada 2004 dan diakuisisi oleh Amazon pada tahun 2010—ada penawaran spesial baru untuk elektronik, pakaian dan perlengkapan luar ruangan, peralatan olahraga, perkakas rumah tangga, dan produk lain yang ditawarkan setiap hari—terkadang setiap 30 menit.
Pada tahun 2018, perusahaan memutuskan sudah waktunya untuk melakukan perubahan pada backend situs juga. Secara khusus, Woot tidak lagi ingin menggunakan gudang data warisan —berdasarkan Amazon Relational Database Service (RDS) untuk Oracle Database—dan beralih ke solusi pergudangan data berbasis cloud di Amazon Web Services (AWS).
Tantangan-tantangan yang ditimbulkan oleh gudang warisannya bagi perusahaan tersebut termasuk kebutuhan akan pipa saluran khusus baru setiap kali sumber data ditambahkan, yang terkadang memakan waktu berminggu-minggu untuk dibangun; proses membuat kueri yang rumit berarti beberapa kueri yang berpotensi bernilai bahkan tidak pernah dicoba; dan perlunya membatasi akses pengguna ke gudang data dengan ketat, karena itu berada di akun AWS produksi perusahaan.
Saat ini, Woot menjalankan gudang data tanpa server yang berada di Amazon Kinesis Data Firehose dan Amazon Simple Storage Service (Amazon S3) untuk penyerapan dan penyimpanan data. Woot menggunakan AWS Lambda untuk mengatur AWS Glue untuk penjadwalan pekerjaan ETL dan tugas manajemen metadata. Amazon Athena dan Amazon QuickSight menawarkan pengkuerian dan visualisasi data yang kuat, mudah digunakan, bahkan untuk pengguna yang tidak memiliki pengetahuan SQL. Dan semua ini berada di akun gudang data yang terpisah, tersendiri sepenuhnya dari akun produksi perusahaan.
Mengingat berbagai pilihan yang tersedia dari AWS untuk memperoleh, mengelola, dan mendapatkan wawasan dari data, bagaimana tepatnya cara Woot memutuskan solusi yang dipilihnya? Singkatnya, dengan mendengarkan pelanggan—dalam hal ini, banyak kategori karyawan yang mengandalkan gudang data untuk memastikan pengalaman luar biasa bagi pelanggan Woot.
"Saya ingin proyek ini menjadi kekuatan untuk kebaikan dalam Woot," kata Chaya Carey, seorang rekayasawan data di Woot dan satu-satunya karyawan yang bertanggung jawab untuk mengelola gudang data perusahaan. "Dengan batas waktu ketat yang kami hadapi, kami tergoda untuk hanya mendapatkan daftar persyaratan, melaksanakannya, dan mencemaskan utang teknis nanti saja. Sebagai gantinya, kami menghabiskan banyak waktu membahas siapa yang menggunakan gudang data, tantangan apa yang mereka hadapi, dan untuk apa mereka menggunakan data itu."
Melalui percakapan ini, satu tujuan yang dikembangkan Carey untuk gudang data baru adalah beralih ke model tanggung jawab bersama untuk data yang akan menghilangkan kebutuhannya untuk membangun atau mengubah pipa saluran khusus untuk setiap layanan baru atau perubahan layanan. "Saya ingin layanan mengirim data ke gudang data dan membuatnya diterima dengan intervensi minimal," katanya. "Tetapi saya perlu menemukan cara mudah untuk mendorong data yang sesuai dengan keahlian yang ada dari para pengembang."
Carey menemukan solusi yang siap dijalankan dengan meminta pengembang menggunakan AWS Software Development Kits (SDKs) untuk berbagai bahasa pemrograman dan platform yang digunakan di Woot untuk mengirim data ke aliran pengiriman gudang Firehose Data Kinesis.
“Daripada membangun sejumlah pekerjaan untuk mengirim data dari layanan, yang perlu dilakukan sekarang oleh semua pengembang adalah menambahkan panggilan API yang mendorong data ke titik akhir Firehose," kata Carey. "Kinesis Data Firehose menjadikan model tanggung jawab bersama lebih mudah diterima bagi pengembang kami. Ini adalah kemenangan besar untuk migrasi, karena kami menghilangkan jeda waktu yang sebelumnya kami alami untuk menambahkan layanan baru atau beradaptasi dengan perubahan yang ada. "
Dengan memilih Amazon Athena dan QuickSight untuk pengkuerian dan visualisasi data, Woot telah membuat hidup lebih mudah bagi banyak karyawan— termasuk akuntan, analis keuangan, analis inventaris, manajer vendor, dan perwakilan layanan pelanggan—yang membutuhkan informasi dari gudang data Woot untuk melakukan pekerjaan mereka tetapi tidak memiliki ilmu data atau keahlian kecerdasan bisnis (BI).
"Kueri dalam solusi sebelumnya memerlukan pembukaan tiket, mendapatkan persetujuan manajer, menerima kata sandi yang hanya berlaku selama 90 hari—dan selain itu Anda perlu memahami SQL untuk menulis kueri Anda," kata Carey. "Sekarang, dengan menggunakan Amazon QuickSight, siapa pun dapat membuat grafik dan visualisasi lainnya hanya dengan menyeret dan menjatuhkan, tanpa memerlukan pengetahuan SQL. Untuk karyawan yang menginginkan lebih banyak penyesuaian, ada pilihan untuk membuat kueri melalui konsol Athena, tetapi, sekali lagi, tidak diperlukan pengetahuan SQL. "
Tidak hanya proses kueri sekarang lebih sederhana, tetapi kueri itu sendiri juga dapat lebih cepat diselesaikan. "Setiap pengguna yang kami ajak bicara telah memberi tahu kami seberapa cepat proses pengkuerian di Amazon Athena," kata Carey. "Kami juga mendengar bahwa kueri yang sebelumnya terlalu rumit berjalan tanpa masalah pada Athena, yang berarti orang dapat menjawab lebih banyak pertanyaan daripada sebelumnya."
Karena alat AWS dalam solusi baru sangat ramah pengguna, semakin banyak karyawan yang mengambil pendekatan swalayan untuk menjawab pertanyaan. "Orang-orang sangat terkesan dengan visualisasi yang dapat mereka bangun di QuickSight sehingga mereka mencari lebih banyak cara untuk menggunakannya," kata Carey. "Kami hanya memiliki empat karyawan BI, dan biasanya mereka selalu memiliki lebih banyak permintaan daripada yang bisa mereka tangani. Sekarang karyawan bukan teknis dapat menggunakan Amazon QuickSight untuk mendapatkan informasi sendiri, sehingga sumber daya Woot BI memiliki lebih banyak waktu untuk proyek-proyek strategis."
Carey mengatakan migrasi tidak hanya mengatasi tantangan dari solusi sebelumnya tetapi juga menempatkan Woot untuk mulai bereksperimen dengan banyak alat dan layanan lain yang tersedia di AWS—dan pastinya menghemat uang. "Dengan beralih ke solusi gudang data AWS tanpa server, kami memangkas biaya operasional gudang data kami hampir 90 persen," kata Carey. Dia juga senang melaporkan bahwa, sebagai hasil dari solusi baru arsitektur tanpa server, dia akhirnya dapat mengambil liburan tiga minggu tanpa sekali pun dipanggil.
Carey menambahkan, "Fakta bahwa gudang data sekarang berada di akunnya sendiri dan menyimpan segala sesuatu di Amazon S3 memungkinkan saya dan para rekayasawan BI kami untuk berintegrasi dengan mulus dan mengeksplorasi teknologi lain, seperti Amazon Elastic MapReduce, Amazon SageMaker, dan Amazon Redshift Spectrum. Kami benar-benar bersemangat tentang apa yang bisa kita lakukan dari sini. "
Untuk mempelajari selengkapnya, kunjungi thinkwithwp.com/what-is/data-warehouse/.