• 關於 Woot

    Woot 是每日交易的創始網站,成立於 2004 年,並於 2010 年由 Amazon 收購。公司的網站提供七個不同類別的多項每日交易和其他短期銷售。

  • 優勢

    • 資料來源不再需要自訂管道
    • 降低 90% 的資料倉儲營運成本
    • 提高自助式資料查詢率並增加資料視覺化
    • 可將 BI 資源專注用於長期的策略性專案
    • 大幅加快完成查詢的速度
  • 使用的 AWS 服務

Woot.com 的網站首頁上,資料異動十分頻繁。Woot 成立於 2004 年並於 2010 年由 Amazon 收購的創始每日交易網站,每天針對電子產品、服裝和戶外裝備、運動器材、家庭用品以及其他產品提供新的特價優惠,有時甚至每 30 分鐘更新一次。

2018 年,該公司決定對網站後端進行革新。具體而言,Woot 打算淘汰以 Amazon Relational Database Service (RDS) for Oracle Database 為基礎的傳統資料倉儲,轉換為使用 Amazon Web Services (AWS) 的雲端原生資料倉儲解決方案。

傳統倉儲給公司帶來許多難題,包括每次新增資料來源時都需要重新自訂管道,有時需要花上數週的時間來打造;查詢程序繁瑣,這表示一些可能相當有價值的查詢卻根本從未有人嘗試;以及需要嚴格限制使用者存取資料倉儲,因為資料倉儲就位在公司的生產 AWS 帳戶中。

如今,Woot 執行以 Amazon Kinesis Data FirehoseAmazon Simple Storage Service (Amazon S3) 為基礎的無伺服器資料倉儲,來進行資料擷取和儲存。並使用 AWS Lambda 來協調 AWS Glue,以進行 ETL 任務排程和中繼資料管理任務。Amazon AthenaAmazon QuickSight 提供功能強大、方便使用的查詢和資料視覺化功能,即使是不具備 SQL 知識的使用者也能輕鬆使用。這些全都集中在一個獨立的資料倉儲帳戶中,並與公司的生產帳戶完全區隔。

在 AWS 提供的一系列獲取和管理資料的選項以及從資料中取得深入分析的選項中,Woot 如何決定所選擇的解決方案? 簡而言之,就是聆聽顧客的意見。就此情形而言,就是藉由聽取仰賴資料倉儲的各個類別的員工意見,來確保 Woot 能獲得客戶好評。

「我希望這個專案能夠一勞永逸地解決 Woot 內部面對的難題。」Woot 的資料工程師和公司資料倉儲的唯一專責人員 Chaya Carey 表示,「由於我們要面對緊迫的時間壓力,自然希望有一份需求清單, 只執行它就好,而先不考慮技術債的部分。但事實上我們花費了大量時間在討論使用資料倉儲的人員、其面臨的難題以及這些資料的用途。」

透過這些對話,Carey 在開發時寄予新資料倉儲的目標,就是將資料轉換為共同責任模式,免去為每項新服務或服務異動建立或變更自訂管道的需求。她並表示:「我希望各項服務能夠將資料傳送到資料倉儲,並在最少介入的前提下接收這些資料。但是我需要一個適合現有開發人員技能的簡便方法來推送資料。」

Carey 找到立即可用的解決方案,就是讓開發人員針對 Woot 中使用的各種程式設計語言和平台使用 AWS 軟體開發套件 (SDK),藉此將資料傳送到倉儲的 Kinesis Data Firehose 交付串流中。

「現在,所有的開發人員都不需要建置批次任務來傳送服務的資料,而只要加入將資料傳送到 Firehose 端點的 API 呼叫即可。」她表示,「 Kinesis Data Firehose 讓我們的開發人員更容易接受共同責任模式。這對於遷移作業來說是一項重大進展,因為我們省下了過去在新增服務或適應現有服務變更時所要耗費的延遲時間。」

Woot 選擇採用 Amazon Athena 和 QuickSight 進行資料查詢和資料視覺化,讓許多需要從 Woot 資料倉儲中取得資訊來執行任務,但缺乏資訊科學或商業智慧技能組合的員工(包括會計師、財務分析師、庫存分析師、供應商經理和客戶服務代表)工作輕鬆許多。

「先前解決方案的查詢功能需要開立票證、獲得經理的核准、收到的密碼只能使用 90 天,而且還需要學會 SQL 才能編寫查詢。」Carey 說,「現在,只要使用 Amazon QuickSight,任何人都可以透過拖放的動作來建立圖形和其他視覺化效果,而無需學習 SQL。對於需要更多自訂項目的員工,也可以選擇透過 Athena 主控台來進行查詢,但是同樣不需要具備 SQL 知識。」

不僅查詢的過程更加簡單,而且查詢本身所需要的時間也大幅縮短。Carey 說:「接受我們詢問的使用者紛紛表示,Amazon Athena 讓查詢速度變快許多,我們還聽說,過去太過複雜的查詢現在在 Athena 上執行完全沒有問題,這表示使用者能夠回答比以前更多的問題。」

由於新解決方案中的 AWS 工具非常易於使用,因此有越來越多的員工開始採用自助方式來尋求解答。「使用者對於可以在 QuickSight 中建立視覺效果印象深刻,而願意主動探索更多其他使用方式。」Carey 說,「我們只有四名 BI 員工,過去他們總是收到超出負荷的請求。現在,非技術人員可以使用 Amazon QuickSight 自行取得資訊,因此 Woot BI 資源就有更多時間可以進行策略性的專案。」

Carey 表示,遷移作業不僅可解決先前解決方案的難題,而且讓 Woot 可以開始嘗試 AWS 上提供的其他工具和服務,此外還可以節省成本。Carey 表示:「改採無伺服器的 AWS 資料倉儲解決方案後,我們的資料倉儲營運成本降低了將近 90%。」她也很高興地提到,由於新解決方案的無伺服器架構,她終於可以讓自己放三個禮拜的假,完全不受工作干擾。

Carey 補充說:「事實上,資料倉儲現在已具有自己的帳戶,而且可以將所有內容儲存在 Amazon S3 中,這讓我和我們的 BI 工程師能夠緊密整合並探索其他技術,例如 Amazon Elastic MapReduce、Amazon SageMaker 和Amazon Redshift Spectrum。我們對於今後的發展感到非常樂觀。」

若要進一步了解,請造訪 thinkwithwp.com/what-is/data-warehouse/