張貼日期: Feb 6, 2019
Amazon FSx for Lustre 是一款用於機器學習、高效能運算、分析和其他資料處理工作負載的高效能檔案系統,可以更輕鬆地處理保存在 Amazon S3 中的資料,並提供將結果寫回 S3 及更高版本的新選項,而且 Lustre 和 S3,FSx 之間的資料傳輸速度提高了 2 倍。
資料處理工作負載通常需要透過快速且可擴展的 POSIX 檔案系統界面來呈現資料,而且通常具有儲存在 Amazon S3 上的輸入資料集。使用 FSx for Lustre,您可以快速輕鬆地啟動連結到 Amazon S3 資料的高效能和可擴展檔案系統,透明地將 S3 物件當作為檔案來存取、將結果寫回 S3,然後關閉檔案系統。
以前,從 FSx for Lustre 檔案系統將結果寫回 S3 時,已變更或新的檔案會被當作新的物件而寫入 S3 儲存貯體中預先定義的位置。現在,您可以選擇覆寫 Amazon S3 儲存貯體中的原始物件,或將新的檔案或已變更的檔案寫入您指定的前綴。這些選項可以更靈活地將 FSx for Lustre 整合到您的資料處理工作流程中。
此外,Amazon FSx for Lustre 現在將 Amazon S3 儲存貯體和 FSx for Lustre 檔案系統之間的資料傳輸速度提高 2 倍,讓您可以更快地完成處理工作負載。
目前只要是推出 FSx for Lustre 的區域,其所有的新檔案系統就會提供這些增強的功能。進一步了解如何使用新選項來將結果寫入 S3 以及 FSx for Lustre 的效能。