Amazon S3 の 15 年目の記念日 – 5,475 日が経ち 100 兆のオブジェクトを扱うようになった今が出発点です

私は15 年前の今日、Amazon Simple Storage Service (S3) について発表するブログ記事を公開しました。その記事では、これがデベロッパーをターゲットとし、API 経由でアクセスできるサービスであることを明言しながら、いくつかの主要な機能の概要についてと、料金情報についてを説明しました。その投稿をお読みになったデベロッパーの手で、S3 API を使用してオブジェクトを格納および取得するコードを記述していただけるようになり、後は歴史が物語るとおりです。

現在その S3 が、100 兆以上 (10¹⁴、つまり 100,000,000,000,000) のオブジェクトを保存しているという事実を語るのも嬉しい限りで、リクエスト数は、毎秒最大で数千万件に達しています。この数は、世界の人工で換算して 1 人につき約 13,000 のオブジェクトがあることを意味します。または、宇宙に散らばる (2021 estimateにると) 約 2 兆個の銀河でみると、その 1 つずつに、約 50 個のオブジェクトの割り当てとなります。

スタートはシンプル
その立ち上げ段階を振り返って見ると、当社がそこで行った意思決定は、後に正当性がが証明されるものだったと言えます。デベロッパーが S3 を数分で理解し、簡単に使い始られるようにしたのです。

当社で最初に取り組んだのは単純な概念モデルでした。それは、保持できるオブジェクト数に制限がなく、それぞれが文字列キーによる一意の名前で識別されるバケットのモデルでした。初期の API も同様にシンプルでした。バケットの作成、すべてのバケットの一覧表示、オブジェクトの配置、オブジェクトの取得、アクセス制御リストの定義などがその機能です。このシンプルさは、一方通行のドアを避けるのにも役立ち、お客様からのフィードバックに応じて S3 を進化させる多くの余地を残しました。この時点で決定したことは、今でも変更されていません。発表の日に書かれたコードは今日でもうまく機能します。

多くの異なる料金モデルについて議論した後 (逆方向の働きかけについては時間を割きました)、当社はコストフォローモデルを選択しました。Colin と Bill の考えはこうです。

コストフォローモデルでは、S3 を使用するデベロッパーの目的が何であれ、彼らは自身の要件に合った方法でそれを使用し、コストを最小限に抑えるように努めます。そして当然、当社もそれに協力します。このシステムにはあそびは存在せず、また価格を設定するために平均的なお客様を想定して、S3 がどのように使用されるかを見積もる必要もありません。

このコストフォローモデルを踏まえながら、当社では、S3 の GB あたりの月間の価格を何度も削減してきました。また、まれにしか参照しないデータを格納するコストをさらに節約するため (S3 Glacier と S3 Glacier Deep Archive) や、必要に応じて再作成されるデータのため (S3 1 ゾーン低頻度アクセス) の、各ストレージクラス も導入してきています。さらに、アクセスパターンをモニタリングし、オブジェクトを適切なストレージ階層に自動的に移動できる、S3 Intelligent-Tiering も追加しました。

シンプルな料金モデルで、デベロッパーが望むだけ多くのデータを簡単に保存できるということには、本当に大きな意味がありました。New York Times のライターである John Markoff 氏は、S3 の発表直後、Software Out There の中でこう語っています。

Amazon は最近、S3 というオンラインストレージサービスを導入した。このサービスは、1 ギガバイトあたり 15 セントの月額料金でデータストレージを利用できるというものだ。これにより、インターネット上で新しいアプリケーションやサービスを構築するプログラマーは、高いコストを見越してデータストレージシステムを作成する必要がなくなる。

耐久性は、当初から織り込まれていた要素です。2010 年に私は、S3 が「11 桁の 9」(99.999999999%) の耐久性を提供するように設計されていると言うのは、どういう意味なのかを解説しています。初期段階から、当社はハードウェア、ソフトウェア、およびネットワークでは、障害が常に発生するものなのだと認識していましたので、S3 は、その障害を透過的かつ優雅に処理できるように開発されました。たとえば、複数のストレージアレイ、ラック、セル、(現在 77 個あり増加中の) アベイラビリティーゾーンが、自動的に利用されるようになっています。

当社は、セキュリティにも同様に強くコミットしており、それは常に「0 番目の仕事 (業務の原点)」であると考えています。 以下の一覧で示したとおり、S3 に保存するデータの保護にご使用いただける、セキュリティオプション群と機能群の強化を継続的に進めています。

S3 を起動してから数日が経った頃から、ツールやアプリケーション、そしてサイトが登場するようになっていきました。もともと期待を込めて予想していたように、これらの多くは全く予想もしなかった発想のものでした。デベロッパーのアイディアについて学ぶのは、常に当社にとっての喜びでしたしそれは今も変わりません。

15 年が過ぎた今日でも、S3 はデベロッパーにパワーを与え、触発し、イノベーションに注力する環境を提供しています。

年月を通じて
私は、お気に入りのサービスや立ち上げ業務、あるいは機能についての質問をよく受けます。私は排他的なことより包括的なことが好きなので、これはいつも難しい質問となります。 そのような中、S3 に追加した要素で、最も意味があるだろうと私が信じているもののいくつかを、次に上げてみましょう。

基礎的要素 – バージョン管理、イベント通知、選択、アクセスポイント、S3 on Outposts、および強力な一貫性。

ストレージクラス – S3 Glacier、S3 標準低頻度アクセス、S3 Intelligent-Tiering、および S3 Glacier Deep Archive。

ストレージ管理 – クロスリージョンのレプリケーション、同一リージョンのレプリケーション、レプリケーション時刻の制御、複数の保存先へのレプリケーション、ライフサイクルポリシー、オブジェクトへのタグ付け、ストレージクラス分析、インベントリ、CloudWatch メトリクス、およびバッチ処理。

セキュリティ – パブリックアクセスブロック、Access Analyzer、Macie、GuardDuty、Object Ownership、および PrivateLink。

データ移動 – インポート/エクスポート、Snowmobile、Snowball、および Snowcone。

視覚的にもより楽しめ、過去15年間の発展を時系列的に見ることができる、15 の追加機能を示した S3 年表もぜひご覧ください。

S3 の現在
100 兆を超えるオブジェクトが置かれ、想像を絶するほど幅広いユースケースがある S3 に関しても、多くの機能についてのリクエストが引き続き寄せられています。当社では常に、お客様のニーズには慎重に耳を傾け、それを満たすために最善を尽くしています。

また、パフォーマンス、拡張性、そして信頼性の向上を目指し、S3 実装のあらゆる部分で、そのプロファイリング、レビュー、および改善を続けています。つまり、S3 では (この点は、すべての AWS のサービスにおいても同じですが)、機能の改良が「お客様の足元で」継続的に実施され、API の変更やアップグレードによるダウンタイムが発生することもありません。端的な例を挙げると、当社は最近、S3 に対して送られる PUT リクエストのレイテンシーを、(驚異的なことに) 0.01% にまで大幅に削減する方法を確立しました。これは小さな成功のように見えるかもしれませんが、実際にははるかに大きな意味があります。第 1 の意味は、お客様からのリクエストがタイムアウトして再試行するという状況がなくなるということです。第 2 の意味は、このような状況やおそらく他の状況でも、レイテンシーをさらに短縮するために使用し得るいくつかのインサイトを、デベロッパーに提供できたということです。

今週のさらなる展開
私の同僚達は、お客様が S3 についてさらに学ぶのに役立つ多くの興味深いコンテンツを、Pi Week のために用意しています。この 4 日間のライブバーチャルイベントは無料です。AWS のリーダーや専門家が、AWS の歴史についてや、S3 の開発と進化に合わせて行われた主要な決定について語るのをお聞きになれます。また、その他のセッションでは、S3 を使用してコストを管理し、支出を継続的に最適化しながら、最新のスケーラブルなアプリケーションを構築する方法についての解説が得られます。

さらに、Werner Vogels が S3 のシニアアーキテクトやリーダーの何人かにインタビューを行っています。このイベントのために用意された内容は、次のとおりです (毎日、ビデオが公開される際にリンクを追加していきます)。

クラウドインフラストラクチャの基礎 – Mai-Lan Tomsen Bukovec、ブロックおよびオブジェクトストレージ VP。

進化可能なシステムの構築 – Mai-Lan Tomsen Bukovec。

データ移動の高速化 – Bill Vass、ストレージ、自動化、マネジメント VP。

セキュリティは業務の原点 – Eric Brandwine、セキュリティ VP。

次の 15 年に向かって
これらを踏まえつつ、私は今、次の 15 年に S3 が達成するだろう成長と進化に期待しています。

– Jeff