Amazon Web Services ブログ
週刊AWS – re:Invent 2022特別号 part 2 (2022/11/28週)
みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。今週も週刊AWSをお届けします。
この記事は re:Invent 2022特別号の後半にあたる Part 2 です。今週は AWS re:Invent 2022 特別号のため週刊AWSは二本立てになっています。 Part 1 をまだお読みでない方はこちらでお読みいただけます。また、Part 1にも記載していますが、発表内容をほぼ網羅したセミナー「AWS Black Belt Online Seminar AWS re:Invent 2022速報」での資料と動画すでに公開されていますので、こちららも合わせてご覧ください。
– AWS Black Belt Online Seminar AWS re:Invent 2022速報 資料及び動画公開のご案内
それでは、 AWS re:Invent 2022 でのアップデート、後半をみていきましょう。Part 2 では、Database, Analytics, AI/ML, Application Integration & Developer tools, IoTの各ジャンルについてまとめました。
AWS re:Invent 2022期間に発表された主要なアップデート Part 2 (2022/11/28週)
Database
- Amazon RDS Blue/Green Deploymentの一般提供開始
- データタベースのBlue/Greenデプロイメントをマネージドサービスとして提供する新機能が一般提供開始になりました。この機能を使うことで、Blue(本番環境)からGreen(検証環境)にデータミラーリングが行われるようになり、Green 側でバージョンアップやパラメータ変更を行いつつ動作確認し、問題が無くなってから切り替えるという事が可能になります。Amazon Aurora(MySQL互換)バージョン5.6以上、Amazon RDS for MySQL 5.7以上、Amazon RDS for MariaDB 10.2以上で利用可能です。
- Amazon RDS Optimized Reads と Optimized Writesの一般提供開始
- Amazon RDSでの読み書き性能を向上させる2つの機能が一般提供開始になりました。
- Amazon RDS Optimized Reads は、RDSインスタンスに内蔵するNVMe SSDに一時表を置くようにすることで、メモリ内で処理しきれないソートや集計処理を高速化するものです。Optimized Reads は、NVMe SSDのインスタンスストアを内蔵したr5d, m5d, r6gd, m6gd インスタンスで利用可能であり、これらのインスタンスが選択できる全てのリージョンで使用可能です。
- Amazon RDS Optimized Writesは、MySQLの二重書き込みバッファー(doublewrite buffer) に関する性能改善です。例えば16KBのデータを書いている途中でクラッシュすると、多くの場合データの破損が発生します(ストレージ側では4KB等のより小さい単位で書き込んでおり、途中の状態で異常停止したため)。この破損を避けるために、二重書き込みバッファーが存在しますが、その分オーバーヘッドが発生します。本機能ではこの部分をNitroのストレージへの書き込みをAtomicにする(完全に書くか、書かないかのどちらかになる)機能で代替することで、書き込み性能を最適化します。db.r5b もしくは db.r6i インスタンスとMySQL 8.0の組み合わせで利用可能です。
- Amazon DocumentDB Elastic Clusters の一般提供開始
- Amazon DocumentDB (MongoDB互換)の新しいオプションとしてElastic Clustersが利用可能になりました。シャーディングによるスケールアウトを簡単に利用可能にするもので、ユーザーはシャードの数を指定するだけで性能を向上させることが可能です。
Analytics
- AWS Glue 4.0 の一般提供開始
- AWS Glue でGlue 4.0が利用可能になりました。Glue 4.0では、Pyhon 3.10/Apache Spark 3.3.0ベースに更新され、これによりPandasも利用可能になりました。また、データレイク上でトランザクションを実現するためのポピュラーなフォーマットである、 Apache Hudi, Apache Iceberg, Delta Lakeの読み書きも設定不要で実行可能になりました。合わせて、新しいジョブ実行形態であるGlue for Ray (pythonのray.ioフレームワークを使った分散処理ジョブ)もプレビューが発表されました。
- AWS Glue Data Quality のプレビューを発表
- AWS Glueの新機能、Glue Data Qualityがアナウンスされました。データパイプラインの中でデータ・クオリティをチェックする事(例えば想定外のデータが混入していないか等)を容易にするためのサービスです。ルールに反するデータを検知した場合にユーザに通知が行うといった事が可能です。東京リージョンを含む5つのリージョンでプレビューが開始になっています。
- Amazon Athena for Apache Spark の一般提供開始
- クエリエンジンのAmazon Athenaに、クラスターの準備などなしにApache Sparkのワークロードを実行できるAmazon Athena for Apache Spark が追加されました。Jupyter Notebookからプログラムを実行すると、すぐに(1秒以内に)コードが実行可能な点が特徴で、SQLでは対応できないような分析処理や可視化を迅速に実行することが可能です。実行性能はDPU値を指定することでユーザ側で調整が可能です。
- Amazon DataZoneのアナウンス(プレビューの予告)
- 組織内に存在するデータをカタログ化することで発見しやすくし、共有・活用を容易にするためのデータ管理サービスである、DataZoneがアナウンスされました。2023年にプレビューが開始になる予定です。ビジネスデータカタログにより、管理者がデータの分類や連携可能範囲を定義し、ユーザーはそれを元にデータを検索することが可能です。また、ユーザーが権限を要求したり、管理者が付与するための管理機能も提供される予定です。
- Amazon OpenSearch Serverlessのプレビューを発表
- Amazon OpenSearch Serviceの新しい実行オプションとしてAmazon OpenSearch Serverlessのプレビューが開始になりました。東京をはじめ5つのリージョンでプレビューが利用可能です。
- 自動的にプロビジョン・スケーリングを実施するため、負荷の予測が難しいワークロードでも、導入・運用が容易になります。
- Amazon Redshiftに可用性の向上や、データ連携を容易にする複数の機能が追加。
- Amazon Aurora zero-ETL integration with Amazon Redshift がアナウンスされました。これは、Auroraのデータをニアリアルタイム(数秒後)にRedshiftの表に連携する機能で、データ連携のパイプラインを構築することなく、Auroraに蓄積されたデータを迅速にRedshift上で分析が可能になります。現在はAurora MySQL 3(MySQL 8.0互換)とRedshiftの組み合わせにおいて、バージニアリージョンでリミテッドプレビューの申し込みを受付中です。
- Amazon Redshift Multi-AZがアナウンスされました。名前にあるようにRedshiftクラスターをマルチAZ(アベイラビリティーゾーン)に配置可能にする機能です。AZに大きな障害が発生した場合でも、短いリカバリ―タイムで業務を継続できるようになります。現在東京リージョンをはじめ6つのリージョンでプレビューが開始されています。
- その他、データをユーザ権限によって動的にマスクするdynamic data masking (preview)や、data sharing機能とLake Formationの連携(preview)もアナウンスされています。
AI/ML(機械学習)
- Amazon SageMakerがGeospatial ML対応のプレビューを発表
- Amazon SageMakerで地理空間データの処理のプレビューが発表されました。Planet Labsの衛星データや、AWSのオープンデータなどを取り込んでおき、独自のデータと容易に組み合わせた分析が可能になります。また、処理を容易に行うために地理空間関係の演算子や学習済みのモデルが提供されます。オレゴンリージョンでプレビューが開始されています。
- Amazon SageMaker Studio (SageMaker Notebooks)に複数の新機能が追加
- SageMaker Studioでリアルタイムコラボレーションを促進する機能が利用可能(一般提供開始)になりました。共有スペースを作成し、その中のNotebookに複数のユーザが同時にアクセスすることが可能になりました。
- SageMaker Notebooksで、ノートブックで作成したプログラムを自動実行(Automate)する機能が利用可能(一般提供開始)になりました。ノートブックで作成したコードをコンテナ化してジョブ環境に渡すといった作業が不要になり、迅速な本番環境への投入が可能になります。
- Amazon SageMakerのガバナンス機能を強化するための各種機能が一般提供開始
- SageMaker にガバナンス機能を向上させる3つの機能一般提供開始になりました。現在SageMakerが利用可能な商用リージョン全てで利用可能になっています。
- Amazon SageMaker RoleManagerは、SageMakerユーザ単位でカスタム権限を設定可能にします。学習のみできるユーザ、モデルデプロイができるユーザなどを設定することが可能です。
- Amazon SageMaker Model Cards はモデル情報について単一の情報源となるデータ保存場所を提供します。Model Cardsにはモデルの目的やリスク評価、品質評価、説明などを記録して共有でき、コンプライアンスドキュメントやレポートの生成を支援します。
- Amazon SageMaker Model Dashboardはすべてのモデルを1ヶ所でモニタできるダッシュボードを提供します。Model MonitorやClarifyと統合されており、ガバナンスの実現を支援します。
Application Integration & Developer tools
- Amazon EventBridge Pipesが一般提供開始
- イベントドリブンなアプリケーション構築時に、ソース側と受け取り側間の連携を容易に実現する新サービスが一般提供開始になりました。つなぎ込むためのコード開発の手間を最小化し、マネージドサービスとして運用の負担も少ない形で利用可能です。東京・大阪リージョンで利用可能になっています。
- DynamoDB、Kinesis、MSK、SQS、MQといったデータソースで発生したイベントを各種ターゲット(API GatewayやSNS等15種類)に届けるたけでなく、転送の途中でデータをビルトイン関数やLambdaで加工することも可能です。
- AWS Application Composerのプレビューを発表
- ブラウザベースのGUIでAWSサービスを組み込んだサーバレスアプリケーションを簡単に構築可能にする新サービスが発表されました。現在東京リージョンを含む6リージョンでプレビュー開始になっています。
- Application Composeで構築した内容は、CloudFormationのTemplateとして生成され、そのままデプロイが可能です。
- Amazon CodeCatalystのプレビューを発表
- CodeCatalystはチームがAWSでアプリケーションを開発する際に必要となる環境を簡単に準備可能にするサービスです。IDE、CI/CDパイプライン、コラボレーションといった機能がワンストップで提供されます。現在オレゴンリージョンでプレビュー開始になっています。
IoT
- AWS IoT Core でMQTT5のサポートを開始(一般提供開始)
- AWS IoT CoreとAWS IoT Core Device Advisorで利用できる、MQTTバージョン5に対応した新しいメッセージブローカーが一般利用開始になりました。
- AWS IoT Coreがデバイス位置情報をサポート(一般提供開始)
- •AWS IoT Coreが緯度経度などの位置情報の提供に対応し、デバイスの追跡や管理に利用可能になりました。GPSが利用できないデバイスでは、クラウドによる支援付きのGNSSやWi-Fi、セルラーネットワークなどの代替手段を元に緯度経度情報を取得することが可能です。
AWS re:Invent では、キーノート等で多数の新サービス・新機能が発表されるのですが、同時にre:Inventは学習の場でもあります。多数のテーマでブレイクアウトセッションが開催されましたが、それらの多くはYoutubeのAWS Eventsチャンネルで視聴可能になっています。ぜひこちらもご覧ください。
それでは、また来週!
ソリューションアーキテクト 下佐粉 昭 (twitter – @simosako)