【開催報告】「 Amazon EC2 大活用 ~ 最新ラインナップ、コストパフォーマンス最適化、先進顧客事例などご紹介~」セミナー

ソリューションアーキテクトの松尾です。2021年10月14日に「Amazon EC2 大活用 ~ 最新ラインナップ、コストパフォーマンス最適化、先進顧客事例などご紹介~」をオンライン開催しました。当日は200名超のお客様にご参加いただき、Amazon EC2の歴史、Amazon EC2最新情報、機械学習用インスタンスについて、AWSから発表し、さらに、Graviton2インスタンスご利用事例、Inf1インスタンスご利用事例を、2社のお客様からご発表いただきました。

本記事では、発表内容の概要と、発表資料のご紹介に加え、当日のQ&Aについても記載します。

セミナー概要

タイトル　Amazon EC2 大活用 ~ 最新ラインナップ、コストパフォーマンス最適化、先進顧客事例などご紹介~
日時　2021 年 10 月 14 日（木） 開演： 9:00 ～ 12:00

9:05-9:50 EC2の歴史で理解するEC2のラインナップと機能のご紹介

講師：アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 松尾 康博
概要：2006年のEC2サービス開始から15年たった今も継続して新しいインスタンスや機能を追加しており、ラインナップや機能は膨大になっています。このセッションでは、15年の歴史を紐解きながら、どのような経緯でどのようなインスタンスや機能が追加されEC2が拡充してきたのかをご理解いただくことで、適切なインスタンスや機能を選べるようご紹介しました。
資料：https://pages.awscloud.com/rs/112-TZM-766/images/20211014_EC2_Event_01_HIstory_of_EC2_2021.pdf

10:00-10:20 Amazon EC2 最新情報

講師：アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 宮本 大輔
概要：Amazon EC2では、カスタマーの様々なニーズ・用途に対応するため、CPUやアクセラレータ、内蔵ストレージのタイプなど、多種多様なラインナップを提供しています。特に新しいインスタンスファミリーは既存のものよりもコストパフォーマンスで優れることがあり、コスト最適化の一つの方法になっています。本セッションでは、このような最適化の参考になるように、直近1年以内に提供開始したものを中心に最新インスタンスファミリーの特徴や用途をご紹介しました。
資料：https://pages.awscloud.com/rs/112-TZM-766/images/20211014_EC2_Event_02_EC2_update.pdf

10:20-10:45 お客様事例１- Amazon EC2 を Graviton へ切り替えたら幸せなことしかありませんでした

講師：株式会社サイバーエージェント 技術本部 サービスリライアビリティグループ 長谷川 拓也 様
概要：サイバーエージェント様は、サービスで稼働している EC2 を x86_64 環境から AWS Graviton へ移行いただきました。いかに長谷川がかんたんに工数をかけずに切り換えたのかを発表いただきました。Gravitonへの移行に何となく大きな壁を感じている方々には安心できる内容でした。AWS Graviton は非常にコストパフォーマンスに優れており、EC2 だけでなくほかのサービスに関しても今後積極的に使っていこうと思えるレベル、とご発言頂いています。
資料：https://speakerdeck.com/rluisr/1014-aws-ec2-graviton2

11:00-11:20 Amazon EC2 機械学習ワークロードの選択肢

講師：アマゾン ウェブ サービス ジャパン株式会社 Annapurna Labs 常世 大史
概要：Amazon EC2では、広く利用され歴史もあるNVIDIA GPUを搭載したインスタンスを提供する一方、Xilinx FPGA搭載インスタンス、AWSが独自設計した機械学習推論チップAWS Inferentiaを搭載したInf1インスタンスまで、械学習ワークロードの観点で、幅広い選択肢を提供しています。本セッションでは、Amazon EC2が提供する機械学習向け最新インスタンス群を紹介し、高性能と低価格を両立した推論ワークロードを実現する上でのInf1インスタンス活用方法について紹介しました。
資料：https://pages.awscloud.com/rs/112-TZM-766/images/20211014_EC2_Event_04_EC2_ML_workload.pdf

11:20-11:45 お客様事例 2 – 姿勢推定APIサービス（AnyMotion）における推論用Inf1インスタンスの検証について

講師：株式会社NTTPCコミュニケーションズ 栁澤利紀 様
概要：NTTPCコミュニケーションズ様は姿勢推定APIサービス（AnyMotion）を提供しており、インフラにはAWSを用いています。今回、推論モデルを動作させるインスタンスとしてInf1インスタンスに焦点を当て、P3、G4、EIと比較検証いただき、検証内容をご報告いただきました。
資料：https://pages.awscloud.com/rs/112-TZM-766/images/20211014_EC2_Event_05_NTTPC_Inf1.pdf

Q&Aのご紹介

当日いただいたQ&Aをいくつかご紹介します。

「Amazon EC2 を Graviton へ切り替えたら幸せなことしかありませんでした」のQ&A

Q. 移行はどれくらい大変でしたか？
A. 本当に楽でした! 誇張表現ではなく、AWSへ媚も売っていないですよ(笑)。Raspberry Piを触っていたこともありarmプロセッサへの抵抗がなかったこともあります。また、もともとAnsibleがしっかり整備されていたのも助かりました。

Q. 楽というのは嬉しいですね。でも強いて言うなら、何が一番大変でしたか？
A. Gravitonは関係ないのですが、Terraform周りが苦労しました。実際の環境との差分があり、それを確認して吸収するところが大変でした。実環境とTerraformの見直しのよい機会だった、とポジティブに捉えています。また、CentOS7でエントロピーが小さく対処に手間がかかりました。本来なら、OSバージョンを変えるだけで済んだので、きちんとGithubの情報を確認していなかったのは反省点です。Githubは有益な情報が記載されているので、皆さんも確認することをお勧めします。

Q.開発環境のスケールダウンで、開発者に影響はありませんでしたか？
A. 開発環境はもともとアクセスが少なく、リソースが余っていた状態でしたので、スケールダウンしてもレスポンスタイムの劣化などの報告はありませんでした。

Q.Gravitonへの移行後、社内の反応はいかがでしたか？
A. 社内の実績も無い中、半ば強引に進めたが批判的な意見は出てきませんでした。逆にコスト削減を実現したことの評判が良かったです。また、プロジェクト開始時は、Gravitonの社内事例がなく、SRGがプロジェクトを主導した事により、他のサービス・部署でも、Gravitonへの移行が進んでいます。

「姿勢推定APIサービス（AnyMotion）における推論用Inf1インスタンスの検証について」のQ&A

Q. 独自推論プロセッサInf1を評価するにあたり、他のインスタンスと比較して苦労したところはありますか？
A.コンパイルが失敗した際の原因特定に苦労しました。検証開始当初はドキュメントの更新頻度が早く、キャッチアップに苦労しましたが、AWSに支援頂き助かりました。この発表で私の知見がお役にたてれば幸いです。また弊社も今回、最初なので苦労した点がありましたたが、知見も溜まり、今後、機械学習の新規プロジェクトがある際には積極的にInf1を評価して行きたいと考えております。

Q. 今回、Inf1の結果が他のインスタンスの結果を大きく引き離す結果となりましたが、どのように結果を受け止めていますか？
A. Bfloat16に変換しているところがポイントだと思います。コンパイル時に精度が落ちることを危惧しましたが、運用上問題となる程、精度は落ちなかったです。GPUでもTensorRTを使うと高速化するかもしれないので、引き続き検討を進めます。

Q. 今回、性能評価を行う上で注意した点などありましたら教えて下さい。
A.推論リクエストを投げる側のクライアントサーバとして大きめのインスタンス（c5.18xlarge）を用いました。
16並列で200リクエストを投げる場合に、クライアントサーバがボトルネックになり、速度が測れないという事態が起きないようにするためです。その結果、Inf1インスタンス、GPUインスタンス共に、推論側の負荷が100％になっていたことを確認しています。

Q. パイプラインモードは検証しましたか？
A.今回使用したモデルは、１つのNeuronコアで効率的に動作するモデルだったため、パイプラインモードで分割実行する必要性はなかったため検証しておりません。

「Amazon EC2 機械学習ワークロードの選択肢 」のQ&A

Q.推論コストを下げる際、F1インスタンスとInf1インスタンスのどちらにするかを決定する指標はありますか？
A. FPGAは自由度が大きい分、たたき台となるIPコアがないと性能の見積もりが難しい面があるかと思います。既にFPGAでの開発資産がある場合や、Xilinx社の提供するIPを利用するなど、ベースがある場合にはその結果からある程度の見積もりは可能かと思いますが、そうではない場合、開発前の段階での判断は難しいところがあるかと思います。

「Amazon EC2 最新情報」のQ&A

Q. Graviton2で苦手なワークロードはありますか？
A. IntelのAVXなどを使ってチューニング済みのコードは、そのままだと再コンパイルできず、性能も劣るかもしれない。逆に、Gravitonは1vCPU=1物理コア、x86は 2vCPU=1物理コアなので、マルチスレッド化をうまくできるとGravitonの方が速くなると思われます。

Q. HPCでもGravitonは使われていますか？
A. はい、使われています。Fomula Oneでは流体シミュレーションで、Gravitonを使ってコストパフォーマンスを改善しています。国内でも、Weathernews様が気象予報シミュレーションにGraviton2を使って、コスト効率が良かったというご報告をいただいています。

おわりに

今回は、EC2の概要について誕生から歴史を辿ってご説明しました。さらに、EC2の最新情報と、機械学習でのEC2の活用方法を、事例企業様にもご登壇いただきご紹介しました。Amazon EC2サービスに関連する今後のセミナー予定は https://awsj-compute.connpass.com/ に掲載していきます。今後も引き続き、様々な切り口からのセミナーを企画してまいりますので、みなさまのご登録をお待ちしております。