AWS 認定試験の作成

2019 年 9 月現在、AWS 認定の取得者は 24 万人を超えました。すでに認定を取得された方の中には、AWS 認定試験とその設問がどのように作られているか疑問に思ったことがある方もいらっしゃるかもしれません。今回は AWS の AWS 認定テクニカルアーキテクトの 1 人として、試験開発プロセスの裏側をご紹介したいと思います。

驚かれるかもしれませんが、AWS 認定チームの誰一人として試験問題を作っている人間はいません。また、どのような設問を出題するかを決めることさえありません。これらは AWS の従業員と AWS の製品やサービスの使用経験を持つ顧客などで構成される AWS 内容領域専門家 (Subject Matter Experts： SME) たちのボランティアにより行われています。SME は自身の時間を割いて試験内容や設問の作成とレビューを行い、特定の役割や技術分野におけるコンピテンシーレベルの設定を支援してくれています。ソリューションアーキテクト、開発者、システムオペレーター、データベース管理者や、それぞれの認定試験に関する分野に合致した専門知識を有するその他の方々に支えられています。

現在提供している 12 の AWS 認定は、AWS のサービスを使用する個人の職務や技術的な専門知識を広範囲にカバーしています。そのため、新しい AWS 認定試験の作成は、対応する分野の職務経験がある SME を探すところからはじまります。

AWS 認定データベース – 専門知識認定の新設にあたっては、DynamoDB、RDS、Aurora、Neptune、Quantum Ledger の使用経験があるデータベースエンジニアやプログラマーを募集しました。年単位で長期にわたって関わる SME チームには、顧客、パートナー、AWS の従業員が混在し、関連性を保ちつつ多様な経験が認定に反映されるようにしました。

試験開発プロセス

AWS では、の堅牢なプロセスに従って試験開発を行っています（以下を参照）。このプロセスのさまざまなステップの一部は、SME の参加によって支えられています。

ジョブタスク分析 (JTA)

JTA は試験作成プロセスの最初のステップです。選ばれた SME のグループがワークショップに参加し、特定の認定にあたって検証されるべきコアコンピテンシーについてディスカッションを行います。このワークショップで、試験コンテンツの概要を作成します。これを試験ブループリントと呼びます。ブループリントは試験コンテンツ領域を定義し、各領域の相対的なパーセンテージも示します。試験問題はブループリントのガイドラインに従って作問、配置されます。AWS 認定データベース – 専門知識試験では、SMEが以下の知識分野を策定しました。

1. ワークロード固有のデータベース設計 (26%)
2. デプロイと移行 (20%)
3. 管理と運用 (18%)
4. モニタリングとトラブルシューティング (18%)
5. データベースセキュリティ (18%)

ブループリントサーベイ

JTA に続くステップは、ブループリントを数百人の業界のエキスパートに配布して SME のグループを拡大し、コンテンツ領域を検証し、幅広い適用性を確保することです。数週間にわたり、エキスパートはアンケートに回答し、知識の重要度や使用頻度を考慮に入れ、ブループリントの各目的を評価します。完成した試験ブループリントは、 ウェブサイト上で試験ガイドの一部として公開されています。

アイテムの作成

これで、試験のコンテンツ領域が定義されました。SME は、定義されたブループリントに従って、試験問題 (アイテムと呼ばれています) を作成し始めることができます。各 SME は、アイテム作成ワークショップで共同作問したり、それぞれのスケジュールに応じてリモートでアイテムを作成したりできます。SME は一般的に、自身の経験を元に、実際の顧客のユースケースや実務的な課題を鑑みながらアイテムを作成します。

アイテムのレビュー

アイテムがベータ試験でテスト出題されるまでには、いくつもの段階にわたるレビューと承認をクリアする必要があります。アイテム作成ワークショップでは、SME はグループとしてアイテムをレビューし、各アイテムの技術的な正確性、明瞭性、適切性、公平性を確認します。アイテムは通常、作問者とグループによる複数回にわたる推敲とレビューを経て承認されます。

ベータ試験

試験アイテムは、もう 1 つ最後のステップを経て本試験に登場します。新しい AWS 認定試験とバージョンではすべて、承認されたアイテムは必ずベータ試験でテストすることになっています。試験の受験者は、ベータ試験を選択して受験し、合格スコアを満たしていれば、本試験が公開される前に認定を受けることができます。

ベータ試験では、本試験よりも多くの設問が出題されます。目的は、各アイテムを合格スコアの計算に含め、本試験に移行するにあたり、受験者が各アイテムにどう反応するかを確認することです。たとえば、ほとんどすべての受験者が間違っていたアイテムや、ほぼ全員が正解したアイテムは、たいていの場合カウントされません。このデータを収集して分析し、ベータ試験の受験者には、ベータ期間の終了時にスコアを通知します。

基準設定

本試験の公開前には、SME グループが、ベータ試験で十分にテストしたアイテムをレビューします。合わせて、本試験に含めるアイテムと合格スコアを決定します。こうした判断を下すために、SME は基準設定ワークショップに参加し、試験を受け、各アイテムの難易度について評価します。合格スコアは、すべてのアイテムの評価を組み合わせて決定されます。

本試験

基準設定プロセスが完了すると、本試験が公開されます。合格スコアを満たす、あるいは超えた受験者は、認定を受ける最低資格を満たしています。

アイテムの更新

試験を最新の状態に保つため、アイテムの執筆とレビューのプロセスを継続します。新たに作成されたアイテムは、評価のために本試験に出題されますが、受験者のコンピテンシーの判断には使用されません。統計的に良好なパフォーマンスを発揮するアイテムに関しては、同じコンテンツ領域内の他のアイテムを置き換える形で、今後使用される可能性があります。たとえば、AWS 認定データベース – 専門知識試験では、試験問題のうち 65 アイテムのサブセットが評価目的の出題であり、受験者のスコアには含まれません。ただし、どのアイテムが採点対象外なのかは受験者に知らされません。

先頭に戻る

AWS のエンジニアは、新しい機能やサービスの革新と導入を続けているため、試験の作問、テスト、新しいアイテムの追加も止まることはありません。ただし、ベストプラクティスが進化し、特定の役割のプロフェッショナルに求められることが変化するにつれて、定期的にこのプロセス全体を最初から開始する必要があります。新たな JTA からスタートし、場合によってはそこからまったく新しいブループリントを作成し、新しいバージョンの試験を作成します。最近では、AWS 認定ソリューションアーキテクト – アソシエイト試験でこれを行い、新しいバージョンをリリースしました。

厳格な試験開発プロセスにより、AWS 認定は最新状態のまま維持され、認定者が AWS SME の設定する高い水準を満たしていることを証明できます。こうしたプロセスのすべての部分は、SME の参加に大きく支えられています。

試験開発に参加している期間中、SME はユースケースや学んだ教訓を共有し、AWS のサービスや機能セットに関するインサイトを得て、同業者と貴重なつながりを持つことができます。AWS 認定開発プロセスで AWS SME になることをご希望の場合は、お申し 込みフォーム（英語サイト）にご記入ください。AWS 認定チームから次のステップについてご連絡いたします。

By Wayde Gilchrist