AWS Certified Machine Learning Engineer - Associate (MLA-C01) 試験ガイド

はじめに

AWS Certified Machine Learning Engineer - Associate (MLA-C01)試験は、AWSクラウドを使用してマシンラーニング(ML)ソリューションおよびパイプラインを構築、運用化、展開、維持する能力を検証するものです。

また、この試験では以下のタスクを完了する能力も検証されます:

• データのインジェスト、変換、検証、MLモデリングの準備
• 一般的なモデリングアプローチの選択、モデルのトレーニング、ハイパーパラメータのチューニング、モデルパフォーマンスの分析、モデルバージョンの管理
• 展開インフラストラクチャおよびエンドポイントの選択、コンピューティングリソースのプロビジョニング、要件に基づく自動スケーリングの設定
• MLワークフローの自動オーケストレーションのためのCI/CDパイプラインの設定
• モデル、データ、インフラストラクチャの監視によるイシューの検知
• アクセス制御、コンプライアンス機能、ベストプラクティスを通じたMLシステムおよびリソースのセキュリティ確保

対象候補者の説明

対象候補者は、AmazonSageMakerおよびMLエンジニアリングのための他のAWSサービスを1年以上の経験を持つ必要があります。また、バックエンドソフトウェア開発者、DevOpsエンジニア、データエンジニア、データサイエンティストなどの関連する役割で1年以上の経験を持つ必要があります。

推奨される一般的なITのナレッジ

対象候補者は以下のような一般的なITのナレッジを持っている必要があります:

• 一般的なMLアルゴリズムとそのユースケースの基本的な理解
• データエンジニアリングの基礎、including、一般的なデータ形式、インジェスト、MLデータパイプラインへの変換に関する知識
• データクエリおよび変換に関する知識
• モジュラー、再利用可能なコード開発、展開、デバッグのためのソフトウェアエンジニアリングのベストプラクティスに関する知識
• クラウドおよびオンプレミスのMLリソースのプロビジョニングおよび監視に関する経験
• CI/CDパイプラインおよびインフラストラクチャ・アズ・コード(IaC)に関する経験
• バージョン管理とCI/CDパイプラインのためのコードリポジトリに関する経験

推奨されるAWSのナレッジ

対象候補者は以下のようなAWSのナレッジを持っている必要があります:

• SageMakerの機能とアルゴリズムのモデル構築および展開に関する知識
• モデリングのための前処理データを準備するためのAWSデータストレージおよび処理サービスに関する知識
• AWSでのアプリケーションおよびインフラストラクチャの展開に関する知識
• MLシステムのログおよびトラブルシューティングのための監視ツールに関する知識
• CI/CDパイプラインの自動化およびオーケストレーションのためのAWSサービスに関する知識
• アイデンティティおよびアクセス管理、暗号化、データ保護のAWSセキュリティベストプラクティスに関する理解

対象候補者の範囲外のタスク

以下のリストには、対象候補者が実行できることが期待されないタスクが含まれています。このリストは網羅的ではありません。これらのタスクは試験の範囲外です:

• 完全なエンドツーエンドのMLソリューンの設計およびアーキテクチャ
• ベストプラクティスの設定およびMLストラテジーのガイダンス
• 広範囲のサービスや新しいツールおよび技術との統合の処理
• 2つ以上のMLドメイン(例えば、自然言語処理[NLP]、コンピュータビジョン)での深い経験
• モデルの量子化および精度への影響の分析

付録にAWS対象サービスおよび機能、およびAWS対象外サービスおよび機能の一覧があります。

試験コンテンツ

問題タイプ

試験には以下のような問題タイプが含まれます:

• 選択式: 正解が1つで、3つの誤答肢がある
• 複数選択式: 5つ以上の選択肢から正解が2つ以上ある。全ての正解を選択する必要がある
• 並べ替え: 3～5の回答を完了するタスクがある。正解の回答を選択し、正しい順序に並べる必要がある
• マッチング: 3～7のプロンプトと回答のリストをマッチさせる必要がある。全てのペアを正しくマッチさせる必要がある
• ケーススタディ: 1つのシナリオと、そのシナリオについての2つ以上の質問がある。各質問は個別に評価される

回答しなかった問題は誤答扱いされます。不正解の罰則はありません。試験には合計50の採点対象の問題が含まれます。¹

採点対象外のコンテンツ

試験には15の採点対象外の問題が含まれます。これらの問題は得点に影響しません。AWSは、これらの採点対象外の問題について、今後の採点対象の問題として使用するための性能評価を収集します。これらの採点対象外の問題は試験では識別されません。

¹ ベータ版試験には適用されません。ベータ試験の詳細は、AWSの認定ウェブサイトをご確認ください。

試験結果

AWS Certified Machine Learning Engineer - Associate (MLA-C01)試験は合格/不合格の判定です。試験は、AWS認定プロフェッショナルが業界のベストプラクティスおよびガイドラインに従って設定した最低基準に基づいて採点されます。

試験結果は100-1,000のスケール得点で報告されます。合格点は720点です。得点は全体的な試験パフォーマンスを示し、合格したかどうかを示します。スケール得点モデルは、若干の難易度の違いがある複数の試験フォームの得点を等化するのに役立ちます。

スコアレポートには、各セクションレベルでの成績分類が含まれる可能性があります。試験は補償モデルで採点されるため、各セクションで合格点を取る必要はありません。全体の試験に合格するだけで良いです。

試験の各セクションには特定の重み付けがあるため、一部のセクションには他のセクションよりも多くの問題が含まれています。成績分類表には、強みと弱みを示す一般的な情報が含まれています。セクションレベルのフィードバックは慎重に解釈する必要があります。

出題範囲

このガイドには、試験の重み付け、内容領域、およびタスク記述が含まれています。このガイドには、試験の包括的なリストは含まれていません。ただし、各タスク記述の追加コンテキストは、試験の準備に役立つように提供されています。

試験の内容領域と重み付けは以下のとおりです:

• ドメイン1: マシンラーニング(ML)のためのデータ準備(得点コンテンツの28%)
• ドメイン2: MLモデル開発(得点コンテンツの26%)
• ドメイン3: MLワークフローの展開とオーケストレーション(得点コンテンツの22%)
• ドメイン4: MLソリューションの監視、メンテナンス、セキュリティ(得点コンテンツの24%)

ドメイン1: マシンラーニング(ML)のためのデータ準備

タスク記述1.1: データをインジェストし、ストアする。

ナレッジ:

• データ形式およびインジェストのメカニズム(例: 検証済みおよび非検証済みの形式、Apache Parquet、JSON、CSV、Apache ORC、Apache Avro、RecordIO)
• AWSの主要データソース(例: Amazon S3、Amazon Elastic File System [Amazon EFS]、Amazon FSx for NetApp ONTAP)の使用方法
• ストリーミングデータソース(例: Amazon Kinesis、Apache Flink、Apache Kafka)を使ってデータをインジェストする方法
• ユースケースおよびトレードオフを含むAWSのストレージオプション

スキル:

• 関連するAWSサービスオプション(例: Amazon S3 Transfer Acceleration、Amazon EBS Provisioned IOPS)を使用して、ストレージ(例: Amazon S3、Amazon Elastic Block Store [Amazon EBS]、Amazon EFS、Amazon RDS、Amazon DynamoDB)からデータを抽出する
• データアクセスパターンに基づいて適切なデータ形式(例: Parquet、JSON、CSV、ORC)を選択する
• Amazon SageMaker Data WranglerおよびSageMaker Feature Storeにデータをインジェストする
• プログラミングテクニック、AWS Glue、Apache Sparkを使用して、複数のソースからデータをマージする
• キャパシティおよびスケーラビリティに関連するデータインジェストおよびストレージの問題をトラブルシューティングおよびデバッグする
• コスト、パフォーマンス、データ構造に基づいて初期のストレージ決定をする

タスク記述1.2: データを変換し、特徴エンジニアリングを実行する。

ナレッジ:

• データクリーニングと変換テクニック(例: 外れ値の検出と処理、欠損値の補完、結合、重複排除)
• 特徴エンジニアリングのテクニック(例: データのスケーリングと標準化、特徴のスプリット、ビニング、対数変換、正規化)
• エンコーディングテクニック(例: one-hot エンコーディング、バイナリエンコーディング、ラベルエンコーディング、トークナイズ)
• データと特徴を探索、視覚化、変換するツール(例: SageMaker Data Wrangler、AWS Glue、AWS Glue DataBrew)
• ストリーミングデータを変換するサービス(例: AWS Lambda、Spark)
• 高品質のラベル付きデータセットを作成するアノテーションおよびラベリングサービス

スキル:

• AWS ツール(例: AWS Glue、AWS Glue DataBrew、Amazon EMR上のSpark、SageMaker Data Wrangler)を使ってデータを変換する
• AWS ツール(例: SageMaker Feature Store)を使って特徴を作成および管理する
• AWSサービス(例: SageMaker Ground Truth、Amazon Mechanical Turk)を使ってデータを検証およびラベリングする

タスク記述1.3: データの整合性を確保し、モデリングのためにデータを準備する。

ナレッジ:

• 数値、テキスト、画像データの事前トレーニングバイアスメトリック(例: クラスアンバランス[CI]、ラベルの割合差[DPL])
• 数値、テキスト、画像データセットのCIに対処する戦略(例: 合成データ生成、再サンプリング)
• データの暗号化テクニック
• データ分類、匿名化、マスキング
• コンプライアンス要件の影響(例: 個人が特定可能な情報[PII]、保護対象の健康情報[PHI]、データ居住性)

スキル:

• AWS Glue DataBrew およびAWS Glue Data Qualityを使ってデータ品質を検証する
• AWS ツール(例: SageMaker Clarify)を使って、データのバイアスの原因を特定して軽減する(例: セレクションバイアス、計測バイアス)
• 予測バイアスを低減するためにデータを準備する(例: データセットの分割、シャッフル、増強を使う)
• モデルトレーニングリソース(例: Amazon EFS、Amazon FSx)にデータをロードするように設定する

ドメイン2: MLモデル開発

タスク記述2.1: モデリングアプローチを選択する。

ナレッジ:

• 特定のビジネス上の問題を解決するためのMLアルゴリズムの機能と適切な使用方法
• 特定のビジネス上の問題を解決するためにAWS人工知能(AI)サービス(例: Amazon Translate、Amazon Transcribe、Amazon Rekognition、Amazon Bedrock)を使う方法
• モデル選択やアルゴリズム選択時の解釈可能性の考慮
• SageMaker組み込みアルゴリズムとそれらを適用すべき場合

スキル:

• 利用可能なデータと問題の複雑さを評価して、MLソリューションの実現可能性を判断する
• 特定の問題を解決するための適切なMLモデルやアルゴリズムを比較、選択する
• 組み込みアルゴリズム、基盤モデル、ソリューションテンプレート(例: SageMaker JumpStartおよびAmazon Bedrock)を選択する
• コストに基づいてモデルやアルゴリズムを選択する
• 一般的なビジネスニーズを解決するためのAIサービスを選択する

タスク記述2.2: モデルをトレーニングし、改善する。

ナレッジ:

• トレーニングプロセスの要素(例: エポック、ステップ、バッチサイズ)
• モデルトレーニング時間を短縮する方法(例: 早期停止、分散トレーニング)
• モデルサイズに影響する要因
• モデルパフォーマンスを改善する方法
• 正則化テクニック(例: ドロップアウト、重み減衰、L1およびL2)の利点
• ハイパーパラメータチューニングテクニック(例: ランダム探索、ベイズ最適化)
• モデルパフォーマンスに影響するハイパーパラメータ(例: ツリーベースのモデルのツリーの数、ニューラルネットワークの層の数)
• SageMakerの外部で構築されたモデルをSageMakerに統合する方法

スキル:

• SageMaker組み込みアルゴリズムと一般的なML ライブラリを使ってMLモデルを開発する
• SageMaker スクリプトモードと SageMaker対応フレームワーク(例: TensorFlow、PyTorch)を使ってモデルをトレーニングする
• カスタムデータセットを使って事前学習モデルをファインチューニングする(例: Amazon Bedrock、SageMaker JumpStart)
• ハイパーパラメータチューニングを実行する(例: SageMaker自動モデルチューニング[AMT]を使用)
• 自動化されたハイパーパラメータ最適化機能を統合する
• オーバーフィッティング、アンダーフィッティング、 catastrophic forgettingを防ぐ(例: 正則化テクニック、特徴選択を使用する)
• 複数のトレーニングモデルを組み合わせてパフォーマンスを向上させる(例: アンサンブル、スタッキング、ブースティング)
• データ型の変更、プルーニング、特徴選択の更新、圧縮などによってモデルサイズを削減する
• SageMaker Model Registryを使ってモデルバージョンを管理し、再現性と監査を確保する

タスク記述2.3: モデルパフォーマンスを分析する。

ナレッジ:

• モデル評価テクニックとメトリック(例: 混同行列、ヒートマップ、F1スコア、精度、再現率、Root Mean Square Error [RMSE]、受信者動作特性[ROC]、ROC曲線下面積[AUC])
• パフォーマンスベースラインを作成する方法
• モデルのオーバーフィッティングとアンダーフィッティングを特定する方法
• SageMaker Clarifyで利用可能なメトリックを使ってMLトレーニングデータとモデルの洞察を得る方法
• 収束の問題

スキル:

• 評価メトリックを選択して解釈し、モデルバイアスを検出する
• モデルパフォーマンス、トレーニング時間、コストのトレードオフを評価する
• AWSサービスを使って再現可能な実験を実行する
• プロダクションバリアントとシャドウバリアントのパフォーマンスを比較する
• SageMaker Clarifyを使ってモデル出力を解釈する
• SageMaker Model Debuggerを使ってモデルの収束をデバッグする

ドメイン3: MLワークフローの展開とオーケストレーション

タスク記述3.1: 既存のアーキテクチャと要件に基づいて展開インフラストラクチャを選択する。

ナレッジ:

• 展開のベストプラクティス(例: バージョン管理、ロールバック戦略)
• AWSの展開サービス(例: SageMaker)
• リアルタイムおよびバッチでモデルを提供する方法
• プロダクション環境とテスト環境でコンピューティングリソースをプロビジョニングする方法(例: CPU、GPU)
• 展開エンドポイントのモデルおよびエンドポイントの要件(例: サーバーレスエンドポイント、リアルタイムエンドポイント、非同期エンドポイント、バッチ推論)
• 適切なコンテナ(例: 提供済みまたはカスタマイズ)を選択する方法
• エッジデバイス上でモデルを最適化する方法(例: SageMaker Neo)

スキル:

• パフォーマンス、コスト、レイテンシのトレードオフを評価する
• 要件に基づいて適切な計算環境(例: GPU/CPU仕様、プロセッサファミリー、ネットワーク帯域幅)をトレーニングおよびインファレンスに選択する
• 適切な展開オーケストレーター(例: Apache Airflow、SageMaker Pipelines)を選択する
• 複数モデルまたは複数コンテナの展開を選択する
• 適切な展開ターゲット(例: SageMakerエンドポイント、Kubernetes、Amazon Elastic Container Service [Amazon ECS]、Amazon Elastic Kubernetes Service [Amazon EKS]、Lambda)を選択する
• モデル展開戦略(例: リアルタイム、バッチ)を選択する

タスク記述3.2: 既存のアーキテクチャと要件に基づいてインフラストラクチャをスクリプトで作成する。

ナレッジ:

• オンデマンドとプロビジョンドリソースの違い
• スケーリングポリシーを比較する方法
• インフラストラクチャ・アズ・コード(IaC)オプション(例: AWS CloudFormation、AWS Cloud Development Kit [AWS CDK])のトレードオフとユースケース
• コンテナ化の概念とAWSコンテナサービス
• SageMakerエンドポイントの自動スケーリングポリシー(例: 需要ベース、時間ベース)を使用してスケーラビリティ要件を満たす方法

スキル:

• メンテナブル、スケーラブル、コスト効率的なMLソリューションを実現するためのベストプラクティスを適用する(例: SageMakerエンドポイントの自動スケーリング、Spot Instanceの動的な追加、Amazon EC2インスタンスの使用、Lambdaの活用)
• CloudFormation、AWS CDKを使ってコンピューティングリソースのプロビジョニングを自動化する(例: スタック間の通信)
• コンテナの構築と維持(例: Amazon Elastic Container Registry [Amazon ECR]、Amazon EKS、Amazon ECS、SageMakerでのコンテナの持ち込み[BYOC])
• VPC ネットワーク内のSageMakerエンドポイントを設定する
• SageMaker SDKを使ってモデルを展開およびホストする
• 自動スケーリングに使用する特定のメトリック(例: モデルレイテンシ、CPU使用率、インスタンスあたりのインボケーション数)を選択する

タスク記述3.3: 自動オーケストレーションツールを使ってCI/CDパイプラインを設定する。

ナレッジ:

• AWS CodePipeline、AWS CodeBuild、AWS CodeDeployの機能とクォータ
• データインジェストとオーケストレーションサービスの自動化と統合
• バージョン管理システムと基本的な使用方法(例: Git)
• CI/CDの原則とMLワークフローとの適合方法
• 展開戦略とロールバックアクション(例: ブルー/グリーン、カナリア、リニア)
• コードリポジトリとパイプラインがどのように連携するか

スキル:

• CodeBuild、CodeDeploy、CodePipelineを設定およびトラブルシューティングする(ステージを含む)
• Gitflow、GitHub Flowなどの継続的デプロイメントのフロー構造を適用してパイプラインを起動する
• MLモデルの展開、モデル構築の自動化など、オーケストレーションを自動化するためにAWSサービスを使用する
• トレーニングおよびインファレンスジョブを設定する(例: Amazon EventBridgeルール、SageMaker Pipelines、CodePipeline)
• CI/CDパイプラインに自動テストを設定する(例: 統合テスト、単体テスト、エンドツーエンドテスト)
• モデルの再トレーニングメカニズムを構築し、統合する

ドメイン4: MLソリューションの監視、メンテナンス、セキュリティ

タスク記述4.1: モデルのインファレンスを監視する。

ナレッジ:

• MLモデルのドリフト
• データ品質とモデルパフォーマンスを監視する手法
• 監視に関連するMLレンズの設計原則

スキル:

• プロダクション環境でモデルを監視する(例: SageMaker Model Monitorを使用)
• データ処理やモデルインファレンスの異常やエラーを検出するためのワークフローを監視する
• データ分布の変化がモデルパフォーマンスに影響する可能性を検出する(例: SageMaker Clarifyを使用)
• A/Bテストを使ってプロダクション環境でモデルパフォーマンスを監視する

タスク記述4.2: インフラストラクチャとコストを監視し、最適化する。

ナレッジ:

• MLインフラストラクチャの主要なパフォーマンスメトリック(例: 使用率、スループット、可用性、スケーラビリティ、障害耐性)
• レイテンシーやパフォーマンスの問題をトラブルシューティングするための監視とオブザーバビリティのツール(例: AWS X-Ray、Amazon CloudWatch Lambda Insights、Amazon CloudWatch Logs Insights)
• AWS CloudTrailを使って再トレーニングアクティビティをログ、監視、起動する方法
• インスタンスタイプの違いとパフォーマンスへの影響(例: メモリ最適化、コンピューティング最適化、汎用、推論最適化)
• コスト分析ツールの機能(例: AWS Cost Explorer、AWS Billing and Cost Management、AWS Trusted Advisor)
• コスト追跡および配分テクニック(例: リソースタグ付け)

スキル:

• リソースのトラブルシューティングと分析に使用するツールを設定および使用する(例: CloudWatch Logs、CloudWatchアラーム)
• CloudTrailトレールを作成する
• パフォーマンスメトリックを監視するダッシュボードを作成する(例: Amazon QuickSight、CloudWatchダッシュボード)
• インフラストラクチャを監視する(例: EventBridgeイベントを使用)
• インスタンスファミリーとサイズを適正化する(例: SageMaker Inference RecommenderおよびAWS Compute Optimizerを使用)
• レイテンシーとスケーリングの問題を監視して解決する
• コスト監視のためのインフラストラクチャを準備する(例: タグ付け戦略を適用)
• コストと性能に関する容量の懸念をトラブルシューティングする(例: プロビジョンド同時実行、サービスクォータ、自動スケーリング)
• 適切なコスト管理ツール(例: AWS Cost Explorer、AWS Trusted Advisor、AWS Budgets)を使ってコストを最適化し、コストクォータを設定する
• 購入オプション(例: Spot Instance、On-Demand Instance、Reserved Instance、SageMaker Savings Plans)の選択によってインフラストラクチャコストを最適化する

タスク記述4.3: AWSリソースをセキュリティ保護する。

ナレッジ:

• AWSサービスへのアクセスを制御するIAMロール、ポリシー、グループ(例: AWS Identity and Access Management [IAM]、バケットポリシー、SageMaker Role Manager)
• SageMakerのセキュリティおよびコンプライアンス機能
• MLリソースへのネットワークアクセスを制御するコントロール
• CI/CDパイプラインのためのセキュリティベストプラクティス

スキル:

• MLアーティファクトへの最小権限アクセスを設定する
• MLシステムと対話するユーザーおよびアプリケーションのIAMポリシーとロールを設定する
• MLシステムの継続的なセキュリティとコンプライアンスを確保するためのモニタリング、監査、ロギングを行う
• セキュリティの問題をトラブルシューティングおよ