ASPICE解説は下記リンクよりアクセスください
プロセスアセスメントモデルはコチラから
※当該解説をより詳細に知りたい方はアセスメントモデルを参照ください
MLE.4で求められることとは？
MLE.4（機械学習モデルテスト）の目的は、学習済みMLモデルおよびデプロイ済みMLモデルが、ML要求事項に適合していることを確実にすることです。
MLE.3で学習・最適化されたモデルに対して、今度は「本当にML要求事項を満たしているか」を客観的に確認する工程です。学習に使ったデータとは別のテストデータを用意して評価する点、そして学習環境向けのモデルとは別に、実際にターゲットシステムへ組み込まれる「デプロイ済みモデル」も改めてテストする点が、このプロセスの特徴です。
MLE.4で得られる成果
- ML要求事項に対するMLテストアプローチが定義されている
- MLテストデータセットが作成されている
- 学習済みMLモデルがテストされている
- 学習済みMLモデルからデプロイ済みMLモデルが導出され、テストされている
- MLテストアプローチとML要求事項との間、MLテストデータセットとMLデータ要求事項との間で一貫性および双方向のトレーサビリティが確立されており、さらにMLテストアプローチとMLテスト結果との間にも双方向のトレーサビリティが確立されている
- MLモデルテストの結果が要約され、デプロイ済みMLモデルとあわせて全ての関係者に伝達されている
MLE.4の基本プラクティス（Basic Practice）
MLE.4 機械学習モデルテスト には合計7つの基本プラクティス（BP1～BP7）が存在します。
MLE.4.BP1
BP1では、MLテストアプローチの仕様化が求められています。
学習済みMLモデルおよびデプロイ済みMLモデルがML要求事項に適合していることを示す証拠として十分なMLテストアプローチを仕様化する必要があります。このアプローチには、ML要求事項で定義されたデータ特性（性別、天候条件、ODD内の路面状況など）の分布を反映したMLテストシナリオ、テストデータセット内における各シナリオの分布・出現頻度、テストデータごとの期待結果、テストの開始・終了基準、データセットの作成・修正方法、必要なテストインフラ・環境構築の内容を含めます。
「テストデータごとの期待結果」を明確にするには、MLモデルの出力と期待される出力を比較できるよう、テストデータへのラベル付けが必要になることがあります。なお、「テストデータ」とは、MLモデルが1つの出力に処理する最小単位のデータ（画像処理における1枚の画像、音声認識における1つの音声区間など）を指し、「データ特性」とはODD内で異なる表現を取り得るデータの性質（例：天候条件であれば晴れ・霧・雨など）、「MLテストシナリオ」とは定義済みの全データ特性の組み合わせ（例：天候条件＝晴れ、路面状況＝砂利道）を指します。
MLE.4.BP2
BP2では、MLテストデータセットの作成が求められています。
SUP.11（機械学習データマネジメント）によって提供されたMLデータの集合から、BP1で仕様化したMLテストアプローチを踏まえて、学習済みMLモデルのテストおよびデプロイ済みMLモデルのテストに必要なMLテストデータセットを作成する必要があります。このMLテストデータセットは、学習には使用してはいけません。
学習済みモデル用のテストデータセットと、デプロイ済みモデル用のテストデータセットとは、異なる内容になることがあります。また、安全性・公平性・堅牢性の確認といった特別な目的のために、追加のデータセットが用いられることもあります。
MLE.4.BP3
BP3では、学習済みMLモデルのテストが求められています。
BP1で仕様化したMLテストアプローチに従い、BP2で作成したMLテストデータセットを用いて学習済みMLモデルをテストし、MLテスト結果を記録・評価する必要があります。
テストログの評価には、たとえば信頼性を裏付けるために、不合格となったテストデータのパターン分析を含めることがあります。
MLE.4.BP4
BP4では、デプロイ済みMLモデルの導出が求められています。
MLアーキテクチャに従って、学習済みMLモデルからデプロイ済みMLモデルを導出する必要があります。このデプロイ済みMLモデルは、テストおよびソフトウェア統合への引き渡しに使用されます。
デプロイ済みMLモデルはターゲットシステムに組み込まれるものであり、多くの場合、ハードウェアやインタプリタ言語を前提とする学習済みMLモデルとは異なる形態を取ります。学習時のモデルと、実運用に載せるモデルは別物であるという前提を踏まえておく必要があります。
MLE.4.BP5
BP5では、デプロイ済みMLモデルのテストが求められています。
BP1で仕様化したMLテストアプローチに従い、BP2で作成したMLテストデータセットを用いてデプロイ済みMLモデルをテストし、MLテスト結果を記録・評価する必要があります。
学習済みモデルのテスト（BP3）と同様の手順を、実際にデプロイされる形態のモデルに対しても改めて実施することで、変換・軽量化などによる精度劣化や挙動の変化がないかを確認します。
MLE.4.BP6
BP6では、一貫性の確保および双方向トレーサビリティの確立が求められています。
MLテストアプローチとML要求事項との間、MLテストデータセットとMLデータ要求事項との間で、一貫性を確保するとともに双方向のトレーサビリティを確立する必要があります。あわせて、MLテストアプローチとMLテスト結果との間にも双方向のトレーサビリティを確立します。
双方向トレーサビリティは、一貫性の担保に加え、変更依頼の影響分析や検証カバレッジの証明を支えます。ただし、トレースリンクの存在自体は内容としての整合性を保証しない点に注意が必要です。
MLE.4.BP7
BP7では、結果の要約および伝達が求められています。
MLモデルのテスト結果を要約し、合意された結果およびデプロイ済みMLモデルについて、影響を受ける全ての関係者に周知する必要があります。
テスト結果だけでなく、実際にデプロイされるモデルそのものをあわせて共有することで、後続のソフトウェア統合（SWE.5）に関わる関係者がスムーズに結合作業へ移行できるようになります。
コメント