ASPICE解説は下記リンクよりアクセスください
プロセスアセスメントモデルはコチラから
※当該解説をより詳細に知りたい方はアセスメントモデルを参照ください
MLE.3で求められることとは？
MLE.3（機械学習トレーニング）の目的は、定義済みのML要求事項を満たすように、MLモデルを最適化することです。
MLE.2（機械学習アーキテクチャ）で確立されたMLアーキテクチャとハイパーパラメータの初期値をもとに、実際にMLモデルへ学習用データを与えて重みやハイパーパラメータを調整し、要求事項を満たすモデルへと仕上げていく工程がMLE.3にあたります。単に「学習を回して精度を出す」だけでなく、その学習・検証のやり方自体をあらかじめ仕様化し、使用したデータやモデルの追跡ができる状態にしておくことまでが求められます。
MLE.3で得られる成果
MLE.3を実施することで、次の5つの成果（プロセス成果）が得られます。
・ML学習・検証アプローチが仕様化されている
・ML学習およびML検証のためのデータセットが作成されている
・ハイパーパラメータの値を含むMLモデルが、定義済みのML要求事項を満たすように最適化されている
・ML学習・検証データセットとMLデータ要求事項との間で、一貫性および双方向のトレーサビリティが確立されている
・最適化の結果が要約され、学習済みMLモデルが合意のうえ、全ての関係者に伝達されている
これらの成果は、そのままBP1～BP5の各基本プラクティスに対応しています。次の章で、それぞれのBPで何を行う必要があるのかを詳しく見ていきます。
MLE.3の基本プラクティス（Basic Practice）
MLE.3 機械学習トレーニング には合計5つの基本プラクティス（BP1～BP5）が存在します。
MLE.3.BP1
BP1では、ML学習・検証アプローチの仕様化が求められています。
定義済みのML要求事項を満たすように、MLモデルの学習と検証を支えるアプローチを仕様化する必要があります。このアプローチには、学習・検証の開始基準および終了基準、ハイパーパラメータのチューニング／最適化の進め方、データセットの作成・修正方法、学習・検証環境を含める必要があります。
ML学習・検証アプローチには、ランダムドロップアウトなどのロバスト化手法が含まれることもあります。また、学習環境は、実際にデプロイされるモデルの環境をできるだけ反映したものにすべきとされています。
ここでの検証とは、MLE.3において学習中にハイパーパラメータを最適化する行為を指すものであり、VAL.1（妥当性確認）の「Validation」とは意味が異なる点に注意が必要です。用語としては同じ「検証」でも、指している活動が別物であることを押さえておく必要があります。
MLE.3.BP2
BP2では、ML学習・検証データセットの作成が求められています。
SUP.11（機械学習データマネジメント）によって提供されたMLデータの集合から、BP1で仕様化した学習・検証アプローチに従ってデータを選択し、MLモデルの学習用・検証用データセットとして割り当てる必要があります。
ML要求事項によっては、境界事例や想定外のケース、通常のケースなどをバランスよく含めることが求められます。なお、k分割交差検証）を用いる場合や、ハイパーパラメータの最適化を行わない場合など、学習用と検証用のデータセットを明確に分離しなくてよいケースもあります。
MLE.3.BP3
BP3では、MLモデルの作成および最適化が求められています。
MLアーキテクチャ（MLE.2の成果物）に従ってMLモデルを作成し、BP2で特定した学習・検証データセットを用いて、BP1で仕様化した学習・検証アプローチに従い、定義済みのML要求事項および学習・検証の終了基準を満たすようにモデルを学習させる必要があります。
MLE.3.BP4
BP4では、一貫性の確保および双方向トレーサビリティの確立が求められています。
ML学習・検証データセットとMLデータ要求事項との間で、一貫性を確保するとともに双方向のトレーサビリティを確立する必要があります。
双方向トレーサビリティは、一貫性の担保に加えて、変更依頼の影響分析を支えます。ただし、トレースリンクの存在自体は内容としての整合性を保証しない点に注意が必要です。
MLE.3.BP5
BP5では、合意された学習済みMLモデルの要約および伝達が求められています。
最適化の結果を要約したうえで、合意された学習済みMLモデルについて、影響を受ける全ての関係者に周知する必要があります。
学習結果の数値だけでなく、「どのような経緯・条件で最終的なモデルに至ったか」を要約して共有することで、MLE.4（機械学習モデルテスト）に関わる関係者が、次のテスト工程へスムーズに進められるようになります。
コメント